diff --git a/app.py b/app.py index 6ad9a8eb56040c7b1b2321a5d85f6c4b12c0f8ca..d8ec5d070fac9ad868c4dd31f528e09ea2d8d2de 100644 --- a/app.py +++ b/app.py @@ -2,31 +2,32 @@ import torch import gradio as gr import librosa +from espnet2.bin.s2t_inference_language import Speech2Language from espnet2.bin.s2t_inference import Speech2Text -from espnet2.bin.s2t_inference_language import Speech2Text as Speech2Lang -TITLE="OWSM: An Open Whisper-style Speech Model from CMU WAVLab" +TITLE="OWSM: Open Whisper-style Speech Model from CMU WAVLab" DESCRIPTION=''' -OWSM is an Open Whisper-style Speech Model from [CMU WAVLab](https://www.wavlab.org/). -It reproduces Whisper-style training using publicly available data and an open-source toolkit [ESPnet](https://github.com/espnet/espnet). -For more details, please check out our [paper](https://arxiv.org/abs/2309.13876) (Peng et al., ASRU 2023). +OWSM (pronounced as "awesome") is a series of Open Whisper-style Speech Models from [CMU WAVLab](https://www.wavlab.org/). +We reproduce Whisper-style training using publicly available data and an open-source toolkit [ESPnet](https://github.com/espnet/espnet). +For more details, please check our [website](https://www.wavlab.org/activities/2024/owsm/) or [paper](https://arxiv.org/abs/2309.13876) (Peng et al., ASRU 2023). -OWSM v3.1 is an improved version of OWSM v3. It significantly outperforms OWSM v3 in almost all evaluation benchmarks. -We do not include any new training data. Instead, we utilize a state-of-the-art speech encoder, [E-Branchformer](https://arxiv.org/abs/2210.00077). +The latest demo uses OWSM v3.1, an improved version of OWSM v3. +OWSM v3.1 outperforms OWSM v3 in almost all evaluation benchmarks while being faster during inference. +Note that we do not use extra training data. Instead, we utilize a state-of-the-art speech encoder, [E-Branchformer](https://arxiv.org/abs/2210.00077), to enhance the speech modeling capability. -OWSM v3.1 has 1.02B parameters and is trained on 180k hours of paired speech data. It supports various speech-to-text tasks: +OWSM v3.1 has 1.02B parameters and is trained on 180k hours of labelled data. It supports various speech-to-text tasks: - Speech recognition for 151 languages - Any-to-any language speech translation -- Timestamp prediction +- Utterance-level timestamp prediction - Long-form transcription - Language identification As a demo, the input speech should not exceed 2 minutes. We also limit the maximum number of tokens to be generated. Please try our [Colab demo](https://colab.research.google.com/drive/1zKI3ZY_OtZd6YmVeED6Cxy1QwT1mqv9O?usp=sharing) if you want to explore more features. -Disclaimer: OWSM has not been thoroughly evaluated in all tasks. Due to limited training data, it may not perform well for certain language directions. +Disclaimer: OWSM has not been thoroughly evaluated in all tasks. Due to limited training data, it may not perform well for certain languages. Please consider citing the following related papers if you find our work helpful. @@ -66,30 +67,29 @@ Please consider citing the following related papers if you find our work helpful ''' if not torch.cuda.is_available(): - raise RuntimeError("Please use GPU for better speed") + raise RuntimeError("Please use GPU for better inference speed.") -# model_path = "owsm_v3/exp/s2t_train_s2t_transformer_conv2d_size1024_e24_d24_lr2.5e-4_warmup10k_finetune_raw_bpe50000/valid.acc.ave_5best.till50epoch.pth" -model_path = "owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.total_count.ave_5best.till45epoch.pth" -device = "cuda" # if torch.cuda.is_available() else "cpu" +model_tag = "espnet/owsm_v3.1_ebf" +device = "cuda" -speech2text = Speech2Text.from_pretrained( - s2t_model_file=model_path, +s2l = Speech2Language.from_pretrained( + model_tag=model_tag, device=device, - category_sym="", - beam_size=5, - # quantize_s2t_model=not torch.cuda.is_available(), - # quantize_dtype="float16", + nbest=1, ) -speech2lang = Speech2Lang.from_pretrained( - s2t_model_file=model_path, +s2t = Speech2Text.from_pretrained( + model_tag=model_tag, device=device, - nbest=1, - # quantize_s2t_model=not torch.cuda.is_available(), - # quantize_dtype="float16", + beam_size=5, + ctc_weight=0.0, + maxlenratio=0.0, + # below are default values which can be overwritten in __call__ + lang_sym="", + task_sym="", + predict_time=False, ) - iso_codes = ['abk', 'afr', 'amh', 'ara', 'asm', 'ast', 'aze', 'bak', 'bas', 'bel', 'ben', 'bos', 'bre', 'bul', 'cat', 'ceb', 'ces', 'chv', 'ckb', 'cmn', 'cnh', 'cym', 'dan', 'deu', 'dgd', 'div', 'ell', 'eng', 'epo', 'est', 'eus', 'fas', 'fil', 'fin', 'fra', 'frr', 'ful', 'gle', 'glg', 'grn', 'guj', 'hat', 'hau', 'heb', 'hin', 'hrv', 'hsb', 'hun', 'hye', 'ibo', 'ina', 'ind', 'isl', 'ita', 'jav', 'jpn', 'kab', 'kam', 'kan', 'kat', 'kaz', 'kea', 'khm', 'kin', 'kir', 'kmr', 'kor', 'lao', 'lav', 'lga', 'lin', 'lit', 'ltz', 'lug', 'luo', 'mal', 'mar', 'mas', 'mdf', 'mhr', 'mkd', 'mlt', 'mon', 'mri', 'mrj', 'mya', 'myv', 'nan', 'nep', 'nld', 'nno', 'nob', 'npi', 'nso', 'nya', 'oci', 'ori', 'orm', 'ory', 'pan', 'pol', 'por', 'pus', 'quy', 'roh', 'ron', 'rus', 'sah', 'sat', 'sin', 'skr', 'slk', 'slv', 'sna', 'snd', 'som', 'sot', 'spa', 'srd', 'srp', 'sun', 'swa', 'swe', 'swh', 'tam', 'tat', 'tel', 'tgk', 'tgl', 'tha', 'tig', 'tir', 'tok', 'tpi', 'tsn', 'tuk', 'tur', 'twi', 'uig', 'ukr', 'umb', 'urd', 'uzb', 'vie', 'vot', 'wol', 'xho', 'yor', 'yue', 'zho', 'zul'] lang_names = ['Abkhazian', 'Afrikaans', 'Amharic', 'Arabic', 'Assamese', 'Asturian', 'Azerbaijani', 'Bashkir', 'Basa (Cameroon)', 'Belarusian', 'Bengali', 'Bosnian', 'Breton', 'Bulgarian', 'Catalan', 'Cebuano', 'Czech', 'Chuvash', 'Central Kurdish', 'Mandarin Chinese', 'Hakha Chin', 'Welsh', 'Danish', 'German', 'Dagaari Dioula', 'Dhivehi', 'Modern Greek (1453-)', 'English', 'Esperanto', 'Estonian', 'Basque', 'Persian', 'Filipino', 'Finnish', 'French', 'Northern Frisian', 'Fulah', 'Irish', 'Galician', 'Guarani', 'Gujarati', 'Haitian', 'Hausa', 'Hebrew', 'Hindi', 'Croatian', 'Upper Sorbian', 'Hungarian', 'Armenian', 'Igbo', 'Interlingua (International Auxiliary Language Association)', 'Indonesian', 'Icelandic', 'Italian', 'Javanese', 'Japanese', 'Kabyle', 'Kamba (Kenya)', 'Kannada', 'Georgian', 'Kazakh', 'Kabuverdianu', 'Khmer', 'Kinyarwanda', 'Kirghiz', 'Northern Kurdish', 'Korean', 'Lao', 'Latvian', 'Lungga', 'Lingala', 'Lithuanian', 'Luxembourgish', 'Ganda', 'Luo (Kenya and Tanzania)', 'Malayalam', 'Marathi', 'Masai', 'Moksha', 'Eastern Mari', 'Macedonian', 'Maltese', 'Mongolian', 'Maori', 'Western Mari', 'Burmese', 'Erzya', 'Min Nan Chinese', 'Nepali (macrolanguage)', 'Dutch', 'Norwegian Nynorsk', 'Norwegian Bokmål', 'Nepali (individual language)', 'Pedi', 'Nyanja', 'Occitan (post 1500)', 'Oriya (macrolanguage)', 'Oromo', 'Odia', 'Panjabi', 'Polish', 'Portuguese', 'Pushto', 'Ayacucho Quechua', 'Romansh', 'Romanian', 'Russian', 'Yakut', 'Santali', 'Sinhala', 'Saraiki', 'Slovak', 'Slovenian', 'Shona', 'Sindhi', 'Somali', 'Southern Sotho', 'Spanish', 'Sardinian', 'Serbian', 'Sundanese', 'Swahili (macrolanguage)', 'Swedish', 'Swahili (individual language)', 'Tamil', 'Tatar', 'Telugu', 'Tajik', 'Tagalog', 'Thai', 'Tigre', 'Tigrinya', 'Toki Pona', 'Tok Pisin', 'Tswana', 'Turkmen', 'Turkish', 'Twi', 'Uighur', 'Ukrainian', 'Umbundu', 'Urdu', 'Uzbek', 'Vietnamese', 'Votic', 'Wolof', 'Xhosa', 'Yoruba', 'Yue Chinese', 'Chinese', 'Zulu'] @@ -127,34 +127,29 @@ def format_timestamp( def predict(audio_path, src_lang: str, task: str, beam_size, long_form: bool, text_prev: str,): - speech2text.task_id = speech2text.converter.token2id[f'<{task2code[task]}>'] - speech2text.beam_search.beam_size = int(beam_size) + task_sym = f'<{task2code[task]}>' + s2t.beam_search.beam_size = int(beam_size) # Our model is trained on 30s and 16kHz - _sr = 16000 - _dur = 30 - speech, rate = librosa.load(audio_path, sr=_sr) # speech has shape (len,); resample to 16k Hz + speech, rate = librosa.load(audio_path, sr=16000) # speech has shape (len,); resample to 16k Hz - # Detect language using the first 30s of speech lang_code = lang2code[src_lang] if lang_code == 'none': - lang_code = speech2lang( - librosa.util.fix_length(speech, size=(_sr * _dur)) - )[0][0].strip()[1:-1] - speech2text.category_id = speech2text.converter.token2id[f'<{lang_code}>'] + # Detect language using the first 30s of speech + lang_code = s2l(speech)[0][0].strip()[1:-1] + lang_sym = f'<{lang_code}>' # ASR or ST - if long_form: # speech will be padded in decode_long() + if long_form: try: - speech2text.maxlenratio = -300 - utts = speech2text.decode_long( + s2t.maxlenratio = -300 + utts = s2t.decode_long( speech, - segment_sec=_dur, - fs=_sr, condition_on_prev_text=False, init_text=text_prev, - start_time="<0.00>", - end_time_threshold="<29.50>", + end_time_threshold="<29.00>", + lang_sym=lang_sym, + task_sym=task_sym, ) text = [] @@ -166,9 +161,8 @@ def predict(audio_path, src_lang: str, task: str, beam_size, long_form: bool, te except: print("An exception occurred in long-form decoding. Fall back to standard decoding (only first 30s)") - speech2text.maxlenratio = -min(300, int((len(speech) / rate) * 10)) # assuming 10 tokens per second - speech = librosa.util.fix_length(speech, size=(_sr * _dur)) - text = speech2text(speech, text_prev)[0][3] + s2t.maxlenratio = -min(300, int((len(speech) / rate) * 10)) # assuming 10 tokens per second + text = s2t(speech, text_prev, lang_sym=lang_sym, task_sym=task_sym)[0][-2] return code2lang[lang_code], text @@ -180,7 +174,7 @@ demo = gr.Interface( gr.Dropdown(choices=list(lang2code), value="English", label="Language", info="Language of input speech. Select 'Unknown' (1st option) to detect it automatically."), gr.Dropdown(choices=list(task2code), value="Automatic Speech Recognition", label="Task", info="Task to perform on input speech."), gr.Slider(minimum=1, maximum=5, step=1, value=5, label="Beam Size", info="Beam size used in beam search."), - gr.Checkbox(label="Long Form (Experimental)", info="Perform long-form decoding for audios that are longer than 30s. If an exception happens, it will fall back to standard decoding on the initial 30s."), + gr.Checkbox(label="Long Form (Experimental)", info="Perform long-form decoding. If an exception happens, it will fall back to standard decoding on the initial 30s."), gr.Text(label="Text Prompt (Optional)", info="Generation will be conditioned on this prompt if provided"), ], outputs=[ diff --git a/owsm_v3.1_ebf/README.md b/owsm_v3.1_ebf/README.md deleted file mode 100644 index 391eab3de5ef5eb1096f0e5049689f3e061ea2d0..0000000000000000000000000000000000000000 --- a/owsm_v3.1_ebf/README.md +++ /dev/null @@ -1,80 +0,0 @@ ---- -tags: -- espnet -- audio -- automatic-speech-recognition -- speech-translation -language: multilingual -datasets: -- owsm_v3.1 -license: cc-by-4.0 ---- - -## OWSM: Open Whisper-style Speech Model - -[OWSM](https://arxiv.org/abs/2309.13876) is an Open Whisper-style Speech Model from [CMU WAVLab](https://www.wavlab.org/). It reproduces Whisper-style training using publicly available data and an open-source toolkit [ESPnet](https://github.com/espnet/espnet). - -Our demo is available [here](https://huggingface.co/spaces/pyf98/OWSM_v3_demo). - -**OWSM v3.1 is an improved version of OWSM v3. It significantly outperforms OWSM v3 in almost all evaluation benchmarks.** -We do not include any new training data. Instead, we utilize a state-of-the-art speech encoder, [E-Branchformer](https://arxiv.org/abs/2210.00077). - -OWSM v3.1 has 1.02B parameters in total and is trained on 180k hours of public speech data. -Specifically, it supports the following speech-to-text tasks: -- Speech recognition -- Any-to-any-language speech translation -- Utterance-level alignment -- Long-form transcription -- Language identification - - -### Citing OWSM, Branchformers and ESPnet - -```BibTex -@article{peng2023owsm, - title={Reproducing Whisper-Style Training Using an Open-Source Toolkit and Publicly Available Data}, - author={Yifan Peng and Jinchuan Tian and Brian Yan and Dan Berrebbi and Xuankai Chang and Xinjian Li and Jiatong Shi and Siddhant Arora and William Chen and Roshan Sharma and Wangyou Zhang and Yui Sudo and Muhammad Shakeel and Jee-weon Jung and Soumi Maiti and Shinji Watanabe}, - journal={arXiv preprint arXiv:2309.13876}, - year={2023} -} -@inproceedings{peng23b_interspeech, - author={Yifan Peng and Kwangyoun Kim and Felix Wu and Brian Yan and Siddhant Arora and William Chen and Jiyang Tang and Suwon Shon and Prashant Sridhar and Shinji Watanabe}, - title={{A Comparative Study on E-Branchformer vs Conformer in Speech Recognition, Translation, and Understanding Tasks}}, - year=2023, - booktitle={Proc. INTERSPEECH 2023}, - pages={2208--2212}, - doi={10.21437/Interspeech.2023-1194} -} -@inproceedings{kim2023branchformer, - title={E-branchformer: Branchformer with enhanced merging for speech recognition}, - author={Kim, Kwangyoun and Wu, Felix and Peng, Yifan and Pan, Jing and Sridhar, Prashant and Han, Kyu J and Watanabe, Shinji}, - booktitle={2022 IEEE Spoken Language Technology Workshop (SLT)}, - pages={84--91}, - year={2023}, - organization={IEEE} -} -@InProceedings{pmlr-v162-peng22a, - title = {Branchformer: Parallel {MLP}-Attention Architectures to Capture Local and Global Context for Speech Recognition and Understanding}, - author = {Peng, Yifan and Dalmia, Siddharth and Lane, Ian and Watanabe, Shinji}, - booktitle = {Proceedings of the 39th International Conference on Machine Learning}, - pages = {17627--17643}, - year = {2022}, - editor = {Chaudhuri, Kamalika and Jegelka, Stefanie and Song, Le and Szepesvari, Csaba and Niu, Gang and Sabato, Sivan}, - volume = {162}, - series = {Proceedings of Machine Learning Research}, - month = {17--23 Jul}, - publisher = {PMLR}, - pdf = {https://proceedings.mlr.press/v162/peng22a/peng22a.pdf}, - url = {https://proceedings.mlr.press/v162/peng22a.html}, - abstract = {Conformer has proven to be effective in many speech processing tasks. It combines the benefits of extracting local dependencies using convolutions and global dependencies using self-attention. Inspired by this, we propose a more flexible, interpretable and customizable encoder alternative, Branchformer, with parallel branches for modeling various ranged dependencies in end-to-end speech processing. In each encoder layer, one branch employs self-attention or its variant to capture long-range dependencies, while the other branch utilizes an MLP module with convolutional gating (cgMLP) to extract local relationships. We conduct experiments on several speech recognition and spoken language understanding benchmarks. Results show that our model outperforms both Transformer and cgMLP. It also matches with or outperforms state-of-the-art results achieved by Conformer. Furthermore, we show various strategies to reduce computation thanks to the two-branch architecture, including the ability to have variable inference complexity in a single trained model. The weights learned for merging branches indicate how local and global dependencies are utilized in different layers, which benefits model designing.} -} -@inproceedings{watanabe2018espnet, - author={Shinji Watanabe and Takaaki Hori and Shigeki Karita and Tomoki Hayashi and Jiro Nishitoba and Yuya Unno and Nelson Yalta and Jahn Heymann and Matthew Wiesner and Nanxin Chen and Adithya Renduchintala and Tsubasa Ochiai}, - title={{ESPnet}: End-to-End Speech Processing Toolkit}, - year={2018}, - booktitle={Proceedings of Interspeech}, - pages={2207--2211}, - doi={10.21437/Interspeech.2018-1456}, - url={http://dx.doi.org/10.21437/Interspeech.2018-1456} -} -``` diff --git a/owsm_v3.1_ebf/data/token_list/bpe_unigram50000/bpe.model b/owsm_v3.1_ebf/data/token_list/bpe_unigram50000/bpe.model deleted file mode 100644 index 3f386604ac50541de0d4500913350e158dbce5b8..0000000000000000000000000000000000000000 --- a/owsm_v3.1_ebf/data/token_list/bpe_unigram50000/bpe.model +++ /dev/null @@ -1,3 +0,0 @@ -version https://git-lfs.github.com/spec/v1 -oid sha256:5d6327da127e870bcb8c737dceb3bd47ccbce63da74ddb094f64afe313d68c8c -size 1041297 diff --git a/owsm_v3.1_ebf/data/token_list/bpe_unigram50000/tokens.txt b/owsm_v3.1_ebf/data/token_list/bpe_unigram50000/tokens.txt deleted file mode 100644 index 2bde12c37897c0700d10c2561ff680dfab0f7b9b..0000000000000000000000000000000000000000 --- a/owsm_v3.1_ebf/data/token_list/bpe_unigram50000/tokens.txt +++ /dev/null @@ -1,50002 +0,0 @@ - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -<0.00> -<0.02> -<0.04> -<0.06> -<0.08> -<0.10> -<0.12> -<0.14> -<0.16> -<0.18> -<0.20> -<0.22> -<0.24> -<0.26> -<0.28> -<0.30> -<0.32> -<0.34> -<0.36> -<0.38> -<0.40> -<0.42> -<0.44> -<0.46> -<0.48> -<0.50> -<0.52> -<0.54> -<0.56> -<0.58> -<0.60> -<0.62> -<0.64> -<0.66> -<0.68> -<0.70> -<0.72> -<0.74> -<0.76> -<0.78> -<0.80> -<0.82> -<0.84> -<0.86> -<0.88> -<0.90> -<0.92> -<0.94> -<0.96> -<0.98> -<1.00> -<1.02> -<1.04> -<1.06> -<1.08> -<1.10> -<1.12> -<1.14> -<1.16> -<1.18> -<1.20> -<1.22> -<1.24> -<1.26> -<1.28> -<1.30> -<1.32> -<1.34> -<1.36> -<1.38> -<1.40> -<1.42> -<1.44> -<1.46> -<1.48> -<1.50> -<1.52> -<1.54> -<1.56> -<1.58> -<1.60> -<1.62> -<1.64> -<1.66> -<1.68> -<1.70> -<1.72> -<1.74> -<1.76> -<1.78> -<1.80> -<1.82> -<1.84> -<1.86> -<1.88> -<1.90> -<1.92> -<1.94> -<1.96> -<1.98> -<2.00> -<2.02> -<2.04> -<2.06> -<2.08> -<2.10> -<2.12> -<2.14> -<2.16> -<2.18> -<2.20> -<2.22> -<2.24> -<2.26> -<2.28> -<2.30> -<2.32> -<2.34> -<2.36> -<2.38> -<2.40> -<2.42> -<2.44> -<2.46> -<2.48> -<2.50> -<2.52> -<2.54> -<2.56> -<2.58> -<2.60> -<2.62> -<2.64> -<2.66> -<2.68> -<2.70> -<2.72> -<2.74> -<2.76> -<2.78> -<2.80> -<2.82> -<2.84> -<2.86> -<2.88> -<2.90> -<2.92> -<2.94> -<2.96> -<2.98> -<3.00> -<3.02> -<3.04> -<3.06> -<3.08> -<3.10> -<3.12> -<3.14> -<3.16> -<3.18> -<3.20> -<3.22> -<3.24> -<3.26> -<3.28> -<3.30> -<3.32> -<3.34> -<3.36> -<3.38> -<3.40> -<3.42> -<3.44> -<3.46> -<3.48> -<3.50> -<3.52> -<3.54> -<3.56> -<3.58> -<3.60> -<3.62> -<3.64> -<3.66> -<3.68> -<3.70> -<3.72> -<3.74> -<3.76> -<3.78> -<3.80> -<3.82> -<3.84> -<3.86> -<3.88> -<3.90> -<3.92> -<3.94> -<3.96> -<3.98> -<4.00> -<4.02> -<4.04> -<4.06> -<4.08> -<4.10> -<4.12> -<4.14> -<4.16> -<4.18> -<4.20> -<4.22> -<4.24> -<4.26> -<4.28> -<4.30> -<4.32> -<4.34> -<4.36> -<4.38> -<4.40> -<4.42> -<4.44> -<4.46> -<4.48> -<4.50> -<4.52> -<4.54> -<4.56> -<4.58> -<4.60> -<4.62> -<4.64> -<4.66> -<4.68> -<4.70> -<4.72> -<4.74> -<4.76> -<4.78> -<4.80> -<4.82> -<4.84> -<4.86> -<4.88> -<4.90> -<4.92> -<4.94> -<4.96> -<4.98> -<5.00> -<5.02> -<5.04> -<5.06> -<5.08> -<5.10> -<5.12> -<5.14> -<5.16> -<5.18> -<5.20> -<5.22> -<5.24> -<5.26> -<5.28> -<5.30> -<5.32> -<5.34> -<5.36> -<5.38> -<5.40> -<5.42> -<5.44> -<5.46> -<5.48> -<5.50> -<5.52> -<5.54> -<5.56> -<5.58> -<5.60> -<5.62> -<5.64> -<5.66> -<5.68> -<5.70> -<5.72> -<5.74> -<5.76> -<5.78> -<5.80> -<5.82> -<5.84> -<5.86> -<5.88> -<5.90> -<5.92> -<5.94> -<5.96> -<5.98> -<6.00> -<6.02> -<6.04> -<6.06> -<6.08> -<6.10> -<6.12> -<6.14> -<6.16> -<6.18> -<6.20> -<6.22> -<6.24> -<6.26> -<6.28> -<6.30> -<6.32> -<6.34> -<6.36> -<6.38> -<6.40> -<6.42> -<6.44> -<6.46> -<6.48> -<6.50> -<6.52> -<6.54> -<6.56> -<6.58> -<6.60> -<6.62> -<6.64> -<6.66> -<6.68> -<6.70> -<6.72> -<6.74> -<6.76> -<6.78> -<6.80> -<6.82> -<6.84> -<6.86> -<6.88> -<6.90> -<6.92> -<6.94> -<6.96> -<6.98> -<7.00> -<7.02> -<7.04> -<7.06> -<7.08> -<7.10> -<7.12> -<7.14> -<7.16> -<7.18> -<7.20> -<7.22> -<7.24> -<7.26> -<7.28> -<7.30> -<7.32> -<7.34> -<7.36> -<7.38> -<7.40> -<7.42> -<7.44> -<7.46> -<7.48> -<7.50> -<7.52> -<7.54> -<7.56> -<7.58> -<7.60> -<7.62> -<7.64> -<7.66> -<7.68> -<7.70> -<7.72> -<7.74> -<7.76> -<7.78> -<7.80> -<7.82> -<7.84> -<7.86> -<7.88> -<7.90> -<7.92> -<7.94> -<7.96> -<7.98> -<8.00> -<8.02> -<8.04> -<8.06> -<8.08> -<8.10> -<8.12> -<8.14> -<8.16> -<8.18> -<8.20> -<8.22> -<8.24> -<8.26> -<8.28> -<8.30> -<8.32> -<8.34> -<8.36> -<8.38> -<8.40> -<8.42> -<8.44> -<8.46> -<8.48> -<8.50> -<8.52> -<8.54> -<8.56> -<8.58> -<8.60> -<8.62> -<8.64> -<8.66> -<8.68> -<8.70> -<8.72> -<8.74> -<8.76> -<8.78> -<8.80> -<8.82> -<8.84> -<8.86> -<8.88> -<8.90> -<8.92> -<8.94> -<8.96> -<8.98> -<9.00> -<9.02> -<9.04> -<9.06> -<9.08> -<9.10> -<9.12> -<9.14> -<9.16> -<9.18> -<9.20> -<9.22> -<9.24> -<9.26> -<9.28> -<9.30> -<9.32> -<9.34> -<9.36> -<9.38> -<9.40> -<9.42> -<9.44> -<9.46> -<9.48> -<9.50> -<9.52> -<9.54> -<9.56> -<9.58> -<9.60> -<9.62> -<9.64> -<9.66> -<9.68> -<9.70> -<9.72> -<9.74> -<9.76> -<9.78> -<9.80> -<9.82> -<9.84> -<9.86> -<9.88> -<9.90> -<9.92> -<9.94> -<9.96> -<9.98> -<10.00> -<10.02> -<10.04> -<10.06> -<10.08> -<10.10> -<10.12> -<10.14> -<10.16> -<10.18> -<10.20> -<10.22> -<10.24> -<10.26> -<10.28> -<10.30> -<10.32> -<10.34> -<10.36> -<10.38> -<10.40> -<10.42> -<10.44> -<10.46> -<10.48> -<10.50> -<10.52> -<10.54> -<10.56> -<10.58> -<10.60> -<10.62> -<10.64> -<10.66> -<10.68> -<10.70> -<10.72> -<10.74> -<10.76> -<10.78> -<10.80> -<10.82> -<10.84> -<10.86> -<10.88> -<10.90> -<10.92> -<10.94> -<10.96> -<10.98> -<11.00> -<11.02> -<11.04> -<11.06> -<11.08> -<11.10> -<11.12> -<11.14> -<11.16> -<11.18> -<11.20> -<11.22> -<11.24> -<11.26> -<11.28> -<11.30> -<11.32> -<11.34> -<11.36> -<11.38> -<11.40> -<11.42> -<11.44> -<11.46> -<11.48> -<11.50> -<11.52> -<11.54> -<11.56> -<11.58> -<11.60> -<11.62> -<11.64> -<11.66> -<11.68> -<11.70> -<11.72> -<11.74> -<11.76> -<11.78> -<11.80> -<11.82> -<11.84> -<11.86> -<11.88> -<11.90> -<11.92> -<11.94> -<11.96> -<11.98> -<12.00> -<12.02> -<12.04> -<12.06> -<12.08> -<12.10> -<12.12> -<12.14> -<12.16> -<12.18> -<12.20> -<12.22> -<12.24> -<12.26> -<12.28> -<12.30> -<12.32> -<12.34> -<12.36> -<12.38> -<12.40> -<12.42> -<12.44> -<12.46> -<12.48> -<12.50> -<12.52> -<12.54> -<12.56> -<12.58> -<12.60> -<12.62> -<12.64> -<12.66> -<12.68> -<12.70> -<12.72> -<12.74> -<12.76> -<12.78> -<12.80> -<12.82> -<12.84> -<12.86> -<12.88> -<12.90> -<12.92> -<12.94> -<12.96> -<12.98> -<13.00> -<13.02> -<13.04> -<13.06> -<13.08> -<13.10> -<13.12> -<13.14> -<13.16> -<13.18> -<13.20> -<13.22> -<13.24> -<13.26> -<13.28> -<13.30> -<13.32> -<13.34> -<13.36> -<13.38> -<13.40> -<13.42> -<13.44> -<13.46> -<13.48> -<13.50> -<13.52> -<13.54> -<13.56> -<13.58> -<13.60> -<13.62> -<13.64> -<13.66> -<13.68> -<13.70> -<13.72> -<13.74> -<13.76> -<13.78> -<13.80> -<13.82> -<13.84> -<13.86> -<13.88> -<13.90> -<13.92> -<13.94> -<13.96> -<13.98> -<14.00> -<14.02> -<14.04> -<14.06> -<14.08> -<14.10> -<14.12> -<14.14> -<14.16> -<14.18> -<14.20> -<14.22> -<14.24> -<14.26> -<14.28> -<14.30> -<14.32> -<14.34> -<14.36> -<14.38> -<14.40> -<14.42> -<14.44> -<14.46> -<14.48> -<14.50> -<14.52> -<14.54> -<14.56> -<14.58> -<14.60> -<14.62> -<14.64> -<14.66> -<14.68> -<14.70> -<14.72> -<14.74> -<14.76> -<14.78> -<14.80> -<14.82> -<14.84> -<14.86> -<14.88> -<14.90> -<14.92> -<14.94> -<14.96> -<14.98> -<15.00> -<15.02> -<15.04> -<15.06> -<15.08> -<15.10> -<15.12> -<15.14> -<15.16> -<15.18> -<15.20> -<15.22> -<15.24> -<15.26> -<15.28> -<15.30> -<15.32> -<15.34> -<15.36> -<15.38> -<15.40> -<15.42> -<15.44> -<15.46> -<15.48> -<15.50> -<15.52> -<15.54> -<15.56> -<15.58> -<15.60> -<15.62> -<15.64> -<15.66> -<15.68> -<15.70> -<15.72> -<15.74> -<15.76> -<15.78> -<15.80> -<15.82> -<15.84> -<15.86> -<15.88> -<15.90> -<15.92> -<15.94> -<15.96> -<15.98> -<16.00> -<16.02> -<16.04> -<16.06> -<16.08> -<16.10> -<16.12> -<16.14> -<16.16> -<16.18> -<16.20> -<16.22> -<16.24> -<16.26> -<16.28> -<16.30> -<16.32> -<16.34> -<16.36> -<16.38> -<16.40> -<16.42> -<16.44> -<16.46> -<16.48> -<16.50> -<16.52> -<16.54> -<16.56> -<16.58> -<16.60> -<16.62> -<16.64> -<16.66> -<16.68> -<16.70> -<16.72> -<16.74> -<16.76> -<16.78> -<16.80> -<16.82> -<16.84> -<16.86> -<16.88> -<16.90> -<16.92> -<16.94> -<16.96> -<16.98> -<17.00> -<17.02> -<17.04> -<17.06> -<17.08> -<17.10> -<17.12> -<17.14> -<17.16> -<17.18> -<17.20> -<17.22> -<17.24> -<17.26> -<17.28> -<17.30> -<17.32> -<17.34> -<17.36> -<17.38> -<17.40> -<17.42> -<17.44> -<17.46> -<17.48> -<17.50> -<17.52> -<17.54> -<17.56> -<17.58> -<17.60> -<17.62> -<17.64> -<17.66> -<17.68> -<17.70> -<17.72> -<17.74> -<17.76> -<17.78> -<17.80> -<17.82> -<17.84> -<17.86> -<17.88> -<17.90> -<17.92> -<17.94> -<17.96> -<17.98> -<18.00> -<18.02> -<18.04> -<18.06> -<18.08> -<18.10> -<18.12> -<18.14> -<18.16> -<18.18> -<18.20> -<18.22> -<18.24> -<18.26> -<18.28> -<18.30> -<18.32> -<18.34> -<18.36> -<18.38> -<18.40> -<18.42> -<18.44> -<18.46> -<18.48> -<18.50> -<18.52> -<18.54> -<18.56> -<18.58> -<18.60> -<18.62> -<18.64> -<18.66> -<18.68> -<18.70> -<18.72> -<18.74> -<18.76> -<18.78> -<18.80> -<18.82> -<18.84> -<18.86> -<18.88> -<18.90> -<18.92> -<18.94> -<18.96> -<18.98> -<19.00> -<19.02> -<19.04> -<19.06> -<19.08> -<19.10> -<19.12> -<19.14> -<19.16> -<19.18> -<19.20> -<19.22> -<19.24> -<19.26> -<19.28> -<19.30> -<19.32> -<19.34> -<19.36> -<19.38> -<19.40> -<19.42> -<19.44> -<19.46> -<19.48> -<19.50> -<19.52> -<19.54> -<19.56> -<19.58> -<19.60> -<19.62> -<19.64> -<19.66> -<19.68> -<19.70> -<19.72> -<19.74> -<19.76> -<19.78> -<19.80> -<19.82> -<19.84> -<19.86> -<19.88> -<19.90> -<19.92> -<19.94> -<19.96> -<19.98> -<20.00> -<20.02> -<20.04> -<20.06> -<20.08> -<20.10> -<20.12> -<20.14> -<20.16> -<20.18> -<20.20> -<20.22> -<20.24> -<20.26> -<20.28> -<20.30> -<20.32> -<20.34> -<20.36> -<20.38> -<20.40> -<20.42> -<20.44> -<20.46> -<20.48> -<20.50> -<20.52> -<20.54> -<20.56> -<20.58> -<20.60> -<20.62> -<20.64> -<20.66> -<20.68> -<20.70> -<20.72> -<20.74> -<20.76> -<20.78> -<20.80> -<20.82> -<20.84> -<20.86> -<20.88> -<20.90> -<20.92> -<20.94> -<20.96> -<20.98> -<21.00> -<21.02> -<21.04> -<21.06> -<21.08> -<21.10> -<21.12> -<21.14> -<21.16> -<21.18> -<21.20> -<21.22> -<21.24> -<21.26> -<21.28> -<21.30> -<21.32> -<21.34> -<21.36> -<21.38> -<21.40> -<21.42> -<21.44> -<21.46> -<21.48> -<21.50> -<21.52> -<21.54> -<21.56> -<21.58> -<21.60> -<21.62> -<21.64> -<21.66> -<21.68> -<21.70> -<21.72> -<21.74> -<21.76> -<21.78> -<21.80> -<21.82> -<21.84> -<21.86> -<21.88> -<21.90> -<21.92> -<21.94> -<21.96> -<21.98> -<22.00> -<22.02> -<22.04> -<22.06> -<22.08> -<22.10> -<22.12> -<22.14> -<22.16> -<22.18> -<22.20> -<22.22> -<22.24> -<22.26> -<22.28> -<22.30> -<22.32> -<22.34> -<22.36> -<22.38> -<22.40> -<22.42> -<22.44> -<22.46> -<22.48> -<22.50> -<22.52> -<22.54> -<22.56> -<22.58> -<22.60> -<22.62> -<22.64> -<22.66> -<22.68> -<22.70> -<22.72> -<22.74> -<22.76> -<22.78> -<22.80> -<22.82> -<22.84> -<22.86> -<22.88> -<22.90> -<22.92> -<22.94> -<22.96> -<22.98> -<23.00> -<23.02> -<23.04> -<23.06> -<23.08> -<23.10> -<23.12> -<23.14> -<23.16> -<23.18> -<23.20> -<23.22> -<23.24> -<23.26> -<23.28> -<23.30> -<23.32> -<23.34> -<23.36> -<23.38> -<23.40> -<23.42> -<23.44> -<23.46> -<23.48> -<23.50> -<23.52> -<23.54> -<23.56> -<23.58> -<23.60> -<23.62> -<23.64> -<23.66> -<23.68> -<23.70> -<23.72> -<23.74> -<23.76> -<23.78> -<23.80> -<23.82> -<23.84> -<23.86> -<23.88> -<23.90> -<23.92> -<23.94> -<23.96> -<23.98> -<24.00> -<24.02> -<24.04> -<24.06> -<24.08> -<24.10> -<24.12> -<24.14> -<24.16> -<24.18> -<24.20> -<24.22> -<24.24> -<24.26> -<24.28> -<24.30> -<24.32> -<24.34> -<24.36> -<24.38> -<24.40> -<24.42> -<24.44> -<24.46> -<24.48> -<24.50> -<24.52> -<24.54> -<24.56> -<24.58> -<24.60> -<24.62> -<24.64> -<24.66> -<24.68> -<24.70> -<24.72> -<24.74> -<24.76> -<24.78> -<24.80> -<24.82> -<24.84> -<24.86> -<24.88> -<24.90> -<24.92> -<24.94> -<24.96> -<24.98> -<25.00> -<25.02> -<25.04> -<25.06> -<25.08> -<25.10> -<25.12> -<25.14> -<25.16> -<25.18> -<25.20> -<25.22> -<25.24> -<25.26> -<25.28> -<25.30> -<25.32> -<25.34> -<25.36> -<25.38> -<25.40> -<25.42> -<25.44> -<25.46> -<25.48> -<25.50> -<25.52> -<25.54> -<25.56> -<25.58> -<25.60> -<25.62> -<25.64> -<25.66> -<25.68> -<25.70> -<25.72> -<25.74> -<25.76> -<25.78> -<25.80> -<25.82> -<25.84> -<25.86> -<25.88> -<25.90> -<25.92> -<25.94> -<25.96> -<25.98> -<26.00> -<26.02> -<26.04> -<26.06> -<26.08> -<26.10> -<26.12> -<26.14> -<26.16> -<26.18> -<26.20> -<26.22> -<26.24> -<26.26> -<26.28> -<26.30> -<26.32> -<26.34> -<26.36> -<26.38> -<26.40> -<26.42> -<26.44> -<26.46> -<26.48> -<26.50> -<26.52> -<26.54> -<26.56> -<26.58> -<26.60> -<26.62> -<26.64> -<26.66> -<26.68> -<26.70> -<26.72> -<26.74> -<26.76> -<26.78> -<26.80> -<26.82> -<26.84> -<26.86> -<26.88> -<26.90> -<26.92> -<26.94> -<26.96> -<26.98> -<27.00> -<27.02> -<27.04> -<27.06> -<27.08> -<27.10> -<27.12> -<27.14> -<27.16> -<27.18> -<27.20> -<27.22> -<27.24> -<27.26> -<27.28> -<27.30> -<27.32> -<27.34> -<27.36> -<27.38> -<27.40> -<27.42> -<27.44> -<27.46> -<27.48> -<27.50> -<27.52> -<27.54> -<27.56> -<27.58> -<27.60> -<27.62> -<27.64> -<27.66> -<27.68> -<27.70> -<27.72> -<27.74> -<27.76> -<27.78> -<27.80> -<27.82> -<27.84> -<27.86> -<27.88> -<27.90> -<27.92> -<27.94> -<27.96> -<27.98> -<28.00> -<28.02> -<28.04> -<28.06> -<28.08> -<28.10> -<28.12> -<28.14> -<28.16> -<28.18> -<28.20> -<28.22> -<28.24> -<28.26> -<28.28> -<28.30> -<28.32> -<28.34> -<28.36> -<28.38> -<28.40> -<28.42> -<28.44> -<28.46> -<28.48> -<28.50> -<28.52> -<28.54> -<28.56> -<28.58> -<28.60> -<28.62> -<28.64> -<28.66> -<28.68> -<28.70> -<28.72> -<28.74> -<28.76> -<28.78> -<28.80> -<28.82> -<28.84> -<28.86> -<28.88> -<28.90> -<28.92> -<28.94> -<28.96> -<28.98> -<29.00> -<29.02> -<29.04> -<29.06> -<29.08> -<29.10> -<29.12> -<29.14> -<29.16> -<29.18> -<29.20> -<29.22> -<29.24> -<29.26> -<29.28> -<29.30> -<29.32> -<29.34> -<29.36> -<29.38> -<29.40> -<29.42> -<29.44> -<29.46> -<29.48> -<29.50> -<29.52> -<29.54> -<29.56> -<29.58> -<29.60> -<29.62> -<29.64> -<29.66> -<29.68> -<29.70> -<29.72> -<29.74> -<29.76> -<29.78> -<29.80> -<29.82> -<29.84> -<29.86> -<29.88> -<29.90> -<29.92> -<29.94> -<29.96> -<29.98> -<30.00> -▁ -, -▁the -. -s -▁and -▁of -▁to -▁a -。 -▁in -' -▁that -▁i -▁it -▁was -en -e -t -▁you -▁he -▁is -的 -- -▁for -▁de -▁with -▁be -n -d -▁as -▁his -▁we -の -▁on -、 -▁die -▁had -a -▁but -▁so -? -o -▁not -▁at -▁have -▁this -▁und -er -▁her -i -▁they -m -ed -re -▁she -▁an -▁by -▁der -ing -▁all -▁are -▁la -が -を -▁from -▁me -▁which -▁my -es -▁one -は -▁no -▁there -了 -▁him -▁or -▁were -に -y -▁do -▁what -r -▁zu -▁our -u -▁if -ly -▁ist -▁would -▁when -▁their -▁will -▁said -で -▁es -▁like -▁das -▁Sie -▁them -在 -▁can -▁who -▁out -▁know -te -▁been -▁ich -▁about -▁up -▁I -! -▁more -▁man -ve -我 -▁que -▁un -是 -▁sie -和 -▁then -▁your -▁ein -▁some -▁den -а -▁now -你 -▁von -▁nicht -▁very -と -▁has -▁into -in -▁time -▁в -ar -▁just -▁не -▁um -k -▁could -▁dass -▁Und -人 -▁think -▁auf -al -de -▁и -▁war -▁eine -▁over -▁mit -▁well -も -他 -▁see -▁also -▁wir -▁other -▁des -le -▁how -ll -▁than -不 -啊 -▁these -▁little -▁sich -▁" -ten -c -an -▁us -上 -▁l -▁two -▁any -有 -▁don -▁go -▁did -▁people -▁only -е -na -▁good -l -st -▁where -▁на -▁el -▁se -z -to -中 -▁first -g -ta -▁na -▁di -▁als -is -▁come -▁Ich -▁much -▁für -ne -▁с -我们 -大 -▁get -▁here -▁down -у -▁du -▁le -▁что -から -▁way -h -▁y -▁wie -▁should -▁before -▁am -▁made -▁those -▁after -一 -on -▁upon -▁because -▁back -▁right -▁haben -se -▁great -他们 -▁say -▁going -です -这个 -▁dem -и -就 -f -▁по -▁make -ra -来 -▁The -م -▁er -▁its -▁such -▁ver -▁may -w -ge -▁even -la -▁men -说 -: -▁new -▁im -地 -é -da -ch -▁through -呢 -▁long -な -me -▁never -▁most -▁Es -as -il -p -▁A -▁must -" -▁sind -▁day -し -一个 -▁really -▁per -b -▁came -▁con -1 -这 -man -▁And -▁life -▁many -м -▁old -est -я -j -▁я -▁yeah -no -ro -▁again -т -▁things -▁La -▁hat -be -ma -▁mu -▁own -她 -den -▁take -ci -▁et -▁aus -▁being -▁je -ga -os -它 -ni -we -▁mr -▁still -ir -▁我 -2 -▁last -か -小 -▁too -▁les -▁might -会 -▁work -us -▁у -ce -や -▁every -un -▁We -子 -▁ku -▁al -去 -▁за -▁So -ы -at -▁want -る -ی -▁Die -到 -it -▁went -▁look -▁über -х -▁In -ti -▁years -对 -’ -吗 -▁это -▁same -▁three -▁something -▁da -do -li -▁werden -▁let -▁thought -▁himself -▁ne -й -▁ah -被 -▁van -って -▁got -▁ge -д -▁world -ね -い -▁wenn -va -好 -▁einen -要 -▁thing -▁while -▁à -▁part -都 -ه -с -着 -▁year -el -▁del -▁oh -▁away -▁hand -▁Er -em -et -ho -下 -た -▁Das -▁auch -ka -▁ya -ter -▁kind -▁without -▁place -ж -▁put -出 -lo -ba -ment -▁oder -▁under -没有 -した -л -▁вы -▁una -▁off -th -▁то -ri -里 -▁yet -ze -н -する -▁diese -▁another -ers -▁why -je -▁found -从 -时 -ko -就是 -sa -ng -▁S -▁shall -▁aber -▁sein -or -▁а -点 -3 -ur -ка -▁tell -▁god -お -▁و -▁Aber -ke -ness -也 -▁far -able -▁give -si -して -▁though -▁nothing -mo -▁eyes -手 -▁once -家 -x -ver -▁always -▁het -日 -▁saw -▁house -men -用 -di -▁ha -この -ja -go -▁wird -▁ever -▁een -▁face -о -) -▁vor -▁你 -年 -▁love -am -想 -ung -ent -▁uns -▁home -he -на -▁habe -ation -▁head -▁nach -ли -▁nur -mi -▁few -zi -▁young -но -ن -て -▁mean -▁mich -ki -▁better -▁each -▁einem -▁find -ha -▁si -▁business -ш -ت -では -▁left -▁both -ton -▁It -▁v -der -v -▁einer -那 -为 -wa -▁night -· -过 -▁took -▁( -▁können -▁mind -▁— -ya -▁father -▁mir -▁moment -▁done -得 -▁va -ca -د -水 -▁su -」 -▁against -▁need -ry -吧 -的人 -▁end -▁yes -sch -▁lot -ity -という -um -▁course -co -▁dat -▁half -▁between -高 -▁Wir -▁من -ant -り -▁next -ste -当 -▁noch -▁pro -▁He -多 -做 -▁E -gen -本 -这些 -事 -でも -▁می -▁door -к -▁called -ted -son -▁looked -za -▁ja -ul -前 -tu -▁ko -▁wurde -ye -ス -، -什么 -▁por -▁kann -▁los -▁asked -ش -▁seen -▁как -回 -ла -「 -▁дробь -▁улица -心 -▁side -▁told -▁does -ら -4 -者 -lu -▁son -▁having -生 -▁water -分 -ol -三 -▁sehr -▁quite -▁hatte -看 -▁El -▁heard -▁whole -▁heart -▁believe -". -▁te -▁met -ч -打 -与 -▁name -▁uh -的时候 -▁ni -而 -▁mother -▁در -▁ال -vo -把 -▁bei -land -能 -▁ob -▁knew -▁о -▁op -▁ma -▁different -▁around -▁best -▁به -▁call -可以 -▁mi -▁enough -▁il -▁second -▁para -く -行 -自己 -▁par -性 -ie -▁point -▁seemed -ю -ます -后 -▁ba -▁set -▁four -所 -ました -ة -▁pas -▁mrs -so -には -▁woman -ia -ven -▁room -▁да -山 -ting -その -・ -bo -S -▁five -▁che -ion -이 -▁high -走 -▁所以 -▁sure -▁但是 -▁durch -还 -5 -▁hundred -▁country -▁light -▁sir -та -▁use -▁hier -▁anything -▁sa -г -▁к -▁actually -现在 -ad -by -▁bir -ku -▁он -▁quarter -▁wa -▁po -ó -▁при -▁almost -▁про -▁days -▁от -▁他 -天 -ken -▁help -最 -▁care -▁sort -ر -您 -▁dieser -▁Der -po -特 -id -新 -▁L -▁ab -ですね -▁gibt -▁soon -ler -国 -▁com -▁з -▁Be -我的 -▁white -▁alle -▁dann -du -ling -▁small -力 -ي -less -▁together -▁fact -im -▁since -▁money -ak -▁мы -很 -à -个 -你的 -▁qui -▁doing -さん -hi -更 -▁until -给 -ine -斯 -▁talk -▁question -▁nor -老 -き -ty -▁twenty -▁didn -▁used -ik -vi -▁bit -▁hard -▁miss -zu -▁big -▁full -▁Le -▁Re -▁yn -▁De -ist -よ -非常 -au -▁gave -不是 -▁morning -さ -з -▁mehr -ов -将 -ку -▁keep -pa -ut -可能 -▁lord -▁rest -▁number -▁An -que -▁real -가 -▁words -▁began -and -ки -呀 -▁ik -▁immer -▁however -▁hands -▁open -▁king -头 -▁bin -▁ب -A -▁lo -bi -▁looking -▁раз -▁pe -led -ل -▁па -▁c -п -ig -р -▁turned -▁feel -▁En -那个 -▁waren -可 -lar -ic -▁і -▁felt -▁так -比 -▁zum -▁bu -ها -再 -▁في -▁wirklich -像 -в -外 -▁etwas -开始 -已经 -长 -ちょっと -▁poor -▁pour -▁D -▁power -或 -名 -▁word -▁among -gi -度 -▁myself -▁children -▁during -ا -▁whom -▁ka -しました -▁这 -▁lady -▁large -▁matter -▁death -▁Ver -▁Ja -▁vi -pe -▁true -6 -▁certain -ate -ом -kan -nt -▁state -▁pa -并 -ь -▁till -▁که -▁dans -▁person -月 -金 -▁present -▁general -les -▁tun -▁O -tion -ă -向 -▁boy -因为 -▁live -▁case -▁est -▁brought -以 -▁black -成 -又 -你们 -ek -▁order -▁dis -oj -▁rather -mu -だ -▁Se -太 -▁voice -▁w -▁все -▁taken -zo -道 -▁Menschen -先 -jo -ть -▁Wenn -让 -▁perhaps -▁given -ない -内 -▁hear -▁already -ju -所以 -ся -▁une -dy -▁important -▁girl -▁human -▁show -发 -▁вот -这种 -▁ihre -▁را -▁C -wi -▁hij -á -▁ihr -▁B -▁qu -▁ihn -▁K -▁company -lan -▁meine -▁strong -ren -▁thousand -the -った -га -▁seine -す -▁air -▁coming -▁But -面 -▁friend -▁-- -ben -▁within -▁round -海 -方 -▁Li -▁change -ва -ji -ard -▁six -み -二 -ai -▁often -▁everything -▁sea -ع -没 -▁along -nie -▁sent -▁Ein -▁whether -他的 -7 -▁wissen -无 -う -这是 -とか -尔 -per -▁estas -但 -▁но -ieren -▁This -▁car -ive -▁themselves -ب -车 -口 -▁forward -入 -学 -▁co -▁N -ado -▁Na -西 -何 -▁others -▁za -í -つ -го -▁我们 -▁idea -开 -▁keur -س -▁across -▁dear -▁stood -▁school -▁那 -▁understand -▁sagte -▁making -▁dan -ck -bu -▁family -▁fire -▁nature -▁near -▁из -于 -ем -もう -▁times -да -▁herself -▁public -▁niet -▁b -▁Zeit -▁read -▁cannot -▁pre -▁hope -花 -▁turn -▁city -ル -▁این -cu -▁würde -è -▁است -▁zijn -ger -死 -▁از -sta -ны -▁viel -▁li -ner -▁women -▁gone -▁sagen -ster -▁non -▁sur -听 -▁然后 -fe -▁ser -▁means -▁thus -いい -▁tu -▁child -▁least -ق -▁sehen -▁T -▁nu -化 -▁pretty -aba -▁ki -ты -▁sense -▁says -ada -▁أ -fa -工作 -ので -▁reason -这样 -▁einfach -▁keine -▁behind -日本 -▁この -▁wife -▁Il -T -E -いた -che -▁voor -▁short -▁bi -一些 -▁body -▁indeed -先生 -▁ce -▁feet -wo -一样 -8 -▁M -就像 -▁wo -还是 -德 -نا -▁до -▁Ma -▁sat -▁continue -ま -ts -▁unter -age -q -▁ask -儿 -▁U -▁close -ить -ம் -▁several -放 -▁won -▁om -ية -▁whose -не -▁market -之 -▁red -▁possible -C -up -你知道 -▁amb -イ -わ -部 -▁leave -tes -など -는 -として -▁less -ile -ク -▁become -ля -▁later -重 -拉 -ان -吃 -▁known -▁Un -ف -▁growth -zen -ä -P -ft -▁Ge -▁friends -و -lich -▁either -ny -gu -▁story -▁probably -体 -ous -ana -▁ihm -ー -▁Sch -▁able -▁thou -▁else -▁wieder -io -白 -ц -跟 -万 -▁run -光 -位 -▁diesem -▁bad -б -▁alone -但是 -ات -▁そして -▁gut -ز -▁start -法 -▁past -路 -▁itself -iert -aj -▁în -š -▁Art -ле -▁jetzt -I -ran -і -▁therefore -ア -▁free -▁sometimes -▁passed -ў -▁speak -mos -数 -问题 -yo -▁book -▁line -▁andere -▁mal -chen -ми -▁Bu -▁above -▁became -▁Al -bar -我们的 -▁wanted -des -ال -way -利 -era -ك -▁bo -▁Je -▁cried -9 -ban -▁today -tro -▁au -今 -고 -▁getting -别 -▁okay -ley -▁kaj -ham -马 -ん -fer -sten -지 -▁saying -▁No -▁bring -▁zwei -四 -ated -需要 -▁p -田 -ح -▁weil -▁las -▁z -mer -gel -▁és -世界 -10 -ber -孩子 -んだ -ет -end -都是 -▁ta -▁그 -だった -王 -リ -▁form -▁dead -▁hour -▁future -ма -▁bis -▁machen -物 -پ -лі -▁earth -▁zur -自 -nd -ful -カ -▁là -▁government -▁Do -钱 -▁، -му -nu -▁play -▁remember -▁land -▁bed -▁vous -ere -▁plus -知道 -两 -带 -真 -▁fast -ish -ning -快 -身 -▁fell -▁dark -▁held -时间 -rs -定 -им -▁As -▁started -▁lost -op -主 -▁hi -▁como -爱 -▁ت -▁answer -▁Was -一下 -▁bar -▁один -tor -します -gan -▁cost -ная -▁fa -nya -ang -▁сто -ой -▁early -ari -min -ご -▁müssen -su -▁ground -lin -▁answered -▁ago -red -▁anderen -▁lay -明 -▁Vi -▁ў -▁Ba -con -▁stand -正 -▁但 -安 -知 -加 -▁под -合 -▁selbst -谁 -起 -han -▁они -▁em -ра -▁Ha -ç -] -tt -vu -五 -▁truth -▁Ka -美 -▁mar -ot -ド -▁мне -看到 -▁alles -流 -▁denke -▁try -ac -iz -ait -人们 -ker -cy -ru -▁clear -ко -同 -▁Leute -▁working -克 -▁Ne -▁front -▁towards -▁replied -ト -port -▁taking -▁Ihnen -▁viele -火 -然后 -▁же -怎么 -her -え -র -▁further -等 -那么 -day -的话 -ин -叫 -▁Dinge -▁fine -▁ad -市 -வ -▁kon -▁ну -ам -只是 -om -▁zurück -▁trying -." -tan -ism -▁law -O -▁town -▁было -▁для -感 -▁fear -ff -▁Da -门 -lle -ez -B -全 -气 -これ -にも -▁его -ini -ern -まで -ire -目 -▁ты -真的 -ラ -; -▁thank -▁со -▁table -are -▁ye -؟ -▁Y -使用 -中国 -▁есть -▁third -▁church -▁dieses -▁expect -ú -作 -います -ex -▁Du -▁art -平 -▁Sa -▁diesen -ный -▁sun -▁doubt -▁бы -▁return -qui -▁system -▁pay -ap -▁sin -▁era -▁[ -ü -ance -のは -▁plan -도 -め -▁maybe -▁soul -ர் -コ -野 -▁dr -ita -tre -ina -ло -▁muss -▁الم -sen -通 -▁aan -请 -▁sound -ring -▁거 -ند -one -▁Wie -南 -▁beautiful -▁seems -見 -ах -▁week -▁brother -▁два -▁با -▁kept -sha -時 -elle -あ -ary -gar -▁certainly -▁continued -▁comes -▁P -▁top -▁position -ча -어 -20 -sto -▁там -ит -▁gu -▁нас -K -▁suddenly -▁seven -▁thinking -▁А -している -에 -ab -▁wish -▁talking -▁ready -▁Mi -▁master -F -▁service -自己的 -ন -▁evening -しています -▁view -▁cap -▁thy -那些 -▁nie -ک -▁ما -sel -▁subject -通过 -▁Per -... -应该 -▁Ta -▁eines -▁cold -ure -és -pi -▁dé -文 -▁longer -▁letter -▁cause -▁Ro -▁happened -kin -生活 -ды -▁deep -▁nous -▁если -dan -▁common -ding -立 -使 -▁happy -▁post -van -▁zij -bel -でした -ン -tar -▁дом -▁ca -んで -▁low -▁arm -区 -▁gi -▁cu -动 -▁pass -ти -ни -то -ble -▁interest -▁dit -格 -ah -▁schon -cia -ix -这么 -ê -igen -▁ihnen -只 -▁john -米 -une -▁Ihre -▁manner -▁living -ies -▁To -它们 -声 -து -ama -▁natural -ある -送 -いて -▁hold -▁thirty -▁eight -▁「 -▁б -▁Welt -mp -研究 -▁spirit -fi -▁months -された -▁river -▁அ -ين -▁unsere -出来 -▁husband -▁watch -G -ক -▁capital -ite -sh -店 -不会 -mal -ris -问 -▁road -意 -住 -▁rose -▁fi -los -▁guess -val -总 -▁Ab -的是 -▁seeing -▁support -喜欢 -ня -ной -▁result -ub -▁Ni -有一个 -我想 -原 -▁You -▁value -во -ط -▁deal -▁meet -▁results -号 -▁wurden -長 -bra -今天 -tic -木 -不能 -▁street -次 -希望 -▁vol -情 -给我 -▁green -ар -▁denn -▁social -▁hours -或者 -科 -▁returned -▁cut -ил -▁experience -vis -ian -ون -len -▁sub -ungen -▁strange -ud -元 -▁werde -戦 -кі -いる -ая -是的 -▁whatever -▁einige -▁sight -之前 -▁mein -公司 -半 -的事情 -▁drei -言 -▁doesn -公 -ischen -car -▁その -▁Aus -ей -те -也是 -是一个 -▁să -▁fair -▁У -▁terms -▁food -気 -▁minutes -ef -的东西 -▁seiner -▁아 -能够 -ль -خ -▁ex -ons -sche -▁Te -▁court -▁process -ナ -tel -▁account -发现 -该 -品 -林 -▁received -▁blood -▁меня -ных -ence -ag -D -▁followed -▁Ra -▁ho -▁Mo -干 -▁pri -ロ -张 -がある -ò -▁feeling -ну -ici -▁Co -州 -觉得 -▁particular -las -ல் -マ -▁Di -▁makes -ні -lie -▁はい -▁yo -▁due -他们的 -▁move -▁یک -▁english -第 -line -ā -女 -▁أن -▁mais -▁seem -讲 -代 -八 -▁Vor -ende -▁damit -ما -线 -▁act -▁beyond -ria -れ -nen -▁captain -zer -▁single -▁hair -▁об -té -▁arms -▁spoke -▁They -tra -▁suppose -▁có -tas -க் -ர -▁self -▁Also -▁information -▁data -▁simple -وا -ста -之后 -ша -▁wild -▁horse -ige -▁R -还有 -一点 -M -king -▁tried -▁sleep -č -相 -▁mine -을 -石 -ée -社会 -ndo -色 -_ -mes -量 -人が -神 -▁wrong -大家 -▁effect -▁wind -▁history -▁sit -▁yourself -ور -才 -集 -▁eye -球 -理 -▁walk -▁fifty -ブ -▁states -军 -cer -▁foot -▁Um -们 -レ -hu -cht -▁очень -台 -だけ -じ -形 -▁inter -▁Les -▁problem -gri -▁although -▁fer -▁maar -こ -空 -ме -不要 -▁gold -ische -N -找 -▁G -▁mo -fu -▁这是 -ura -mente -ally -▁F -关于 -北 -if -很多 -î -▁space -ست -▁когда -▁period -なかった -▁ei -所有 -▁könnte -ています -んです -▁glad -こと -タ -▁weiß -六 -▁example -▁двадцать -▁stop -▁stuff -私 -▁els -ron -▁reached -认为 -▁doctor -ę -政府 -让我 -▁none -nde -ano -ම -▁daughter -▁send -▁force -のか -use -进 -tter -▁chance -ras -▁attention -че -见 -▁W -买 -▁fall -▁pot -教 -ম -room -▁Man -ş -について -▁она -▁blue -▁exactly -ale -如果 -▁New -东西 -né -▁dir -時間 -▁Ku -▁camp -▁stay -wer -▁party -▁Si -▁especially -ض -完全 -川 -wn -af -ando -fen -ди -▁character -▁dich -▁except -вер -布 -▁please -my -ок -▁Pa -そう -▁Als -▁share -▁hatten -ия -フ -事情 -▁Leben -▁higher -▁tôi -阿 -何か -ement -受 -になる -▁mis -▁outside -▁following -▁hu -▁level -▁Me -ные -▁geht -信 -ру -▁couple -▁lui -▁necessary -ok -▁Auf -ele -器 -给你 -卡 -味 -やっぱり -起来 -це -话 -▁instead -▁và -▁opportunity -▁carried -▁nun -eg -nk -▁appeared -▁toward -食 -如何 -▁gab -cho -▁respect -风 -ati -▁south -▁Teil -美国 -シ -▁added -ž -▁window -▁如果 -nda -正在 -▁او -är -ன் -ö -▁control -ating -もの -▁england -ор -ф -за -▁seinen -▁пере -▁nine -па -▁questions -ই -成为 -越 -オ -▁ought -期 -▁más -▁save -九 -朝 -del -ць -▁Mu -▁late -▁lower -▁нь -民 -ira -以后 -▁lived -▁health -▁knowledge -▁ke -▁Lo -写 -▁што -ns -▁нет -▁现在 -res -са -▁customers -▁tra -он -嘛 -▁dollars -ый -ё -▁Mae -▁Bo -▁gehen -cha -▁wat -▁Po -र -歌 -▁opened -ks -ار -取 -▁Im -chi -▁miles -▁grand -eth -let -また -少 -▁haar -ている -▁pen -▁wall -ach -க்க -▁è -学校 -选择 -▁comp -▁eighteen -▁step -▁easy -tur -哪 -heit -ば -▁quickly -don -▁Mal -mar -▁wait -ging -书 -っていう -ky -回来 -员 -eur -ба -▁Pro -城 -▁Bi -ien -▁neither -▁уже -ре -tal -▁fellow -ise -▁group -▁product -lla -▁Ri -ام -人の -▁building -▁чтобы -ide -▁因为 -▁goes -▁north -▁chi -▁jeung -▁Z -▁vielleicht -▁music -ு -一种 -▁main -▁три -una -▁paper -周 -ри -▁bright -▁beginning -க -ным -out -▁V -ры -tin -几 -▁hall -L -▁ningal -▁wonder -▁diwawancara -▁forth -▁olohok -▁office -▁christ -▁sweet -▁möchte -ミ -後 -ذ -▁wollen -stre -stand -▁ihren -ities -H -ned -yi -▁var -▁wäre -▁figure -▁mhm -▁Ki -为什么 -▁entre -▁nearly -▁ran -▁dipoto -ன -▁wartawan -▁avec -▁forty -任何 -制 -▁пра -十 -kt -在这里 -ке -▁team -ali -time -▁mon -ida -夜 -清 -bre -进行 -▁Mann -lor -med -的一个 -▁ganz -ج -دا -由 -▁bien -机 -本当に -拿 -と思います -近 -▁Con -大学 -▁kam -ğ -ges -wy -▁rich -直 -ийн -▁interesting -的な -▁Mit -ду -▁There -▁local -▁konnte -или -▁sollte -急 -▁Am -波 -特别 -▁purpose -其他 -倒 -mon -▁este -▁lives -ல -ということです -▁будет -ан -▁daß -的地方 -▁Ad -ту -ville -▁key -kel -pan -ص -巴 -▁một -村 -得到 -表 -od -ert -▁heute -けど -ল -▁Com -▁근데 -ça -解 -▁game -接 -▁news -▁peace -▁weiter -ய -▁pleasure -sti -▁darüber -for -▁situation -▁learn -▁ou -▁ihrer -局 -笑 -▁lie -▁안 -バ -是什么 -tie -▁على -▁silence -▁grow -R -是不是 -30 -▁sister -tri -▁sei -安全 -ther -த -▁class -ید -音 -派 -甚至 -▁zoo -▁pan -▁moved -▁strength -ib -ili -▁sta -ということで -▁modern -▁success -ante -side -雪 -▁secret -log -▁Va -ł -君 -初 -哥 -▁dog -▁follow -指 -ani -cher -се -船 -切 -继续 -▁board -男 -▁comme -▁ru -▁mag -提供 -▁뭐 -vel -古 -nes -U -▁och -▁davon -다 -中的 -国家 -雨 -来说 -▁french -ッ -早 -▁gegen -ро -mit -lichen -▁middle -两个 -▁project -▁С -lang -▁uit -▁afraid -どう -ía -▁eat -▁expected -▁dar -cal -への -▁bear -む -实际上 -管 -غ -nce -落 -▁Я -よく -▁performance -▁Arbeit -っ -难 -ца -▁wouldn -▁ara -tte -▁army -こう -▁entered -uri -到了 -mas -字 -▁spring -▁fit -▁Ho -mor -ize -如此 -ier -▁impact -▁object -七 -帮助 -▁national -can -▁drive -rea -▁cool -▁private -片 -” -▁difficult -在一起 -咱们 -土 -曲 -▁joy -ized -ப் -ү -▁standing -其实 -▁progress -▁trouble -低 -▁floor -tres -▁pu -選手 -▁только -東京 -▁ship -▁Nun -かな -哈 -▁Su -▁break -чи -一直 -命 -form -▁mai -ول -▁zusammen -ئ -ple -▁av -▁cho -エ -ズ -▁provide -救 -pen -▁She -ами -▁happen -ving -病 -▁din -感じ -作为 -zeit -活 -になって -▁nice -ウ -▁ways -▁american -▁everybody -▁special -▁smile -же -▁major -率 -▁ju -sse -▁chief -▁hem -理解 -一起 -およそ -处 -▁sont -ত -▁distance -罗 -▁И -看看 -чы -电 -ció -vin -▁prince -▁dies -▁sign -لا -▁fight -▁greater -▁That -ен -▁mouth -朋友 -▁Jahren -dig -ido -▁kein -▁consider -▁demand -ව -反 -▁sitting -ого -▁written -▁lang -▁oku -▁Wa -ní -cla -▁remain -▁couldn -李 -art -dd -▁Eine -은 -街 -场 -▁design -▁spot -▁потому -house -cken -不知道 -▁vom -すると -▁length -nis -win -▁ба -〉 -▁job -▁пять -すごい -ship -岁 -hen -▁heaven -де -ა -san -必须 -河 -▁books -条 -▁final -of -▁grew -▁base -一次 -ие -▁walked -▁isn -▁increase -官 -▁просто -奥 -▁society -▁amount -▁On -断 -ero -cur -гу -▁trees -▁program -▁これ -ې -▁был -न -有点 -ى -▁ம -ations -â -iza -▁faith -vor -▁heavy -▁immediately -▁battle -▁president -ین -▁financial -▁What -▁〈 -のが -▁dort -▁четыре -▁running -▁begin -▁рас -par -間 -サ -▁personal -へ -▁action -ха -wan -▁cor -▁тридцать -sie -▁places -▁development -▁visit -▁во -▁train -▁eu -▁mary -▁learned -▁không -▁write -▁cre -▁ohne -ですよね -▁Gu -ст -一个人 -东 -最近 -首 -ется -▁darauf -nas -▁hot -さんが -▁died -地方 -支持 -ую -▁laid -▁perfect -她的 -ces -ries -▁queen -工 -却 -そして -▁Ar -决定 -できる -▁einmal -서 -足 -▁command -▁safe -ии -yu -される -▁slowly -连 -dra -ә -▁price -▁Ti -▁super -玩 -ı -▁Mar -ий -▁quick -▁wood -▁glaube -▁сейчас -▁add -女性 -ram -ndi -▁estis -liche -▁build -只有 -实 -っている -▁sales -▁nga -▁Zu -▁stopped -ą -队 -dro -▁sobre -キ -森 -▁嗯 -▁finally -红 -思 -nia -▁various -▁conversation -差 -当然 -▁color -▁changed -▁age -推 -ө -цы -▁married -远 -▁west -▁caught -mm -酒 -▁gentleman -vid -深 -mus -▁més -▁cette -lik -战 -▁hast -clock -uch -所有的 -强 -ве -▁или -▁film -▁desire -shi -mel -▁straight -▁study -ins -メ -▁pi -isi -▁может -вы -▁model -▁warm -▁ging -rie -sion -▁которые -▁tree -当时 -▁ill -த்த -▁cross -▁hay -▁ад -dem -▁built -▁Land -▁science -▁бол -▁J -▁bra -ட -ans -亚 -ところ -▁danger -商 -努力 -ska -▁kwa -啦 -每 -▁talked -▁remained -部分 -老师 -士 -室 -变 -sis -番 -▁paar -schen -▁giving -gang -話 -そうです -▁gonna -▁All -pp -ité -▁quiet -让我们 -▁rate -ного -转 -▁york -▁meiner -热 -▁их -rus -チ -▁الأ -ɣ -▁tre -我是 -事件 -▁wrote -▁picture -▁loved -ip -yan -аў -▁Diese -ps -整个 -▁Ur -▁tr -▁Ko -▁snow -▁gemacht -▁waiting -▁uncle -ث -tive -▁семь -肉 -▁那么 -▁fort -▁yang -▁race -ito -失 -▁nichts -▁For -▁london -▁кто -мо -▁これは -▁minute -ать -ino -▁boys -报 -ski -бы -千 -▁dinner -til -▁gar -▁march -ය -хо -房 -▁fourth -rem -边 -▁works -▁sprechen -▁broken -tus -关 -▁tatsächlich -ち -▁below -有什么 -▁đ -ties -感觉 -ona -▁piece -xi -▁similar -より -▁according -保 -▁simply -最后 -▁trust -往 -达 -なく -ம -▁seinem -ḥ -▁regard -ug -▁hardly -如果你 -▁zwischen -▁direction -▁seu -▁drew -世 -lä -▁mil -сан -▁brain -▁corner -真正 -cle -种 -以上 -关系 -▁using -这里 -▁summer -اس -▁buy -ich -▁language -▁Ke -▁impossible -▁sus -不同 -چ -ше -eren -▁Tu -▁bon -权 -▁hätte -ade -▁Tag -▁beauty -▁lips -ue -画 -第一 -▁evil -▁Now -õ -单 -▁france -▁garden -▁بود -▁month -bil -▁station -ec -さんの -ev -进入 -▁lead -ré -int -包 -県 -sco -기 -▁Ga -gehen -▁denen -▁presence -amente -▁girls -▁opinion -▁touch -dia -そういう -▁gran -的问题 -▁fresh -▁آن -过去 -▁united -系统 -field -▁Hu -gra -야 -rit -▁mas -▁political -▁showed -とは -ят -fo -یم -▁ма -▁г -ser -▁looks -ться -眼 -ず -▁Frage -以及 -را -▁vier -▁나 -▁гэта -▁placed -ney -パ -pu -▁brown -冷 -発 -▁сорок -ал -cra -根 -met -▁Pe -ato -▁我想 -星 -ava -ción -▁growing -ei -ions -省 -▁risk -了一个 -▁că -▁В -▁sick -ツ -▁bank -▁переулок -▁current -▁decided -▁soft -▁village -板 -ですが -夫 -我就 -今年 -ব -▁filled -cent -青 -好的 -▁hit -実 -▁еще -▁speaking -nh -ih -ют -▁dazu -ice -گ -其 -图 -ral -น -V -▁вас -ර -▁hin -▁Hi -▁Ca -▁led -来了 -kon -▁ஆ -ou -▁برای -装 -schaft -▁wasn -▁cent -▁har -▁muri -iti -эр -▁weeks -上的 -找到 -▁zich -▁pero -非 -well -▁inside -ial -like -▁Sta -▁Ihr -▁writing -berg -▁mentioned -在那里 -▁expression -出去 -▁trade -脚 -▁born -fin -▁pain -▁á -▁worked -ika -風 -ament -比较 -交 -▁twelve -这样的 -▁type -▁cy -ده -▁kan -▁Jahre -▁revenue -nte -▁rain -▁serve -ова -ute -▁reach -よね -▁H -oli -▁meant -▁würden -har -妈妈 -▁direct -▁இ -ң -やって -▁plain -▁för -▁Ru -▁pleased -▁win -▁winter -▁influence -▁parts -▁doch -isch -kat -uk -▁mij -▁Lu -車 -你可以 -▁naar -▁worth -via -这一 -▁community -▁thoughts -突然 -》 -包括 -▁kommen -hin -▁しかし -▁raised -▁wide -▁col -▁große -▁của -дзе -eb -传 -リー -▁haven -▁chair -▁bri -▁field -fall -亲 -▁umu -松 -里面 -wood -存在 -让你 -皮 -零 -▁boat -▁forget -bro -▁exclaimed -代表 -uka -ded -听到 -11 -血 -ут -▁carry -▁chúng -mmer -mis -das -华 -别人 -ió -▁Geschichte -ford -bb -▁broad -▁od -▁paid -▁likely -▁condition -▁ersten -▁afternoon -以前 -▁someone -▁grave -▁și -put -ای -▁genau -々 -▁dream -сы -▁Fa -ых -න -▁мо -▁На -说话 -ком -▁ourselves -▁waar -ô -草 -▁band -我觉得 -▁content -▁wenig -ora -自然 -家庭 -方面 -ে -黑 -▁imp -▁industry -▁terrible -dos -尼 -ым -rig -▁report -▁somebody -要求 -▁allowed -さんは -▁path -rá -▁pale -那里 -▁appearance -ssen -▁mark -▁worden -umu -よう -学生 -ments -мен -院 -▁க -أ -sur -円 -▁journey -жа -▁usually -▁دو -卖 -ную -ves -ите -gli -的方式 -だと -调 -▁listen -警察 -び -wen -▁Frau -兰 -tik -グ -ī -温 -50 -線 -んですよ -▁vast -يا -▁anar -▁material -ە -▁generally -ට -▁fait -▁enemy -пер -▁area -▁struck -dar -aient -重要 -tir -▁rock -ような -喝 -的に -▁shot -ると -▁finden -▁sorry -▁gra -▁evidence -▁آ -া -ний -我认为 -ход -ula -sam -了解 -▁daran -wu -uma -▁Gi -▁Nach -いました -ков -▁easily -件 -▁individual -节 -▁duty -座 -▁tout -mie -过来 -▁những -▁unless -まだ -它的 -ু -ros -▁bill -▁fifteen -heid -mann -▁Her -lt -成功 -iv -pri -اد -iya -それ -lia -▁laughed -▁шесть -▁надо -▁clean -▁normal -sar -▁ن -▁tea -ala -▁kar -ami -var -ながら -恩 -oc -▁gesagt -llen -是否 -▁meeting -纳 -▁create -▁ஒரு -ҡ -▁Dann -▁ré -▁products -▁Et -▁вам -tis -▁fun -▁während -了吗 -▁focus -ses -あの -▁fond -▁sí -んですけど -あと -▁star -▁Weise -健康 -▁considered -َ -▁não -油 -स -せ -んですね -▁Weg -▁broke -stra -▁moving -▁sah -set -▁быть -此 -▁leaving -▁supposed -stan -ぶ -▁million -▁services -ひ -▁charge -▁ber -▁drink -▁test -ская -▁enter -▁gerade -技术 -▁sudden -式 -wr -ги -ista -▁wonderful -त -▁season -▁어 -", -▁difference -▁jo -▁আ -未 -اء -▁knows -▁geben -▁rep -きました -ified -为了 -leg -iri -▁mad -▁positive -▁grace -▁пры -dri -▁stone -なんか -▁spent -我在 -▁everyone -W -als -られる -ē -▁bat -▁Kinder -修 -方法 -э -▁principal -怎么样 -▁sagt -▁iron -dor -pt -▁том -ก -坐 -▁Ve -アメリカ -▁ball -▁fünf -▁Jo -▁Fall -ped -▁energy -▁sixty -▁honor -雷 -ius -لی -▁min -رو -ジ -▁ganze -▁بر -というのは -间 -чу -▁ப -▁imagine -zar -ţi -▁covered -▁exist -人的 -▁latter -▁receive -▁wollte -▁cast -任 -▁daar -不同的 -nor -▁moral -vers -▁global -▁fo -▁esta -pro -強 -eu -ように -たい -تر -▁natürlich -ぐらい -bed -сти -uru -▁allow -ே -▁closed -▁cases -离 -nos -▁bound -ஸ் -but -把它 -▁kun -▁shut -左 -▁dafür -▁arrived -▁huge -pf -▁technology -▁besides -▁term -ா -ット -ことが -ph -自由 -改变 -▁Kon -服务 -二十 -ニ -许多 -注意 -ろ -ay -▁At -cin -▁entirely -▁tears -ですか -ojn -教育 -▁particularly -▁pod -▁девять -有人 -ey -▁hill -直接 -试图 -▁ل -▁großen -ão -▁Ze -▁而且 -ella -▁actual -looking -ata -bli -по -のです -all -▁І -方式 -状況 -ants -▁anti -pre -▁Our -▁turning -ació -しか -هم -学习 -▁ко -一天 -步 -yn -▁lassen -んですが -rt -yon -准备 -ビ -维 -药 -▁cat -ward -▁percent -▁ahead -▁notice -spe -离开 -人类 -▁justice -▁sollten -iga -▁spend -pul -▁significant -▁fest -▁ي -▁needs -收 -hand -ай -ical -▁sand -だから -ட் -лю -▁sky -▁killed -语 -▁dos -▁bak -nder -eva -를 -▁Beispiel -rà -лу -留 -考え -▁holy -宝 -百 -▁Dr -▁Pi -▁Go -ส -▁europe -▁rise -▁animal -های -完 -▁macht -ение -▁jeder -▁labor -▁бо -▁John -▁deux -参加 -▁island -▁kids -▁size -▁occasion -cio -▁beside -ぎ -iki -▁park -ул -illa -ви -og -中心 -され -福 -board -島 -▁jack -▁complete -提 -▁east -▁religion -▁note -ein -▁usual -ture -▁horses -▁police -▁youth -▁unserer -vil -▁uma -▁wise -短 -ハ -ón -ola -角 -tru -▁crowd -▁george -▁welche -▁пред -ḍ -▁gute -▁silent -吉 -兵 -跑 -していた -影响 -ム -qu -▁пятьдесят -查 -▁opportunities -hr -▁tend -lon -▁peter -av -になった -ima -师 -▁education -見て -好好 -▁К -▁« -лен -bert -ți -▁countries -ボ -ably -▁sam -ability -▁нам -你会 -கள் -▁blind -ど -▁trans -40 -▁восемь -▁former -▁مع -vy -nan -▁ただ -▁molt -▁tut -▁су -▁“ -完成 -▁sicher -▁prop -▁noble -▁ubu -▁tax -▁della -▁meinen -lé -mun -案 -mba -客 -▁ziemlich -เ -тор -▁Hand -▁warum -▁lange -ман -▁letters -▁была -▁reading -▁Denn -▁parents -演 -配 -▁Car -rei -▁attack -▁чем -лся -teil -▁surprise -来自 -にある -破 -▁heraus -pon -文化 -走了 -▁aunt -▁needed -▁ngo -▁slow -low -数据 -▁offer -といいます -至 -▁pleasant -▁list -ett -arbeit -罪 -▁entire -ৰ -无法 -uta -▁lines -sent -▁Dies -만 -▁merely -▁cry -▁está -▁ac -ierte -iro -tha -mbo -▁worse -▁pra -待 -kla -▁cha -另一个 -huh -tag -▁unto -があります -▁absolutely -▁marriage -tim -跳 -ened -▁п -sia -算 -▁gesehen -▁ни -▁original -▁этом -nou -▁tall -ネ -▁based -aka -ร -ov -管理 -似乎 -▁ideas -ador -mut -bla -▁этого -我会 -ые -نی -▁هو -▁store -取り -全部 -也不 -▁kandi -获得 -▁somewhat -대 -▁kleine -▁watching -我要 -经济 -▁forest -原因 -▁weak -kommen -ats -問題 -▁takes -шы -总是 -தி -سی -▁steps -▁nog -▁всё -rat -利用 -▁mà -一定 -政治 -▁Or -▁đó -▁members -▁silver -▁discovered -你在 -ге -án -▁ع -割 -า -好了 -▁including -科学 -ский -tta -эл -▁tan -▁property -тер -▁bow -け -▁appear -计划 -gal -itat -通常 -▁draw -飞 -守 -掉 -谷 -未来 -▁serious -▁bottom -ils -rn -night -▁circumstances -▁是的 -vre -▁Geld -اب -▁escape -▁chapter -ét -▁movement -J -▁proud -ell -“ -▁fortune -▁customer -そ -nden -tung -▁iz -лы -▁breath -ů -▁san -满 -▁ph -▁Jahr -werk -发生 -好像 -▁Wo -▁وال -▁thick -▁mountain -党 -tz -可能会 -ū -▁changes -ения -ав -▁sondern -故事 -бо -ი -ந்த -ケ -▁prepared -▁sad -▁Stadt -▁completely -母 -感染 -迪 -▁fish -dis -▁mort -ete -до -▁points -击 -▁besser -▁gw -oni -rwa -▁dels -oma -ев -▁increased -▁bij -▁america -▁Herr -। -▁instant -ica -▁Moment -▁Über -▁где -rin -▁erste -▁named -ரி -如 -モ -▁conditions -停 -▁guard -리 -lic -▁здесь -▁Ya -bit -ис -ස -共 -tek -夏 -ep -ын -ُ -▁mijn -これは -ظ -几乎 -ட்ட -精 -▁effort -▁judge -仍然 -▁habit -▁credit -sim -牛 -▁jesus -江 -▁тем -▁afterwards -ม -▁ok -lung -信息 -追 -▁cal -най -▁sono -皆さん -ное -▁gives -aga -忙 -12 -▁advantage -ně -rum -谈论 -itu -ray -毛 -素 -ret -▁research -▁meaning -ator -▁zou -ці -lay -ック -▁Grund -▁glass -▁nobody -▁video -kle -▁Ende -gy -程 -感到 -イン -养 -හ -▁Ort -▁cash -hir -▁count -▁inform -▁また -▁neue -encia -歳 -lü -▁taste -▁porque -▁box -▁fin -ற -ことを -ân -▁watched -▁college -▁막 -▁York -▁того -▁storm -▁mass -みんな -约 -我们在 -▁weather -拍 -े -å -排 -▁scene -▁laugh -▁dry -▁total -确实 -ということ -zin -对于 -▁beiden -▁memory -▁się -▁Els -▁madame -其中 -15 -তা -mak -▁events -off -▁greatest -тай -▁aba -界 -ping -型 -press -▁Sache -▁speech -▁pick -ados -▁played -▁companies -idad -▁passage -下来 -こんな -▁weg -▁benefit -▁alt -▁War -退 -light -视 -▁economic -▁тут -▁edge -▁international -gue -net -晚上 -照 -医生 -▁Bar -ева -▁record -bol -ロシア -zel -屋 -▁fallen -▁tak -▁animals -超 -ż -ほど -▁تا -odd -▁我是 -▁kill -菜 -ක -ille -ación -ს -今日 -▁app -▁tone -cos -▁shore -▁balance -abo -▁إلى -▁dia -▁solid -ın -香 -勝 -思い -wed -ো -肯定 -zy -ری -ぐ -▁denken -ux -rang -kul -äh -▁spread -kar -ノ -ily -table -▁moon -班 -娘 -端 -ад -over -ua -эн -じゃない -昨日 -なら -wing -服 -die -ще -因 -▁için -▁sharp -tem -いく -▁без -▁jeden -sk -苦 -vad -eta -fre -시 -▁comfort -ப -mb -ɛ -ран -云 -回到 -▁understood -機 -▁الت -▁Haus -称 -树 -ガ -▁ihrem -▁های -▁можно -▁search -iko -тра -vé -费 -▁bag -られた -▁honour -经常 -▁tom -ría -டி -無 -▁casa -洗 -テ -▁bekommen -▁shape -必要 -rent -望 -▁fla -非常に -▁cover -▁даже -井 -員 -换 -▁kommt -ved -ちゃん -武 -是个 -▁exp -▁interested -▁prove -나 -qua -▁ben -全国 -▁believed -▁fixed -म -▁brave -law -▁surface -рэ -▁double -▁reply -場 -प -dir -ني -▁Daten -▁dress -▁Gefühl -от -pped -的时间 -▁song -some -▁sau -▁stock -▁If -मा -▁nó -ara -ย -▁laws -▁square -▁bru -ير -ここ -▁gehört -▁professor -▁emp -▁excited -▁لل -▁Unternehmen -stone -玉 -市场 -▁finding -▁sing -ith -▁environment -gg -▁schnell -enden -gera -最终 -刘 -▁popular -▁ont -▁ancient -স -联系 -asi -帮 -▁royal -右 -▁pie -став -身上 -▁leben -стра -▁seventy -▁parte -个人 -▁throughout -▁Fi -▁いや -▁ces -大きな -ер -▁smoke -求 -bri -基 -ນ -டு -▁markets -▁These -ため -▁lake -0 -▁bal -▁mere -接受 -▁driven -密 -登 -之间 -▁persons -▁người -▁explain -▁seat -▁putting -▁af -鱼 -мы -imi -ார் -▁pos -▁telling -▁час -▁其实 -▁بال -龙 -▁region -▁center -▁Ĝi -系 -▁walls -▁century -▁mor -▁mid -ว -▁club -nel -便 -▁pat -▁range -▁determined -ering -▁Han -▁prevent -▁author -ப்ப -▁sold -呃 -▁எ -音乐 -▁civil -▁bas -com -aŭ -黄 -▁accept -▁stage -din -▁narrow -▁foreign -ob -▁neck -害 -▁رو -▁issue -hor -解决 -发展 -tig -▁production -▁yellow -▁soll -证 -▁ladies -▁hurt -▁perfectly -▁fill -und -各 -tant -法律 -就会 -jen -杀 -ол -告 -их -▁german -▁你知道 -tura -跟我 -付 -▁plant -頭 -▁wel -ина -想要 -大会 -ِ -мі -вед -▁approach -recht -gas -▁access -▁St -▁familiar -▁Ce -去了 -▁proper -常 -▁tri -との -▁hotel -伤 -শ -▁Dar -▁learning -▁Ju -塔 -▁numbers -▁fan -▁bla -bin -ast -とも -rar -有很多 -▁stick -ual -▁hebben -gestellt -▁因此 -ী -pin -ත -▁students -対 -lli -站 -りました -投 -▁wished -▁paris -▁iki -▁offered -▁19 -关注 -▁cloud -тар -▁grass -城市 -سا -rec -ур -war -▁observed -▁هم -▁tam -ii -之一 -▁favor -れば -▁meinem -乱 -ته -▁confidence -▁agree -父 -女人 -cour -?" -でしょう -少し -▁som -twa -osa -ea -▁keinen -له -▁degree -▁который -▁beneath -秋 -▁était -فر -▁mental -▁Problem -work -場所 -tā -eux -biri -▁marry -微 -ün -ged -▁quality -▁Seite -ła -结果 -лись -▁firm -▁baby -奇 -ları -rah -▁clearly -▁oil -做的 -▁promise -▁roman -▁한 -gin -lid -伊 -チーム -れる -100 -ද -▁farm -▁человек -▁finished -ًا -▁darkness -ego -leri -lum -▁clothes -্ -60 -死亡 -久 -مان -цца -保持 -っと -迷 -俺 -▁produce -▁happiness -▁Elle -▁rule -▁کار -是我 -みたいな -▁playing -▁gas -列 -▁шестьдесят -节目 -たら -tet -uz -ane -▁تو -وم -को -家族 -▁golden -▁あっ -相信 -▁உ -▁rein -选 -▁scarcely -▁seit -你就 -几个 -友 -一般 -▁equal -▁knowing -回家 -tern -▁Ex -ச -役 -回答 -果 -▁management -▁lose -ール -ná -▁brand -▁sal -啥 -▁könnten -▁可是 -зна -▁opening -試合 -ター -人生 -morrow -▁drawing -デ -▁operating -▁bạn -▁profit -▁Gra -▁paul -让他 -rak -оч -glo -ette -ß -▁loss -▁stories -▁wine -▁sell -があった -电话 -hm -脸 -▁attempt -▁address -▁bay -uku -町 -▁leaves -▁courage -spir -▁media -▁leading -▁schwer -▁ses -的小 -▁efforts -▁soldiers -▁surely -▁San -hel -lip -rü -iger -▁Hier -ві -pot -电影 -▁är -▁passiert -▁Але -än -▁etwa -他在 -春 -ow -non -▁produced -▁flowers -▁valley -▁earlier -▁Ik -cie -人は -▁holding -▁eigenen -理由 -لي -▁Mr -▁sword -▁supply -bot -▁được -▁weight -副 -▁さあ -주 -网 -视频 -妈 -ி -▁check -▁walking -▁flu -連 -告诉我 -▁Europe -枪 -▁additional -这一点 -ls -▁pla -ிய -助 -pit -▁fra -因为我 -ena -ification -eau -ako -▁choice -による -骨 -бу -▁vain -自分の -▁decision -cing -▁如果你 -背 -▁Б -▁gro -라 -▁powerful -弱 -地区 -лан -陈 -きた -拥有 -東 -这样做 -▁welcome -▁recent -lam -残 -▁happens -▁structure -在这个 -fan -lit -وی -▁formed -▁han -▁speed -ddy -zione -▁meisten -ా -是在 -14 -狗 -lí -로 -▁gli -▁seek -一番 -组织 -rio -▁nation -tat -▁houses -▁travel -▁uz -▁тоже -▁bird -▁passion -▁directly -去年 -▁그냥 -である -ious -lı -mul -вод -▁basis -明天 -прав -▁Can -▁platform -▁як -aire -どんな -的这个 -cker -The -ists -治 -gna -serv -▁threw -▁dropped -▁divine -▁deze -▁그런 -这次 -んですか -读 -▁flat -ง -▁Buch -考 -ир -uza -考虑 -dol -න් -▁deliver -ак -vá -かった -는데 -▁شد -スト -」。 -mat -fully -ugu -hör -▁military -▁letzten -睡 -▁birds -▁sake -▁lying -ください -▁Fe -жи -▁required -▁existence -▁ничего -▁addition -横 -気持ち -▁contract -爸爸 -् -ள -バー -stu -из -bie -бе -▁passing -不了 -try -若 -▁ibi -▁declared -セ -唱 -▁Par -уч -▁конечно -▁эти -▁anybody -身体 -▁coast -aux -tum -きょう -си -▁cri -কে -▁내가 -ныя -▁available -rich -क -建 -18 -▁glance -▁track -▁unser -尽 -▁page -بر -ること -bl -良 -chten -mic -▁understanding -▁orders -▁practice -源 -су -带着 -▁seva -▁wichtig -vas -sin -三个 -bau -zwe -ole -kuru -愿 -人家 -stat -mond -こちら -she -▁你们 -▁william -▁caused -stein -▁christian -ible -ient -▁Mas -▁catch -cas -▁Wasser -▁guy -ction -時に -▁uno -▁vint -脱 -轻 -▁eighty -▁allen -封 -▁şi -▁host -▁fly -▁– -rate -rick -▁Д -gil -uko -▁bedeutet -▁hung -▁ears -▁prison -▁più -▁ф -▁двести -more -例 -▁muy -前に -▁text -▁centre -▁presently -熱 -情况 -▁wahrscheinlich -gle -ポイント -によって -▁Augen -вал -genommen -普 -อ -chan -gre -社区 -▁že -▁này -托 -▁curious -になります -ön -해 -▁larger -jar -▁этот -▁pel -ін -▁shows -▁voi -新的 -つの -geben -类 -夫人 -处理 -ket -▁instance -▁colonel -▁Okay -quer -ungs -▁net -▁indi -比如 -年前 -thi -错 -▁ре -すごく -nne -第二 -▁hath -자 -க்கு -及 -▁pr -这是一个 -首先 -igkeit -▁population -면 -▁pentru -了我 -cen -▁vision -的事 -▁accident -じゃ -▁matters -▁elle -解释 -返 -▁richtig -也许 -群 -व -极 -▁spoken -▁indian -▁kwi -▁coat -▁hearing -っています -▁gets -ざ -nic -级 -▁shown -▁هذا -▁hospital -kes -での -би -ロー -ी -▁officers -▁port -ais -一切 -ग -▁kleinen -▁statements -回去 -▁cro -刚 -▁Bei -데 -ative -▁gre -ним -19 -不好 -办 -乐 -沙 -▁shadow -ہ -▁fool -团 -▁今天 -vert -▁calm -担心 -bye -▁motion -stru -プ -現在 -▁ook -▁faire -▁aux -▁thin -▁basically -まして -▁shook -事故 -保护 -গ -▁henry -▁member -lis -▁thanks -▁aware -▁время -あります -されました -eri -▁opposite -ო -▁pocket -▁task -▁willing -▁successful -فت -秒 -▁bread -uw -চ -▁ama -变得 -▁tem -なので -▁trong -▁extra -▁religious -▁люди -▁strategy -▁Har -یه -▁remains -▁cousin -ус -▁إ -票 -挺 -などの -不用 -ぞ -▁fre -ですよ -‘ -游戏 -▁beat -ese -dde -而不是 -苏 -▁guys -▁Aba -▁central -最高 -それを -ches -jan -容 -▁officer -pic -▁wants -ched -▁related -▁bw -ふ -▁noise -杰 -▁possession -開 -lat -▁pure -そんな -▁Person -造 -▁nti -語 -▁otherwise -▁gray -▁carefully -▁sogar -産 -вид -一年 -项目 -ண -ග -▁thể -kom -ние -ด -個 -▁daily -衣 -▁comment -▁我觉得 -mek -ෙ -ors -咱 -▁10 -穿 -bat -▁areas -mme -vol -ś -▁pres -▁sum -防 -cause -ですから -ற்ற -▁stream -▁今 -▁были -手机 -段 -igi -▁ear -▁scale -▁activity -▁drawn -uh -▁smiled -▁Oder -出现 -控制 -pat -▁conduct -られ -istic -▁ninety -ston -▁surprised -▁са -▁cas -▁engaged -pie -▁你说 -▁Ent -nc -▁fate -動 -相当 -▁policy -你想 -▁Form -▁شما -あった -ரு -▁aid -▁bur -nar -▁repeated -▁jedoch -休 -▁throw -给他 -才能 -▁excellent -結構 -plo -▁event -▁Ben -ign -我们可以 -▁семьдесят -دي -▁больше -渡 -eh -▁apart -快乐 -али -改 -▁neu -▁district -ij -sed -男人 -▁gun -kte -lem -▁versch -应 -▁এ -يد -《 -▁ay -мер -様 -▁Ye -层 -▁fue -dat -饭 -ismus -kä -▁spite -▁dire -▁skin -▁castle -sz -hl -▁خ -▁bil -▁My -lig -▁digital -已 -▁dick -ும் -▁monsieur -▁species -▁О -iku -▁machine -愛 -▁reform -▁gentlemen -▁fur -16 -▁regular -ши -far -ु -▁mountains -▁fat -ć -ас -▁på -▁fruit -ierung -▁correct -直到 -分享 -▁difficulty -▁نه -こちらの -ি -▁Spiel -▁image -setzen -▁review -▁todo -▁getan -楼 -об -heim -ım -▁hoe -ï -ດ -вар -▁advance -放在 -dic -底 -▁reality -根据 -▁portion -強い -sor -ска -▁ausge -▁commercial -▁created -▁spa -不想 -tí -če -▁还有 -ela -ном -▁temple -同じ -ポ -▁anyone -姐 -▁보 -持 -▁keeping -udi -▁message -看着 -ල -数字 -row -یت -▁später -isa -并不 -上帝 -▁crime -▁forced -▁noticed -▁tired -▁choose -▁pieces -▁đã -想象 -ソ -place -活动 -▁creature -dom -▁union -茶 -父母 -更多的 -兄弟 -legen -▁wahr -25 -初めて -кой -fra -ques -anya -我说 -ник -没事 -ずっと -▁proved -▁plans -gh -▁legal -每个 -▁improve -لو -▁pride -▁bevor -午後 -组 -▁erhalten -▁знаю -ゴ -hy -▁عن -▁ту -▁كان -아 -大人 -nem -▁suffering -rad -楽 -▁Well -▁кон -▁duke -ダ -▁served -▁sol -ša -пи -我可以 -ys -ạ -yle -小姐 -▁dachte -fel -▁obviously -再次 -▁suit -▁fully -▁frank -作品 -▁Kar -ピ -性的 -kim -双 -こういう -▁bridge -pus -mont -▁eh -除 -▁res -▁mention -▁sounds -されている -ێ -有些 -限 -情報 -▁لا -its -▁blow -精神 -做了 -▁été -▁然而 -▁だから -nye -kwa -▁peculiar -ore -▁burst -▁planet -▁faint -▁jemand -样 -сто -伯 -▁nineteen -▁tur -▁asking -▁pounds -▁bringen -んですよね -▁allem -的工作 -bona -ري -▁starting -明白 -ヤ -▁press -款 -▁avait -▁pray -圣 -可能性 -▁gij -紧 -▁height -女孩 -告诉 -nova -kir -eɣ -梅 -parti -▁bereits -▁att -▁අ -wel -▁david -▁Thank -▁measure -▁date -▁진짜 -▁nom -fru -痛 -stro -gt -引 -てる -hood -নি -dal -▁forma -我也 -余 -ิ -▁servant -结 -ங்க -fle -▁stranger -ву -wana -17 -▁Frauen -▁blo -ric -▁Tom -auf -ней -▁enjoy -料 -書 -한 -してる -▁Unter -▁moi -wie -nni -他说 -▁Nu -▁names -ult -▁provided -▁breast -vez -政策 -▁palace -となる -大约 -ल -লে -▁costs -▁tap -тан -amu -男性 -而且 -▁devil -▁freedom -▁charles -ھ -存 -▁authority -bone -mble -▁defend -▁hoch -pens -▁бар -▁reasons -しい -业 -▁Sam -▁sechs -ません -▁fancy -▁fashion -毒 -ос -▁intention -▁alive -倍 -py -静 -今回 -▁pair -设计 -▁impression -儿子 -ör -▁sex -伦 -ellen -▁cyane -▁desert -▁gentle -认识 -▁bell -ۆ -잖아 -ала -多少 -压 -都有 -▁style -ṛ -▁forms -▁anxious -▁teach -哦 -词 -▁Pu -更多 -vent -的生活 -▁genug -怕 -很好 -род -voll -▁sup -▁Menge -假 -方向 -mark -▁circle -▁weit -▁тебя -ddi -cul -自分 -▁twice -তে -政 -قا -▁ordered -▁gla -▁mer -▁honest -▁сказал -のお -▁Zi -▁stra -▁possibly -▁angry -▁س -▁council -sol -loo -dam -▁vida -能力 -gara -ši -▁brief -▁کرد -eln -基本 -▁лет -ró -打开 -▁20 -犯 -nik -br -▁leur -▁gy -mine -ration -uli -▁ocean -▁origin -▁Sant -▁З -▁geen -icht -英国 -▁patient -▁ordinary -▁bent -ැ -▁british -alt -▁ای -▁importance -▁qua -▁són -喜 -vie -▁яго -多くの -▁legs -ство -ния -kins -▁university -long -▁вопрос -▁eigentlich -▁юм -▁hören -好吧 -shed -lijk -rag -姆 -令人 -인 -结婚 -▁rising -дер -leid -▁Vater -▁culture -▁或者 -▁tongue -▁murder -els -はい -200 -当中 -▁Kopf -arm -▁somewhere -▁volume -▁heads -ega -▁qual -▁với -گر -nnen -清楚 -▁safety -halt -▁ganzen -কা -▁zo -ades -支 -pend -同时 -嗯 -스 -▁Mutter -激 -選 -تی -сть -ví -pet -▁problems -▁agreed -▁physical -▁investment -内容 -▁truly -gus -wal -▁row -わけ -ि -▁security -iĝis -hab -ээ -▁fe -▁тебе -ology -▁hate -▁shoulder -▁forgotten -ord -▁breakfast -▁rode -пла -▁seventeen -▁那你 -▁taught -▁ему -你是 -▁roof -vir -▁aim -▁cook -迫 -tä -▁med -▁mistake -▁promised -▁много -▁dance -运动 -▁сам -▁Cha -されています -pun -ود -▁China -ыш -▁join -še -geb -感谢 -▁versuchen -▁waited -elijk -▁exercise -▁roll -ight -uda -▁ability -▁anne -rou -▁altogether -▁dare -izi -▁remembered -plan -息 -нов -氏 -гүй -люб -主要 -▁Jetzt -▁kor -▁би -▁calling -fl -▁làm -▁Ch -lent -▁fingers -▁dangerous -சி -▁weniger -▁hart -不可 -▁feelings -аль -▁Tra -▁kuri -▁target -வா -ていた -▁потом -old -三十 -▁tent -▁salt -part -质 -jn -けれども -▁failed -这不是 -▁glory -ule -每天 -از -▁восемьдесят -永远 -▁chose -uit -▁そう -اق -▁бу -曾经 -▁streets -汉 -கி -▁specific -nje -▁wil -раз -関係 -any -を見 -▁вообще -tch -▁terror -tausend -すること -一位 -税 -▁bist -ға -跟你 -▁empty -lief -景 -▁helped -▁method -▁james -刚刚 -▁vielen -zon -uni -bili -jā -stellen -▁rot -▁quietly -bon -ねえ -▁famous -pping -パー -rim -社 -gor -▁drop -一条 -▁fil -▁auto -调查 -urs -▁express -zig -▁grant -ziehen -▁active -都会 -消 -▁wear -▁после -bal -婚 -亮 -▁байна -iye -▁пре -য় -▁princess -▁limit -后来 -万円 -ld -▁ха -ło -▁wij -生命 -keit -の中で -ائ -▁ச -▁bul -探 -▁Für -▁kingdom -cke -▁series -▁sufficient -越来越 -▁busy -▁grown -бор -13 -有一些 -▁Мы -▁aussi -tika -企业 -▁các -行动 -▁issues -wert -bus -▁rapid -зы -告诉你 -ூ -▁Za -▁شده -▁такой -赛 -eli -もある -rz -▁delight -▁sang -なんです -▁struggle -堂 -在我 -▁online -▁그거 -tori -▁explained -ño -軍 -про -▁fault -aw -▁deg -প -ім -rom -▁ended -▁guide -目前 -ート -▁signal -▁heat -či -▁flow -日本の -▁そうですね -phy -nin -念 -旧 -tto -▁aside -▁gr -û -ium -▁그래서 -▁liegt -散 -▁És -▁potential -▁yesterday -▁rights -▁девяносто -▁false -gia -医 -يل -nze -違う -▁pré -▁sorrow -▁highest -医院 -sp -されて -▁hinter -▁Wer -kā -▁extremely -▁Dia -▁experiment -Laughter -иться -▁judgment -网络 -▁exact -▁сегодня -اف -▁fel -▁hell -你说 -aya -绝对 -▁dev -▁verstehen -駅 -▁listening -おいしい -第一次 -的孩子 -▁strike -▁connection -▁sentence -▁income -赤 -居 -ล -▁European -▁kuba -▁pou -▁greatly -▁Па -房子 -▁described -ского -したい -ກ -▁klar -▁recently -萨 -▁priest -旅行 -ి -▁margin -ое -▁pressure -▁touched -▁trial -haus -▁separate -▁network -▁refer -وي -était -tle -▁fix -▁previous -▁sides -요 -出了 -降 -▁companion -uf -uff -спе -洛 -dio -▁때 -▁Fragen -真是 -▁vers -▁де -那种 -▁older -▁disease -▁почему -大的 -▁angel -lá -нем -▁zehn -▁beim -進 -▁settled -হ -oso -ude -▁gay -rung -▁ride -合作 -▁grande -ются -horn -cies -▁becomes -ym -剧 -pla -置 -からの -দ -tom -你要 -▁eleven -▁When -bs -▁людей -▁meer -یا -ْ -▁map -▁gleich -▁apparently -▁naturally -ства -ҙ -那是 -gun -دی -很难 -来的 -▁sage -ime -▁onder -英 -▁гор -▁Prozent -致 -ming -▁superior -aus -tă -▁имени -sem -游 -ウクライナ -▁Lebens -即使 -▁hun -▁intended -▁philip -lio -▁sixteen -сон -▁involved -ыя -эд -ился -▁liked -▁capacity -诺 -まず -轮 -▁vie -▁Ci -iste -wand -ана -▁interview -▁troops -▁Auto -eye -antes -лась -▁même -ées -▁belief -້ -一家 -gem -cara -າ -nal -▁него -▁title -nge -我们将 -参与 -你能 -机会 -除了 -产 -amos -▁bald -▁release -▁corn -谈 -粉 -创造 -親 -冲 -でしょうか -▁ice -▁مت -▁driving -▁stars -щ -rry -▁student -hundert -▁highly -展示 -止 -▁vote -▁shop -ht -nehmen -ande -нд -▁operations -eller -inde -ash -ек -lot -ruh -ա -▁career -ct -▁definitely -▁chamber -▁argument -▁happening -tier -fr -phi -bes -晚 -гийн -▁sans -讨论 -ono -▁admit -抓 -ましょう -olo -zwa -料理 -ila -▁ap -той -収 -ε -▁avoid -burg -▁thrown -vä -実は -校 -ив -によりますと -▁todos -▁contra -架 -▁aller -整 -やはり -▁flo -富 -▁suffer -▁shoulders -认 -▁minister -▁Th -gro -ès -▁match -▁ந -tud -滑 -▁bereit -spiel -tür -俩 -期待 -▁concerned -弄 -▁windows -一定要 -ийг -▁harm -▁cup -ori -hora -末 -বে -ज -ario -▁thousands -▁kennen -тур -লা -▁pointed -▁nay -▁His -get -▁ideal -下去 -它是 -ži -箱 -sing -rd -80 -▁fairly -▁standard -▁ее -只能 -▁nose -的故事 -lus -kal -iamo -▁spiritual -▁해 -▁Pri -田さん -dale -▁carriage -яв -رس -▁verwenden -▁kinds -要是 -▁Gott -呼 -tten -块 -▁loud -▁helfen -▁joined -▁себя -▁bro -吃饭 -▁kid -索 -하는 -报告 -vit -可能是 -▁novel -tain -县 -不管 -▁weitere -gam -ejo -anza -stri -▁claim -reich -▁excuse -த் -வு -复 -叶 -就在 -▁fighting -▁mari -пу -▁ones -▁temps -猫 -▁affairs -gwa -ust -kana -▁wealth -症 -重新 -▁useful -dé -百分之 -▁presented -▁flight -鲁 -kam -灯 -▁grey -cut -▁пад -记 -每个人都 -cz -▁papa -ique -▁fri -rik -できない -▁mix -lock -▁loose -ность -fort -▁Cor -بي -▁niemand -ян -▁cuando -▁prayer -▁faces -pad -bare -歳の -▁debt -▁evidently -abi -▁unseren -▁möglich -まあ -▁suggest -付け -pha -ща -动物 -▁woods -का -你不 -▁Х -vien -▁pull -▁develop -当你 -▁cruel -▁そんな -ità -igung -借 -したら -▁anders -▁ف -بل -மா -令 -dus -因此 -市の -になりました -▁indem -▁Regierung -▁الح -▁average -时代 -شر -▁native -速 -ked -▁ange -▁خود -▁X -▁아니 -▁tin -ි -tü -梦 -hau -ила -тал -愿意 -▁worst -por -வி -じゃないですか -続いて -თ -bwa -wick -ssa -▁lack -表示 -▁considerable -▁нужно -olu -hn -志 -▁trail -ace -rup -▁dogs -勒 -ath -▁suggested -▁torn -パン -▁nos -▁pal -程度 -也有 -ify -▁bid -mwe -eix -慢 -▁raz -ụ -都在 -tent -▁пока -父亲 -贵 -haft -条件 -ск -र् -▁Dan -注目 -▁arbeiten -lichkeit -是谁 -bas -▁gate -▁மற்றும் -▁male -uel -нь -▁dabei -▁sought -▁raise -ters -elles -▁какой -それで -▁이제 -▁gain -的想法 -▁bodies -book -▁wohl -▁それは -ゆ -hind -ыр -▁constant -明日 -▁heb -▁好吧 -威 -心里 -وت -▁sacrifice -然 -▁Männer -普通 -▁labour -产品 -ете -▁bekannt -分析 -込み -看起来 -とき -莫 -▁refused -占 -gé -顿 -comp -しない -▁slightly -▁хорошо -道路 -▁fail -しっかり -▁sheet -招 -▁source -▁Meinung -▁dot -▁Dank -经 -sign -是你 -ening -ум -▁birth -▁també -bury -コン -▁hills -顔 -ui -▁rapidly -▁pur -▁becoming -我知道 -谢谢 -盘 -▁saved -kken -hang -▁поэтому -▁bringing -谢谢你 -▁Nicht -mia -▁tender -▁showing -дел -える -以来 -pal -也没有 -ской -▁computer -নে -ギ -▁virtue -曼 -▁nehmen -ره -硬 -▁unknown -▁tradition -fon -cr -ws -なる -▁finger -▁advanced -inte -мат -句 -сэн -▁Film -到底 -avi -▁papers -▁governor -trag -▁upper -就可以 -▁じゃあ -cé -produ -кам -▁Post -▁audience -たち -anga -切り -با -▁extent -▁peut -▁pin -なぜ -halten -▁solche -▁gift -▁э -endo -側 -▁neuen -லை -▁pity -▁theory -sal -提出 -▁Em -▁¿ -▁alte -場合 -▁division -历史 -▁everywhere -iva -70 -▁Bir -들 -なって -pli -北京 -ization -沉 -▁çok -▁praise -▁cities -term -yer -▁Des -▁Vo -▁portfolio -▁Tre -これから -று -会社 -价 -▁первый -▁dressed -▁Auch -punkt -ел -教授 -▁servants -建立 -▁charm -▁nächsten -▁cell -▁System -ベ -靠 -育 -зи -стр -cept -хи -▁See -▁talent -▁Idee -wir -▁où -你有 -right -ál -魔 -▁кор -射 -▁trip -▁established -ül -▁sua -▁features -▁الس -▁distant -至少 -▁rome -▁Punkt -▁kitchen -ced -ets -都不 -stellung -▁wake -yl -具 -ецца -▁advice -ешь -xa -国内 -なんて -▁quarters -坏 -ibi -না -折 -一百 -▁gewesen -▁occurred -esa -эх -▁Hause -kus -結果 -刀 -ér -▁respond -満 -▁reflect -phe -( -ır -▁moments -▁Park -isten -ワ -ේ -▁yr -▁beg -▁аб -کن -▁mode -▁ذلك -jou -▁forces -家里 -ised -▁committed -▁hy -▁Г -是如何 -ña -zza -判断 -mber -その後 -▁announced -▁Tri -▁quatre -▁bought -дар -уд -ности -空间 -立ち -cro -核 -怪 -刚才 -▁думаю -ständig -main -▁robert -▁discover -ара -▁pace -▁guidance -раб -▁include -業 -▁kiss -mbe -藤 -▁pulled -▁había -▁بعد -cions -言葉 -▁Gesicht -بار -nell -▁darin -сі -恶 -lf -▁teeth -▁How -▁пе -ej -を受け -活動 -▁lamp -24 -▁smart -▁leg -ீ -礼 -rac -▁lovely -pose -きます -বা -த்து -总统 -都没有 -зе -ает -所有这些 -▁card -▁jane -警 -▁facts -dur -▁ankaŭ -▁我就 -mir -身边 -▁sunday -投票 -▁prefer -ră -黒 -ema -▁detail -▁shame -▁oli -電 -마 -▁fut -str -主义 -ож -▁block -บ -▁Cu -世纪 -番組 -航 -▁هذه -▁frei -▁этой -ře -▁closely -▁intelligence -▁erst -卫 -意识到 -ì -▁hang -mma -▁hearts -▁leicht -▁drove -app -nga -нос -支援 -ske -厚 -▁bud -▁அவர் -▁One -进来 -▁afford -back -▁zal -什么时候 -▁whispered -現場 -▁medical -旅 -真正的 -pra -être -kor -▁pop -建议 -tı -増 -ico -▁Warum -▁போ -▁protection -▁details -▁Ol -▁milk -搞 -顶 -eza -いろんな -▁comfortable -ことは -▁Ob -论 -▁section -属 -oon -▁department -ат -▁다 -博 -▁gathered -证明 -▁existing -ން -게 -von -尾 -izing -▁affection -かなり -ech -▁metal -▁liebe -蒙 -sko -ここで -他是 -ür -pé -势 -▁dozen -фи -影 -тро -最好的 -▁secure -lab -▁extraordinary -▁anyway -▁cosa -▁listened -货 -sus -▁brauchen -▁slight -nta -▁Namen -ますね -▁conclusion -▁female -нее -سم -抗 -пол -tos -▁gene -观 -▁laughing -▁represent -▁manage -鬼 -▁syn -▁solo -▁crown -▁handsome -▁Pre -town -▁Video -领 -▁ở -▁heeft -我们有 -延 -▁bitter -▁carrying -一会儿 -▁daha -我有 -▁„ -感情 -▁nurse -ు -胡 -▁smooth -▁iran -▁él -運 -経済 -▁indians -是为了 -sicht -位置 -eḍ -▁donc -▁больш -▁Hal -მ -nek -象 -▁treatment -我已经 -っていうのは -medi -ත් -▁অ -டை -なんだ -ப்பு -▁consideration -▁த -制作 -тэй -tions -不到 -▁appears -ong -дал -的一些 -fini -▁Wissen -▁当然 -今回の -▁developed -宫 -运 -▁careful -新闻 -▁obliged -ế -▁projects -もっと -▁treat -kh -ŝ -ের -▁discussion -▁clar -▁sự -べ -▁về -zie -思考 -▁reward -环境 -ヒ -▁П -kö -▁дело -参 -ボール -гі -冬 -ente -▁resources -▁வி -▁второй -日に -네 -ència -cks -şi -ා -▁independent -▁professional -さらに -▁Is -地说 -各种 -blick -пе -▁staff -▁Raum -iyo -铁 -是因为 -zan -十分 -▁role -阳 -引き -▁тогда -pl -ティ -▁rough -举 -່ -冰 -▁nta -▁jest -▁focused -▁drug -▁mighty -記録 -▁ප -द -fli -aha -ctor -bor -ên -bank -日の -az -ो -▁Q -了吧 -▁transport -hält -▁lies -▁wow -▁schools -wit -▁reg -▁smaller -それは -最大 -▁Woche -▁кол -rap -想到 -ን -▁systems -▁mé -ball -あれ -なかなか -幸福 -cion -のに -▁response -tá -▁compared -▁Mon -▁imagination -▁pare -是吧 -ค -رف -▁200 -nyi -做出 -рав -▁louis -ppen -曾 -会有 -▁realized -каз -▁Wort -▁Chris -▁artist -ção -くる -▁element -sho -▁sieht -归 -说了 -gl -este -تا -ý -gate -einander -dí -ciones -随着 -ต -欢迎 -年代 -uga -岛 -独 -nom -nken -げ -职 -▁kurz -▁permit -尽管 -▁organization -vier -ère -▁extreme -危险 -ژ -fold -▁training -现 -hat -寻找 -▁spr -ings -▁University -行为 -カー -▁Dollar -▁incident -mbi -gon -塞 -▁David -▁instrument -▁hal -star -▁questo -▁rare -でしょ -价值 -▁Schw -嫌 -▁cop -ã -უ -▁organis -把我 -▁Neu -யா -られて -▁cya -ität -▁leader -歩 -仕事 -▁smiling -▁まずは -imo -▁Kind -бер -ం -▁beide -peri -受到 -暗 -▁contrary -▁saint -▁deine -▁treasure -llo -▁hidden -ierten -iyor -▁patients -状態 -▁mess -▁unbe -▁skill -nza -▁eso -▁joe -▁principle -示 -▁realize -领域 -▁EU -▁relief -▁ain -的歌 -يت -▁Pen -ちゃんと -▁arab -فا -مر -▁Che -lim -▁succeeded -pos -▁fleet -wind -өр -同样 -▁measures -豆 -公共 -▁actions -▁temper -жы -▁不过 -һ -▁gan -ayo -ってる -▁carrer -▁liberty -রা -▁ئا -▁setting -оў -ट -▁protect -藏 -我是说 -▁colour -▁более -刺 -▁function -blo -▁estate -▁invest -sid -▁families -▁Sha -ыл -ун -▁wore -nat -▁steht -同意 -劳 -ppe -▁falling -必 -私は -委 -简单 -▁suffered -に対して -тэ -টা -随 -▁Sp -▁frequently -hol -▁somehow -不可能 -十二 -▁partner -itude -▁flesh -▁powers -اع -你看 -▁olarak -▁ships -500 -cus -』 -▁yi -اه -▁ج -唯一 -ист -▁stellen -有时 -▁campaign -uje -『 -▁solution -aron -上了 -ubu -ery -shy -ydd -▁nevertheless -投资 -▁overall -床 -対応 -▁affair -我不 -▁awful -▁Europa -▁như -▁stark -▁begann -▁Recht -▁picked -▁Ihrer -kazi -基本上 -说的 -bia -▁accepted -▁sp -▁request -фе -▁Freund -ency -功 -vari -shaka -▁favour -▁direkt -▁euch -ක් -▁plenty -▁ĉi -有了 -unt -ём -等等 -▁businesses -▁seized -もあります -dien -ów -▁grim -特に -不过 -▁glauben -hal -▁kra -üh -▁conference -▁zeigen -▁motor -▁пера -患者 -юць -▁peu -▁thế -以为 -薬 -sey -产生 -▁faithful -▁satisfied -fic -spect -yor -lly -▁dust -▁dreadful -即 -▁하 -私の -▁うん -▁jim -▁pet -套 -一直在 -에서 -▁funny -viv -股 -weg -cs -▁expressed -▁مو -累 -上げ -mara -▁foundation -аны -ont -▁tip -gul -وس -職 -把他 -さんに -uv -にして -▁Sal -▁remarked -ここに -▁appeal -pel -dul -ं -▁meal -▁Internet -▁bob -▁fields -前の -生物 -▁possess -▁soldier -эт -つけ -▁horror -▁alla -лет -変 -んだよ -▁kal -你也 -veni -还没有 -cri -贝 -می -当我们 -лар -ome -洋 -дан -▁воз -▁ක -gie -吸 -预 -▁excitement -▁거야 -是一种 -▁contact -▁rules -両 -▁mac -▁negative -▁Ist -敢 -▁Гэта -▁connected -▁universal -▁Gar -▁irgendwie -pil -▁majority -▁destroy -▁Los -蒂 -hod -我去 -prob -kol -がありました -▁Den -ோ -▁sé -▁relationship -со -▁bore -▁lifted -编 -tory -▁Körper -▁fu -▁whenever -かもしれない -▁sprang -வே -と思う -了一 -cat -▁我要 -これを -top -汽车 -зі -害怕 -90 -▁iyi -▁With -▁şey -▁qué -▁emperor -▁lock -oh -▁Và -▁flag -▁Reihe -结束 -▁tail -▁pardon -ians -ред -▁proof -▁fal -▁protest -▁parties -地域 -死了 -rian -你必须 -яр -▁rid -▁amazing -kas -మ -nig -袋 -Z -▁hello -ட்டு -ké -кова -▁challenge -但我 -сад -▁Pan -act -isto -我没有 -زی -▁savage -tisch -▁Angst -▁spo -丁 -mise -弹 -我都 -可是 -▁prior -だって -▁West -▁adam -▁nest -我还 -▁resist -▁Antwort -▁rev -▁수 -▁mot -Y -▁இந்த -▁decide -▁wondering -▁phone -▁所以我 -境 -▁crossed -down -疑 -▁radio -母亲 -印象 -▁Saint -▁те -mobil -▁wisdom -▁để -战争 -nna -▁anger -ップ -▁flower -▁Familie -kli -▁zei -مل -▁Не -rze -▁screen -aniran -ington -▁کو -▁frame -食べ -ktor -ange -kü -"" -露 -▁đi -▁occupied -ả -▁それでは -nit -翻 -▁despair -▁washington -five -人に -務 -和你 -▁kunnen -ров -▁demanded -里的 -ose -的名字 -uti -天气 -col -シャ -▁Liebe -бай -▁dawn -烟 -colo -做什么 -▁schi -最初 -▁statement -دار -nam -نى -させて -商品 -까 -band -杨 -position -tage -土地 -▁gerne -▁ghost -谢 -▁пол -▁fundamental -▁managed -池 -治疗 -duc -▁Ihren -人员 -▁enemies -eurs -▁School -▁kur -▁rank -ель -nah -なんですが -fern -▁yer -衣服 -凯 -▁communication -▁agreement -▁marked -treten -ெ -tti -▁Son -бра -共同 -赶 -みたい -▁一方 -▁increasing -य -니까 -▁Let -▁removed -وب -浮 -発表 -有没有 -をして -▁dying -▁slave -关键 -▁remarkable -进去 -▁Krieg -権 -dzi -tó -iş -▁Het -▁теперь -▁supper -▁ari -ஜ -▁cow -न् -他们在 -年の -▁improvement -▁mistress -计 -舞台 -团队 -ු -面前 -ered -▁equally -▁суд -▁jak -iem -▁violence -بی -▁strategic -▁burning -öl -没有人 -今の -くらい -▁шу -liegen -▁très -▁schien -▁However -▁mü -などを -▁poet -▁الك -▁bishop -▁clo -▁deck -お願いします -▁baron -▁Mor -stig -有多 -▁farther -皇 -课 -恋 -кая -ень -▁primer -的声音 -人民 -▁말 -▁regarded -▁Spe -你好 -值 -▁groups -▁asleep -尤其是 -▁Э -組 -пом -▁kom -戴 -▁effective -ት -stin -sky -▁mile -▁verschiedene -▁Alle -யில் -机构 -如果我 -ında -の方 -聞いて -▁educa -jas -▁code -▁kas -▁Cap -stellt -▁Ste -chter -テレビ -▁generation -坐在 -秘密 -од -もし -▁wedi -роз -พ -vita -▁sprach -▁dengan -▁cab -▁describe -▁route -ಿ -▁weißt -▁nahm -ед -いない -▁좀 -grad -▁esto -원 -▁calls -务 -▁deeply -că -انی -▁continues -னை -オリンピック -了很多 -▁meat -お前 -的大 -bul -thy -先ほど -ngu -▁gew -uba -▁pack -сты -wyd -丸 -▁arch -▁播放 -怀疑 -了你 -weise -ага -آ -▁topic -oz -ган -▁herum -看见 -和我 -▁Amerika -移 -▁behold -schau -这个人 -▁inner -营 -▁import -angle -rice -▁capable -гла -女儿 -▁nervous -▁Kra -介绍 -▁flying -熊 -▁hacer -▁chain -唐 -▁minds -がない -whi -妹 -混 -tische -姑娘 -mah -▁acht -▁будзе -地球 -▁أو -▁innocent -gui -run -▁Men -vě -▁software -ffer -背景 -ific -らない -bet -களை -تى -宁 -▁begun -uzi -▁levels -vă -年轻 -▁yield -lap -よりも -▁Informationen -▁بی -▁spirits -▁alarm -▁проезд -▁machte -▁explanation -对我 -不仅 -▁jam -zone -▁younger -র্ -优 -لت -гал -toj -▁hide -▁buried -マン -攻撃 -▁worthy -希 -吹 -▁Commission -▁konnten -ा -▁gods -tors -lama -▁aspect -▁eene -このあと -dum -那样 -▁pred -ison -org -并且 -▁rear -ரா -具体 -▁wave -加入 -клад -▁complex -你现在 -▁Arm -を見て -loc -▁southern -▁mayor -ງ -gs -тель -▁doors -лә -▁citizens -麻 -眼睛 -▁forgive -نت -▁evident -事儿 -人で -帮我 -வை -▁commission -▁site -自身 -▁included -igt -宮 -莉 -不太 -莱 -▁unique -setzt -▁अ -第三 -▁sons -展 -▁dull -pass -▁我说 -▁bottle -容疑者 -▁dari -▁الع -wydd -▁verschiedenen -▁bull -一只 -▁stehen -関 -っていた -▁کا -▁чего -pers -ν -ступ -anda -高い -তো -worth -你还 -▁dim -▁tower -▁millions -▁satisfaction -▁effects -▁rates -▁gener -表明 -▁虽然 -灵 -전 -kuwa -叫做 -下面 -▁cheer -من -کر -领导 -变化 -عد -正常 -第一个 -▁clever -▁treated -▁divers -water -lös -ő -▁rocks -路上 -▁necessity -もちろん -的一部分 -licht -ingly -ۇ -我们会 -yard -了他 -аг -▁ново -oka -▁zero -▁fund -▁Natur -接種 -ridge -▁pipe -老板 -قد -▁figures -丽 -vant -在哪里 -maze -だけで -替 -lah -▁edward -▁shade -人間 -乡 -在他 -nim -ĉ -备 -それが -新しい -▁friendship -oi -ホ -你这 -nud -▁liber -▁sheep -▁вер -▁pictures -义 -▁election -bung -gira -▁Tur -эм -alo -▁attitude -▁них -jes -橋 -▁conscious -že -▁proportion -▁ruin -cil -▁себе -cyo -其他人 -▁document -▁western -▁oo -ез -▁economy -▁twee -cient -ư -▁palm -gua -elli -ств -と思って -raz -▁execution -視 -麦 -ными -▁entrance -食物 -кт -▁manifest -ци -▁perspective -▁nations -▁ху -lea -anti -▁Bre -▁plate -▁desired -ço -ペ -▁alten -▁الب -▁expense -女子 -そこ -vou -目的 -坚持 -▁tiny -voir -▁allein -▁confi -шел -导 -ります -tica -▁gradually -▁Chi -cial -▁pli -壁 -▁mem -tab -会议 -wis -ış -私が -▁smith -一人 -▁obtained -في -▁relation -▁grup -▁gaze -رب -rous -していました -か月 -彩 -rk -许 -hä -▁tour -▁giant -▁perform -いや -▁lad -▁triumph -▁finish -oku -ニュース -艺术 -▁бер -席 -▁всех -やすい -hung -▁mí -jí -▁sail -▁require -▁core -▁einzige -調査 -рам -马上 -▁сказать -影響 -▁wounded -griff -大哥 -▁Tür -完了 -▁Ziel -一场 -一旦 -gent -▁untuk -▁criminal -nny -企業 -▁revolution -还要 -▁mystery -▁mercy -aban -▁constantly -cli -▁teaching -taj -shobora -rod -cast -roll -▁teacher -итель -ologie -bly -▁update -僕 -▁acquaintance -休息 -今月 -▁article -挑战 -▁эта -▁bisschen -某 -▁あの -fri -照顾 -酸 -▁nói -وق -▁sul -▁visible -▁instantly -gegangen -▁dei -▁それ -▁значит -▁versucht -対策 -▁работа -өө -▁через -▁Ed -测试 -护 -year -というのが -▁counsel -сла -ҫ -ですけど -接下来 -▁你看 -難しい -▁tres -实现 -▁триста -last -按 -觉 -宗教 -▁Plan -کی -这么多 -确定 -悪 -▁letzte -ец -▁violent -▁knees -▁knight -在我们 -如果我们 -isha -aria -ını -▁пу -21 -gru -▁nel -▁crack -് -因为他 -ttle -▁splendid -▁richard -▁Mont -▁brilliant -▁assured -script -对你 -rel -▁mill -sca -imu -減 -▁jede -▁какие -责任 -apo -▁être -▁az -补 -就是说 -▁earnings -新たな -▁fragte -ვ -▁necessarily -tiv -▁wit -▁critical -▁harry -一张 -gol -赶紧 -潜 -ではない -cou -一緒に -▁confident -▁lag -本来 -ew -In -лася -言って -建筑 -ާ -上がって -▁multi -ically -▁turns -惊 -ию -▁website -よかった -▁worship -▁unable -▁throat -ӱ -▁grief -lement -ここから -مي -▁relations -iɣ -▁كل -ière -额 -▁published -纸 -dina -▁vis -umi -▁suspicion -陆 -test -▁دارد -ўся -▁sẽ -▁Det -也会 -dad -eten -▁petit -در -জ -我们要 -▁darum -▁maintain -▁director -▁الن -غا -这个问题 -馬 -我很 -aja -▁Paul -库 -fy -▁official -rí -▁delivered -▁cart -▁goed -上面 -▁schön -▁prisoner -enga -让他们 -▁universe -挑 -▁rooms -оп -▁bija -аць -站在 -pper -ایی -▁оста -▁regret -▁differ -▁나는 -даг -▁Col -んですけれども -ene -ந்து -这儿 -トップ -▁mat -言う -▁puis -tail -だろう -▁実は -来到 -起こ -▁tal -▁objection -▁Not -üm -▁reden -我自己 -经历 -▁midst -▁admitted -▁እ -耳 -▁نمی -にかけて -ится -▁threat -ás -▁stronger -ingen -考えて -ხ -كم -Т -▁county -zem -▁halten -遇到 -eff -聊 -▁worry -错误 -fla -观察 -fte -▁proposed -免 -▁hence -▁attend -لة -ume -▁cada -▁nearer -▁Mädchen -联 -大事 -甲 -lassen -өн -▁такое -▁roz -の中 -▁guns -ик -ট -cade -牌 -岡 -▁description -▁Ка -▁lots -ないと -▁web -男孩 -▁잘 -最大的 -اند -争 -▁adalah -рад -▁concerning -▁singing -▁blame -lè -▁affected -▁folks -▁verwendet -kira -ા -fas -▁shock -▁さらに -容易 -ick -日本人 -ously -你自己 -▁possessed -mittel -▁cabin -бі -▁liberal -▁我认为 -▁stones -根本 -缺 -▁engine -graf -vat -▁vice -▁plants -变成 -dung -录 -lerin -▁Bro -唔 -▁mc -dü -▁бул -▁changing -▁scientific -ท -▁immense -▁val -zug -▁sport -▁largest -über -lk -▁magic -▁гар -meter -届 -gger -ე -笔 -▁私は -▁absence -京 -▁absolute -▁дела -லி -cons -媒体 -▁пи -这件事 -原来 -▁wy -丹 -قل -aries -▁Kan -▁conflict -تم -对吗 -府 -▁над -ischer -園 -▁brothers -しく -oth -னி -▁proceeded -▁sem -nak -▁intent -▁کند -▁disappeared -只要 -ово -bag -chte -▁govern -ugh -きのう -秀 -yar -▁mortal -停止 -▁voices -之间的 -▁nächste -ディ -▁Au -▁rue -گی -ප -zz -▁bleiben -▁لم -▁favorite -pak -zähl -▁hoped -▁Nein -▁mae -なり -声音 -▁seated -дет -▁bold -meye -▁affect -▁tempo -ે -▁soil -乔 -宇宙 -ह -镇 -骗 -یک -▁мар -暴 -aan -▁waters -中で -ั -ucht -мет -▁awake -elo -▁expectations -▁sieben -знач -মা -としては -撃 -工具 -usa -记录 -일 -▁arrival -atu -在这 -▁Que -▁hole -ffe -港 -▁coffee -選挙 -gleich -▁studies -幅 -▁gente -嘴 -komp -▁wusste -tric -▁library -增加 -nzi -▁delicate -▁domestic -mina -▁scheme -▁перед -rö -bild -▁profession -▁experienced -▁jedes -▁interests -后面 -▁Kom -经过 -▁elizabeth -enda -プロ -▁vessel -hold -▁eating -▁quando -czy -abil -merk -▁remind -盛 -▁channel -▁Nacht -▁না -有个 -也没 -意思 -▁link -▁تر -▁numerous -zt -のある -今後 -bun -نگ -▁recognized -▁scheint -▁الج -这就是 -рын -▁custom -▁mundo -▁occur -nau -的原因 -所以我 -lect -сці -そうな -▁vez -行业 -▁bath -▁Gehirn -ax -由于 -描述 -▁pol -陪 -▁silk -ort -▁crew -▁Wi -bt -▁frightened -▁всего -现实 -dies -娜 -ザ -▁seines -たくさん -▁えっ -▁hor -我不知道 -▁Bereich -▁ceased -湖 -爹 -▁israel -▁wondered -▁objects -是我们 -▁prime -丝 -▁apartment -▁steel -▁ещё -ただ -我相信 -▁resolved -▁Nor -▁Bur -固 -Al -洞 -▁更に -中央 -舞 -▁china -▁cert -▁Mein -确保 -mini -怀 -▁stepped -依 -▁shelter -▁fourteen -ching -▁bou -▁failure -▁investments -амі -кон -▁christmas -▁signs -看到了 -▁khi -ref -ছে -▁groß -மை -▁committee -autre -▁anywhere -▁organ -▁게 -▁apply -ບ -いません -▁chosen -ook -тә -▁buck -んだけど -음 -▁Wal -ular -erung -優勝 -▁mysterious -▁پر -決め -ĝ -▁friendly -上がり -打ち -rez -▁Abend -▁tous -xe -万人 -▁Энэ -▁кар -ぬ -سل -prav -scher -adi -▁ён -lyn -スター -jun -ை -一部 -බ -thing -▁principles -▁너 -eka -ອ -▁voyage -ラン -nut -最好 -▁rent -方が -▁Tod -▁Staaten -▁دە -奖 -▁majesty -wij -易 -▁tiene -▁закон -麻烦 -▁Rat -过了 -達 -▁حال -传统 -ۈ -iyi -週間 -つく -radi -▁Haupt -hil -▁bet -对不起 -▁prices -▁manchmal -▁manera -习惯 -▁construction -gat -X -的所有 -▁error -抱 -▁està -なくて -▁heißt -weit -我现在 -▁mission -nica -àn -cor -zna -scha -ときに -hui -ago -▁ee -▁herr -模式 -人気 -高兴 -准 -▁为什么 -どこ -стан -学院 -我看 -結 -gne -fahren -▁foolish -枚 -ə -ที่ -ifi -já -homme -检查 -银行 -允许 -дзі -▁pause -▁rief -ො -醒 -uto -というか -টি -list -午前 -▁problema -char -勢 -▁Licht -nov -乗 -▁Pla -▁char -▁internet -▁coach -кан -还没 -enza -▁gently -▁beach -fried -标准 -ñ -▁currently -不行 -▁encore -圈 -ለ -iß -fect -年轻人 -▁College -ọ -▁discovery -▁practical -▁ĝi -电视 -poli -▁oben -命令 -дзя -艾 -▁stands -虽然 -▁besteht -▁Möglichkeit -▁git -▁paused -▁sooner -ksi -▁Mais -unk -▁사 -த்தில் -iden -cc -▁这就是 -زن -名字 -кра -▁trois -您的 -door -刻 -▁mille -ген -スタート -▁cui -▁Will -▁sacred -やり -च -зу -system -▁mud -inter -▁одна -▁quand -dienst -▁hon -แ -这位 -▁blessed -▁pushed -▁reco -瓦 -▁ariko -大多数 -▁наш -▁Wahl -▁reign -장 -air -kum -来看 -دة -▁delay -стро -жу -▁mont -▁fought -seite -ог -▁reported -chester -他就 -gged -▁bare -▁sigh -薄 -▁thunder -شی -年間 -いつも -アン -▁Yes -▁Präsident -▁northern -▁Sir -ले -当地 -dik -sy -tia -liv -عمل -essa -軽 -议 -▁modest -蛋 -ngi -gesetzt -oto -▁empire -geführt -人たち -nej -▁Ihrem -ъ -▁waste -ыг -被害 -▁İ -bile -▁delle -弗 -でき -当我 -▁quan -▁collection -▁கா -▁prima -杯 -▁photograph -▁veel -压力 -tif -典 -▁wings -мә -ச் -rij -▁dreams -司 -▁dur -予想 -▁gained -怎么了 -при -▁내 -▁سر -▁horrible -人物 -пар -我能 -▁fled -超过 -干什么 -cí -rais -фа -調 -vision -ăm -ars -▁easier -▁могу -▁Probleme -있 -顺 -facebook -▁sofort -たま -not -zog -戏 -isme -▁آنها -ే -显示 -▁funktioniert -wali -なんと -本身 -姿 -永 -▁stairs -▁sale -ulo -ép -roj -▁Port -▁proceed -甘 -▁copy -▁burn -▁bearing -確認 -▁consequence -▁completed -不错 -在一个 -▁се -fred -我喜欢 -▁employed -瑞 -▁Oh -▁banks -ห -棒 -▁enormous -烧 -▁sympathy -▁Lage -vet -▁Some -▁concern -cré -ங்கள் -α -faced -richtet -▁factors -اح -哭 -▁nada -▁Tor -▁philosophy -▁clouds -レー -▁gesprochen -▁tight -asta -born -既 -head -indi -▁By -▁instinct -▁algo -幕 -ゲーム -困难 -rr -我这 -ҡа -▁elements -の中に -lık -▁congress -▁你要 -▁album -▁London -▁relative -typ -cted -专业 -▁connect -▁restaurant -lier -▁climate -▁goal -▁Gespräch -则 -▁mood -▁classes -▁introduced -▁gì -üt -ο -▁schwierig -▁anche -лег -▁maid -持续 -ава -▁König -振 -tique -dda -▁odd -cord -tit -试 -dit -▁segment -ņ -転 -▁conscience -▁retreat -▁По -▁jar -難 -▁earn -▁Por -sión -我真的 -盗 -それから -▁التي -kro -عة -!? -▁version -施設 -▁Fin -那就是 -徒 -对我来说 -▁cave -▁medicine -▁application -ции -约翰 -▁Bild -▁informed -zio -rant -▁gör -说你 -▁谢谢 -大量 -ajn -腿 -جا -傷 -аж -▁previously -pho -▁immediate -痛苦 -敬 -他们会 -▁witness -▁interpret -避難 -gebracht -じゃあ -▁benefits -▁morgen -▁reference -▁feed -▁chu -终于 -mmel -年に -하고 -▁එ -▁anxiety -▁severe -▁via -اش -移动 -れて -пы -ẓ -▁discuss -到达 -のように -▁但是我 -▁returning -オー -нес -捕 -▁recognize -▁Vielleicht -▁nord -取材 -怎么办 -打电话 -▁falsch -ช -▁Mark -gomba -▁cheap -ишь -突 -▁recon -動き -好吗 -炎 -▁kit -▁Of -▁ease -▁yards -рь -▁engagement -だと思います -oro -大丈夫 -ubi -▁games -▁Musik -となりました -状 -季 -ものを -▁slide -aza -segu -führen -注 -さんと -他会 -想法 -▁hurried -termin -تي -▁mostly -sun -める -▁wheel -kem -反对 -▁intend -いって -知识 -▁amongst -ún -▁countenance -fite -ワクチン -全然 -▁variety -▁thomas -形式 -▁بە -▁intelligent -force -值得 -acht -jem -用户 -▁الش -нага -quin -rri -hle -▁rush -тов -说什么 -▁అ -овать -▁Sin -▁کنم -anto -吓 -いっぱい -▁partly -▁hinaus -▁guilty -isse -▁fox -stead -確 -▁rope -出場 -▁вос -面对 -▁assistance -▁gesch -▁Fo -いつ -கொண்ட -tech -据 -▁Miss -▁tools -lau -逃 -大臣 -тив -лов -▁которая -▁Ber -なんで -显然 -▁solemn -楽しみ -辛 -▁geworden -ald -▁eager -▁counter -我们现在 -mana -▁consciousness -iendo -▁为了 -iba -▁너무 -胸 -▁També -▁scho -▁vent -xon -▁candle -▁Ш -▁lion -▁combat -关心 -ije -▁located -▁شود -staat -▁resolution -検査 -▁august -▁disse -交通 -گو -▁depend -▁Von -かい -▁Gen -不安 -はこの -▁你是 -chu -▁Programm -aku -luc -▁joke -مه -lands -эг -▁adult -▁Да -が出 -成员 -姐姐 -照片 -▁Ap -▁consent -rer -▁tief -▁rub -察 -ып -全球 -族 -落ち -▁ließ -▁High -feld -tul -cl -事实 -하 -今日は -响 -rés -▁Ger -рт -ও -▁Herz -你别 -▁سال -的朋友 -▁neces -▁pitch -gno -▁tai -kie -▁notion -▁yu -eks -kora -▁victory -hur -▁Bas -agi -のでしょうか -映画 -评论 -کە -▁Pol -どんどん -▁enable -▁marketing -▁número -摩 -▁reduce -▁cela -වි -్ -▁cru -byo -ril -▁push -▁ເ -yen -▁bre -▁flash -やる -▁خو -すぐ -▁improved -持ち -まる -ät -had -ря -糖 -かもしれません -负 -دم -anyi -baza -▁überhaupt -鸡 -れた -▁rushed -回来了 -оль -▁Una -▁obtain -사 -▁refuse -语言 -fangen -▁Eu -選手が -kka -魚 -▁wider -骑 -善 -▁eternal -قر -▁trick -▁así -ongo -▁worn -▁stores -рос -制造 -lied -rica -raf -十年 -omo -、2 -▁smell -rav -▁pensa -▁continent -▁stupid -となった -接触 -▁werd -▁Para -闹 -▁stir -▁score -구 -とても -者の -▁こちら -属于 -çi -том -説明 -受け -▁gest -サン -ului -▁slip -없 -増え -▁apple -のかな -偏 -承认 -▁surrounded -▁Zukunft -▁valuable -▁führen -答案 -▁hätten -teilen -▁einigen -孙 -▁rw -handel -▁approached -cis -▁exchange -、1 -▁internal -▁мал -まり -ラー -▁gegenüber -埃 -lain -▁absurd -全体 -ция -▁phil -上海 -▁associated -▁điều -▁cam -▁William -▁dont -▁পা -шла -技 -ここまで -▁abantu -kna -章 -hem -例如 -▁Dass -▁softly -qa -▁Pra -不再 -抽 -▁họ -sehen -▁sunt -rada -を見せ -▁நா -lou -▁kindly -رة -уб -巨大的 -作り -bling -▁fet -▁moreover -quel -▁uniform -laufen -▁stable -▁байсан -▁dal -▁clients -wol -だよ -ismo -コロナ -材料 -▁bitte -▁genius -mā -があって -fat -▁escaped -guard -男子 -在你 -▁beginnen -▁substance -▁bush -小心 -呆 -▁suggestion -دان -跟他 -▁limited -ーン -▁offen -▁unserem -伤害 -cel -▁يمكن -mate -独立 -giye -▁mur -▁robot -etti -esc -grund -▁Bra -负责 -▁situa -开心 -▁Don -羽 -▁dessen -▁plane -ことで -gü -▁куда -▁closer -▁precious -거든 -овская -است -▁convinced -▁bomb -tà -จ -種 -▁früher -май -ał -▁confess -そこに -▁жа -因为我们 -▁phải -вой -кс -▁curiosity -نو -図 -別 -▁десять -tting -йте -▁kiel -▁Meine -できた -▁sap -大きく -▁addressed -康 -ota -சா -نه -kali -тым -▁shouted -▁этим -гә -▁сер -gere -総 -▁우리 -▁concept -here -のために -▁unten -▁National -sek -▁crea -▁hare -▁button -なのか -উ -これまで -関東 -quet -当他 -弟 -▁نو -▁நி -博士 -stal -佐 -amo -▁gal -mé -ár -zing -▁zwanzig -▁nachdem -بو -していく -▁pressed -▁neza -有关 -▁dignity -▁meanwhile -▁Millionen -▁causes -▁poison -を取り -pir -▁arrive -▁mia -▁flood -ory -▁thu -放弃 -早く -ckt -的那个 -anar -虚 -▁lights -雲 -wart -▁같애 -مو -▁doen -▁phrase -そうですね -的一 -▁cum -யை -Co -込んで -▁tiu -idos -سب -▁今日は -▁musste -似 -қ -▁flew -▁Mittel -给我们 -ライ -▁bigger -prov -▁Qui -▁hanging -schrift -してください -▁За -犯罪 -▁purchase -▁quarrel -üs -▁seg -ণ -▁federal -ී -说我 -▁también -▁yari -apa -nja -▁succeed -▁hielt -▁recht -Ma -正如 -焼き -▁besten -fam -論 -おります -ุ -くて -tation -住宅 -وه -▁mod -▁coal -▁italian -ほ -пан -tine -▁però -▁render -▁South -欠 -广告 -реш -をする -кий -schuldig -▁programs -рен -ぼ -hé -▁cancer -▁verk -ük -▁miserable -श -azione -▁bunch -ık -▁fierce -fie -▁appropriate -▁healthy -▁subjects -▁kre -qué -▁día -▁Ama -ych -▁fatal -馆 -kiri -▁لە -菲 -每一个 -ились -форм -hoo -вор -vingt -▁assume -消息 -▁swift -▁سو -elt -▁competitive -▁hasta -▁aquí -小时 -既然 -させ -gene -stoff -▁opera -▁М -shing -lies -連続 -voy -▁mamma -めて -unda -▁hint -▁offering -吴 -▁luck -▁Medi -iu -賞 -lte -一份 -国际 -▁crisis -▁creatures -raum -لك -▁Roedd -lut -▁tremendous -▁Esta -swa -রে -ために -ρ -▁micro -发布 -kov -▁monde -▁shoot -▁rage -ín -ன்ற -ident -▁reflection -▁stern -部屋 -太多 -▁forgot -殺 -▁arthur -広 -▁zwar -lina -を使って -▁rob -эй -▁destroyed -idi -ello -▁activities -cole -▁nein -▁dell -pada -여 -▁Ser -▁tells -▁painful -ones -子供 -▁他说 -▁politics -还在 -观众 -▁Seine -ines -记住 -▁branches -僕は -更加 -wala -▁Nord -satz -▁appointed -▁że -きて -რა -uring -決 -äng -▁sens -tischen -表达 -pia -▁acquisition -▁تم -疾病 -▁directed -▁bwa -持って -某种 -▁chap -یر -хан -▁keen -はない -▁lover -▁nou -有一 -▁Sicherheit -▁hum -▁observe -岩 -▁accompanied -▁laughter -▁ஒ -jor -دە -▁Hel -rā -▁whilst -時代 -▁waves -意味 -▁survey -ид -作業 -伝え -▁Sprache -schrei -▁distinct -沈 -един -يم -வர் -dzie -赵 -▁spin -amba -雅 -▁دست -很多人 -北海道 -ありがとうございました -schließen -▁porta -லா -vic -▁tren -hum -▁Eltern -பெ -澳大利亚 -なんですね -▁많이 -▁branch -咋 -商业 -▁throne -▁burden -▁martin -▁alors -fertig -▁rela -情绪 -抓住 -留下 -因为你 -▁totally -并没有 -▁sector -▁launch -▁leaders -▁shouldn -众 -▁cái -形成 -寺 -▁decline -▁Thema -▁fifth -从未 -▁thoroughly -▁Prozess -La -ệ -▁Bla -一块 -box -will -なんですけど -终 -▁sugar -ří -роб -▁» -én -▁votre -撮影 -▁warning -▁hundreds -▁Это -▁divided -からは -重要的 -我希望 -▁string -合い -دن -▁fand -▁Politik -dı -▁stated -充 -映像 -目标 -سي -▁household -▁suis -ण -▁hut -ι -几天 -▁dollar -鸟 -病院 -在这儿 -ís -rid -riye -我对 -プレー -▁punt -戸 -▁City -ologi -صد -▁tear -رد -emos -ணி -turn -▁pea -设 -ье -齐 -からね -表现 -早上 -уул -盖 -▁degrees -四个 -▁hurry -爆 -▁প -▁plej -▁forever -ė -пад -ders -▁دی -▁remote -▁mount -▁privilege -uj -bata -のこと -ぜひ -cket -▁hari -▁critic -▁Fer -▁hopes -மான -▁applied -かけ -تون -▁kwam -▁cyangwa -▁Macht -▁lift -流れ -gram -平台 -写真 -拒绝 -гор -ು -▁Gemeinschaft -ников -▁regarding -▁reduced -生产 -頂 -▁joseph -▁Boden -▁shining -pela -ວ -dacht -植物 -▁heel -학 -これが -ったら -是有 -▁Während -▁weary -大概 -坂 -▁völlig -▁años -chy -▁день -▁wound -えて -▁combination -oy -autres -инская -ван -asse -кол -▁States -▁эту -دو -▁meu -▁sollen -出て -人口 -ል -我们需要 -▁humble -به -▁bang -most -自我 -inda -▁rolled -报道 -睡觉 -暖 -ے -▁crazy -▁seriously -较 -니 -我只是 -虫 -▁remaining -rra -▁Ten -unter -pr -入り -ngo -▁punishment -▁episode -▁zeide -kop -▁sank -いきます -▁file -▁Durch -▁Selbst -▁Projekt -▁ring -▁prisoners -▁pes -▁Fu -絶 -ால் -言い -▁народ -cca -▁dad -▁hero -▁vos -▁Mus -▁helen -▁생각 -▁Schritt -ていました -shire -adas -▁pricing -▁Entwicklung -子ども -的情况 -dim -码 -gur -gging -vul -▁pays -ліся -夢 -▁holiday -hus -▁remarks -▁Rolle -ған -ほとんど -ිය -23 -专 -▁strongly -▁solutions -tang -▁اما -ake -tara -比赛 -lad -律师 -▁uw -ап -団 -bur -▁types -欧 -▁assist -海外 -▁california -▁pig -▁trap -▁gall -ös -dica -gled -▁architect -▁Ph -▁Blick -自宅 -▁onze -▁我也 -▁Geist -把你 -▁wicked -▁wolf -結婚 -记得 -▁ああ -▁breaking -şe -尝试 -ound -▁views -每个人 -ское -তি -▁pool -過 -▁trat -▁attended -عا -▁profound -大部分 -应该是 -▁humanity -în -mad -ここは -調べ -▁loving -流行 -▁arose -高校 -智 -あっ -不仅仅是 -国会 -最も -てきた -▁sous -▁Но -зд -▁movie -camp -lieb -шу -▁kindness -ς -▁我知道 -gut -▁literature -斯特 -tam -▁presentation -ことし -▁designed -わけです -km -▁expenses -oko -我们都 -▁George -優 -交流 -献 -失败 -ひと -▁vy -▁border -▁pilot -集中 -▁tegen -ም -基础 -▁inquired -つか -▁assets -▁ibyo -▁slept -▁mismo -▁zien -登場 -iḍ -▁interrupted -▁constitution -▁nodded -archi -ключ -还不 -▁هي -▁alas -▁merit -비 -▁начал -▁буду -▁Nur -▁thrust -luci -▁الق -▁adventure -▁puede -▁debate -пуст -▁paying -诗 -mata -four -hari -mě -▁enterprise -については -▁Ei -fit -প্র -সা -▁atmosphere -ண்ட -▁இது -煮 -▁cottage -アル -▁ஏ -▁cattle -ில் -arte -▁pole -luk -▁secretary -লি -▁leven -因为他们 -stä -困 -▁Aquest -豪 -功能 -▁peer -вол -两个人 -ມ -▁earl -偷 -▁möchten -▁kuko -▁گ -ost -тен -▁прав -▁manager -▁пыта -▁Robert -த்தை -ject -iten -ғы -本当 -异 -▁faster -▁interior -füg -вя -▁Wert -▁cel -frage -مة -baka -目の -▁Energie -▁leap -muntu -的新 -▁margaret -▁weakness -▁steam -▁souls -정 -▁danke -▁Ма -▁eventually -ché -我们就 -哥哥 -▁약간 -安排 -lant -扔 -▁guests -ско -▁click -頃 -▁Gruppe -organiz -ნ -水平 -lop -▁tanto -vý -பி -▁imagin -▁Peter -▁rosa -▁Tat -▁bai -成了 -uur -gio -▁Ac -haw -が多い -esse -そうだ -▁کنند -avoir -▁seus -国際 -ា -نىڭ -売 -▁spanish -宽 -聪明 -反应 -▁widow -不敢 -▁unit -アメリカの -▁suc -質 -▁unhappy -▁flame -对吧 -▁tide -▁dijo -ậ -▁shift -帕 -韓国 -azi -▁déc -经验 -达到 -▁notes -랑 -▁fare -怒 -▁catholic -技術 -资源 -▁Nous -bila -▁stared -▁tied -quest -各位 -▁thirteen -vano -对方 -ağı -▁abge -ssel -因为它 -▁veil -▁chat -▁또 -establish -以外 -ި -raj -மாக -▁auszu -გ -lance -▁anzu -غير -kara -答え -晓 -மே -▁essential -当時 -번 -nyuma -▁Stimme -lage -ै -ört -を持って -▁anderes -亿 -▁Sol -игр -兴 -リン -த்தி -wachsen -ってこと -▁plu -▁partners -▁eggs -▁largely -▁hadn -▁enjoyed -ው -aid -상 -▁despite -▁Os -房间 -▁Union -кр -五十 -▁distribution -▁pues -人々 -客户 -▁intellectual -▁cred -▁buildings -国王 -▁Show -ios -▁baş -▁wholly -▁parent -▁neat -лын -▁ehhe -▁braucht -▁stud -入れ -▁verloren -▁guest -wyr -ちゃう -enti -sak -ران -▁kr -аа -简 -شا -gegeben -▁mate -亲爱的 -增长 -意义 -あり -▁đang -▁delighted -婚姻 -trau -▁handle -▁مح -ゲ -伟大的 -مت -▁steady -健 -▁Cal -▁Bank -ances -▁Tôi -▁physician -his -pren -ambi -ڭ -laden -▁stayed -などで -▁patience -▁utterly -▁오 -▁Dieser -牙 -▁primarily -▁Grunde -▁esper -كون -י -ony -▁context -kaj -தா -▁sud -là -Le -▁іх -▁Mer -▁annual -сил -中の -▁fro -цу -вали -▁contrast -▁Technologie -爷 -▁lernen -泰 -burn -有一种 -দি -禁 -An -和他 -uld -▁будут -幸 -史 -coming -▁entwickelt -ache -呼吸 -hara -▁trump -▁hey -post -子さん -▁beste -asa -▁Zo -füll -这么说 -挂 -▁arranged -悲 -一つ -ics -лек -▁coup -办法 -மி -があり -一边 -▁pink -▁расс -保证 -▁follows -▁scar -ировать -御 -▁retail -另一 -ダー -эс -文件 -▁symbol -جر -爸 -现场 -透 -diri -след -teur -σ -というふうに -给了 -▁contained -放送 -ddle -▁budget -▁"" -өл -▁kamen -▁Met -wag -▁کل -▁biggest -▁gross -▁feature -Л -fun -圆 -▁distinguished -▁studied -kunda -▁dispose -人を -▁Hy -得到了 -▁Af -Ar -fus -バス -rai -▁obwohl -innen -▁shoes -eme -そうなんです -او -kra -▁sensation -mission -▁всегда -raga -▁hoffe -心理 -▁ŝi -했 -▁properly -▁pala -那边 -大統領 -▁prophet -▁parliament -нова -tera -fil -というところ -就不 -hou -▁consum -▁tomb -ު -uze -ていく -羊 -▁lit -适合 -▁Gesellschaft -としています -▁созда -▁desk -▁হ -▁አ -rek -▁đến -带来 -твор -题 -год -▁russian -に出 -▁Luft -22 -dank -再说 -斗 -వ -▁jedem -▁பா -▁knife -反正 -開発 -▁crying -▁moet -sser -▁operation -▁confusion -ರ -に入って -master -缩 -▁этих -▁continuing -▁rival -ły -▁articles -▁кажется -▁remark -▁damage -ご覧 -nto -▁Google -▁strip -銀 -お店 -tse -▁iets -▁devoted -絵 -▁jump -园 -女士 -世界上 -▁log -丈夫 -▁traffic -▁所以我们 -ünde -▁deu -▁abandon -▁tale -审 -şa -▁bah -▁тот -bble -寄 -▁tis -▁musical -开发 -▁deposit -阅读 -two -のような -كن -项 -决 -▁num -tiva -中に -▁چه -ıyor -▁persönlich -kta -ён -▁Mc -that -ander -▁perceived -東京都 -▁Ter -▁hunting -▁companions -▁emotion -cious -부 -升 -さまざまな -记者 -绝 -್ -▁ends -▁الإ -细 -ias -thro -▁bor -fei -▁Inter -的感觉 -任务 -▁surrounding -▁хочу -▁tar -▁mixed -▁Schüler -▁স -さま -▁spending -▁Parlament -see -пор -一段 -我和 -guru -▁beau -еш -аш -▁என்று -zor -▁sisters -вать -ის -bei -ites -▁yours -лось -▁друг -▁Just -▁expedition -▁utter -▁செ -▁transform -▁hollow -lev -▁lonely -▁sonra -క -▁zijne -үү -▁erkennen -▁té -▁هر -▁komen -ktion -сло -利益 -真的是 -ड -tzen -▁mare -late -▁shake -▁servi -▁homes -しながら -भ -法院 -▁multiple -▁Fri -あまり -▁exception -▁reader -潮 -▁discussed -什么样的 -▁trop -▁две -nä -irwa -▁uko -塁 -hing -sack -いただきます -肯 -盛り -ological -▁Facebook -▁poco -cles -schauen -出し -تن -她说 -чит -▁spi -zelf -沢 -▁helping -খ -▁Dat -价格 -看到的 -▁деле -▁kap -▁accordingly -ӹ -▁operate -▁wer -委员会 -▁meng -▁literally -tari -左右 -лом -▁bus -▁permanent -效 -四十 -хий -pol -vous -rè -こうした -▁arise -こっち -▁lại -্যা -teri -▁driver -十五 -▁American -соб -ù -▁heap -▁barn -nger -▁Cas -すれば -▁rifle -▁Produkt -▁After -▁まず -中间 -▁stem -▁background -stehen -▁Tage -bij -▁schließlich -▁কি -rte -кай -▁writer -額 -▁duties -▁hungry -▁wegen -▁piano -▁pretend -運転 -▁sleeping -mpa -大脑 -iw -部门 -▁doctrine -▁define -dian -美元 -mmen -提醒 -▁efficient -▁続いては -ו -eo -▁plötzlich -ສ -▁несколько -きょうは -denken -дә -▁President -▁occasionally -不喜欢 -▁James -▁perd -▁eigen -今日の -▁nombre -under -津 -▁estaba -▁бел -▁rod -▁mala -▁sovereign -今回は -anno -▁понял -مە -▁tiempo -平均 -▁initiatives -▁Tro -▁тре -got -▁industrial -uro -▁Weil -▁beast -▁spell -ことに -▁conviction -▁sorts -▁sistema -▁visited -lines -▁olma -enz -寝 -伴 -▁《 -状态 -▁tele -▁quit -▁poder -registr -▁你怎么 -将军 -战斗 -leben -途 -্য -触 -▁absolut -朱 -bis -懂 -▁cells -里边 -stadt -▁kings -はず -▁divi -▁bless -▁einge -不需要 -် -▁queer -bir -▁свет -ич -alter -çe -先月 -▁lawyer -▁кур -now -еж -▁formal -▁город -▁extended -▁poverty -許 -буд -湿 -bringen -贴 -▁từ -▁verlassen -▁Folge -▁lest -那天 -▁composed -▁innovation -quen -▁вз -▁striking -锁 -▁fellows -サー -▁Team -▁lieutenant -ряд -▁loro -▁gefunden -▁Freunde -▁Minuten -地震 -▁これが -▁generous -▁толькі -rib -経験 -ヘ -hap -家的 -pid -iente -丢 -chel -mod -▁sagten -enge -▁exciting -되 -月に -▁spielen -▁destruction -▁すごい -接近 -ович -▁stiff -constru -pur -想想 -▁Wochen -岸 -tsi -▁premier -见过 -▁Non -▁possibility -▁responsible -ší -▁expand -স্ -ị -Be -▁strain -ڵ -▁интерес -ister -dau -▁singular -▁location -▁prospect -変化 -▁suo -▁genannt -▁stress -лд -ubwo -検 -るの -бли -жээ -▁Sein -▁cả -相手 -▁вторая -▁Morgen -comb -▁troba -вин -igo -那么多 -▁должны -いで -ās -▁Dis -▁那我 -昨天 -geld -▁acts -▁Trump -▁boats -ジャ -▁eigene -隔 -输 -іць -лин -▁Schule -▁যা -пре -▁association -▁trembling -猜 -вая -ரை -loop -▁recall -どうぞ -buch -300 -▁gibi -▁stretched -ட்டி -▁россии -▁нэг -5% -▁performed -グループ -ıl -▁proposal -▁semi -捜査 -▁sehe -隆 -▁accustomed -したのは -▁schlecht -长大 -▁unusual -ress -很快 -▁frequent -activ -gezogen -▁germany -▁ça -bound -▁باش -▁Fla -ifica -▁anni -یو -▁brings -▁вельмі -лог -▁individuals -maz -» -걸 -▁Ordnung -лё -大阪 -▁یا -ேன் -erte -不断 -தான் -▁ale -кла -▁glanced -jya -pis -是不 -aro -▁Yo -我们必须 -sprech -چی -▁nav -graph -▁großer -uten -温度 -▁Cre -▁modo -▁mewn -▁wearing -figur -uye -▁North -chung -▁kay -▁european -るのは -▁billion -служ -細 -▁hunt -▁responsibility -▁ও -▁говорит -▁grateful -太阳 -▁fragen -抢 -▁অঁ -▁dice -▁riding -▁tard -dition -ファン -▁있어 -▁sports -π -▁india -ья -বি -cum -妻 -无论 -意外 -produkt -やっぱ -而是 -ありません -症状 -▁Op -bio -▁victim -▁wanna -owa -▁Ak -▁самом -▁Glück -rse -سه -我们已经 -rede -sept -霍 -▁Gre -dwa -nant -仲 -rack -▁thì -我将 -▁butter -▁hace -▁Š -特朗普 -át -bera -▁делать -力量 -▁yok -▁داد -het -gis -▁Leuten -다고 -för -▁agent -ป -監督 -تح -誰 -anc -▁mehrere -作为一个 -▁değil -瓶 -▁지금 -下午 -▁katika -同学 -▁سا -▁invited -▁spare -▁represented -eld -印 -撞 -▁swept -▁wishes -之外 -などが -▁maiden -▁الف -▁prize -ase -phone -問 -خر -▁concluded -▁repair -gos -ню -liz -ее -有可能 -▁ак -▁neben -造成 -▁nennen -▁Cy -▁oak -овский -rif -lern -ezi -▁Gemeinde -▁guten -▁hid -▁poetry -▁mano -▁такая -▁plot -▁selling -▁gekommen -▁Maria -▁Min -导致 -ີ -gelegt -操 -fod -就算 -لب -家人 -墙 -ところで -脑 -▁Komm -版 -なの -▁yap -▁proposition -eze -▁latin -喂 -gebaut -cinc -politik -▁そこで -aquesta -▁але -gala -▁actor -ggi -тя -არ -unu -荷 -ĩ -ээр -▁sil -▁поселок -▁Pat -了一些 -uren -found -摇 -ент -▁signed -くなる -▁display -不一样 -やつ -内部 -▁tema -演讲 -▁select -▁ashamed -決勝 -户 -▁elder -寒 -jin -发生了 -wyn -स् -孩子们 -ちゃ -▁rude -▁именно -әй -生气 -販売 -▁yw -▁movements -好き -▁feared -实际 -▁dun -▁creation -▁pied -腕 -point -жил -யி -Bri -▁cad -genda -▁kissed -标 -▁chest -▁cheeks -避 -冒 -宗 -kwi -▁Tal -▁cycle -▁geschrieben -られない -lian -映 -lebt -帰 -▁adopt -たり -kola -▁payment -ான் -▁hol -త -▁bible -▁achieve -意味着 -hü -пят -▁rail -おい -▁действительно -▁Platz -اط -卵 -▁materials -رت -ッと -ware -sses -▁disposition -▁glücklich -tial -fund -▁continu -stimmt -話を -kur -▁attached -▁mild -▁locked -染 -フェ -▁recover -▁Qu -顾 -办公室 -▁sou -kata -hak -立て -桥 -ள் -лт -バイ -グラ -▁shout -一切都 -忍 -▁comments -▁United -аться -үүл -▁transition -▁manufacture -所以你 -aine -習 -Ge -accord -▁przy -▁leurs -▁jsem -▁verb -也可以 -就要 -你去 -▁brush -lov -шта -▁jobs -份 -▁appreciate -ガー -围 -▁maj -emo -▁supported -▁abroad -▁unu -▁thấy -▁sc -้า -▁못 -pes -▁Mag -ின் -▁salut -tatu -▁juga -් -ох -つまり -几年 -▁நான் -▁font -▁Kirche -▁knee -работ -▁Zwei -▁distress -▁Bau -猪 -wur -hof -▁blessing -ழ -mera -▁heavily -▁الص -cover -逆 -磨 -려 -签 -強く -гра -含 -▁behavior -وان -▁pine -bewusst -▁neun -▁bones -▁それが -▁armed -▁quant -нут -同志 -るか -▁refuge -说过 -ирован -播 -见到 -いった -▁Bill -▁reserve -▁farmer -roy -没有什么 -▁intimate -شن -சு -▁essentially -▁aquest -▁corre -▁sala -▁ändern -郎 -んじゃないか -▁Tages -▁ここで -▁сама -厂 -▁хар -错了 -ளி -▁june -▁competition -▁fois -ilen -リア -我不会 -▁ruth -▁opposed -▁penn -▁هستند -拖 -▁antwortete -▁jeune -إ -▁repeat -▁greek -就说 -ș -!」 -▁teachers -▁sy -あなた -看来 -isation -▁rya -一段时间 -▁belong -obu -ാ -▁traditional -▁painted -ことも -чь -▁Mrs -сов -▁settlement -いろいろ -▁کنید -load -▁massive -▁zag -▁alternative -dá -aren -メートル -▁retired -▁consult -▁feels -njye -训练 -▁charming -hop -▁尽管 -wl -▁sole -gad -▁karo -nez -tec -我告诉你 -国の -jon -▁bio -крас -tali -▁việc -▁reasonable -制度 -▁kate -bw -юсь -نش -▁schaffen -搭 -▁slipped -気温 -tī -ゴール -ّ -▁adopted -更に -para -となっています -ind -▁etc -んでしょうか -▁scan -▁ambition -iques -▁basket -rau -▁bark -鞋 -させる -dora -igu -éc -ían -▁supreme -يف -krat -mund -卷 -avo -暴力 -▁seldom -hack -urt -▁approaching -幼 -др -▁murmured -kni -▁goodness -▁Так -zeug -合わせ -Po -腰 -▁Val -▁consistent -▁rever -▁gap -▁gehe -▁dame -witt -▁handelt -ści -dreh -▁pages -يو -另外 -ě -nach -▁unfortunate -headed -恨 -path -ましたね -主人 -▁совет -rī -▁aren -ять -▁depends -flo -miss -▁таки -▁zeigt -▁terre -▁commanded -▁noi -bell -▁Tatsache -cycl -رك -mani -் -▁muito -duk -lir -▁tidak -▁regiment -izo -ほか -▁clerk -▁vào -▁года -雄 -▁bullet -tree -▁sempre -hlen -дэг -erin -rimo -银 -▁teams -▁foi -ums -▁shortly -▁cure -atge -恢复 -▁Hol -づ -▁Test -▁drinking -▁released -tics -▁eastern -St -▁zaman -作用 -▁versus -ense -সে -aught -▁жив -라고 -押 -▁reflected -イギリス -▁Hund -கை -وع -交易 -▁blank -▁Situation -▁жизни -▁minor -大変 -으로 -▁obvious -环 -攻 -▁useless -▁blieb -のほう -▁slaves -材 -▁également -fal -сын -▁tras -овой -▁wherever -рез -▁contest -care -▁institution -дав -гло -的那 -▁contribution -这边 -нне -▁administration -互联网 -了啊 -▁donde -она -▁Demà -ление -▁也许 -▁jour -▁বা -ес -打算 -▁быў -awa -mere -रा -我不是 -platz -私も -pè -geven -▁ensure -▁importante -彼 -▁داشت -表情 -тру -ところが -▁vital -bab -給 -nio -▁nutzen -ją -泡 -不得不 -rend -یان -柱 -▁glorious -ensi -这事 -ாக -abu -有一天 -▁feast -동 -▁olan -把这个 -▁inhabitants -キロ -ließ -资金 -庄 -▁Tas -area -気が -gues -يق -шин -積 -bug -練習 -▁stroke -▁Sy -▁või -狂 -迟 -▁Tot -arse -▁plum -不应该 -▁handed -▁earnest -勤 -对此 -我来 -敌人 -佳 -▁acquired -lak -жал -▁fever -▁impulse -任何人 -南部 -▁dove -▁ihres -저 -nega -前面 -готов -▁newspaper -ックス -rait -мар -碎 -老公 -所做的 -▁otro -▁difficulties -開催 -▁owner -批 -bü -aver -дать -▁trace -▁gleichen -தை -weisen -aɣ -▁coin -شه -드 -例えば -agon -▁print -▁treffen -اً -乗り -法国 -ذا -▁hombre -隐 -不足 -▁Spa -kı -▁departure -的方法 -老婆 -▁хотел -▁creating -nten -台風 -人も -▁وجود -▁Sk -ates -▁tough -▁ўсё -▁unlike -flu -▁zweite -冠 -oba -以上の -一件 -sell -ova -▁accomplished -ально -てください -峰 -pati -住在 -▁ignorant -事实上 -▁deeper -▁travers -▁venture -予定 -らず -病人 -يك -হা -▁Wirtschaft -是由 -ワン -cola -صل -妻子 -▁我在 -▁reputation -▁entfernt -trieb -▁fiscal -▁combined -การ -▁plainly -▁closing -▁og -غر -▁eher -押し -▁فقط -тры -多的 -要去 -イメージ -欧洲 -och -ṣ -▁reckon -▁granted -際 -ể -▁italy -熟 -ļ -淡 -▁whisper -лай -▁painting -▁poi -▁smoking -▁понимаю -ёр -krank -▁insist -うまく -▁fairy -但他 -アップ -мест -цен -quis -まさに -tör -▁mono -試 -続 -▁orange -キャ -你不能 -お金 -▁Sohn -гд -哪儿 -网站 -你怎么 -amento -icia -深刻 -тр -▁mist -تو -▁weder -以降 -乳 -▁attractive -漂亮 -广 -▁sue -▁咱们 -にとって -追い -ден -▁Cla -▁такие -始まり -ках -حق -▁Ali -内心 -▁jemals -▁suspect -次の -▁wollten -▁hunter -▁slope -lee -agenda -▁spre -ká -供 -▁pond -你了 -になり -还能 -▁risks -ものが -▁Av -юцца -▁Because -▁мой -usi -叔 -▁seeking -▁momento -▁margins -近く -▁General -▁epi -hö -▁compelled -так -тон -mä -▁وأ -艺 -▁pound -์ -▁admiration -▁songs -行動 -▁dein -館 -▁ښه -▁abuse -▁Stück -▁pope -ois -▁Umu -كي -▁igihe -になっています -ấ -ッド -manda -hush -▁interessant -▁hörte -▁bya -▁jean -的手 -▁infinite -▁entonces -ают -感兴趣 -ける -一体 -foot -дол -ому -эв -chas -ând -rück -zia -▁이런 -难道 -▁adapt -▁Kor -心配 -▁regions -▁eagerly -▁Mensch -一项 -sab -殿 -▁Kol -▁communities -▁kaum -odor -わり -▁Kla -而言 -ń -▁yard -dine -ино -▁lunch -武器 -▁我现在 -▁forehead -▁Bon -▁fame -Ж -▁那是 -▁withdraw -▁mask -▁تع -▁dag -liness -佩 -三年 -▁всем -▁aho -レン -哪里 -полит -냐 -▁idle -▁dealing -bern -的信息 -▁روی -ご紹介 -ками -geze -eti -has -▁Mary -▁planning -сь -每次 -ュ -控 -阶段 -▁Kunst -iff -لى -liga -▁جو -▁remove -老人 -▁mister -準備 -▁islands -▁erreichen -多い -▁characters -▁Bis -▁вся -一致 -祖 -stieg -▁mom -▁само -geri -boy -▁Rwanda -▁estat -印度 -▁client -wacht -收入 -▁Mes -bles -jä -▁acting -▁infrastructure -▁predict -ổ -щи -ロン -cido -grav -▁мог -▁burned -▁gebracht -▁shell -▁australia -cult -金融 -▁steep -▁rang -出生 -假设 -▁مر -▁anirà -сен -▁まあ -这是我 -▁되게 -voj -—— -▁organic -छ -的影响 -▁gather -对话 -很重要 -ât -ffen -dauer -ват -tons -跟着 -并不是 -今晚 -▁Sinn -▁nghĩ -▁Bericht -▁É -cono -lose -辞 -こちらです -▁일 -爱情 -だな -说明 -ях -▁tag -▁اون -▁electric -昔 -▁commander -凡 -கு -▁chin -det -続け -▁fy -比如说 -▁thrill -一千 -证据 -だったら -▁яны -▁causa -▁insult -▁fou -час -实际上是 -莎 -▁Rück -▁vessels -▁junge -▁eens -▁inclined -▁opposition -計 -▁Forschung -spec -▁unfortunately -▁towns -▁الر -提到 -▁shirt -▁сделать -执行 -野菜 -快速 -hole -▁இரு -isiert -▁ella -▁Richtung -▁wedding -▁Viele -▁leadership -義 -你觉得 -销 -逃げ -▁ali -▁institutions -nā -aven -▁billy -▁schrecklich -licher -▁icyo -ब -▁descend -答应 -判 -eck -▁gihe -注意到 -情感 -dha -35 -▁undertake -▁extrem -拼 -▁Unterschied -won -▁equipment -لم -多く -år -lässt -▁philosopher -▁uttered -毕业 -主任 -星期 -施 -▁sed -маг -再见 -▁Yu -我跟 -长的 -やった -いか -发现了 -くん -▁shared -租 -ların -▁doubtless -aires -كل -යි -가지고 -ソン -的吗 -▁Einige -▁vrouw -不够 -▁intense -fol -▁glow -▁permitted -▁pis -quelle -ёт -成长 -طور -lib -跟我说 -最後の -価格 -逼 -▁settle -结构 -stände -κ -fallen -▁negro -▁♫ -chin -▁лучше -য়ে -schein -нул -▁While -ike -▁tijd -▁học -्या -▁emotional -模 -city -zed -▁passat -▁avons -래 -tah -▁человека -是一 -говор -ҡы -▁desde -▁deny -▁obligation -ভ -رق -異 -stad -▁providing -专家 -▁Ag -zak -▁Sand -▁lighted -▁baba -hall -ografi -▁nella -stab -▁substantial -иль -கோ -▁vague -一方 -▁cease -▁Erfahrung -严重 -λ -的眼睛 -▁ありがとうございます -去找 -▁historical -олог -踏 -▁Name -意识 -何で -将来 -域 -یس -どういう -したり -gura -▁curve -▁Aufgabe -▁fence -▁dancing -▁flung -▁investigation -folge -▁evolution -▁და -▁Мо -گە -▁conserva -нии -▁load -▁nhiều -▁parole -尊重 -," -psy -効果 -▁egypt -geht -たちが -ulu -ús -表演 -候 -そういった -▁speaker -▁East -▁utiliz -记忆 -▁wooden -▁beloved -一度 -▁allows -▁pursue -keeper -環境 -leh -胜 -▁phase -긴 -更好 -没想到 -ím -tě -▁lecture -▁응 -订 -犬 -▁vorbei -▁Mü -▁lately -nosti -▁bod -一定会 -programm -▁arme -▁irish -ữ -恐惧 -생 -idade -按照 -佛 -▁Gesetz -▁rabbit -钟 -▁wilde -国民 -west -ה -我々 -慢慢 -刑 -頼 -tun -搜索 -note -▁grandfather -larını -▁decisions -▁murmur -▁terra -▁할 -▁explore -▁Ven -していて -கள -▁TED -tivo -文字 -メンバー -bà -驚 -▁staring -電話 -满足 -支付 -pac -▁cliff -erson -のため -穿过 -插 -пал -▁trunk -▁league -▁acest -▁Tan -orient -cele -▁desperate -▁彼は -tical -ना -▁expensive -ڕ -适 -▁stuck -▁Stunden -▁dared -▁Jahrhundert -gres -ஹ -▁cheerful -かどうか -oor -議員 -更新 -益 -һы -▁Rest -分かって -创 -▁après -▁إن -иде -Q -ông -▁obey -しても -iad -tje -nner -zimmer -ますよね -▁sistem -▁workers -▁거기 -员工 -▁spain -▁nad -▁rend -▁observation -▁llama -▁volumes -地下 -北朝鮮 -ந -gir -▁declare -▁upward -極 -طر -▁deserve -▁klein -▁defence -▁increases -▁simp -▁tramp -台湾 -对他 -bord -▁camera -ancy -▁jacob -▁kwe -ată -问题是 -実際に -▁Sche -welt -▁Arten -gla -▁Bürger -የ -ộ -▁Worte -ever -梦想 -bec -▁begged -▁wretched -▁hơn -▁хотя -些 -ስ -ант -▁sending -降り -▁gilt -lando -że -▁India -▁questa -grün -手を -qi -▁Mel -▁assure -这意味着 -あって -смотр -iber -ナー -шка -ця -▁entering -▁prze -tak -▁hervor -ages -▁offset -اج -▁今日 -▁cũng -▁consumer -zzi -신 -▁adding -▁virginia -▁capture -▁pistol -▁curl -▁accounts -律 -▁Zahl -rut -なん -紧张 -▁pursuit -▁Michael -ası -▁Far -▁Berg -itza -stück -mira -▁besonders -▁enhance -fulness -dhi -யாக -▁چې -ube -肩 -▁jews -▁أنه -▁ils -▁swear -▁erreicht -▁sentiment -▁reaching -илась -かり -▁cents -중 -让她 -▁volta -▁yell -今天的 -ские -▁expansion -▁notre -▁torture -▁purposes -她们 -▁disgust -ެ -▁aktiv -▁highlight -yol -้ -▁pit -所以我们 -力を -▁magazine -▁America -rance -它会 -崎 -▁saddle -▁pont -来た -blau -ક -tama -ვი -▁Richtig -▁depart -dag -▁只要 -▁Trans -lagen -▁кан -になっている -思って -不起 -▁indulge -polis -鳥 -▁четырнадцать -▁тэр -ভা -gabe -▁langsam -በ -▁должен -▁leverage -▁bench -摆 -▁distinction -/ -大雨 -地上 -ने -куп -▁biết -действ -tore -east -▁brook -brach -issa -해서 -▁lesen -▁Erde -▁bari -▁quelque -say -sinn -▁vend -階 -rand -نە -▁damals -рак -▁recovered -過去 -の大 -▁verd -ники -运行 -▁begins -дум -▁mbere -圧 -▁alice -范 -▁cutting -▁rescue -бар -奶奶 -▁incredible -理论 -▁grain -▁habits -なし -▁merry -▁جا -ったり -уме -现代 -نس -▁whereas -▁cloth -▁havas -ää -时期 -启 -▁gesture -▁belonged -▁Ко -تە -▁случае -jet -拿着 -▁journal -▁rien -暮らし -活躍 -èrent -得多 -合わせて -vuga -▁lodge -是他 -▁gingen -தே -ロシア軍 -してきた -يس -ação -ата -一方で -▁tat -観 -一名 -▁بد -▁irre -▁خیلی -過ぎ -▁sowohl -歌曲 -nett -▁früh -▁Та -▁гэж -宋 -荒 -掌 -kad -▁Reise -▁dread -▁fog -没错 -bled -うわ -积极 -▁Verbindung -▁sensible -▁mounted -▁interes -mur -设备 -音楽 -2000 -▁никто -rug -ಾ -We -承 -▁shadows -▁vin -nung -被称为 -▁Weißt -▁arrow -jal -زه -▁misery -狼 -lets -的机会 -wig -glich -遗 -fehl -▁komm -▁なるほど -信任 -▁brachte -iel -▁editor -▁Alter -他对 -ости -▁gegeben -над -جي -نم -gard -lja -傻 -лав -ť -、3 -▁padre -厳しい -我不能 -んじゃない -▁observ -उ -▁prepare -珠 -tanga -でございます -▁bowed -▁Super -27 -iers -ись -▁Sen -不如 -▁jumped -▁Gal -▁permet -仕 -很少 -ރ -投げ -了这个 -▁troubled -▁sufficiently -我不想 -hun -▁cars -rzy -▁그래 -欢 -gelijk -erlei -▁whence -рук -și -▁Martin -stelle -▁Van -▁باید -塩 -▁schl -采取 -ング -让人 -为什么要 -▁lamb -진 -▁fired -▁Wissenschaft -沿 -多了 -daki -れない -▁señor -dura -zahl -▁zeer -▁external -▁كانت -mour -失去 -▁Vereinigte -▁муж -ર -cchi -فعل -▁schreiben -▁Deshalb -▁falls -▁disc -▁drum -▁нибудь -▁рэ -革命 -▁faut -離 -みると -▁dalam -▁Eis -▁helpless -bbi -闻 -▁голос -的脸 -▁schöne -电脑 -▁scorn -没什么 -正解 -spann -▁Danke -飞机 -▁runs -▁includes -assa -▁gedacht -▁fins -verse -aged -enzi -bé -mento -▁Arbeits -fang -▁straw -▁Schul -訪 -▁experiences -▁beam -▁rendered -データ -▁lesson -おり -▁verse -▁mirror -زا -▁cheek -カメラ -▁Gegen -ял -部队 -穿着 -▁leads -ત -▁technical -▁conceal -▁zeal -▁authorities -▁losing -arri -我们是 -▁wagon -▁Bett -▁reports -▁weapons -spel -▁kick -▁그게 -▁assumed -▁qualities -あげ -魅力 -▁dwell -マイ -▁peak -見せ -▁jug -▁endlich -▁tio -我没 -▁stretch -À -falls -្ -пі -nih -▁aufge -公開 -аз -lju -گاه -▁eve -谈谈 -მა -▁namens -▁করে -ジェ -وو -aging -tered -вай -▁zit -とこ -ස් -iah -▁discipline -ര -미 -Re -bara -▁exposed -شت -▁infant -▁Ä -▁email -▁owe -期间 -▁icy -一句话 -徐 -ょ -▁yara -▁Ana -▁carbon -行了 -eja -あす -▁pile -▁planned -kita -▁railway -▁знаете -一句 -製 -üb -今夜 -▁ahora -▁naj -?」 -dou -şte -正是 -▁ultimately -沖縄 -bahn -vine -减少 -▁پس -▁Washington -▁considering -▁Era -▁persona -nimmt -有时候 -▁bara -用的 -▁tomorrow -ifa -他们是 -看了 -を中心に -front -ayı -▁primary -的心 -过程 -▁spur -▁distribu -要么 -уш -▁nk -戦争 -fir -▁измен -案件 -▁neighborhood -意識 -▁drunk -▁よろしくお願いします -黑人 -▁tran -▁мир -▁extend -▁USA -神经 -时候 -▁그렇게 -که -▁raw -nus -学会 -mpel -impo -军队 -▁Gericht -arra -▁winds -▁jungen -ప -▁Lassen -▁деньги -▁sabe -▁mobile -пло -ති -▁cub -illo -ecek -▁こちらは -▁Gri -ി -▁rằng -▁Mil -piece -▁mucho -处于 -▁pier -▁aloud -▁Gold -ద -▁Hilfe -قي -▁americans -geno -▁gates -vio -早期 -▁separated -▁நீ -ન -出す -最新 -▁mam -illes -▁ведь -▁avant -▁заб -уй -▁এই -更好的 -key -▁kannst -▁quantity -▁свое -▁toujours -▁ages -ു -ませんでした -▁opinions -▁images -Se -窗 -setzung -开放 -就能 -みて -tritt -辺 -range -運動 -▁wander -вет -費 -▁haste -正式 -▁sexual -ṭ -▁Gedanken -▁reli -それに -▁100 -▁weird -ದ -细胞 -▁همه -▁portrait -▁chill -生活中 -чер -纽约 -estra -▁sera -全く -anz -▁слова -▁County -もん -▁det -وج -▁deed -▁claims -▁delightful -▁vroeg -▁яе -ข -別の -▁тех -면은 -ark -▁scattered -▁gazed -rado -гром -वा -Any -обра -仙 -ality -▁missed -▁prin -宣布 -▁flatter -都没 -▁essere -▁personally -子里 -後ろ -离婚 -▁magnificent -▁miracle -▁rolling -▁thread -述 -▁fuel -▁altar -▁قبل -دى -お母さん -行く -▁daughters -өг -▁crash -ະ -ू -▁challenges -его -哪个 -介 -▁rồi -tron -akt -▁ص -undzwanzig -▁gens -maid -できます -plaats -▁bosom -ロシアの -▁mm -▁methods -staan -兄 -ection -握 -▁그때 -ான -كى -せる -بع -colored -▁ĉe -нда -mbre -▁robe -マスク -▁Mars -▁concert -mov -you -▁midnight -▁missing -分钟 -▁drag -ার -▁joint -nost -つき -▁Ён -▁于是 -sini -▁Jag -ương -历 -ables -▁restrain -▁africa -▁horizon -以至于 -خت -▁reduction -▁совершенно -▁insisted -邀请 -欲 -坦 -bru -▁Anfang -▁zeggen -우 -▁Feuer -freund -bwira -减 -ண் -▁Afrika -▁außer -这么做 -宅 -hearted -legt -長い -にお -omen -▁trou -▁Brief -▁anna -▁vest -▁你就 -ских -▁bestimmte -▁sia -练 -▁raising -竹 -规则 -▁ignorance -cep -dek -▁گفت -▁einzu -敗 -▁führte -▁хорош -حل -▁이렇게 -成本 -撤 -▁consequences -▁factor -旁边 -▁patron -▁involve -pas -风险 -erie -cap -宿 -够 -▁Ф -一生 -られました -▁sink -建造 -▁valor -▁против -▁cock -▁نیست -年龄 -ティー -严 -izza -▁момент -mäßig -▁这是一个 -▁province -▁convert -tina -cup -tiques -▁breed -干吗 -rb -gefallen -▁paint -▁foe -ulation -沃 -▁kugira -igh -っていうこと -▁அவ -plic -koze -亡 -▁prote -pok -▁primera -▁Sun -▁Volk -▁entra -▁другой -▁aufzu -емся -▁cards -のよ -куль -改善 -▁perché -执 -▁Dingen -▁mainly -wohn -ドル -▁cet -ヒット -ವ -▁folk -onde -このように -劲 -明らかに -▁trên -থ -旗 -봐 -ަ -▁மா -▁significantly -▁chase -▁مثل -振り -当初 -儿童 -▁nam -会議 -剑 -ӓ -▁Richard -날 -▁absent -რ -луч -载 -▁هناك -▁appar -せて -▁Band -▁我不 -後に -oedd -De -▁минут -没有任何 -距離 -竞争 -▁Ö -▁Fahr -gaben -▁15 -sert -危 -▁кого -本人 -ά -▁Air -▁Kultur -yal -▁lust -漫 -▁developing -26 -▁boots -あとは -stream -▁ບໍ່ -弾 -dress -▁quelques -▁Bewegung -▁messenger -жен -▁roads -ų -▁menschen -gender -deck -▁molto -mart -学家 -▁basic -也不会 -▁nag -チャ -を受けて -ի -有的 -▁firmly -提高 -▁одно -団体 -ender -▁Bezug -kura -wort -▁inclu -لار -作家 -話題 -住民 -bura -çı -▁crowded -diği -▁outcome -有效 -volle -▁May -َّ -▁honey -行って -чет -boot -分かる -یی -家伙 -boat -wara -stimmen -公平 -発見 -▁Вы -的情况下 -ర -▁sana -▁ram -▁тысяча -▁especial -▁hastily -されます -▁Vielen -和其他 -或者是 -▁hai -▁nearest -▁multitude -kraft -үүд -minister -ivi -▁rất -▁plays -▁clay -销售 -▁porte -周围 -wechsel -ууд -▁erzählen -▁ernst -▁оно -▁系 -市民 -▁leaning -▁overcome -长期 -melt -▁Groß -үр -▁innerhalb -▁scrap -cita -▁returns -▁april -奈 -gehalten -应用程序 -dela -▁kri -amp -滚 -▁grasp -▁cách -软 -▁corps -elde -▁lincoln -▁lee -全て -▁continually -▁Rus -▁خوب -一步 -人と -一九 -▁đầu -▁lokal -▁молод -に対し -ege -▁disorder -▁implement -吐 -默 -nick -足够 -者が -▁twin -▁между -餐 -下的 -タイ -iment -自分が -▁reveal -ờ -schlagen -uki -richten -тельно -相关 -▁kadar -▁cosas -▁chinese -▁Paris -▁rebel -挑戦 -▁এক -▁humor -▁improving -һа -いただいて -ваць -▁fühlen -▁cerca -āk -▁ornament -▁Wahrheit -带到 -科技 -找到了 -真的很 -euse -▁purple -聞き -外面 -▁deshalb -▁amid -▁Mac -疯狂 -ления -颜色 -▁clau -ுக்கு -▁continua -职业 -ネット -張 -کرد -浪 -的行为 -kleid -ல்ல -▁september -▁Schiff -tava -软件 -遠 -也不是 -▁Este -思う -▁confirm -tete -になると -乌 -istan -どれ -äre -皇上 -▁oath -愤怒 -دل -朗 -▁apparent -ồ -▁khác -▁shaking -▁acquainted -▁citizen -stav -▁biz -陸 -得很 -权力 -▁lieben -▁fost -▁badly -▁King -▁mankind -util -▁هیچ -ҳ -tele -sucht -戻 -Da -▁centuries -ようです -нар -▁urged -чен -matic -▁throwing -▁outlook -▁loves -▁religi -を感じ -OK -gab -▁Nähe -▁issued -zioni -▁đây -iriza -gesch -裁 -aud -▁Universität -さっき -lika -▁studio -рат -聴 -чин -分からない -▁зада -▁afterward -lerini -▁conta -ましたが -逊 -트 -▁있는 -▁Tr -▁illness -見え -▁alter -▁sounded -posta -▁Job -▁significa -下降 -▁третий -nyo -elen -▁کنیم -avuga -▁poem -▁Sur -变成了 -ख -再び -sili -早就 -نج -greg -絶対 -▁First -trac -▁photo -当年 -greifen -iĝas -▁wären -▁caso -ode -45 -能不能 -Me -らしい -▁enthusiasm -マー -▁bene -警戒 -انه -ừ -krieg -ř -爬 -▁شهر -▁preserve -▁Kur -震 -▁spear -浅 -▁bwo -▁moeten -imba -▁comparison -したこと -▁câ -食べて -胖 -拡大 -▁право -▁kw -▁الخ -蓝 -臣 -什 -▁recorded -▁rational -▁estimate -你知道吗 -▁thinks -見た -▁arrest -ssy -▁trend -表面 -eke -▁durant -▁contain -▁Dy -ற்க -ைய -一件事 -临 -кә -sicher -人都 -▁gathering -▁transaction -coll -▁explo -▁maria -ovan -▁当我 -ног -什么事 -ला -同事 -▁toch -議 -▁vorher -说是 -▁Wat -▁genuine -リーグ -ckte -jahr -▁madam -ध -مون -タイム -▁sig -scribe -购买 -premi -Pa -▁হ্যাঁ -ога -识 -▁Fern -日子 -斜 -분 -ника -▁hook -ania -▁schwa -▁Zeitpunkt -▁год -▁meadow -▁charity -▁نام -▁column -ministr -▁Kraft -ঁ -的钱 -▁revealed -宣 -▁fearful -▁melancholy -▁daher -机器 -▁первая -まずは -vesti -把自己 -▁ansehen -▁lugar -▁Geschäft -交给 -▁leaf -зо -腹 -虎 -No -ქ -▁compliment -但这 -▁trot -▁lands -▁Fuß -報告 -ொ -巡 -iš -▁manners -جد -治療 -等待 -خط -▁brow -▁mock -овая -tico -生き -▁wet -怎样 -passen -lur -▁Yuba -シー -不在 -embro -ধ -▁zonder -ន -Ü -▁craft -nji -档 -فی -য -▁misfortune -kaba -вес -ക -flow -▁Pero -さんです -アウト -чым -过程中 -ppel -これで -cce -вае -▁alike -阻止 -しましょう -▁blu -嘉 -▁senior -▁stellte -version -药物 -▁然后我 -忘 -вала -▁gloom -复杂 -的节目 -▁mejor -ča -wende -演员 -▁borne -センター -▁спа -▁ebi -▁requires -杜 -▁پا -▁fac -医療 -pher -第二个 -▁switch -yne -▁theatre -作った -信号 -体验 -лам -你需要 -▁sixth -▁abandoned -▁tipo -類 -▁noted -规 -▁initial -上去 -شار -▁charged -宇 -돼 -▁ciudad -当たり -为你 -▁cares -އ -活着 -▁encourage -門 -tures -간 -▁Би -▁referred -erde -▁leaned -дом -▁Blut -▁шо -非常感谢 -انت -画面 -▁marks -▁flock -ะ -以下 -▁công -▁saß -▁originally -▁sowie -kti -▁encouraged -cm -psi -▁жизнь -▁hunger -ता -我今天 -忠 -stel -уп -自信 -قى -▁volen -acco -▁acu -▁яшчэ -▁而是 -lation -aks -nish -angan -芸 -гад -할 -ям -ี -ogni -▁hoping -約 -紙 -出版 -さんも -▁Hat -▁likewise -치 -▁contempt -▁Seiten -▁свою -我我 -▁wanting -ไ -య -anze -こそ -▁operational -вести -سر -▁gaan -کس -maß -民族 -仅仅 -阿姨 -فل -▁тысяч -rò -DNA -工程 -▁stout -毎日 -▁senses -研 -dil -▁fuhr -aca -担当 -▁говорить -▁dispute -rgi -▁landscape -tima -▁الذي -сте -▁brick -بول -jer -َا -▁examples -对我们 -▁Hin -▁großartig -▁gir -▁engineering -▁cau -▁monk -mona -ځ -上班 -作者 -▁má -▁الط -зов -伝 -▁chỉ -dern -▁provisions -28 -ales -▁Bal -创建 -atory -▁introduce -▁назад -bart -好きな -mother -üz -▁engage -гон -лад -▁champion -子的 -食品 -見える -SNS -▁inferior -▁gratitude -九州 -▁trained -▁mensen -可怕的 -闲 -走吧 -stern -view -玛 -开了 -単 -▁finance -▁Gebäude -führung -是这样 -の影響で -すでに -的关系 -▁personas -▁bride -▁occasions -自分で -▁priests -と同じ -搬 -imiento -сем -▁То -呗 -iche -used -стаў -▁chicken -▁Straße -好处 -是非常 -hom -公司的 -away -▁temperature -▁sob -▁darling -▁knock -tick -术 -甜 -franc -▁гол -▁Quan -based -不得 -しっかりと -▁artificial -sburg -メディア -大きい -නි -增 -▁आ -られている -өөр -tät -很大 -▁todas -工作的 -aş -听说 -所说的 -vali -schied -▁objective -سو -区域 -じゃなくて -avait -likuwa -鹿 -▁laut -ではなく -▁monta -▁swell -主席 -▁anderer -▁ellos -是吗 -▁determine -的第一 -▁Familien -▁threatened -のも -灰 -我的意思是 -▁شو -▁utmost -miz -▁nacht -▁arts -束 -▁commit -▁backward -▁efficiency -▁surrender -ebe -とともに -نده -通知 -ەر -这些人 -baha -▁sonst -git -vale -▁зам -iness -▁Preis -お伝え -▁imagined -内で -▁visual -의 -▁Bedeutung -んだろう -まった -чат -wang -▁probable -他也 -▁conclude -▁Ili -財 -設 -वि -ots -dium -eerd -▁employment -的女人 -ຮ -梁 -変わって -民主 -quent -十六 -uge -▁retain -ச்ச -▁monarch -▁receiving -かん -utse -▁dreißig -▁Anne -▁employ -оз -▁attempted -▁july -▁nào -tief -すぐに -ēja -▁draußen -▁könig -我们也 -رج -▁detective -kup -▁geç -そのまま -ぶり -வர -▁childhood -кал -▁ciutat -ении -▁bloom -かも -▁wilt -koj -▁poured -んの -▁hinzu -節 -ager -附近 -▁femme -才是 -cco -▁ramp -によると -buka -▁уг -▁eki -▁monument -▁contains -公众 -öz -▁items -Mo -поль -▁kleiner -从来没有 -が入って -▁instruments -▁thine -▁essen -侧 -habit -桃 -をお -▁suchen -敏 -▁Region -shin -تل -▁Tiu -尚 -葉 -ators -наход -డ -▁могут -zik -ステ -态 -wagen -▁recognition -mez -フィ -▁safely -▁Jack -ija -▁телефон -овка -▁commitment -跟你说 -▁wage -зда -සි -тын -好不好 -▁мало -▁alleen -▁பு -▁hasn -スの -ってきた -悪い -▁relatively -▁Mur -▁Bru -▁relationships -▁rat -るように -▁Doch -▁noon -同样的 -▁integr -简单的 -▁seal -гляд -▁Uhr -我怎么 -▁dining -▁gebe -culture -師 -他不 -▁kot -▁huis -帮你 -大家都 -▁solve -fur -▁poll -▁jamais -meri -▁cared -bonne -思想 -数量 -一半 -▁furniture -▁territory -▁verbunden -gaan -Imana -herr -▁estar -▁revis -hale -▁Kü -▁lucky -账 -▁pursued -の皆さん -っていうのが -▁mondo -瞬間 -スポーツ -dě -▁ugly -秦 -資 -▁ولكن -▁gering -пас -始めた -▁cries -ありがとう -裂 -▁amor -alis -haber -ë -巨大 -гер -たの -kee -وە -▁groot -▁प्र -цев -新たに -谱 -ары -نفس -▁ваш -▁кры -maal -▁mum -iter -▁mig -bá -盟 -向け -▁betty -▁никогда -▁кү -гэ -どの -ブラ -北部 -йн -▁peasant -gren -很容易 -下さい -ไม่ -▁Ek -▁Are -friend -▁invisible -evi -▁climb -lek -rika -tua -▁terug -эк -▁mijnheer -▁decir -▁Mill -とおり -▁studi -▁shield -伸 -assi -▁award -需 -pira -禁止 -▁autor -▁contre -▁entend -给他们 -▁hugh -!" -▁passa -▁erwähnt -公开 -▁zweiten -iau -▁Ok -mitten -ৈ -喊 -dle -来る -inu -▁ئە -▁freely -汤 -なんですよ -▁nuestro -▁couch -▁mistaken -400 -▁expecting -攻击 -▁landing -你对 -的就是 -▁größte -▁那就 -这对 -点击 -ried -▁bowl -裏 -და -kah -بط -face -lekt -▁urbo -▁solchen -距离 -вели -▁drama -をした -chip -اص -mouth -▁statt -antwort -kho -โ -她是 -▁literary -▁بیا -fassen -▁michael -▁nights -▁jag -都可以 -▁Geschichten -дын -出来的 -yê -模型 -▁آیا -▁пятнадцать -▁belle -ピー -▁Stra -бит -▁merchant -▁russia -骂 -▁Amb -今は -youtube -수 -▁grade -▁ɣer -ც -撒 -▁pipeline -聚 -▁Möglichkeiten -たのは -▁julia -容疑者は -微信 -▁얘기 -くなって -▁umuntu -sprung -などに -খা -▁vorstellen -▁decent -動か -もいい -的力量 -トン -▁acted -▁Personen -恐 -大型 -▁reproach -エン -▁nhà -▁Heute -に対する -マーク -▁Street -▁toutes -▁hinein -▁двенадцать -даа -▁ब -▁Ah -ера -▁kama -▁hob -▁abzu -黑暗 -▁hated -▁steal -▁더 -▁yıl -▁事实上 -volu -▁powder -Ch -klu -针 -ং -▁Entscheidung -▁mail -话题 -▁otra -rir -▁rhy -▁сразу -你可能 -cija -там -dow -摸 -rite -ienne -感染者 -play -lick -▁denk -▁están -若い -▁verändert -チャンス -红色 -▁bade -ây -mt -nych -世代 -▁johnson -▁fears -som -什么呢 -去做 -▁prompt -最終 -▁capabilities -ுவ -▁Anti -▁harder -在那 -ides -▁examination -▁invitation -▁Erfolg -小的 -定义 -测 -▁això -住了 -赫 -▁авто -▁apt -▁Roman -wahr -hard -▁irà -▁toute -会場 -▁spectacle -個人 -德国 -حد -别的 -けて -▁näher -mpe -用意 -▁کی -▁bedroom -▁puc -▁nascut -一日 -▁30 -▁meantime -ということは -▁Charles -▁shareholders -明白了 -국 -故 -ыз -තු -十一 -usta -ೆ -▁parla -اخت -▁inches -power -的这种 -ずに -berry -品牌 -引起 -▁historia -▁pret -▁fantastic -威胁 -kru -当他们 -ؤ -esi -▁occupation -rose -ር -▁statue -決定 -ясн -ો -▁Ton -▁blij -uɣ -ogo -▁favorable -我从 -▁outline -atur -んじゃ -▁বি -▁conception -▁comun -大谷 -меш -었 -▁session -▁fed -今まで -▁ridiculous -妹妹 -бр -▁maig -フランス -▁2017 -ترین -▁глаза -▁её -▁Computer -▁vanished -kauf -▁Unterstützung -▁gukora -做的事情 -业务 -▁schm -러 -▁gotten -▁pār -▁rece -▁zuerst -கா -猎 -▁vergessen -▁weet -ný -▁Japan -▁pointing -▁estos -▁unconscious -だけど -னா -▁permission -هایی -вел -一定是 -头发 -ине -悔 -▁Zum -ッシュ -杀了 -様子 -▁blush -▁sharply -做得 -▁befindet -▁cyf -▁football -▁alguna -пов -泥 -ghi -十八 -▁treball -▁inspired -▁pattern -▁crystal -効 -▁cultural -▁monster -▁Bücher -▁என்ன -сел -▁pomp -▁これで -記 -eyed -mati -トリ -boo -庭 -commerce -pru -▁records -取得 -culo -▁Mau -ようと -▁Ban -特殊 -ฉัน -采访 -дра -ош -イベント -发出 -▁prayers -▁employees -klo -count -▁panel -▁crossing -擦 -这是我们 -▁Frank -▁kinda -ghan -reichen -▁shone -có -▁tutti -真实 -▁avenue -ちょうど -kultur -在我的 -▁iyo -▁fetch -essen -▁detect -▁England -▁село -▁난 -▁reaction -特定 -采 -person -惊讶 -▁strangers -▁gemeinsam -тыр -▁beard -▁gleiche -▁Africa -周り -▁сколько -▁steadily -voca -两年 -zira -▁startled -▁muttered -寄せ -你应该 -策 -▁jud -在他们 -闪 -개 -▁millor -▁vein -に向けて -香港 -播放 -▁accurate -扬 -살 -▁Website -ফ -覚 -▁whirl -よし -ope -ລ -英雄 -▁我会 -▁gek -фі -是怎么 -▁rap -ますか -▁attacked -▁endure -▁tie -يع -rp -rash -▁specifically -▁collected -nahme -uous -න්න -dru -稳定 -oid -と思った -▁каб -how -▁以及 -▁anchor -行き -▁pia -ingham -▁также -礼物 -▁Typ -理想 -▁lleva -ないように -角色 -uck -ી -▁abstract -▁Steve -Pro -▁secured -▁бес -mist -生意 -▁consequently -▁vriend -的世界 -▁führt -ໄ -▁railroad -▁ticket -igis -▁Ji -道德 -▁disgrace -소 -▁compare -我必须 -▁wandering -▁knocked -▁tant -liter -▁procure -▁oedd -media -▁offensichtlich -都市 -fed -▁続いて -کار -▁resistance -▁ئى -▁menos -▁maken -空气 -제 -stock -負け -▁disappointed -fee -選手の -▁admire -่า -▁marie -立即 -質問 -▁directions -eron -▁Jean -ясь -يات -კ -汁 -兴奋 -▁egg -كا -▁erinnern -▁Polizei -ய் -▁È -吸引 -iere -ຍ -▁dip -▁starts -▁свой -cir -ক্ষ -兴趣 -्य -fekt -▁Marc -▁coward -匹 -▁உள்ள -▁dalla -とした -▁brutal -▁traf -holen -肥 -gian -鲜 -课程 -会儿 -▁resumed -ຕ -▁территория -schul -▁complet -▁sighed -限制 -▁elsewhere -ança -质量 -ノー -▁Versuch -образ -kwe -▁virus -天気 -筋 -的书 -▁timing -熟悉 -促 -▁дома -对了 -▁Damit -我给你 -▁Bel -ối -▁Chance -জা -ルー -快点 -これも -anca -▁frau -周辺 -▁pierre -干嘛 -▁فکر -教堂 -▁確かに -香り -道理 -agit -有多少 -指示 -ம்ப -▁patch -スーパー -▁tonight -▁Markt -رم -▁Regel -migrant -miş -sió -巧 -kha -Ha -mination -▁astonishment -▁asia -má -kota -дээ -▁Fehler -▁Dieses -▁persone -cant -▁aquel -消防 -▁perfection -cció -rren -门口 -fest -▁viz -粗 -▁nonsense -schätz -ができる -程序 -▁говорил -▁Clo -siz -▁identify -ós -▁omu -祝 -続き -▁род -ock -表現 -▁slightest -aĵo -豊 -▁пожалуйста -ски -▁Lehrer -▁erfolgreich -moor -பு -▁players -▁vì -▁descended -qual -xo -▁hopeless -▁conducted -手术 -▁Ay -▁12 -っちゃう -生活的 -▁dragged -▁بعض -нет -▁inte -мон -▁teu -тө -▁liquid -▁hip -find -moni -▁State -Е -▁shooting -▁legend -埋 -▁revenues -▁unglaublich -abel -слав -▁” -听起来 -所有人 -▁düşün -了他的 -残り -fro -▁bend -▁wirst -▁akk -▁hitherto -成長 -こうやって -▁dirty -metri -分の -▁perceive -▁jur -vra -خا -▁năm -晴れ -酷 -▁poste -лер -lais -▁sav -认真 -毕竟 -with -▁regional -▁scholar -苹果 -改めて -因素 -டா -кы -▁sembla -zustellen -▁pupil -ifying -缓 -手に -名前 -▁совсем -相談 -▁ал -▁kendi -▁promote -▁стороны -了我们 -发生的 -прост -▁mateix -▁дума -ково -▁Green -自动 -lima -もらう -ели -▁departed -▁belonging -▁Star -وز -テーマ -யின் -▁hesitated -▁Om -评 -▁Hoch -正确 -協力 -ikan -はどう -▁lane -machen -reba -▁ব -逮捕 -在美国 -▁гру -osi -1000 -泉 -▁examined -方は -▁disco -▁Ale -▁terwijl -▁dig -避免 -▁leisure -worm -▁depth -卢 -▁worried -做好 -出身 -生まれ -▁قرار -废 -ám -zzo -culp -▁Gebiet -ibya -ач -▁scenes -王子 -gelegen -基于 -▁partie -lhe -▁belt -রি -änder -▁compassion -♪ -下了 -ями -▁devotion -ろう -他の -ケット -▁monitor -▁häufig -検討 -tö -enta -▁sido -補 -聊天 -我一直 -▁гэтага -▁называ -蒸 -▁当你 -shyi -houden -conc -▁device -この日 -凉 -▁Del -mica -剂 -ドイツ -是要 -隣 -▁narrative -▁Medien -▁francis -Р -▁beaucoup -▁whistle -她在 -▁kumu -▁droit -我们正在 -nahm -etta -▁fille -Do -▁owned -通り -もらって -写的 -疼 -ל -ām -пра -них -gali -shya -▁France -▁cord -だし -rab -▁estava -▁folgen -遺 -位于 -▁sä -▁Sport -▁kui -页 -の方が -nata -▁facing -▁பொ -もない -He -▁inventory -实验 -uter -raten -Sa -▁drank -قی -伺 -▁Barcelona -▁keeps -▁하고 -▁mult -gni -금 -▁astonished -▁readily -▁unexpected -▁mug -どうして -ҙә -跡 -еб -▁Hill -面临 -onia -▁cinema -čas -创业 -▁зап -rücken -▁silly -▁facility -▁除了 -用于 -▁Monsieur -ばかり -▁collect -▁انجام -▁gifts -▁doctors -▁emotions -▁republican -▁maintained -▁snake -▁سي -身份 -▁ней -▁models -▁gracious -ibwa -leigh -بت -▁meines -警察は -stall -▁percentage -خوا -▁crop -▁ainsi -忘了 -cide -▁killing -▁tool -的好 -teria -▁mutual -剩 -▁wreck -▁chiefly -▁values -▁strengthen -▁cómo -같 -的能力 -▁wunderbar -steigen -▁heir -▁2018 -кат -zī -▁அது -▁கூ -breite -▁guter -▁duck -相对 -承诺 -叔叔 -▁bana -使う -زار -组成 -lö -としても -kap -操作 -物质 -Ba -入って -halte -▁tau -▁weapon -▁байгаа -rok -▁graduate -心情 -ブル -▁höher -leu -するため -▁vai -ころ -五年 -▁landed -闭 -▁след -▁selected -放心 -秘 -等着 -nol -gling -▁对于 -▁lend -▁povas -券 -▁sources -▁Kampf -はある -▁Gro -▁jemanden -要做 -▁peaceful -як -规定 -dolph -追求 -univers -添加 -▁pump -バン -特徴 -多年 -easing -枝 -▁Louis -▁Rob -改革 -一本 -▁climbed -▁bueno -▁analysis -важ -シン -▁roger -sein -▁riesige -organ -▁plat -▁seventh -imper -ика -ニー -▁breeze -▁slavery -モン -▁Seg -cru -这个时候 -zte -nici -▁grandmother -这是一种 -最後に -厉害 -ề -▁usted -▁split -的儿子 -速度 -gers -▁heavens -شان -▁planta -奇怪 -▁Sed -▁yüz -дай -▁saturday -うれしい -奇怪的 -联邦 -جو -ydi -▁cyn -▁зах -üste -agne -мол -ায় -▁bwe -бира -toria -尖 -好多 -undu -▁urban -гч -ыч -穴 -▁hiding -▁loan -ແ -▁kant -▁complain -▁apa -▁точно -抜け -建物 -▁Win -يب -재 -政府は -▁Professor -▁naked -期間 -▁essay -翔 -▁propose -▁circumstance -めた -不见 -tour -使われ -гар -我妈 -▁zuvor -坚 -mik -财 -▁museum -▁건 -▁engineer -日から -uß -▁solar -nın -▁gesamte -▁后来 -となって -写了 -▁agreeable -▁canoe -▁rug -▁Hor -جان -什么呀 -▁marble -meister -ەت -▁dorothy -▁confused -ноў -лат -ffi -née -否则 -Applause -ண்டு -▁complicated -▁guerra -キー -你不是 -▁最后 -class -▁swiftly -lton -滴 -▁vollständig -▁будем -▁gleam -▁finest -ザー -▁fiel -▁gusa -▁motive -時の -▁circ -timo -▁こんにちは -rated -هی -ect -▁moins -▁rested -fau -dden -elijke -鼓 -ough -kub -▁quart -ຫ -菌 -skri -まれ -▁Juli -جه -▁dorm -▁selfish -混乱 -▁佢 -なんですか -▁examine -▁insurance -гай -一开始 -▁disturb -cción -政権 -伏 -征 -▁Foto -▁stati -讯 -xed -▁chemical -ром -ships -ligen -▁halb -▁introduction -▁дальше -▁dish -联合 -posa -积 -基因 -ይ -商店 -粒 -不去 -▁Fran -彼此 -▁nieder -▁mache -都要 -три -気になる -▁основ -▁achieved -▁نظر -込む -زم -高的 -Di -使い -某些 -▁Joe -пам -▁cloak -投入 -▁captured -週 -就这样 -сс -所谓的 -▁arī -▁spoil -nuncia -▁ɣef -word -▁materially -▁thực -▁öffentlichen -▁яв -gum -▁ئۇ -▁quote -▁indicated -▁stor -tare -▁kaufen -▁google -▁unterstützen -对自己 -▁wichtige -▁recovery -mensch -▁Ehe -▁lessons -neɣ -던 -怎么回事 -octubre -頑張って -أكثر -▁testing -އި -ști -dır -▁byose -▁polite -рова -imana -▁exhausted -▁rivers -を行う -帝国 -oval -▁例えば -▁Rom -这不 -▁Yn -▁patent -動画 -рас -▁mole -不必 -cura -▁anh -▁überall -美国人 -▁disappointment -▁soup -ktu -▁transformation -▁Verhalten -後半 -▁байдаг -合う -▁Sil -ぜ -扎 -trud -ży -▁shepherd -▁возможно -レス -cier -▁sunshine -▁Telefon -愉快 -▁havia -aşı -のだ -进行了 -农 -▁continuous -▁públic -▁poz -▁давай -满意 -悲伤 -lma -▁curse -reb -空気 -قال -▁player -安定 -maker -的那样 -▁ntabwo -▁способ -heben -▁hecho -wide -Ho -then -ありました -▁pendant -▁咁 -但它 -能量 -▁Himmel -十九 -有些人 -年的 -▁свои -▁practically -ость -▁deserted -说他 -▁buying -▁thorn -▁holds -信仰 -lings -▁glimpse -▁CA -▁Kal -slav -ҙа -思います -何も -ँ -regen -ッチ -druk -قص -▁preferred -续 -بة -▁мин -fälle -▁travail -▁他是 -ழு -▁matt -ít -eği -勝ち -মি -▁ваше -するのは -ෝ -出した -▁bite -黄色 -مال -▁preparing -▁há -ử -digit -▁World -かせ -ieron -答 -遇 -カル -ファ -بن -화 -▁priv -kaza -▁giờ -ப்பட்ட -▁bé -▁چند -kut -▁darf -▁دوست -具有 -fes -еть -▁Cette -konstru -▁thứ -▁jako -ছিল -organisation -▁Essen -▁surprising -渴望 -资 -浦 -isieren -▁байв -▁Ideen -స -▁größer -besitz -bour -ән -werfen -▁Ebene -dah -美丽 -监 -ドラマ -じゃん -▁калі -独自 -時期 -▁cose -▁چیزی -▁joining -▁confession -天天 -▁processes -보 -▁比如说 -也就是 -ーム -是我的 -▁Stil -スピード -少年 -▁fühlte -予 -vig -ики -▁nap -▁angels -▁schedule -rán -▁boston -▁oude -まま -душ -腾 -ху -咖啡 -валі -▁лес -刷 -▁suspected -▁inquiry -▁amusement -ordnung -▁Klasse -食べる -我记得 -连接 -فق -▁precisely -ープ -▁왜 -▁Thomas -場合は -schlag -னர் -▁instructions -turi -▁passieren -▁medium -姓 -▁укра -にする -wasser -▁cigar -▁pessoas -▁thirst -▁gö -がこの -▁norman -geni -拜 -rina -اک -出现了 -纯 -ffin -忘れ -戦い -效果 -こういった -kõ -▁مق -▁روز -妙 -▁jones -▁During -碰 -这条 -っちゃ -рон -pack -gina -が起き -▁sins -gelassen -prä -▁Wand -istes -plat -▁telephone -conf -桌 -▁shine -不知 -جل -▁Red -▁pearl -▁prec -家の -▁Süd -▁într -牧 -agu -お話 -▁sym -意見 -case -▁2016 -▁tenía -▁Netz -lusion -▁sola -なくなって -克斯 -习 -енно -▁lucy -日間 -단 -መ -肺 -Sch -文章 -▁festival -нае -дам -ppy -▁glaubt -ило -漏 -सा -は何 -rico -吃了 -▁première -移動 -▁River -穷 -▁sensitive -今週 -▁provides -нуть -今度は -获 -▁attract -▁durante -桑 -▁கு -を作って -volv -ື -▁armen -現 -abwe -세 -ých -隊 -chet -▁euro -kula -▁hoofd -▁visitor -▁nooit -ятся -にした -▁August -每年 -▁هست -▁colors -▁buri -▁definitiv -▁Wu -かない -eno -গে -▁لكن -egi -▁своей -▁Jordi -pfen -▁solicit -▁goods -▁composition -gine -第二天 -までの -▁intellect -▁vow -现在是 -▁frown -▁furnished -▁обе -য়া -收到 -▁sicherlich -▁setzte -▁harsh -専門家 -▁Тэр -社長 -的一切 -ハー -迅速 -hend -られています -毁 -ന -順 -▁lunga -最初の -anta -▁expectation -▁أي -ью -▁дээр -▁মা -udo -▁jail -计算 -▁나도 -お父さん -fä -* -▁Studenten -▁Gut -▁你可以 -合同 -рус -zam -rul -帅 -▁Why -▁moderate -块钱 -හි -alia -▁timid -▁cigarette -没关系 -ologist -rufen -legi -دید -▁முடி -敷 -方も -刺激 -误 -▁fortunate -▁crow -kehr -ーション -▁nut -你认为 -frei -▁mình -▁existed -烈 -lij -agost -▁partnership -ู -▁ده -▁così -▁hebt -fire -▁país -druck -Ә -▁demon -▁improvements -这样一个 -▁jealous -化学 -連絡 -医学 -huit -▁transfer -گیر -▁favourite -强烈 -お伝えします -卫生 -▁jerusalem -ঘ -ارت -化的 -▁parallel -ções -概念 -我们知道 -anu -したと -▁我不知道 -候補 -在他的 -iens -적 -مى -▁Jud -に戻 -▁Gleich -▁dynamic -▁arrested -母親 -▁establishment -何を -▁père -▁Regi -لف -科学家 -▁xwe -갔 -▁Fan -▁television -bach -zes -数学 -கே -ってくる -ớ -▁граждан -下一个 -▁стран -loj -▁是啊 -▁masters -лез -▁какая -オープン -▁option -ັ -▁identity -▁submit -▁jusqu -抑え -gefühl -▁medio -bira -我应该 -勝利 -ĝis -▁handkerchief -夫妻 -孩子的 -▁vue -▁sober -阵 -▁lightly -clos -▁laten -chie -şti -那个人 -informa -rough -▁links -▁distinguish -tego -▁civilization -▁jaar -▁drugs -▁convenient -いると -ನ -▁например -dock -▁disturbed -würdig -▁deutlich -hri -destin -免费 -zina -▁revenge -zogen -чка -瀬 -▁concealed -rwanda -▁باز -fahr -ilo -한테 -奶 -いるんです -аба -得点 -institu -нан -▁hedge -▁Every -違い -▁Ly -▁بس -свя -你这个 -▁dressing -猛 -俗 -ச்சி -▁Ang -问我 -▁بزرگ -▁chapel -ходит -▁kiu -ений -我跟你说 -堡 -utter -躲 -▁ໄປ -▁fabric -▁frankly -を出 -漁 -队长 -▁هل -的歌曲 -쫌 -baar -还有一个 -▁boast -▁Pf -▁bunu -▁Kas -сол -rock -元気 -お願い -▁Santa -imento -抜 -▁чувств -ණ -書いて -▁dwelling -聞いた -▁Laufe -brechen -stol -也在 -раж -给她 -▁arrangement -▁Са -zat -jung -29 -minded -▁vivid -▁18 -走到 -去看 -▁weren -うち -▁Mir -背后 -abilir -ホームラン -ures -上がる -nischen -bridge -lara -hound -▁technologies -▁accompany -დ -tempe -▁cream -▁anticipated -même -лей -▁Linie -が行われ -▁Pres -言った -past -ruf -▁trait -uche -모 -▁scotland -▁struggling -▁vậy -posit -患 -ミサイル -▁preserved -▁зачем -▁defeat -avu -▁aby -▁pint -iji -leute -known -済 -サービス -▁ёсць -実際 -的国家 -▁são -▁copper -宾 -▁Partei -ziel -▁illustration -ими -politi -ハン -▁US -bry -▁verge -öd -法官 -itud -番の -差不多 -很有 -▁jury -▁Pas -知道了 -▁объ -edifici -雨の -类似 -▁stamp -stimul -我们应该 -▁monte -ީ -称之为 -细节 -ote -▁номер -ライン -日中 -赌 -ctive -页面 -gion -▁creative -始 -▁Venim -▁beings -schloss -▁influ -它在 -▁гэтым -传播 -子どもたち -▁Vous -mış -▁sino -fach -▁Stelle -対象 -个月 -big -▁autumn -chron -▁давайте -▁eaten -▁crept -цэ -値 -▁defense -激しい -▁echo -nelle -▁owing -▁Black -▁moest -▁behalf -▁происходит -impa -▁minimum -niz -▁investiga -着急 -▁october -られます -▁virgin -▁lean -ළ -▁ответ -えた -▁звони -いけ -享受 -äch -你们的 -onge -▁Hände -trat -▁outward -这里的 -▁notwithstanding -▁volunteer -▁Smith -чная -去吧 -湾 -帯 -きている -вез -制限 -maya -どうですか -▁clothing -性格 -▁Baby -bbing -වා -花了 -аю -▁entwickeln -▁approval -▁irrit -他没有 -▁Alles -▁associate -▁kenne -▁bolt -永远不会 -lug -▁perfekt -gué -nutz -想知道 -▁bestimmten -▁nail -ビー -ыми -▁hatred -glia -保存 -▁answers -▁hefyd -不懂 -催 -aeth -▁math -的一种 -ounce -eco -қа -ĝa -regel -うん -▁betrachten -பா -nyama -起き -玛丽 -▁Fort -願 -▁Chúng -wald -moto -▁sustain -명 -▁founded -▁bringt -工资 -undi -Emp -▁isso -▁pris -と一緒に -eaux -ủ -aĵoj -ても -海洋 -▁passes -otto -▁Gesundheit -կ -先週 -unga -зал -▁immortal -▁covering -▁wash -ích -bula -казать -wak -issen -担 -泽 -nico -▁hyn -▁react -▁мор -mol -▁definite -▁decrease -▁scarce -▁beating -print -強化 -▁Wind -egu -▁справ -леп -gga -▁nhưng -▁poc -是最 -ங்கள -▁compete -かかる -▁territori -hana -続く -ground -経 -就是我 -買 -وری -邦 -ミリ -▁Gib -nă -▁segui -种族 -gung -▁formerly -▁gün -ents -யும் -кие -▁Kindern -▁farewell -▁cotton -пон -▁mechanical -▁enabled -थ -wesen -▁prejudice -과 -▁Organisation -کان -▁beasts -敌 -▁breathing -▁đề -▁dues -▁grandes -▁letting -wegen -▁provision -▁fishing -▁ongoing -ŭ -地位 -▁그러 -和平 -▁länger -▁canada -过的 -▁alma -▁Pal -cular -வெ -▁elegant -司令 -かね -▁interessiert -▁feu -▁violet -маш -▁Landes -▁gazing -gestalt -一个小 -нат -klar -ló -▁gallant -pä -▁tutto -▁În -kore -正确的 -lever -▁restrict -▁Lösung -▁applications -▁witch -ительно -yong -会在 -تج -彼女 -stärk -たちは -гре -▁Spi -▁tribes -η -six -sitz -komen -rê -▁geboren -▁niets -▁prominent -けどね -诉 -添 -发生了什么 -tamente -▁unver -韩 -ỗ -▁viņa -heure -ያ -兹 -るんだ -巨 -дж -ඉ -ři -▁upstairs -▁entertain -цию -▁indicate -kab -▁rarely -株 -▁imperial -pression -дем -应用 -形で -crib -▁replace -▁beaten -阴 -▁আছে -平时 -立刻 -一群 -▁Außerdem -джа -▁seltsam -▁ته -유 -いわゆる -দা -▁dimension -▁Bob -岁的 -思い出 -open -孤独 -▁disaster -களில் -baba -▁touching -をかけ -▁tribe -kati -航空 -▁Nation -▁maxim -留在 -방 -となり -手が -▁ähnlich -ēt -▁strict -いきたい -により -гән -▁wives -▁политик -クラ -どちら -▁Herausforderung -这一切 -▁sailed -lash -▁hanno -тка -月の -▁Vorstellung -sible -участ -倾 -namen -हरू -込まれ -daw -揚げ -っていく -nsen -▁collar -ނ -hill -▁petite -alität -▁grab -▁Kam -▁egal -绿 -事业 -ores -▁bewegen -besch -▁Titel -了她 -きょうの -这两个 -危険 -labor -▁funds -十三 -갈 -▁jaw -▁senator -▁doorway -ationen -્ -зар -litz -dó -▁определ -▁あれ -▁accent -yana -▁wrath -Li -▁moses -arna -▁Hay -ええ -▁interfere -▁Text -▁можна -臭 -なんですけれども -embra -zó -лич -描 -发表 -ぁ -itor -▁cheese -▁stato -돈 -▁Mitarbeiter -▁label -কার -▁spun -▁propos -▁speaks -在家 -赞 -ór -▁finds -市で -眠 -ነ -flor -ニア -▁мяне -▁اگر -▁operator -tention -▁definition -見事 -вра -▁büyük -tribut -порт -非常非常 -вяз -rov -▁walter -oti -▁marched -▁restored -ells -▁trug -好啊 -onda -▁riches -▁Hoffnung -太太 -ுடன் -lob -▁belongs -▁hans -非常重要 -▁présent -分子 -某个 -讨厌 -▁attracted -しまう -▁encounter -nnes -zzle -レイ -▁attain -▁вами -▁mutter -开车 -바 -▁funeral -щу -اره -▁shiver -创新 -▁стал -treiben -保险 -▁lightning -▁complaint -▁african -重大 -你跟 -▁같은 -چى -对他们 -▁quel -▁sama -▁обо -遊 -aves -▁manufacturing -汗 -教会 -做一个 -▁wid -мент -▁november -▁месяц -▁elbow -▁tank -ほぼ -лем -ति -NHK -кин -▁Bilder -▁zeker -стве -一个非常 -▁curt -ტ -▁asset -破坏 -anye -▁differences -▁нашей -clin -ウクライナの -行われた -▁Shi -dors -▁democratic -▁Obwohl -صف -هر -▁feeble -leş -这种情况 -ssin -を受けた -kai -▁robust -▁besondere -▁elected -▁Modell -▁seconds -lauf -ダイ -ګ -セット -時は -Applaus -白人 -▁свобод -病毒 -损 -ජ -▁Mat -▁executive -▁onto -lag -▁важно -ან -▁concerns -ء -ebbe -▁Tru -▁seed -推荐 -▁Staat -祭 -▁cleared -მო -eixen -让它 -သ -wiesen -Ro -train -▁acknowledge -取れ -風が -依然 -▁indifferent -人数 -▁generate -▁frost -itaj -▁reminded -▁romance -隠 -▁ireland -▁Ха -最多 -▁layer -柳 -就有 -▁caution -▁bezeichnet -▁denied -سە -▁profile -的位置 -tato -▁politische -▁Dra -高度 -ちゃった -▁Bay -成立 -▁stephen -laş -変わり -neb -ält -oza -coloured -рок -▁independence -▁traveller -接着 -utu -许多人 -▁leather -这项 -进步 -▁exists -kia -进一步 -ړ -▁Char -▁English -cional -maakt -▁zá -▁wereld -▁дэ -他们都 -▁Sicht -出来了 -وك -▁christians -種類 -gone -▁говорят -▁danach -▁positions -问你 -यो -▁daylight -wall -えない -不住 -▁echt -脳 -搜 -▁consists -děl -人在 -▁Adam -umva -▁formula -anzi -▁тысячи -▁casual -ины -▁eighth -plica -guer -世界的 -▁استفاده -▁German -▁بیشتر -▁Ŝi -ează -反対 -▁determination -时刻 -iller -히 -不愿意 -▁republic -respon -alen -liste -▁outer -▁echte -对待 -私たち -▁которых -って言って -你先 -่ -▁aveva -nym -acions -▁然后他 -▁democracy -填 -▁гэты -▁Bruder -▁characteristic -▁Kris -▁neuro -politic -▁visitors -ໂ -▁gale -tır -▁protestant -▁befinden -▁одиннадцать -▁Schi -いまして -öhn -연 -そういうこと -arbeiten -лас -▁porter -做到 -cun -нер -nette -atan -▁zweitausend -ల -ట -öö -▁relevant -鼓励 -很棒 -fford -▁dios -▁Tak -个小时 -我发现 -▁Ul -rating -▁creek -▁aggressive -▁трэба -それでも -手里 -へと -بح -нік -一个问题 -公主 -见面 -▁saa -始め -崩 -ivo -Mi -▁extensive -▁спасибо -▁properties -▁Asia -▁Gran -序 -애 -posing -发生的事情 -想起 -十七 -▁Anwendung -лө -▁Member -トー -孔 -▁наши -▁span -▁swung -▁perception -हा -▁ox -劝 -▁laying -▁carpet -wch -vē -はもう -赚 -▁Demo -mala -daten -მე -quar -▁تمام -anima -▁radical -▁власти -anı -▁Ils -証 -00 -hub -ало -の姿 -るのが -раў -読 -% -ваў -监狱 -すいません -▁execute -bred -▁profess -▁Fenster -不上 -exc -▁torment -互相 -▁unge -着我 -ரிய -の一 -▁sci -設置 -versa -▁größten -vê -▁graceful -popul -夺 -ಸ -採 -とにかく -name -▁Partner -あるいは -▁nuestra -▁impressed -ức -对不对 -IT -方便 -pek -一周 -ਾ -ම් -▁California -▁assembly -▁bran -жда -可以在 -▁lei -在她 -有趣的 -▁divide -直播 -nemen -の話 -求め -彼の -▁trends -▁veröffentlicht -илось -助け -க்கப்பட்ட -▁دې -▁rapport -▁tones -nego -怎么说 -ົ -也很 -grat -träge -▁großartige -▁cape -▁successfully -سى -علم -撮 -jah -安妮 -▁whit -inin -▁Funk -他自己 -▁funding -jär -女朋友 -ホテル -▁poly -▁awkward -iyorum -wich -lish -▁Jung -cata -جم -▁Then -bby -embe -▁Kein -防止 -访问 -▁blanket -鉄 -▁andrew -▁grounds -▁چا -▁Israel -▁pap -出てくる -▁convention -றி -えっ -▁Wieder -充满 -▁Australia -fik -аем -▁schlechte -▁Tier -▁febrer -屈 -肖 -課題 -idas -▁milli -▁parish -borough -進め -▁Zeug -عب -En -▁exceedingly -柔 -砂 -郑 -▁таксама -leb -最低 -当て -▁japan -你把 -ächtig -sort -▁shudder -▁profitable -如果他们 -▁放一下 -クロ -ände -他们说 -▁Durant -很高兴 -pare -artig -schlossen -▁ora -▁அந்த -cà -掉了 -fè -▁canal -▁administra -▁bears -出现在 -▁shriek -▁знал -ebilir -▁schrieb -contra -▁roar -間に -液 -相互 -▁package -でお -▁Maar -식 -けども -▁romantic -▁tales -▁gelernt -▁invent -大体 -▁anyhow -を作る -stoß -▁podcast -▁Пра -ლი -奔 -lp -män -кар -mesi -的观点 -gani -Mail -▁mwa -サッカー -▁alien -tiu -是真的 -計画 -りの -診 -医疗 -明确 -▁parece -десят -иш -哇 -▁meta -CO -lec -▁但是我们 -argent -炸 -我先 -▁studying -shaped -的样子 -▁anymore -▁attendant -可怕 -▁erfahren -nade -▁zona -▁Dame -▁containing -▁Patienten -▁болон -統 -ר -▁ჰო -▁соглас -মে -目に -▁gyda -▁endeavour -那时 -発射 -бур -▁cael -จะ -言われて -▁meg -観光 -▁envelope -▁говорю -▁snap -▁truck -电子 -ຊ -▁endeavor -▁stole -▁beheld -焼 -这也是 -energie -▁acid -▁communicate -▁Хо -估计 -怎么会 -зем -මා -▁Australien -fish -嫁 -igheid -odi -区别 -нев -liko -tale -▁Camp -文学 -krit -hielt -▁tube -▁карт -igne -ді -我再 -的身体 -obo -告诉我们 -▁dhateng -▁invention -ări -▁அவர -▁Herrn -าย -▁cunning -folk -をしている -▁Fra -▁ignor -▁Denken -付き -▁слуша -実験 -patri -▁Ganz -▁kurze -▁saving -東北 -韦 -るのか -▁baz -▁Freude -▁километр -責任 -▁restless -ском -▁Ty -▁факт -▁whip -收集 -となります -スタン -▁folly -▁wool -▁uses -મ -▁Unsere -全員 -стат -▁regards -▁Flu -El -▁recommend -るような -tering -ству -ీ -cope -每天都 -harmoni -▁کرده -▁appointment -下雨 -广泛 -ehr -für -向き -cell -юр -വ -设置 -这只是 -▁erzählt -publik -▁nämlich -经理 -▁senate -▁perpetual -的研究 -昼 -ற்று -▁Grand -和我们 -ものです -まって -hra -▁laura -可能性がある -▁Cho -▁mama -▁Cam -chair -▁chart -▁опять -▁injury -scheid -ambo -▁gospel -projekt -cı -▁elephant -▁наверное -nisse -▁dislike -▁stomach -▁amendment -応援 -▁barrier -▁upset -独特 -白色 -▁dedi -無理 -▁extract -時間が -小说 -▁pains -就是你 -観測 -▁所以说 -粘 -選手は -yin -▁этому -▁lass -湯 -指挥 -▁illumin -rush -進んで -দের -élé -▁helps -fia -▁Bildung -▁Jeder -亏 -億円 -ご覧ください -gress -▁romans -▁Haben -トラ -国家的 -mato -hut -支え -▁tudi -▁disappear -ына -▁Gesundheits -▁ነው -▁Beziehung -cam -▁Drei -扣 -▁celebrated -▁coisa -▁convey -▁aussehen -weis -▁Hon -止め -碗 -▁acquisitions -关闭 -▁Ба -超级 -▁tables -ໃ -▁ndetse -一面 -▁واقع -ีย -ibility -載 -ilor -信じ -وف -раг -grade -上の -▁Viņš -ӧ -手段 -бил -▁damp -▁Alex -▁taxes -▁chez -▁50 -▁zumindest -がいい -盤 -brau -歴史 -kopf -▁wordt -▁ເອີ -두 -차 -เป็น -茨 -▁cable -▁grows -▁constitute -▁یې -▁interessante -てしまう -備 -▁despre -▁promo -回目 -那个时候 -▁imbere -探索 -phon -途中 -▁machines -▁Handel -▁salvation -▁parted -▁punto -алі -▁moja -壮 -halb -▁corporate -者的 -▁flank -勇 -▁relieved -ますよ -ена -drückt -Н -▁churches -めちゃくちゃ -自民党 -进了 -仁 -▁swim -▁loĝ -▁الآن -hnen -也不能 -▁eben -とっても -ټ -▁getroffen -▁stake -kou -▁Fisch -schap -太好了 -zwi -▁vive -如果他 -最重要的 -γ -ますが -軍事 -▁woe -ウェ -息子 -▁Steuer -肯定是 -▁tay -▁boss -граф -rons -lasse -灭 -க்கும் -lini -体験 -▁delivery -▁temptation -忘记 -ウル -奴 -▁thành -▁په -▁writers -▁assistant -▁Tam -кө -我爸 -▁boom -чный -だね -اپ -weil -uwa -▁facilities -▁monkey -私たちは -صور -▁тому -સ -真相 -这就 -削 -▁Sim -▁squire -▁britain -败 -۰ -しかった -ちなみに -ستان -▁trifle -dist -▁options -empat -敲 -▁Monat -会说 -стой -しようと -▁langen -ப்பி -▁Az -焦 -ますので -ছ -sters -糟糕 -erei -▁subtle -胎 -に行く -▁яна -▁времени -スタジオ -▁сообщ -普遍 -yim -pē -▁sitzen -プーチン大統領 -你没有 -— -▁Monate -▁dive -▁Fre -各地 -▁bias -ml -▁bị -▁gardens -▁ceremony -▁roots -غل -geschichte -▁Ĉi -▁minu -▁имеет -来年 -iaeth -小さな -饿 -▁можа -▁Hall -帽子 -کش -▁pense -▁Tisch -эконом -ufu -の世界 -▁Leistung -▁steer -сю -hul -ーク -ですので -爷爷 -вон -▁wax -违 -дь -一个月 -▁isabel -向你 -ె -lari -▁peril -メッセージ -すぎ -것 -▁общем -▁Ken -▁natives -邪 -▁Anda -nice -结合 -把她 -chang -кро -▁Kunden -首都 -地点 -▁launched -▁cran -вен -фер -開始 -ப்பா -▁Dum -的意思 -▁dragon -▁silently -なければ -荣 -▁Junge -▁searching -这将 -▁erklären -▁scratch -▁ehrlich -emba -▁Liste -応 -까지 -▁fitted -とする -GAAP -▁limits -რი -を使った -배 -ovi -eight -раш -▁marine -▁Tar -▁Many -壊 -년 -▁troubles -▁nuclear -▁lodging -خص -▁termina -多分 -Weiß -有所 -acak -wise -prof -num -英语 -abana -胜利 -cada -autobús -▁residence -ولا -▁zeg -▁Jim -抵 -▁Bö -▁Hauptstadt -京都 -iling -我把 -▁appetite -▁oameni -▁cardinal -häng -地元 -▁doubtful -reiz -リスク -来て -慌 -ғ -しょう -▁bother -算是 -▁reverse -▁dearest -ของ -▁занима -▁giả -不像 -▁newspapers -▁boil -のうち -μ -▁мужчин -一声 -ār -▁fury -かわいい -ầ -api -ố -ở -▁Aufmerksamkeit -shore -堆 -▁центр -議論 -ได้ -ですし -如今 -▁passions -▁limbs -▁producer -verein -▁مج -▁glen -▁natur -rade -▁verrückt -版本 -回転 -lica -▁hinder -▁hastened -▁anticipate -大事な -の問題 -▁zwölf -先に -▁그니까 -▁erstaunlich -▁assault -发生在 -▁vede -▁bust -▁binnen -▁lloc -は今 -tré -といった -court -▁exquisite -wunde -ның -▁Lee -▁bundle -duct -高速 -▁nas -mac -▁достаточно -体育 -チャー -さあ -▁desires -▁Geschäfts -gana -辛苦 -略 -交谈 -的那种 -bí -レベル -▁brass -说得 -무 -dala -歯 -▁shalt -kuba -スタ -▁взгляд -对象 -▁clinical -目を -殖 -industrie -戈 -的主要 -▁Sel -ԥ -enne -▁ralph -▁resting -ась -aran -body -▁esteem -▁hail -ඩ -▁вместе -仔细 -▁rip -▁Aquesta -▁Welche -Bo -されていた -▁multe -锅 -否 -▁наша -▁export -▁vigorous -▁Phil -мын -▁scandal -炮 -カレー -▁Gla -▁بازی -تان -▁prevented -▁tranquil -▁tobacco -▁thence -집 -▁tire -▁schwarze -リング -▁embrace -▁schu -ほら -▁rural -ҙы -▁skirt -▁каждый -るという -▁Bitte -仍 -ຄ -▁wrap -vara -ەوە -者は -воз -нал -▁offers -έ -恐怖 -安心 -▁geweest -▁dumb -▁municipal -фон -上げて -tē -小组 -▁Carl -▁golf -▁Position -▁después -绑 -2019 -▁scientists -▁但是你 -경 -▁دیگر -▁excess -লো -erweise -pence -▁prey -把它们 -قة -そこで -▁fünfzig -пле -微笑 -▁cabinet -▁accused -muzi -確保 -▁решил -▁Büro -的最 -كر -▁formation -▁princes -ですけれども -still -әр -▁баш -▁entertainment -ິ -奉 -800 -▁собственно -放下 -ということを -bird -システム -ток -▁Tochter -被告 -▁uncertain -▁нельзя -▁شخص -ほん -arma -▁insight -▁ruler -▁altijd -▁habla -ären -▁Here -zunehmen -▁passionate -▁nunca -▁typically -童 -와 -▁supplies -räum -温暖 -anche -▁lustig -stop -▁ascend -かし -▁Stunde -▁начина -وار -றை -ර් -▁marquis -▁Quin -伙伴 -▁إذا -▁Pop -惠 -кую -のない -anne -していきます -友達 -▁retire -来源 -almente -frau -▁ўжо -mates -няя -нич -▁seda -消失 -ısı -▁wrapped -வில் -▁política -行われ -見えて -▁mau -lager -▁při -上来 -lett -ލ -dang -▁bez -енный -哲学 -ены -جز -▁barrel -相反 -▁neighbourhood -パス -zeichne -esten -メダル -▁Kosten -▁relativ -коп -▁älter -编辑 -الي -gründe -голов -体を -ஷ -有机会 -▁nobles -这件事情 -が発生 -ということなんです -告诉他 -往往 -▁دارم -ũ -yah -五个 -న -▁argue -ශ -ピン -imos -▁trusted -▁прямо -рог -▁depuis -idades -Ч -▁যে -ではありません -ていて -億 -▁unpleasant -smith -わない -▁latest -рг -んじゃないかな -nische -▁pulling -を持つ -puesto -乘 -酒店 -▁такого -▁Gelegenheit -rats -▁svoj -▁viva -这就是为什么 -杂 -▁مورد -পর -▁pushing -▁depths -しよう -ヨ -Ne -gles -▁guards -均 -▁hadden -▁maison -▁sketch -вых -宝宝 -弁 -▁surgeon -▁aŭ -▁siempre -sea -除非 -▁далее -quí -感觉到 -capacit -▁advantages -▁chant -umwa -bä -森林 -▁foul -مار -矿 -跨 -▁staying -热情 -мысл -▁paw -▁Straßen -▁forecast -▁собира -اری -互 -obli -енные -ப்பட -▁fum -▁cá -▁distinctly -ада -wari -飲 -一部分 -市内 -怎么能 -gge -▁عنوان -出演 -▁sterben -▁reproduc -▁register -▁Mitte -tiga -bron -▁Software -▁knights -たちの -▁место -▁menschliche -ising -▁repent -▁mechanism -taka -▁haut -需求 -▁stopping -ợ -▁breathe -濃 -不容易 -stick -sagen -▁guarantee -这些东西 -詰め -缝 -▁sabi -所在 -ランナー -▁представи -▁является -特别是 -شي -Đ -▁després -辺り -也要 -▁образом -听着 -▁earnestly -▁Tim -воль -就没有 -ост -▁oleh -何が -▁donne -فة -trägt -▁brains -幸运 -▁deadly -станов -valu -ürü -いえ -▁skull -gebiet -Mar -敵 -攻め -▁spielt -source -baren -▁Bevölkerung -都能 -▁stirred -▁commonly -▁pang -▁Before -角度 -▁tener -▁winning -▁öffentliche -截 -نة -▁parce -dler -させた -уль -▁Größe -▁nei -▁conservative -▁туда -というもの -用の -▁boxes -▁reception -▁Şi -▁timber -▁Druck -発生 -мир -適 -弃 -▁Sud -解決 -க்கி -▁baga -からも -وح -▁comprend -在你的 -工人 -划 -ложен -原则 -史上 -klä -ե -markt -荡 -kari -walt -オン -▁neues -▁Ergebnisse -▁courts -нг -버 -shot -ең -▁blew -haltung -▁Herzen -грамм -▁participate -▁competi -ちょ -알 -▁gerek -▁президент -▁esti -ண்ண -공 -교 -▁fatigue -▁fatto -▁aquella -altra -▁blossom -恵 -鮮 -瑟 -▁jewel -▁Rock -帝 -ось -▁remainder -▁راه -特別 -▁technique -▁pillow -opa -많 -▁category -▁таким -ませ -▁monday -それぞれ -pio -läuft -▁zunächst -▁Second -volg -motiv -▁nerves -▁programme -omu -tious -▁Bell -▁augen -дон -一把 -инский -▁ஆஹ் -▁omdat -▁dutch -سته -▁profitability -affe -▁standards -付近 -俄罗斯 -kreis -▁gelang -овых -кор -▁procession -ơ -将其 -他有 -爱的 -很有趣 -▁Omu -кія -▁summit -▁fünfzehn -چه -生活在 -コー -情况下 -▁gesamten -海岸 -非常好 -家长 -écri -▁murderer -▁Он -▁مست -▁accelerate -itas -cía -▁diejenigen -▁contracts -▁commun -高中 -hte -▁delivering -たっぷり -kala -▁popula -公园 -▁domain -▁journalist -▁repar -crit -ための -▁Auswirkungen -▁былі -▁Papier -所以他们 -lē -பார் -外交 -▁Bundes -我们家 -そんなに -▁stolen -低い -附 -zaba -иа -▁egyptian -ା -달 -脏 -▁uwo -lă -会不会 -▁Web -▁olduğu -дор -regul -時点で -必ず -ță -wissenschaftlich -▁scripture -mper -を示 -▁alterna -kke -حر -shuri -▁format -amerikanische -ння -▁serving -▁doll -▁resemble -▁slain -走进 -美丽的 -展開 -▁wilderness -▁creo -kind -▁Stein -▁mussten -gramm -▁абсолютно -ని -film -不好意思 -▁sailor -我看到 -笑声 -嘅 -火车 -便宜 -gid -うまい -也就是说 -中継 -▁cats -ango -wehr -чил -▁flashed -小孩 -으면 -▁occupy -不对 -▁victims -rink -▁shan -▁dife -▁должно -あんまり -чай -▁وقتی -谈话 -珍 -庁 -コース -rechte -▁компани -后的 -▁fem -▁utili -struktur -付出 -mount -▁humour -ții -▁respectable -を迎え -бри -▁бог -myaka -mast -▁accomplish -оро -什么意思 -▁allowing -▁streams -扫 -mming -▁Pferd -▁aya -ގެ -▁Canada -chief -▁erhielt -▁scared -▁burnt -▁gloomy -▁выбор -lha -▁さて -нулся -▁Link -ımı -ベル -ிருந்த -仪 -睡眠 -▁God -▁Vorteil -▁Stellen -ístic -を作り -▁Reich -重点 -氷 -つい -лийн -早速 -▁số -▁стол -▁Haar -ゾ -説 -▁equity -▁grove -▁زندگی -お客さん -选举 -妮 -फ -ывать -開かれ -kamer -хай -▁adjusted -парт -▁insanlar -垃圾 -ան -だが -您可以 -mena -▁suitable -ދ -fähig -bikorwa -上升 -▁needle -▁hawk -มี -ベスト -▁prend -▁clima -poko -地元の -▁jos -قابل -▁prudent -什么是 -▁agony -▁inevitable -losen -▁таких -▁wages -▁otros -date -双方 -诊 -▁cluster -桂 -杉 -インド -▁meaningful -iet -▁fruits -継 -▁status -的男人 -▁trage -▁polly -zehn -でしたが -▁самое -amour -和她 -ufer -▁transparent -rier -tero -スク -を入れ -▁offence -▁இருந்த -ライブ -▁washed -▁obscure -esso -規模 -▁resident -▁resolve -▁betrachtet -▁foarte -幻 -正好 -▁damn -zugehen -那儿 -ஓ -წ -tian -層 -▁assembled -中国人 -▁chairs -夸 -▁сур -解除 -▁Dit -終わり -To -▁menyang -tanz -▁officials -▁libro -▁Glauben -ibu -▁prim -гы -▁Most -构建 -▁entweder -▁bauen -是关于 -動物 -▁Mund -ambu -かけて -rop -▁generations -▁Joan -▁dash -▁masses -▁mögen -بات -oud -込んだ -▁brows -演奏 -一気に -防衛 -cula -▁Interesse -еры -方針 -和他的 -mog -ຈ -輝 -▁disguise -▁varia -▁leaped -नि -▁leer -шь -zieren -ļa -ına -rique -彼女は -ளை -雑 -amendement -这本书 -▁confined -不久 -将在 -▁nephew -imit -бан -缘 -gado -我们今天 -ereza -墓 -▁domina -买了 -体制 -稳 -صر -一万 -競 -浴 -的结果 -時から -पा -▁hopefully -▁còn -什么都 -▁poe -▁fastened -▁brands -▁ấy -烂 -▁florence -▁legislation -gari -▁высо -barra -▁Plu -aciones -dna -一首 -賀 -▁december -▁valid -cine -▁erinnert -pole -familie -琳 -strat -▁humans -gā -▁kinder -▁scri -ampl -▁blast -琴 -曹 -▁dispar -绿色 -挣 -▁продолжа -кру -▁steamer -▁arguments -▁toda -を超える -▁kullan -tli -▁Zustand -▁suspicious -脉 -▁obstacle -競技 -椅子 -▁Maß -▁temporary -的任何 -▁persuaded -如果你想 -逐 -▁cambia -ウン -ό -▁abbiamo -▁vary -▁понятно -ぐらいの -ものの -辈 -▁commenced -▁Schrei -ligt -主题 -都知道 -schule -▁separa -web -▁Kaj -飞行 -thon -▁nnyo -ump -▁Service -▁irgendeine -eus -件事 -这么大 -的老 -▁protected -▁effectively -分かります -dür -主要是 -кус -▁enorme -ष -エネルギー -▁sunset -нэ -wah -▁призна -кино -▁deinen -▁costume -くない -کو -▁homo -▁کردن -tò -ума -もありました -いきましょう -▁seats -▁Dort -▁mars -▁supporting -▁replaced -▁hammer -▁Two -▁interven -sley -▁машин -把这 -▁genauso -مۇ -нская -▁furnish -▁units -的爱 -▁strangely -먹 -steuer -受伤 -関係者 -是这样的 -失去了 -▁اینجا -分け -ທ -▁globe -市場 -播客 -иг -资本 -▁contents -hanga -zicht -▁großes -还会 -▁jove -кер -▁saints -丰富 -▁Vol -▁fazer -▁mou -دون -▁Ntabwo -▁Pass -▁fires -▁devices -▁tienen -нымі -▁mademoiselle -ガス -taba -▁achter -鬼子 -还真 -買い -▁rays -▁Cent -▁buryo -▁cual -▁amigo -▁murdered -んでいる -▁vulgar -elte -▁seas -▁либо -пуска -▁aceste -申请 -そば -▁Brit -▁bitten -的历史 -▁Natürlich -▁Texas -炭 -▁Schwester -▁блок -▁neighbors -ாள் -一時 -▁двух -rita -▁effet -▁часть -מ -▁speziell -▁групп -われ -亲自 -جی -ashobora -▁armies -tuk -▁succession -上昇 -▁Minister -一些人 -ৃ -究 -▁wing -いう -的呀 -anthrop -の一部 -▁fountain -兼 -▁minut -りとか -初の -把他们 -ว่า -▁Design -▁familia -神秘 -lui -▁testimony -教えて -▁abruptly -▁Une -▁decidi -riet -类型的 -▁meetings -받 -월 -рай -space -iadau -▁pall -▁antwoordde -職員 -مز -каў -think -▁insbesondere -▁solitary -ヨーロッパ -▁responded -中国的 -▁puzzled -逆に -▁Mul -赢得 -గ -сөн -不是我 -▁sauce -ついて -▁diferente -life -民主党 -▁pronounced -までに -公民 -▁hohe -▁diverse -▁namely -▁weigh -pian -这张 -▁thereby -வீ -▁tragedy -が出て -▁但是他 -谷歌 -іцца -ök -nika -▁chứ -剪 -▁offices -你们俩 -▁channels -zette -sozi -▁twi -公園 -gize -rata -養 -▁scott -▁grip -▁longing -▁texas -▁diamond -事業 -这场 -▁Kä -bou -想过 -ுள்ள -一遍 -尝 -schutz -▁clara -▁уу -вяр -善良 -▁memories -üyor -▁producing -▁sadly -▁wink -生存 -现在的 -协议 -▁scent -ىنى -hine -▁veces -▁pří -▁Ng -购 -▁Werk -▁cog -行政 -ワールドカップ -▁Schmerz -▁milit -liği -▁neglect -pier -黑色 -▁என் -▁functions -▁harvest -시간 -▁floating -が今 -▁metro -lingen -яць -▁partially -▁indication -▁Rei -スタッフ -▁Sub -予報 -▁guilt -gesehen -的学生 -▁sergeant -mari -ады -Wa -平等 -房间里 -않 -▁documents -▁cavalry -▁பல -fashioned -▁sets -бой -▁nehme -த்தின் -▁پیش -क् -广播 -ае -动作 -▁integration -石头 -▁результат -▁amas -▁brig -দে -饼 -▁fiction -題 -▁кстати -▁shu -▁பிர -しまって -flex -eorang -made -рал -shop -領 -scheiden -ĉa -旁 -舍 -ї -不是说 -truc -schiff -▁Scott -ія -▁roses -▁但是在 -胆 -▁Ра -داری -我们想 -Ab -▁trabajo -に関する -▁defect -▁Gil -ერ -▁wandered -会談 -ckle -勝負 -Au -meli -▁bose -飲み -šo -植 -▁애들 -所说 -vian -▁لقد -作って -▁satisfy -ffle -▁Arzt -▁wann -▁deeds -▁myth -▁Nummer -▁criticism -▁Kro -故意 -单位 -▁맞아 -ستا -▁guardian -▁indignation -Ver -▁recollection -会見 -▁whoever -break -気温が -সি -▁gleichzeitig -陛下 -▁delicious -开始了 -读者 -beeld -起了 -▁illegal -地面 -▁yeni -▁enjoyment -▁outrage -并在 -▁flee -屏幕 -больш -▁interact -▁momentum -▁hano -▁inspiration -liches -ලා -iser -▁glasses -加上 -暑 -орон -耐 -▁dramatic -▁равно -hla -gó -协 -障碍 -倉 -▁sunk -▁шестнадцать -▁tendency -▁Island -するなど -预测 -よい -▁unbedingt -▁bleibt -▁шмат -▁disp -angira -arca -▁crimes -onne -▁loyal -▁apostle -▁betray -оны -▁inward -ilia -烦 -的日子 -▁사람 -lg -見る -rinner -沉默 -▁seize -ஞ்ச -iler -▁правильно -なあ -▁بسیار -媳妇 -▁говоря -主意 -물 -▁ruhig -▁Turn -不出 -сом -▁Nel -紫 -unddreißig -を務め -unta -▁Autor -▁diana -▁alexander -▁telegraph -▁ساخت -нен -▁amen -焦虑 -▁Artikel -аар -حة -▁seves -▁пост -һә -天下 -Un -明显 -▁لدي -лаг -▁Rand -▁personality -hart -abandi -っていました -zek -▁arrangements -بد -▁sermon -が多く -的照片 -▁ruined -ahu -なと -智慧 -ัง -▁теле -tou -▁geheel -ению -▁своих -▁virtues -▁widely -▁mingled -▁Kir -我们没有 -ccio -▁Club -我们不 -езд -してた -▁rider -teilung -كو -一片 -▁женщин -سان -重复 -生日 -▁approved -绕 -機能 -ishi -ograph -讲述 -危机 -広がって -获得了 -رە -意见 -妇 -▁loaded -cation -いいですか -▁fran -услов -▁pastor -统 -提供了 -再開 -▁puff -ն -障害 -▁financi -给大家 -kund -▁tune -arro -▁없어 -▁levi -lade -今も -▁yea -▁serpent -▁endless -いいですね -いき -▁Where -▁Beste -riz -离开了 -径 -ränk -ному -伸び -▁Fähigkeit -▁Schlaf -▁duchess -你和 -▁لأن -就这么 -▁executed -▁heels -▁chicago -성 -▁vader -zahlen -▁periods -called -just -▁тринадцать -さい -dron -改变了 -रि -▁vera -▁sharing -inta -▁Feld -負 -▁ihe -кров -dog -▁чт -pool -▁dreamed -▁heilig -▁slender -在家里 -▁uncon -മ -▁그리고 -▁Kandi -Union -英里 -▁chances -ryo -场景 -遥 -链接 -移民 -十四 -▁sac -fact -▁selten -▁Arab -谈到 -▁feather -▁inch -尽可能 -都被 -日常 -▁attorney -human -▁helpful -劳动 -经营 -▁mă -▁Cro -▁languages -▁Esperanto -лев -▁sustainable -タン -生産 -纵 -うちの -▁promotion -lateral -stamm -making -華 -▁risen -geist -▁vehicle -大量的 -сна -▁careless -ваю -村さん -一刻 -育て -▁Ча -取り組み -▁passengers -雇 -း -▁chimney -▁엄청 -▁abundant -ใน -调整 -場で -moc -▁sao -▁Generation -男女 -▁provin -▁funktionieren -▁limp -▁calmly -gesellschaft -▁Ram -▁quello -▁tv -▁agents -、4 -あら -和他们 -▁беларус -▁Bezirk -どっち -▁villages -▁intervals -▁cooking -▁printed -▁revelation -▁Gene -也就 -ǧ -今シーズン -女王 -▁mwen -我们对 -стер -上で -链 -▁politique -▁sunlight -▁differently -god -보고 -暑さ -对她 -▁dost -图像 -▁poden -igno -çu -▁holes -かれ -多久 -▁consumers -▁sweat -bac -喝酒 -▁کم -▁movies -▁одной -τ -テン -arian -▁verdad -قول -司机 -承担 -▁exceed -низ -今日も -措施 -▁clan -uso -▁Last -回应 -▁nowhere -ência -▁islam -ɣa -gende -بان -報 -quir -▁Lehr -Ц -▁nerve -▁january -批判 -很大的 -男朋友 -通信 -کت -栏 -いきました -▁путин -町の -混合 -▁absorbed -wami -もともと -èn -有趣 -▁hinunter -state -▁fathers -▁sweep -情報を -▁alcohol -bonye -ggy -රි -fitting -isierung -aq -▁exposure -紹介 -iker -indu -▁friday -цыя -brü -▁faculty -▁convict -▁tad -誰か -نظر -新型コロナ -업 -ို -遺体 -▁addressing -什么的 -たって -▁veu -▁presents -▁depression -ハイ -▁Suche -财产 -▁Ту -前半 -▁joan -を引き -стрел -田中 -▁user -▁constitu -▁Publikum -▁Tour -ەکە -機関 -▁muốn -овал -▁moonlight -▁welke -まだまだ -▁которой -▁participa -彻底 -▁discussions -▁году -idée -醉 -出して -▁Nachrichten -fordert -▁proces -高さ -▁Esto -예 -切って -▁Inhalt -▁fortunately -ево -ndre -▁قو -arı -你都 -فه -披露 -market -▁сами -tano -了一下 -平衡 -150 -gekommen -多大 -ተ -▁lieber -zas -▁demands -多少钱 -べき -飛び -шә -▁stare -他们有 -abantu -하지 -▁hı -魂 -▁supplied -豚 -шен -▁preparation -bing -▁heavenly -規 -▁nhất -selt -▁გა -▁gig -▁можем -銃 -ضا -▁raus -▁Ergebnis -▁forests -▁erstellen -▁Fle -ஸ -▁behaviour -年轻的 -lder -энд -тел -யான -▁Please -▁travelling -多么 -volution -더라고 -▁größere -を変え -▁procedure -遭 -▁Material -▁campus -を行って -級 -руу -roch -▁Mä -現在の -你已经 -чын -▁erwartet -▁requirements -就不会 -専門 -médi -转向 -Lachen -未来的 -▁commune -▁Fluss -孝 -tega -▁Zimmer -我认为这 -▁Cra -レース -状况 -▁جدا -一大 -不是你 -зор -▁choses -▁Tie -▁representative -▁pent -▁knot -有点像 -െ -▁slim -▁Sho -っか -чных -法案 -ța -▁barbari -▁Sto -▁promptly -камі -изм -oog -▁verme -▁adorn -やめ -▁commence -▁Hör -schritt -emt -ところに -▁vz -▁тип -债 -леч -がん -▁добра -abend -excel -▁aceast -のもの -你真的 -▁invented -矛盾 -▁neutral -と思うんですけど -erna -rf -zima -规模 -ワー -喺 -▁currency -▁eagle -lom -magn -▁claimed -▁pockets -점 -etto -的目标 -▁হয় -▁blade -▁laŭ -евская -重要な -dī -▁кабинет -▁zéro -▁francs -大多数人 -вил -▁identified -你可 -▁logic -你给我 -تس -axe -▁achievement -▁contribute -▁Ober -反応 -宝贝 -もあり -▁itu -基地 -▁admiral -nydd -shyira -中学 -drin -teen -こんなに -رات -脸上 -ში -▁colleagues -同情 -▁random -覆 -挤 -声が -▁bewegt -结束了 -安静 -영 -▁weiteren -▁okul -▁начальник -erfolg -▁grava -▁pove -▁Pod -的数据 -▁typical -クリ -schaffen -也好 -▁wrought -জন -kommt -だったり -dust -terra -講 -▁bushes -▁muß -ユ -▁хэл -▁waist -我一 -跌 -工业 -▁dave -ئو -回头 -▁Radio -600 -▁confirmed -ということが -外国 -来讲 -ža -chal -▁mouse -仲間 -▁alert -ላ -▁Council -肌 -▁beginnt -铺 -▁Day -▁hired -全国の -だい -伟 -ук -▁condemned -いよいよ -▁stap -▁música -ithi -▁conform -performing -▁incredibly -▁cresc -▁lingvo -扭 -胃 -▁thumb -▁honestly -isk -ffel -▁specimen -glass -はこちら -▁spark -munt -西方 -▁grupo -你不会 -▁söyle -histoire -વ -随便 -rama -ಕ -なきゃいけない -▁circuit -の声 -▁Rue -练习 -▁prayed -更大的 -納 -برا -ほかの -회 -▁entdeckt -▁команд -фор -这也 -▁nasıl -nehmer -相关的 -原谅 -рыв -送到 -▁deutsche -IS -▁purse -上有 -▁soziale -▁rhe -代码 -ует -輪 -▁Hallo -比我 -iest -かかって -▁tid -posició -▁daring -してくれ -sprach -東部 -毎 -▁agency -poj -知って -gamba -▁carr -指导 -▁yeux -飛 -▁followers -贾 -▁obedience -▁spät -▁mischief -報道 -川さん -action -迎 -▁resort -▁deals -▁warned -摔 -丑 -▁Einzel -லாம் -ほどの -▁mob -ああ -もんね -jed -하면 -precia -百万 -▁represents -российск -▁entitled -▁derived -▁lace -▁resource -▁certainty -▁gott -又是 -▁gallop -ジュ -iwa -電気 -这就是我 -руч -▁dolan -npr -Il -▁coarse -▁процесс -みます -▁tenderness -▁charges -野さん -▁emerge -umber -喊道 -检 -▁satu -▁sahen -є -▁notwendig -தோ -▁flames -士兵 -▁Seele -خبر -▁Nhưng -▁från -▁کښې -▁아니야 -▁affectionate -▁curtain -▁detailed -やら -我叫 -一系列 -▁пара -oce -▁exempl -范围 -がいる -sions -▁artists -ària -凭 -▁divorce -▁хоёр -▁corridor -▁lofty -最高気温 -roma -陷入 -開け -▁nivel -集团 -waka -ב -▁Feind -损失 -▁орган -mite -polo -内の -▁Zugang -使って -▁fein -▁numéro -▁allí -ற்ப -▁pressing -afrika -ষ -dores -可以看到 -▁roughly -▁стара -技能 -▁savings -▁farmers -▁theater -glück -magnet -▁când -▁barely -▁briefly -вялі -போது -ôn -児 -احت -と呼ばれる -cloth -▁aka -和一个 -▁painter -▁challenging -初めての -▁borrow -完美 -▁pillar -ί -ரோ -▁Frei -军事 -▁advertising -▁solitude -ことができる -やってる -力が -▁bargain -のではないか -不少 -ジャンプ -ბა -ビル -жо -▁sees -يح -▁normalerweise -bih -▁před -▁telefon -▁injured -▁marsh -uburyo -▁правда -就把 -▁газ -瞧 -▁moves -के -▁writes -▁advocate -なんですよね -▁sebagai -▁wherefore -▁hoop -maga -▁sphere -来月 -guin -咬 -▁underlying -▁olduğunu -にいる -主动 -▁plusieurs -みんなで -ً -nwa -燃 -lijke -私人 -▁Studie -例子 -ূ -牢 -▁happily -따 -ciò -▁идет -▁парти -を入れて -▁ranks -īt -ctic -就是这样 -▁blows -有用 -▁colon -吵 -找你 -▁pensar -кім -彼は -迹 -▁organized -柄 -дог -▁countess -niu -liest -▁construct -ో -▁newly -▁Kontrolle -▁சிற -▁nahe -▁тү -стей -指摘 -▁announcement -▁tenant -▁mexico -おはようございます -vuit -突破 -▁видел -terie -▁energ -houd -봤 -▁harbor -տ -▁verlieren -avaient -aquest -▁Dal -优势 -▁deja -ember -讨 -竟然 -▁slecht -initiative -ehrt -るんです -ativ -▁Studien -letter -观点 -到底是 -▁stond -▁penetrate -▁dividend -▁investors -警方 -▁иван -面白い -っちゃった -▁বল -▁revolver -ateur -руш -misch -▁vengeance -シュ -quatre -▁wheat -shaw -▁nawe -trop -cret -があると -指出 -рә -▁simon -创作 -▁thither -ивать -▁beschäftigt -▁brethren -igita -▁Nie -这个词 -▁Brown -قط -ribu -▁bitterly -▁sofa -▁component -▁ventured -これだけ -bora -很久 -았 -▁Religion -缺乏 -▁Pin -咱俩 -▁panic -很明显 -zorg -的父亲 -▁survive -一辈子 -▁gravely -▁Tagen -▁counted -▁positively -召 -дым -ූ -▁dacă -関連 -ினார் -沿着 -▁bisher -はありません -だろ -▁elf -ް -共产党 -▁clutch -anten -咲 -▁casi -یل -▁conversion -知道的 -▁warten -ьте -▁پای -feuer -瓜 -▁بۆ -▁tenir -▁Ну -不明白 -▁napoleon -の映像 -两种 -自从 -幸せ -hib -jwe -▁podemos -▁pirate -▁bedeuten -лова -我得 -切れ -orden -つ目 -▁weeping -をつけて -ছি -衰 -▁интересно -▁tradu -▁сме -互动 -ស -행 -がい -▁versuchte -恒 -르 -▁Anzahl -彼ら -▁practices -▁мед -menti -▁weiterhin -▁restore -ologia -▁computers -▁algun -用来 -干净 -school -аза -▁vivo -▁Grundlage -ukan -なくても -▁estado -▁attempts -▁Ĉu -▁sample -bund -▁analog -▁celle -▁salva -▁providence -すばらしい -▁House -▁trim -▁erkannt -▁rushing -旋 -ゼ -▁bulk -はおよそ -世界中 -▁findet -cultura -زو -▁instances -зан -ගේ -であり -енных -▁santa -▁jewish -gele -▁gusta -▁condemn -5000 -司法 -führer -▁sais -үл -東京オリンピック -に入り -诚 -ධ -▁nouvelle -▁invite -ovat -▁treaty -▁navy -urteil -minate -іх -襲 -▁mexican -ggle -اي -▁germans -▁aqui -在我们的 -▁canvas -▁selection -ijo -送り -▁blaze -lığı -▁gesund -gora -▁آب -▁Who -知り -nız -▁ôl -▁suck -▁displayed -えば -▁undoubtedly -的过程 -طة -▁Así -▁warrant -▁ursprünglich -▁کردم -пен -婴儿 -蛇 -▁هغه -▁illustrate -事実 -▁bureau -fata -なか -▁Richter -mbwa -费用 -那就 -▁Teile -▁Daniel -▁nên -▁Ад -▁deploy -ký -Č -純 -▁entscheiden -▁چیز -▁Reaktion -▁можете -währ -アイ -က -▁acquire -лив -▁caesar -有事 -ské -▁doth -▁tête -蓝色 -▁conversations -▁wept -入れる -▁politischen -▁jerk -▁elaborate -然后你 -▁весь -▁ladder -に行って -分开 -▁advancing -macht -▁které -電力 -Wi -дыр -▁hamwe -とう -▁lasted -タイミング -▁afite -报纸 -事態 -▁Ker -漂 -▁employer -▁discourse -▁cannon -▁Kommission -yat -shim -▁которое -valo -даў -istoj -breng -▁prevail -ニング -▁julie -nine -ljen -вым -▁pension -縮 -▁сум -▁kleines -▁publish -lden -▁alex -▁niece -閉 -に来て -▁simplicity -もらった -吃的 -▁idol -ester -ਰ -はね -ээс -针对 -阳光 -たく -書き -▁brood -୍ -が続く -craft -专门 -調整 -んですけども -批评 -▁dependent -沟通 -全面 -两千 -掌握 -▁других -kere -으니까 -基金 -iska -▁kang -empresa -▁daniel -▁четыреста -着你 -반 -utilitza -会被 -▁riu -主張 -نية -philosoph -▁munsi -▁помог -طل -▁measured -稍微 -▁وقت -第四 -▁flows -▁hogy -都很 -▁Act -までは -朋友们 -▁trials -▁schlug -符合 -目標 -▁shower -シーン -チョ -нные -分手 -▁kent -ެއް -ින් -▁владимир -▁Angelegenheit -▁ascertain -▁gaat -▁الث -oja -▁birthday -続いては -▁robin -緊張 -▁Fol -▁сделал -▁amused -plex -刑事 -我还是 -储 -▁Zahlen -やす -▁frozen -ごろ -このまま -▁sailors -▁önce -lite -▁eerste -补充 -走向 -▁». -現地 -愚蠢 -Lo -gă -artagnan -▁suite -іў -有两个 -机器人 -▁relate -▁fisher -财富 -▁vanity -尊 -凶 -ɛa -谋 -umba -きています -▁Wild -▁magistrate -▁مرد -Ich -مب -appel -姿勢 -疲 -પ -yez -工程师 -乎 -მი -▁exemple -▁Even -▁ample -混ぜ -▁Poli -▁Ari -皇帝 -▁schr -▁picking -庆 -▁quella -يز -保護 -結局 -блі -▁Cur -窗户 -ическая -মান -31 -你来 -▁семнадцать -▁scout -▁Lebensmittel -收听 -Qu -上次 -قوم -கால -جميع -wür -▁Good -建设 -世界の -δ -▁raison -▁Mike -нный -шо -idio -るため -ვა -fällt -▁declined -geza -如果您 -大声 -すべて -いるのは -赢 -▁obeyed -▁depending -▁colony -側に -стью -ក -워 -osten -▁flourish -是如此 -を奪 -▁كنت -▁swing -脾气 -▁garments -前进 -brid -▁Și -▁sarah -鼻 -▁Ny -Ja -▁swallow -▁entreat -pran -▁angesehen -警告 -▁experiments -坏了 -援 -kunst -▁correspond -▁быстро -首相 -ziert -ですからね -▁judges -▁passe -▁frontier -玩儿 -▁байх -の影響 -gericht -zeichen -bari -两位 -▁colours -唯一的 -実現 -鳴 -寻求 -評価 -▁impre -▁aspects -▁zeigte -▁compte -▁secrets -ması -句话 -ifik -ň -策略 -▁Henry -一口 -▁Бо -ប -ං -▁chính -gier -বার -нию -ケース -▁fanny -▁curs -烤 -wedd -bian -▁twist -▁mère -▁почти -сим -日本は -▁idiot -▁hoog -лиз -▁comprehend -▁Wald -可怜的 -引用 -统治 -тик -▁들어 -▁lawn -きっかけ -práv -らし -なと思って -▁ceiling -ijwe -▁그럼 -▁susan -側の -のところ -▁проект -だという -汇 -▁Freiheit -좋 -▁تت -▁trembled -▁Bil -祈祷 -樹 -estima -cze -▁goat -ße -ことです -▁sai -俊 -▁сюда -▁Rose -▁install -威尔 -bett -▁Indian -▁luxury -聖 -芝 -投稿 -▁Dun -▁повер -などと -dec -▁emma -▁uncertainties -lok -っしゃ -▁signor -频道 -딱 -▁ئۆ -▁servir -復 -仅 -ብ -委員会 -agira -ாய் -我们能 -▁ministers -を加え -使用的 -paga -▁urge -▁phenomena -翼 -ahan -指導 -bruch -标志 -abord -osos -▁essence -ए -atori -▁dried -fica -▁ratio -いますが -▁Lang -半年 -裁判 -▁drops -▁вось -▁Änderung -芬 -▁Beginn -▁emily -▁дур -▁investing -ديد -әк -운 -▁skills -▁potentially -▁herunter -リード -▁revolt -▁soit -▁Bor -メン -权利 -▁vertical -▁believing -хі -自治体 -▁считаю -金メダル -▁groan -ることができ -演出 -களுக்கு -үн -rog -kubwa -веч -ifer -▁emphasis -卓 -getragen -▁ليس -▁pacific -なくなる -▁bisa -扇 -▁Jen -▁страны -▁alarmed -署 -▁Sorgen -係 -▁كما -▁باشد -▁wheels -最後 -共和党 -▁tho -ива -鼠 -半分 -yum -分かりました -ugi -はその -フレ -▁September -▁вечер -と言って -takse -▁voller -šu -éra -涉 -banga -▁bass -▁Diskussion -eres -station -▁forming -▁attacks -▁renew -▁centro -ggs -ყ -▁diminish -▁faded -▁instruction -ルド -сал -▁wach -▁sozialen -的部分 -増加 -相似 -净 -泣 -在这种情况下 -味道 -bourg -を確認 -叫我 -▁steve -师父 -kumi -▁Meer -一代 -▁Städte -▁erwarten -小子 -▁folded -▁Mut -fähr -اخ -▁sleeve -ড -▁subsequent -▁bessere -トロ -rong -▁лично -сту -ест -▁weer -▁giới -▁назва -▁sara -▁acknowledged -bier -▁Boston -▁مد -孤 -姨 -▁Risiko -غان -犯人 -▁transmit -▁regularly -▁власть -做到这一点 -確かに -спор -▁finde -грам -可以说 -▁highway -非洲 -▁crush -▁tett -横浜 -月份 -▁gelesen -なくなった -▁whale -fällig -▁ripe -▁wherein -이랑 -ダメ -勉強 -▁nang -▁Mitglied -▁famille -繰り返し -カード -智能 -dain -ехал -罗马 -複 -訳 -99 -实在 -楽しい -이야 -発言 -命运 -aktiv -▁dense -▁Up -▁reside -大家好 -▁dug -▁genetic -方の -の間 -▁primitive -▁condu -听听 -▁dropping -進出 -या -まい -тек -▁lowest -▁хүн -▁Kann -▁trova -妇女 -шир -▁sandy -▁Això -▁которую -▁gossip -▁Ме -随时 -▁adventures -▁jsme -对手 -特征 -ミス -▁repose -▁Gruppen -▁jackson -▁cage -▁Gewalt -▁Armee -систем -▁rigid -ంట -▁trink -大卫 -မ -▁tumble -сә -到现在 -我们如何 -▁summon -▁lên -gesetz -クション -そこから -サイ -관 -▁그랬 -帮忙 -▁lantern -▁Klein -果たして -fusion -hild -wirtschaftliche -去世 -цо -present -▁users -▁pelo -сид -▁sağ -▁Schuld -老爷 -出席 -▁license -臨 -ину -▁neglected -▁Stu -දි -▁maka -▁Zusammen -▁harp -mill -是从 -скай -彼得 -度过 -schte -爽 -漫画 -杀死 -保留 -عرف -▁emergency -他已经 -▁plead -するという -▁destiny -解放 -午 -まさか -そんなこと -滞 -pell -▁presume -ތ -▁Chicago -ический -▁crois -▁plastic -linda -▁consist -▁jolly -uke -董事会 -يى -▁dedicated -ຂ -▁проста -体の -ფ -交代 -いただく -▁genoeg -边缘 -▁ninth -▁flushed -他想 -▁impatient -hst -гын -▁agua -▁basin -▁prosperity -今朝 -posto -罚 -▁lease -ические -▁idee -▁shouting -▁soixante -▁oogen -リスト -▁frog -两次 -ونه -区の -trouw -▁consisted -郊 -▁Ibi -▁Standard -▁partir -声明 -čč -▁cordial -▁brute -▁rond -ほしい -几个月 -▁denkt -消费 -road -kül -ደ -א -▁знаешь -▁ruins -زان -▁segments -lise -あなたの -着他 -还得 -思った -俺は -▁incorpora -ウィ -▁принима -其中一个 -▁induced -▁lively -кән -▁recruit -▁viola -雨が -▁động -▁peep -fter -▁Sommer -是很 -を探 -让自己 -▁occasional -лах -▁выход -kud -స్ -▁верх -▁nouveau -▁amerikanischen -▁ross -▁взял -▁questioned -▁Begriff -▁anfangen -imwe -вис -▁eby -▁irregular -inya -▁April -мах -物を -hafte -男が -▁sites -事を -▁Jahres -▁realm -纹 -▁erinnere -kosten -成熟 -仗 -ِي -捨て -մ -ತ -입 -はまだ -▁luego -▁dunkle -三百 -▁Pot -کاری -▁deaf -物の -其实是 -iam -▁impacted -цый -生徒 -▁thankful -melde -36 -▁situated -食材 -barkeit -рем -给你们 -为此 -他妈 -ču -冲突 -▁confessed -альный -墨 -▁친구 -固定 -主义者 -▁spy -驾驶 -ises -▁exit -lep -しまった -ர்கள் -▁discern -▁preparations -群体 -▁menschlichen -zieht -▁institute -其他的 -▁neighbor -gte -他们可以 -hängen -гаар -رک -zier -呐 -পা -▁jewels -誰も -jj -▁terme -жив -眉 -ansah -带来了 -iumenge -handlung -电台 -少ない -▁Farbe -浪费 -▁Jugend -▁чуть -行為 -ард -neuf -ガン -lch -mö -ukuri -▁gewinnen -得了 -remo -弥 -▁tại -▁Mai -当局 -link -黄金 -тели -的家庭 -▁suburb -▁captive -▁summoned -堪 -葬 -不说 -▁bump -▁camel -まとめ -▁checked -一回 -ത -イル -▁ebenfalls -gust -gic -▁luna -▁austria -▁exhibit -ög -▁francisco -únic -seven -オミクロン株 -过去了 -石油 -racy -飯 -▁Wil -▁lado -▁flies -беж -ỏ -▁شب -idir -▁variation -聞く -▁doit -平静 -▁Hälfte -▁aujourd -woman -▁мои -▁stran -▁convince -▁prendre -lī -▁geschickt -▁perfume -头上 -▁конце -里克 -▁turk -▁divert -没人 -حي -郭 -▁benutzt -ですかね -nier -Rh -适应 -▁trebuie -▁сай -前から -▁pledge -が必要です -冷静 -▁fist -咯 -▁Gefahr -懸念 -▁брат -予選 -cock -つけて -fond -▁кому -▁cô -为自己 -▁täglich -チェック -强大 -ела -さが -uzu -拉斯 -▁banda -遍 -▁Länder -ັນ -களின் -▁guessed -ソース -hoff -掛け -在哪儿 -වෙ -拔 -▁threshold -▁advised -▁Behandlung -тора -▁chaque -▁varied -kay -カン -lā -▁jerry -kunft -ип -▁publication -▁Gründe -艺术家 -لە -▁Vergangenheit -冇 -深い -ốc -▁pueden -▁sentiments -西日本 -▁readers -▁Element -▁төр -▁gebruik -lisa -▁factory -▁kau -▁Mitglieder -将是 -▁вдруг -工場 -风格 -ации -▁interna -▁recalled -▁scream -twitter -解説 -xes -専 -▁Stern -▁няма -▁visitar -▁owners -0,000 -▁gefragt -さすが -▁خواهم -▁shoe -▁dashed -▁zelfs -bola -ӑ -▁Schlüssel -ວ່າ -ĝe -高级 -▁persuade -думал -ということですね -▁celui -聞 -री -他人 -▁Ini -নের -▁pře -▁estan -▁recognised -伟大 -からです -知道你 -▁reeds -கின்றன -陣 -zugeben -▁downward -総理 -▁plen -商量 -杆 -▁nosotros -▁vater -▁Ва -▁Ell -唱歌 -▁права -学者 -▁recollect -▁representation -▁Gefängnis -િ -▁Erinnerung -他被 -▁арт -ẽ -ać -▁moss -luft -置いて -▁Akt -سف -心脏 -▁babies -tekereza -食事 -කා -торы -блюд -のみ -分から -رى -▁drain -aidd -▁Abantu -ģi -行った -詳しい -▁opge -▁deiner -メニュー -mula -得意 -▁struggled -窓 -偶 -▁Besuch -ங்கு -▁enfants -▁Bern -▁perish -千葉県 -▁від -困惑 -▁آخر -▁Fue -க்கா -できて -kond -▁სა -▁christianity -くれ -▁nka -ڪ -▁segon -lique -强大的 -っぱ -▁gains -那时候 -카 -& -▁rechts -TV -日本代表 -他们没有 -lice -▁наших -▁Beruf -兆 -лес -▁shrink -▁Albert -ayi -▁forbid -▁miteinander -奸 -靴 -uloj -州的 -▁ashes -クト -дов -▁refresh -тат -▁freundlich -lista -▁rings -▁fancied -aktion -▁diseases -▁bekam -東京の -▁quien -上下 -我又 -しょ -▁Як -▁biblioteca -▁jemandem -事物 -ckey -суд -▁overhead -どうも -جمع -▁Parti -▁pill -قدم -▁Insel -るから -▁sobald -▁Kap -උ -▁aga -▁என்ற -▁Ни -いている -险 -▁Berlin -▁victoria -rato -simil -сек -▁categories -▁Quelle -▁Lake -seb -dama -▁восемнадцать -antoj -が高い -▁лишь -▁año -bring -▁그렇 -нні -▁дня -ற் -当時の -▁renewed -corn -▁goals -小学 -两天 -▁Gesetze -▁estamos -どうやって -▁livre -案子 -landa -провод -ម -別に -▁красно -七十 -ごはん -атор -▁yonder -听众 -acre -▁uncomfortable -sätze -▁programa -bê -▁observations -▁muse -кли -大幅 -他把 -▁beef -ঠ -▁dialogue -▁marvel -请你 -▁awakened -▁Iran -automat -▁чалавек -வில்லை -实施 -▁contributed -▁richtige -它们的 -みました -▁сказала -▁кем -▁escrit -▁hierher -他现在 -▁indifference -யே -亡くなった -方面的 -数は -川の -ಮ -▁Objekt -シーズン -▁teatre -制定 -钢 -▁Ressourcen -箭 -▁augment -担任 -丰 -▁escort -iris -月から -ница -▁wenige -пут -ız -▁footsteps -▁Umwelt -شى -▁mixture -呼びかけ -南方 -▁erg -岸田総理 -ି -cem -▁tests -неш -mura -gré -▁менее -há -▁pepper -ங்கி -代の -▁разговор -yamba -等你 -▁indignant -했어 -▁энэ -▁contented -▁speci -▁Staats -ție -その時 -ුව -▁alliance -上学 -おっ -前線 -చ -▁schönen -分かった -ация -緑 -勇敢 -▁thoughtful -жан -▁trouve -сно -▁Rechts -ର -▁february -一辆 -举行 -ères -▁minha -toxic -牵 -释放 -▁gallery -кажу -▁bestand -▁fils -▁Charakter -▁Sinne -sache -▁Gast -在这些 -▁sper -ヌ -ái -▁Wood -六十 -▁simul -しかない -仮 -医師 -▁Florida -▁distributed -▁flour -oxid -ன்ன -の部分 -出る -▁saat -▁giá -▁reporter -就没 -▁amy -▁profund -▁International -▁framework -ვე -zir -ложил -加速 -しまいました -▁Ты -lion -伪 -杀人 -准确 -値上げ -▁Organ -することで -▁funciona -нак -どうしても -夕方 -▁вс -为我们 -▁gezeigt -ponent -ワクチン接種 -▁velvet -▁attraction -と思いますね -巻 -購入 -▁Spaß -▁här -▁Baum -必要な -▁instruct -▁lordship -知らない -▁arbeitet -稍 -怖い -▁Ehre -실 -覆盖 -▁ладно -▁absorb -▁tread -踏み -cate -誘 -空港 -▁patriot -িয়া -trust -▁Beth -▁transactions -▁tạo -firma -▁Gö -实践 -teg -とり -▁claro -もので -かというと -打了 -我需要 -▁admired -▁bronze -duction -Bu -▁одного -yla -Ş -的女儿 -جن -▁стала -▁conceived -цей -▁akan -biologi -▁palabra -▁stolz -デン -wärts -▁jsou -▁twilight -▁Brazil -▁verbracht -reka -▁понимаете -つける -ppi -▁calcul -general -▁igual -▁wealthy -usia -оо -▁harmony -▁Code -協 -▁принят -强调 -пала -▁symptoms -▁trading -▁chef -▁answering -降低 -著 -▁expedi -这个地方 -▁swimming -▁froh -▁roused -車が -フォ -▁chatter -brun -Univers -▁earliest -hita -▁max -▁awoke -農 -ladi -▁scor -垂 -教练 -vollen -▁уверен -儿啊 -pfel -Ko -▁bate -慎 -夫婦 -▁tunnel -▁visto -あん -▁uncertainty -有限 -▁conquer -▁decades -▁Lü -▁Mach -▁Sehen -чыць -差し -▁warriors -なさい -四年 -под -illon -狠 -感激 -vik -▁decade -▁lime -的确 -▁Elizabeth -선 -ボー -▁plunged -实验室 -▁Nachricht -ühr -泊 -▁Viņa -▁managing -▁seul -heden -▁Höhe -▁robber -▁testament -bereich -medic -ipun -トラック -cott -antic -ބ -▁собой -发挥 -мін -▁Mond -▁carro -どうした -aco -ていきます -▁Després -凝 -计算机 -▁Podcast -▁получа -▁fais -▁mould -▁полу -паль -想像 -▁Schutz -step -相比 -いち -けん -ną -బ -ーター -▁principi -二零 -mail -▁hire -▁legte -▁degli -▁плохо -کا -会長 -ランキング -хүү -盐 -▁limb -▁mineral -最喜欢的 -取った -▁proven -mack -▁Themen -▁democrat -才会 -通報 -new -▁satan -▁yaptı -▁jene -koll -შ -▁retro -▁عم -2015 -払 -▁Ces -▁innocence -間違い -▁array -▁yid -▁déjà -▁şekilde -始まった -あなたは -▁electro -邮 -文明 -入院 -داد -当她 -▁upright -▁jours -ポン -▁Cel -すこと -▁ekonomi -▁suicide -きっと -كت -▁corruption -▁tue -▁Karte -危機 -мас -▁الل -っこ -▁apprehension -磁 -worthy -▁constrain -lwa -▁jacket -problem -▁anxiously -▁hohen -▁কর -angi -▁subscribe -▁проблема -▁цяпер -篇 -好看 -▁lösen -▁parson -গা -ש -廊 -天然 -▁своего -联盟 -üü -▁cob -赖 -▁Sä -▁rattle -тин -おく -ޭ -华盛顿 -messen -▁göster -▁muchos -зон -拆 -▁tracks -不确定 -▁المن -ランド -▁niba -ไป -▁resulted -这个国家 -もあった -leta -▁multaj -▁classic -梨 -ކު -empre -վ -▁matthew -▁strategies -▁Rad -セン -ねぇ -屋さん -旨 -▁amazement -ږ -▁같이 -mbang -▁Max -曜 -▁terribly -schütt -▁адзін -と発表しました -▁Gottes -拿到 -構 -クイズ -▁hideous -▁مهم -▁каза -타 -tzt -▁çalış -来吧 -平和 -▁twe -▁mule -クリーム -成绩 -▁vrij -というのも -▁weißen -▁cathedral -▁viņš -▁pobre -构 -てくれ -issement -শি -▁tenth -▁pretended -朵 -дт -▁thief -▁planted -▁persist -喷 -▁долго -▁zufällig -ddu -的精神 -たった -анд -钻 -郡 -▁завтра -▁eminent -▁losses -▁drie -棋 -annya -楚 -▁причин -▁flick -▁bekommt -▁pode -▁unterstützt -▁Tiere -的内容 -が出る -▁какое -▁Ball -するために -▁mwaka -回目の -▁visits -hne -▁australian -▁oldest -▁variable -ssystem -▁rely -▁стоит -客人 -altro -亡くな -▁dispers -被害者 -bber -▁Kerl -裤 -等我 -▁Mikro -▁Barr -овый -▁occup -ች -くり -我确实 -ையும் -▁situas -洁 -finanz -▁gewe -徳 -داخل -▁threatening -失望 -▁Beweise -ろうと -▁holl -准备好 -▁bells -啲 -▁shakespeare -拳 -скую -kasi -推动 -▁Schlag -ým -▁oncle -▁dorthin -▁assert -ಲ -培训 -▁unwilling -位の -▁bills -▁drivers -▁instru -弟弟 -各国 -tip -▁avail -kade -瞎 -公子 -历史上 -エリア -▁tierra -▁старо -皆 -▁headquarters -翻译 -組織 -▁Feder -ood -экс -▁videos -为我 -ception -官员 -審 -▁자기 -▁Kollegen -imbu -nywa -▁raven -▁sultan -ffy -guha -阻 -шым -рек -▁Chan -夏天 -対戦 -▁derzeit -けば -自分たち -▁einzigen -2020 -籍 -▁pluck -▁Allgemeinen -▁Einfluss -为什么不 -▁environmental -сць -▁separation -siniz -▁Fal -娶 -▁මේ -▁induce -▁ebenso -▁donner -▁снова -orde -打席 -概 -收拾 -▁Finger -▁Schwarz -やすく -▁linen -▁filling -贡献 -震惊 -▁Präsidenten -▁proceeding -地图 -champ -issabte -▁быць -带走 -зав -▁kämpfen -捜索 -▁policies -演技 -лап -思いました -▁egy -▁плат -分配 -驱 -耳朵 -降る -▁sally -▁gotta -氏は -どういうこと -عتقد -繁 -バッター -▁decree -をかけて -▁deinem -▁beggar -ジョン -tino -▁gehören -hwa -授 -łu -▁strongest -▁recommendation -▁nchi -zil -了个 -▁prepara -电子邮件 -知事 -▁trabaja -arak -覚えて -前回 -▁habitual -cky -耶 -▁செய்த -cina -łem -▁pencil -▁ĝin -そもそも -였 -▁triumphant -tiği -▁visiting -▁recording -变得更 -牺牲 -▁hesitation -▁erschien -千万 -kende -rrington -ùng -▁conquest -▁openly -▁sali -▁herauszufinden -▁особенно -бод -せい -▁sulla -ņu -弯 -▁tug -▁européenne -▁gewisse -čin -ением -てた -▁promises -дат -ırı -▁buiten -ızı -▁inflict -mädchen -▁ermöglicht -▁maintenance -▁curiously -خواه -▁hình -▁третья -▁кир -战略 -лон -▁rocky -来週 -straße -问他 -▁mächtig -炉 -纪念 -́ -ホントに -antwoord -完成了 -コーナー -▁musician -▁Chinese -キュ -信心 -▁mansion -奏 -ąc -娱乐 -▁extension -▁decay -▁arbeitete -▁dood -很好的 -やん -▁hoy -근 -▁anguish -僕が -が見 -▁electricity -espera -▁cove -▁feathers -lif -说的话 -なります -▁hilft -entes -有问题 -▁reuni -安慰 -ирует -diplom -ję -deki -anja -找不到 -цвет -brand -闘 -有着 -居民 -නා -したもの -troph -▁purely -▁troop -ずつ -рост -▁nicholas -шей -▁moeder -ショ -▁Sonnen -▁aucun -してくれる -物語 -乾 -முறை -▁landlord -▁interval -一套 -unternehmen -怨 -宏 -部长 -▁менән -▁lagi -▁historian -්‍ර -▁erect -▁waved -кнул -▁plains -мал -rce -tuvo -残って -泳 -图书馆 -▁inclination -kamp -▁такі -出发 -にくい -▁verde -盯着 -▁jimmy -▁messages -▁liebt -点儿 -▁lifting -пры -▁productivity -پل -креп -▁witnesses -яз -るんですけど -师傅 -année -▁Mehr -▁equivalent -▁regi -ën -زي -てくれる -突き -▁wütend -▁translation -回忆 -▁هنا -導 -▁partit -▁maintenant -cela -▁außerhalb -のことを -▁turkey -▁які -有任何 -▁disciples -終 -なと思います -梯 -kole -▁Künstler -▁konzentrieren -▁crimson -енко -私たちの -▁Sonne -符 -▁garrison -യ -▁furious -金属 -出于 -ssé -▁durchgeführt -▁victor -dele -▁packed -漂亮的 -▁madre -aggio -үүр -ついた -在外面 -长得 -▁cần -▁blowing -දු -▁Mari -▁strictly -ющих -lessness -▁Prä -ajo -资料 -▁Lord -くれて -肚子 -▁wounds -▁nếu -チーズ -carna -ホール -들이 -ску -だんだん -克里斯 -▁бүр -▁demonstrate -haga -寻 -追加 -рей -头脑 -立つ -芳 -जा -▁Oku -西部 -期望 -▁saber -れている -柏 -▁девятнадцать -거 -инг -うちに -▁nhận -▁sommes -なのに -▁betrayed -Ç -つもり -るんですよ -त् -▁herein -りたい -nium -人気の -现象 -抬 -的公司 -ნა -hali -▁admirable -髪 -这里有 -▁ultimate -▁devas -つけた -募 -▁warmth -▁reject -贸易 -警視庁 -簡単に -感受 -▁organizations -▁realmente -▁schwarzen -▁Glo -75 -▁unjust -居然 -的例子 -▁Jungen -▁Què -ования -▁retra -一些东西 -ishwa -▁dingen -▁nime -▁què -цов -取って -komeza -躺在 -▁gravity -▁Таму -▁englishman -▁artistic -▁housing -在于 -▁allan -温柔 -amerika -的时刻 -fahrt -▁schätze -▁Opfer -伦敦 -▁greeted -▁ranch -▁tú -▁exile -小时候 -董 -▁illusion -▁Finanz -▁willst -▁Come -▁geheim -▁weep -▁Waffen -bó -vā -昏 -▁underneath -dığı -▁Jane -▁вопросы -▁dopo -杰克 -主義 -gesprochen -▁groote -▁история -受け入れ -負担 -▁масс -awo -▁cứ -▁advise -涨 -笑顔 -plu -▁আর -兽 -▁stroll -哪些 -▁conceive -なった -▁nachdenken -▁precede -先輩 -graben -▁Einer -▁Boot -バック -ілі -дова -скі -无论是 -eira -▁comedy -你得 -▁Però -入れて -роў -▁narra -ography -味が -帰って -拍摄 -评估 -▁inquire -类型 -گان -▁bestehen -▁nacional -▁fremd -天空 -▁opponent -gebildet -ものは -escent -▁blown -▁unterschiedlich -▁substitute -我只 -▁withdrew -▁Kri -込め -▁From -▁explosion -fragen -▁exclude -女性が -papier -▁heiße -▁praktisch -▁mga -▁foster -滋 -▁Earth -▁troviĝas -教室 -到时候 -けが -▁frightful -▁nationale -在那个 -ланд -▁firing -ора -たん -存在的 -镜 -trakt -術 -اث -▁那我们 -▁scarlet -▁exhaust -хар -▁circum -▁ancora -皮肤 -替え -充满了 -づけ -放心吧 -你看看 -▁ажил -▁yourselves -串 -做一些 -▁enlighten -تاب -▁vierzig -统计 -▁harris -kanye -ثر -申 -▁moan -▁impressive -▁Tele -кур -цыі -导演 -你说的 -いなかった -ставить -▁blend -▁wretch -▁descent -seid -▁stages -剤 -▁정도 -我知道你 -▁Holz -▁boven -ルール -▁هە -▁adjust -続けて -海上 -▁Argument -chau -勇气 -洪 -見ると -▁motionless -が必要 -▁Schulen -▁Spitze -▁tenia -明け -遅 -投手 -chain -跟踪 -▁Zeiten -▁mọi -待って -haupt -daj -的妻子 -▁urgent -tack -▁publi -桶 -盆 -夹 -▁crushed -これまでに -▁oriental -てくる -▁reverence -在过去的 -▁heroes -arlo -▁toilet -しゃべ -クラス -ünü -paro -することが -mela -▁jealousy -fant -挡 -▁significance -系列 -灾 -▁gym -завод -気に -▁tipp -▁barbara -▁Actualment -▁Today -態 -ющие -▁discussing -能源 -▁granda -▁спросил -onic -ือ -▁Neben -さない -アー -▁아이 -▁hizo -いたします -外国人 -มา -klop -反映 -wirken -すと -フォー -ьян -そのあと -▁кара -▁jeff -死者 -ሰ -▁violently -読み -giving -▁하나 -чик -之下 -回り -조 -တ -umbi -▁convent -▁altered -成为一个 -▁conven -으 -▁affirm -▁المح -▁Kern -angka -ஃப -听见 -的经历 -燕 -赔 -」「 -▁pav -▁starke -▁tiger -且 -的发展 -pois -▁busca -らが -ыт -ความ -ologische -▁другие -の上に -▁comrades -ゅう -ত্র -充分 -tez -▁petition -人群 -руб -tafel -到来 -▁sailing -ఇ -▁милли -超え -▁Hü -▁четвёртый -取决于 -yobozi -لق -写作 -strahl -るために -▁edition -▁possibilities -社交 -▁attribute -▁enjoying -サイド -ured -手指 -叛 -istische -▁tự -法庭 -▁бизнес -开玩笑 -▁academic -▁позвол -贷款 -为他 -▁Vall -比例 -princip -ەی -▁increasingly -爆炸 -▁heartily -▁japanese -êr -巻き -enfant -ından -▁collabora -undvierzig -尘 -▁whither -不怕 -ką -mēr -▁그러면 -▁diversos -▁medal -ifies -стары -valent -▁ungefähr -쪽 -▁dagegen -高齢者 -▁তিনি -ড় -記念 -larda -态度 -▁leisten -▁связан -▁assez -▁stove -白い -ებ -痴 -▁mới -殺害 -創 -▁align -特别的 -ildi -▁Karriere -▁laat -richtung -真っ -adores -疫情 -といえば -맞 -▁proceedings -不一定 -▁throng -дает -美国的 -▁genom -企 -泪 -▁greeks -▁compound -▁reporting -escola -どおり -▁butler -▁groupe -ట్ -дад -めっちゃ -年前に -three -ҵ -闷 -詳しく -著名的 -▁envy -一眼 -もらえ -▁punish -يرة -骄傲 -デザイン -▁menjadi -悩 -を得 -দু -進む -好事 -一座 -▁cargo -你再 -聞こえ -작 -▁ваши -でしたね -▁platforms -▁clair -るんですね -▁personne -现在我们 -において -▁madness -본 -▁Wesentlichen -▁konuş -▁откуда -tius -енная -вит -يج -▁shops -zep -ží -▁Botschaft -▁devant -▁abraham -▁respective -马克 -شو -здоров -▁motives -ības -▁encouraging -辣 -還 -▁möglicherweise -▁Realität -国外 -尼亚 -larında -挺好的 -▁거지 -▁Ding -exist -再生 -ހ -揭 -高橋 -gression -▁zusätzliche -▁karşı -做的是 -▁beobachtet -õi -▁Genau -үүн -▁anim -徹底 -キン -下げ -▁şu -失敗 -▁Hab -பட -▁Quel -rono -▁Cer -▁تلك -の動き -感覚 -続ける -mania -bala -给自己 -લ -▁Strom -▁Што -精彩 -▁jew -▁Entscheidungen -▁customs -▁dismay -大学的 -视为 -なお -ஐ -▁lachen -ドラ -ото -▁porch -寄り -▁consul -▁dusk -全世界 -▁diverses -ພ -▁excellence -她会 -رن -▁concentra -議会 -▁Over -ழ் -我们看到 -▁mach -▁Regen -万一 -▁Пер -すべき -▁Frieden -▁шаг -oph -▁viene -若者 -▁hostile -拿走 -注意力 -į -spiegel -ていない -中国の -dige -万美元 -发明 -dorf -▁россия -tesse -зве -шло -▁скоро -▁dentro -▁ngày -してきました -▁metge -▁echter -聚集 -劫 -ٹ -▁Führung -ɛe -▁villain -▁deceived -▁eenige -的变化 -つつ -sieg -▁traurig -▁membres -ận -もう一度 -站起来 -ありがとうございます -tòria -▁trente -▁Imp -čen -▁protested -试着 -▁welfare -福岡 -▁oui -гр -病気 -某人 -roning -中には -▁encountered -浩 -真实的 -▁vile -▁battery -提升 -ου -ира -摘 -▁Amerikaner -ր -▁ambassador -に入る -▁بش -这个故事 -▁tengo -▁fragments -舌 -タイプ -ิน -▁relatives -提前 -▁secretly -晴 -我们俩 -rührt -▁Center -▁martyr -邻居 -▁süß -▁exceptional -ほうがいい -魏 -嫁给 -床上 -这真的 -ダンス -park -▁eigenes -▁naught -▁yapı -道歉 -▁catching -这份 -▁verstanden -透明 -тся -的生命 -▁wichtiger -沮丧 -65 -▁montre -▁tarafından -依赖 -▁aufgrund -ホーム -▁swarm -全力 -終わ -▁earthly -捉え -ပ -▁expanding -懒 -▁Uganda -辆 -▁morris -唉 -有钱 -gero -▁només -孟 -▁Nó -▁cơ -できるよう -▁haunt -かって -しまいます -▁satisfactory -你为什么 -差异 -てきました -▁unmöglich -▁давно -▁Wohn -做过 -厨房 -ışı -到这里 -▁compensation -▁teh -▁aroused -kulu -cava -▁verses -▁каким -▁deliberately -▁zullen -爱你 -lje -▁carl -▁계속 -消费者 -日本で -schluss -lıyor -広島 -▁أنا -常见 -▁Joseph -▁muscles -▁tarde -向上 -▁проблем -ัน -▁cao -瞬间 -onym -バラ -▁Journal -緊急 -▁Winter -▁моя -更有 -▁بخش -的房子 -ceea -mişti -ライト -▁calculated -▁général -茂 -심 -▁cuatro -生まれた -▁travelled -成就 -かつて -▁joc -▁parting -▁hört -▁sống -stup -meze -щен -▁адна -ским -▁attending -▁crest -把握 -▁cellar -▁الناس -beck -男性が -好吃 -னு -▁justified -້າ -рв -动力 -▁Straf -どのように -लाई -▁woke -▁fascinating -صح -▁vrai -に住む -cite -▁Fest -狱 -▁tumult -かく -けない -්‍ය -▁дух -▁holland -仇 -▁inspector -▁Dol -大小 -誉 -▁Jahrzehnt -みましょう -▁Gall -▁hiện -停下来 -居住 -wandel -мел -މ -悠 -▁slaughter -肝 -の前に -粉丝 -▁swamp -を集め -▁befand -▁пятьсот -▁Edward -加油 -▁femmes -geschlagen -▁wilson -▁failing -▁Früh -▁manuscript -めの -▁000 -情报 -quadr -▁observing -ถ -▁tommy -看过 -するよう -▁twas -▁Labor -▁jahre -▁cruelty -▁flowing -писа -▁Other -▁trenta -▁corrupt -如果说 -厅 -계 -igihugu -▁ກະ -▁causing -шча -少爷 -▁severely -▁dünya -leiter -ティング -အ -yel -ических -▁nineteenth -ማ -成功的 -的看法 -▁Traum -▁Gui -▁edit -▁exterior -思维 -held -色の -▁sincere -لىق -▁sever -▁considerably -有一点 -logi -▁också -团体 -ходят -▁colonies -berries -kunde -▁oldu -determin -▁poets -与此同时 -貴 -▁incremental -bereit -▁lowered -ໍ -激动 -▁Gas -富士 -зер -▁Sar -なるほど -▁cooper -قب -轻松 -ographic -▁uneasy -▁ancestors -ște -core -▁colli -▁okw -ının -損 -経営 -変わる -modul -valuation -说的是 -தன் -状態で -bû -▁مخ -lò -▁должна -▁confine -насці -▁devour -▁shaft -▁purchased -mwi -物种 -僕の -찮 -阿尔 -▁paradise -▁glare -альная -евич -▁rejected -▁стать -シェ -▁Glas -艰难 -▁lily -▁flora -之一是 -▁aliaj -▁starb -働き -▁Seit -.000 -▁Zweck -▁Fähigkeiten -災害 -なこと -迈 -▁commissioner -フリー -피 -▁verändern -冒险 -adel -▁begonnen -小学校 -后果 -32 -ubuzima -的身份 -▁allah -▁screw -早い -▁Strateg -ách -▁fram -igte -▁заяв -▁dritte -പ -▁iemand -хә -两人 -рым -jja -▁vot -われて -▁nuevo -▁erklärt -せず -އް -▁zufrieden -歩いて -▁declaration -AI -的文章 -▁مردم -おう -technologie -▁книг -rani -保守 -▁confer -▁questi -affi -▁mijne -▁hither -这些事情 -▁twentieth -▁White -▁hue -jih -garde -დე -▁greeting -ebwa -▁Sachen -▁gladly -稿 -▁encuentra -ウイルス -خی -سة -▁sour -▁equi -▁tempest -▁провер -rava -द् -伙 -تها -▁psycho -▁blocks -▁Öffentlichkeit -暂时 -▁shopping -他要 -▁disagreeable -▁dominion -井さん -வாக -▁marketplace -▁compromise -浜 -いただきたい -作る -위 -YouTube -ziehung -▁terrorist -随后 -▁seltsame -血液 -وش -▁tragic -▁danced -▁excessive -мыш -fari -sail -็ -是一名 -▁gaf -▁invested -深入 -奴隶 -ੀ -▁destined -▁böse -夕 -ается -人士 -▁gulf -そうで -很快就 -▁eldest -▁Angeles -従 -வின் -我非常 -prüf -車の -纪 -▁placing -営業 -▁lovers -▁tornar -leistung -東海 -苦し -kuza -▁然后呢 -vuze -虐待 -فن -trans -▁membre -したということです -maschine -▁Ash -laba -▁Stre -そうか -ையில் -恐怕 -▁footprint -▁gush -kiza -گیری -公式 -▁Ruhe -▁imperfect -▁posted -prop -的目的 -▁prospects -▁Version -このような -ކ -ո -கிற -▁arrange -▁мяс -▁transportation -装置 -▁Dü -itel -ļu -คุณ -你喜欢 -▁basa -vro -▁নাই -▁Euro -praw -▁militar -▁Fel -теп -▁twisted -筹 -▁fosse -▁юу -▁Fred -▁harbour -slov -pov -▁கட -ອງ -你没 -лэг -▁недо -▁wishing -上げる -扱 -▁retorted -疑い -▁އެ -ivity -Ra -cado -不管是 -无论如何 -即将 -▁aange -ாத -▁lifetime -вання -哎 -kräfte -irira -▁defeated -დი -▁llega -▁слово -▁آل -▁Kurs -▁lebte -▁Med -گرد -制裁 -다가 -歇 -▁broader -quant -▁slate -▁запад -を終え -▁crawl -алт -нула -▁рыб -▁verstehe -зм -严重的 -▁mereka -要不然 -ありまして -▁Central -▁amazon -▁دارند -ниц -▁mater -▁regulatory -▁Verfügung -丘 -已经被 -▁offerings -▁Tio -லே -一路 -ёл -ర్ -▁gevoel -お天気 -▁chorus -▁shallow -祥 -▁дерев -的其他 -amaga -▁trata -іст -Reg -▁Monaten -▁schwach -▁Bio -rew -▁cinco -▁Vertrauen -オンライン -辩论 -说到 -▁dön -宣言 -ってきました -▁roi -ないか -下载 -这将是 -ω -▁phenomenon -اغ -売り -кас -▁foam -▁tako -▁trumpet -kür -野球 -行われる -旦 -ķ -▁platja -خانه -打电话给 -▁bloody -かける -▁attentive -▁reckless -倒是 -のほうが -▁publicly -教师 -пля -護 -不相信 -山口 -▁gefährlich -▁johnny -▁punct -فهم -形象 -▁lump -神奇 -不是吗 -赚钱 -有意义 -জি -▁йо -▁bonds -겠 -糟糕的 -▁shaken -ປ -estudi -▁prose -▁chains -伝わ -cac -▁wist -قت -▁spectator -庫 -▁comparatively -▁zulk -▁notable -▁Пры -cida -▁sustained -volk -▁сторон -▁Kongress -いたのは -ần -▁pow -▁waving -▁breathed -供应 -▁höchst -▁получил -▁juda -僕も -▁Manchmal -▁banner -үз -▁corpse -心中 -▁einiger -确实是 -bericht -▁Orte -▁Angel -服装 -柴 -▁Аднак -三天 -▁Umgebung -▁Flor -▁corte -▁migra -▁expanded -▁positioned -始まる -▁تش -▁Бу -线索 -чал -▁Big -的父母 -融 -▁philadelphia -▁concrete -▁hacia -いるので -▁niemals -gyn -▁schneller -▁compris -ることで -有一次 -凤 -▁tribunal -▁engineers -таб -drücke -▁voran -▁dumm -싶 -вшись -▁anstatt -ront -なんとか -garten -恐らく -коло -34 -等于 -acqua -觉得自己 -▁manier -▁voz -ことが分かりました -だけでなく -▁بالا -▁большой -的第一个 -누 -整体 -яў -这个世界 -▁dishes -たくさんの -▁över -▁shocked -经历了 -栄 -▁pleasing -ابت -物理 -koresha -▁ojos -▁Parliament -いらっしゃる -பதி -一杯 -標 -难以 -▁dien -▁buena -▁якія -の間に -▁naval -▁teori -责 -▁plato -өрө -kera -▁searched -▁remembering -▁ceva -▁interpretation -▁месте -▁deemed -▁positiv -azioni -▁exhibition -▁davant -▁dome -少女 -geschäft -难过 -sanga -▁loudly -▁sinner -werp -马上就 -rima -▁থেকে -玻璃 -رح -▁begannen -▁cherish -▁bail -่อ -▁Ara -потреб -ආ -ເ -보다 -preis -▁McC -▁creep -▁behandelt -フル -▁fees -اك -打破 -ستر -лены -▁drowned -卑 -▁unabhängig -ৰি -きれい -▁mô -知道我 -treffen -▁People -你今天 -还可以 -最初に -新型コロナウイルス -▁announce -▁ocup -▁решение -请求 -issant -trek -▁bout -▁Great -自ら -▁نوع -▁ribbon -おいしそう -ペン -▁ibintu -ziri -нский -るんですか -▁திரு -ancia -▁exploit -厳 -▁contemplate -كە -工厂 -foc -▁inquiries -▁observer -▁entry -cora -িত -ивает -ҙе -hield -equip -を与え -相同的 -▁practic -▁smallest -年度 -▁unity -値段 -就像我 -ৰা -一篇 -▁reducing -▁مص -▁wrist -小さい -遇到了 -▁injustice -ච -就是我们 -▁gasped -之中 -▁zouden -home -它们是 -▁مختلف -蔵 -▁Madame -▁manche -婆 -intel -ようになった -▁দেখ -▁controlled -▁fazla -▁coral -remos -▁bending -瞒 -おっしゃって -▁Não -▁provinces -▁peng -▁мала -你可以看到 -▁florida -▁Estas -▁disclose -说服 -错过 -浸 -認 -ត -▁flexibility -▁entertained -実施 -▁diamonds -あんた -这首歌 -▁frac -生きて -46 -ግ -の名前 -▁thorough -▁multipli -ким -▁dahin -尸体 -▁seeds -遅れ -asso -boj -bě -grand -▁Mini -因为她 -යක් -仔 -岳 -▁Lass -liku -ием -花园 -▁besoin -▁anos -诸 -▁oogenblik -ニューヨーク -▁può -▁British -提到的 -इ -出口 -▁legacy -▁fraud -▁corporation -見えます -ัก -歌手 -بخ -ј -藤さん -▁있었 -找我 -▁Hinter -並 -▁vraiment -▁bann -வ் -টে -デビュー -▁consolation -欣赏 -変わった -摆脱 -我当时 -这句话 -▁loans -▁verkaufen -飾 -▁Sex -飲食店 -валь -▁alexandr -▁нормально -所谓 -▁вещи -余り -υ -▁drill -▁preceding -斗争 -我们从 -▁Stand -的母亲 -länder -imiz -一些事情 -▁zweifel -▁quanto -▁salon -穆 -▁misschien -▁Motor -▁prev -qü -ebla -指定 -szcz -▁ambitious -面包 -uganda -雾 -営 -بور -рин -▁tribu -元素 -▁alongside -哀 -했는데 -▁negli -▁أنها -第五 -▁Rede -▁Nova -ซ -始めて -▁fuck -にとっては -问问 -▁tenemos -狭 -το -人たちが -▁kya -▁Ing -▁हो -こうして -obten -▁العالم -我才 -▁antaŭ -▁yielded -▁treu -说说 -ында -slag -▁bella -▁руки -편 -劇 -▁krijg -700 -输入 -▁erzählte -▁quasi -▁hommes -何度も -lý -逐渐 -▁банк -▁komt -咩 -насць -▁dürfen -▁прад -▁இட -ங்களை -noma -რე -かれた -ыць -邪恶 -▁ĉiuj -怎么做 -地域の -▁cough -▁многие -膜 -دام -▁calculation -▁студ -农民 -に向かって -▁machinery -fühl -▁jonge -这就是我们 -活用 -长时间 -Ө -モデル -▁mandat -▁neighbours -狙 -వా -рот -▁clue -▁mentre -алга -شون -这样的人 -▁fanden -▁weekend -▁heroic -▁Kamera -▁recommended -▁Komp -▁geschlossen -▁Hintergrund -▁normally -▁viu -感染拡大 -▁كۆ -eqq -代理 -▁زمان -بدأ -alde -▁түүний -▁elector -看一下 -▁thor -لند -▁побед -うえで -竜 -▁проблемы -▁стране -aggi -چە -▁selle -ストレート -Ү -燃料 -▁constructed -▁henri -stricken -▁прошло -▁misma -шке -рош -èl -▁ehemalige -亿美元 -orna -тая -న్న -ということになります -青年 -gezeichnet -ረ -Ingenieur -ショット -▁tricks -我可 -ßen -▁glowing -노 -▁hymn -▁olive -▁towers -莲 -sponsor -自体 -энне -фо -▁feeding -▁nueva -下一 -▁کردند -makers -biro -合法 -在线 -andra -▁spraw -再来 -პ -培养 -乔治 -いただきました -▁знает -▁mason -gence -umbu -どころ -▁داشته -போ -▁downstairs -▁بم -出た -是一个非常 -▁judged -ល -muka -▁ashore -▁Ausbildung -opera -hour -بوو -祸 -▁collapse -的角色 -2% -挨 -ŵ -脂 -vallen -急に -▁campo -fili -ბ -тары -mien -ศ -▁intercourse -ผ -▁Rahmen -пита -▁gast -好奇 -轨 -乐队 -ование -没有办法 -脑子 -▁traveling -ural -笑话 -▁polític -どこに -这些是 -면서 -▁Wy -ически -话说 -jó -過ごし -ической -鈴木 -に入れ -jährige -kurs -▁formidable -▁pinch -▁assigned -▁Können -▁verdienen -уют -werte -▁fluid -▁پێ -брос -▁avoided -чих -▁memiliki -バランス -▁kell -▁Anem -▁richtigen -сси -▁amazed -برد -بال -▁Quant -▁могли -вест -▁supplement -▁Werkzeug -暴露 -unch -▁terrace -voor -戏剧 -大好き -ète -姜 -▁어떻게 -▁Figur -raba -▁sina -最佳 -廷 -八年 -▁Rücken -大夫 -lustra -▁flush -▁difícil -▁rejoined -▁Oni -رز -▁reinforce -女的 -▁patterns -ありますね -avais -▁ceux -çar -膨 -▁triste -場面 -ちゃって -луу -шиг -கூட -成分 -▁senza -▁опас -▁negoci -flamm -wirtschaft -もそう -五百 -标签 -▁Auge -woord -を守る -坑 -アジア -▁것도 -▁vaccin -隐藏 -▁côté -теля -复杂的 -bö -▁shells -크 -履 -それだけ -prise -control -zwei -▁parlament -Italia -邓 -▁alto -▁chuck -していない -ならない -▁yaşa -ให้ -альна -шёл -▁Obama -▁Road -▁exclamation -▁tới -شكل -给予 -有利 -現実 -跟我们 -世界各地 -astro -▁More -▁Vergleich -だということです -晃 -爆发 -父親 -elimina -▁completion -▁kostenlos -▁wussten -年以上 -这么多年 -たかった -▁acute -таў -▁conquered -▁benshi -▁Sau -▁torch -▁мире -▁maintaining -▁spider -child -▁baker -▁тийм -鍋 -▁dasselbe -▁Best -▁offend -▁язык -▁insects -踢 -ਸ -ئی -لَ -▁agitation -Alb -▁Bord -▁göre -▁Quer -▁attach -▁sinking -这可能 -呼び -朕 -彭 -▁reluctant -ியா -zukommen -ике -▁좋아 -国防 -掘 -▁Museum -▁saba -▁Zug -▁mußte -лена -▁لن -▁độ -老鼠 -▁öffnen -▁vorne -▁batter -できません -Vi -资格 -▁hazard -gata -▁nancy -▁гос -▁economi -太平洋 -んじゃないですか -▁выгляд -▁الأمر -▁marvellous -西班牙 -ходить -▁Party -▁stack -دىن -但我们 -▁muchas -▁ҡу -čí -▁halbe -葡萄 -▁Pil -▁dwelt -▁havis -▁adoption -▁différent -各种各样的 -당 -会社の -gebrochen -ség -的消息 -勢い -ின -▁participation -▁fühlt -灵魂 -叹 -дея -指控 -▁möglichen -schlaf -icio -lili -▁aufgenommen -各地で -▁logical -目が -▁котором -▁competitors -待ち -配合 -▁لأ -▁adjustment -足球 -▁muti -▁germ -▁이거 -の情報 -labora -っち -古代 -пат -▁cai -自杀 -打击 -▁charlie -лага -くれた -▁север -kenntnis -可爱 -公里 -看起来像 -▁virtual -▁guitar -streit -gawa -▁Such -1% -▁weiße -▁ivan -▁خلال -▁Wohl -▁leise -ansi -逻辑 -하게 -▁oxford -ште -▁revel -▁sahip -bintu -▁tien -▁trauma -▁trước -▁honourable -▁probability -Est -▁Mak -gereza -矢 -▁lớn -回復 -▁brisk -rende -プレ -emis -我开始 -▁potent -客气 -几次 -还记得 -това -▁mevrouw -▁eighteenth -ывает -▁fing -wohl -こちらは -是对的 -iện -jana -得更 -连续 -▁süre -ائل -தாக -在里面 -走り -▁ardent -的事儿 -buk -▁chuyện -wuchs -زى -▁allgemeine -肠 -吻 -抱歉 -得太 -ゼロ -这个东西 -▁March -听说过 -▁زمین -▁fragment -▁بودند -舒服 -ジャー -öpfe -▁dieselbe -要請 -▁reasoning -modell -لات -xxam -斯坦 -的天气 -▁خل -▁cùng -introdu -有名 -Й -稀 -meni -▁Proto -这是你 -vocation -大丈夫です -▁плане -なもの -▁Erfahrungen -しましたが -賃 -▁welcher -▁riep -▁legisla -けた -▁мной -hong -▁você -▁baseball -▁slap -objet -▁Nda -▁شيء -ಯ -ijas -vēl -ĝo -mada -▁mystic -EC -課 -▁experts -杂志 -昭和 -因为这 -▁yose -▁preference -▁Flug -簡単 -▁impatience -쓰 -プレゼント -หน -▁ولی -▁slay -▁så -今後の -▁числе -▁ຢູ່ -▁хотите -▁никаких -▁நட -lette -mong -していると -▁več -▁dismissed -▁Wissenschaftler -▁liquor -▁pursuing -を目指す -glaub -бро -▁buff -下班 -▁ilk -▁Untersuchung -▁Tradition -▁linked -▁knit -▁successor -linie -▁Matt -▁количество -▁French -センチ -நேர -ário -▁insect -aigua -qq -アフリカ -ރު -キング -の一つ -▁converted -▁vault -wain -schel -samkeit -ỉ -▁personnes -▁staircase -咨询 -▁slumber -▁Со -corr -schicht -▁clasped -sigur -▁concur -姉 -▁hẽe -▁pueblo -▁Cat -任何事情 -▁جهان -去哪儿 -нных -marin -kaya -▁Todes -ләр -▁Gan -ੇ -▁routine -竞选 -如果是 -生病 -▁punished -▁libre -قات -▁bamb -▁demonstration -▁retained -▁nhìn -▁엄마 -▁Worten -kapa -ල් -▁siege -▁üç -を伝え -女生 -▁schützen -▁família -严格 -▁singer -青春 -▁Besitz -▁poems -しております -考试 -わら -女の子 -バル -▁Merc -▁scope -なきゃ -不是一个 -▁loyalty -躺 -研究所 -▁juffrouw -英尺 -▁verkauft -груз -▁jongen -贝尔 -▁أع -▁pai -读书 -现在已经 -问道 -很长 -щих -esca -ckel -▁thanked -▁Produktion -▁Milliarden -子供たち -▁bodily -gada -鉄道 -گل -显 -▁Both -▁carrier -fér -aime -的许多 -arrêt -profit -▁breathless -いたら -妖 -が一番 -▁verbessern -瘦 -▁mall -ないので -▁traces -▁timp -后悔 -téri -向前 -یز -範囲 -▁dealt -乖 -▁desirable -去看看 -考える -▁erster -лик -▁рассказыва -サイト -ıldı -клон -即使是 -▁Home -ngingo -際に -▁abode -してます -▁всю -▁près -興味 -街道 -wè -ški -▁precaution -芽 -▁원래 -解决方案 -▁이러 -届け -▁collective -▁pious -kina -▁Struktur -tata -든 -▁trotzdem -AR -▁offensive -おき -Tech -▁Ал -最后一个 -▁Dorf -▁Deutschland -ちゃんの -してほしい -▁streng -வும் -▁horrid -▁Kontakt -▁molly -牧师 -sprache -▁Haushalt -昌 -▁Fünf -▁regain -▁Ländern -考えた -一起去 -ህ -▁terrified -▁learnt -▁witnessed -▁trov -▁keiner -▁Beziehungen -把我们 -زل -▁amafaranga -起来了 -▁franchise -▁abundance -▁atlantic -▁airport -كس -せない -kong -▁conclu -的态度 -的音乐 -▁Sind -蜂 -▁nữa -たんですけど -回报 -ுடைய -▁domini -▁shillings -▁encara -▁entgegen -ţă -виз -▁обще -ަށް -▁Verwaltung -▁شروع -▁Aktivität -癌症 -yandi -▁seulement -得好 -esprit -yaga -想办法 -▁Francisco -の予想 -▁Wein -晶 -ït -تنا -▁serie -▁characteristics -▁mesmo -▁Schulter -阔 -▁کے -laki -nood -的状态 -sett -フト -▁Virginia -メーカー -▁acum -▁Vila -muş -кана -カラ -▁tract -▁шар -fordern -スマホ -季節 -▁داده -ново -減少 -任何东西 -▁части -ები -යේ -へん -▁consolid -惩罚 -▁Krebs -▁pregunta -▁дараа -▁barri -▁кроме -▁поле -受欢迎 -коў -lux -柜 -iek -店舗 -itari -参考 -भा -▁договор -▁recess -atura -识别 -▁bieten -▁என -換 -▁Fortschritt -▁trotz -▁youngest -कार -对对对 -க்கிற -跑了 -予約 -颗 -▁lawyers -▁своим -▁Nya -嫂子 -▁mining -▁submitted -▁кил -▁guided -女性の -안 -迁 -ทํา -▁bắt -ওয়া -温泉 -नी -▁bike -▁tossed -ஸ்ட -▁Brand -▁ثم -▁Ти -纠 -▁சரி -었어 -▁emerged -▁versuche -これまでの -包含 -▁offended -▁già -▁passer -您说 -锦 -klin -▁rechten -地球上 -тара -▁machten -下次 -▁privat -疾 -ను -▁slice -தற்கு -▁destination -てしまった -дали -你可能会 -▁comprehensive -ワイ -数が -τα -amiento -рать -▁Theorie -らせ -Music -▁columns -▁зрения -坊 -▁incapable -내 -一根 -▁Jun -▁guerre -▁prudence -▁spielte -жим -kiwa -කි -▁relax -ifiziert -▁Slide -▁errand -▁drawer -年生 -落とし -てない -▁reserved -▁мира -惹 -鶏 -▁suffice -▁premium -▁handful -été -▁олон -であれば -party -▁истории -看待 -▁работы -▁اینکه -▁borders -最大の -енным -終了 -čno -▁winding -加拿大 -あんな -▁Johnson -ってください -beera -▁dreaming -▁tropical -方案 -ویل -▁georgia -සා -▁있고 -▁amidst -扯 -เขา -▁emerging -▁Roger -▁projet -ستی -▁Gel -▁drap -▁spit -hund -мак -议员 -际 -zusetzen -ピッチャー -意大利 -விட -رض -▁rép -▁хө -▁Long -带来的 -▁слож -扮演 -нк -▁அறி -▁converse -超越 -引き続き -JR -大手 -fowl -pata -▁goddess -妃 -▁commend -ディー -рис -▁Hotel -ラスト -ním -rän -gah -多个 -教え -佐藤 -▁boldly -悩み -▁которого -自転車 -ちゃんが -核心 -vacu -▁resent -▁último -的大脑 -发言 -cule -▁wählen -― -辱 -강 -ruka -傾向 -еду -▁reicht -▁répondit -дин -绳 -雕 -你知道我 -工作人员 -▁boiling -▁моск -顺利 -▁polic -terior -▁sect -荣誉 -хэн -わせ -irdi -itatea -▁draft -的衣服 -تور -3% -堵 -யோ -ාව -να -raub -悟 -侯 -▁entschieden -▁Zeichen -感謝 -▁Planeten -▁fueron -就知道 -▁loi -iteit -▁gestern -▁otras -▁Öl -▁neighbour -▁standpoint -сар -完全に -不舒服 -VTR -▁spaniards -▁Sozial -▁dirt -▁hwn -颜 -晨 -abanya -рий -▁chiar -斤 -▁getötet -▁unnecessary -bizi -brew -▁پار -Plattform -▁gewonnen -規制 -发送 -を使う -▁priority -▁Geheimnis -▁suspended -同時に -geteilt -▁willingly -▁seien -▁Unser -不动 -▁Fund -AS -▁nama -ކަ -感动 -ţii -american -你们都 -▁justify -▁steward -▁Kim -舅 -мур -袭击 -اشت -▁реально -正直 -没问题 -līdz -最後は -阶 -남 -▁bản -▁이게 -▁இரண்டு -歴 -▁нэр -▁Wol -▁clung -大使 -▁Flo -▁Industrie -udge -▁massa -▁此外 -▁clergy -のもと -免疫 -▁работает -相撲 -▁থাক -▁candidate -かなと思います -跟大家 -ordre -hala -▁canadian -小朋友 -aña -▁coordina -teeka -plin -といって -抗议 -羞 -ង -▁spreading -▁sadece -▁einzelne -的任务 -▁Tā -▁sinh -▁allies -▁behave -▁wildly -▁generated -パラリンピック -这段 -明星 -سبب -時間を -▁strand -presi -준 -抱怨 -首脳 -▁Market -▁Harris -▁Unit -atrice -boden -清晰 -ماذا -大学の -ţe -விட்ட -▁innovative -▁database -肯定会 -▁capa -▁actua -morph -▁einzelnen -bali -▁juan -いだ -忍受 -▁creator -▁Denk -urwa -ս -▁artillery -މަ -▁توسط -▁gilbert -んや -stürzt -▁telah -あい -▁situé -笔记 -ってくれ -ضحك -▁anthony -wissenschaft -しゃ -▁tante -一点点 -▁большая -menya -ӗ -ရ -规划 -▁vilaĝo -合って -▁preacher -▁ноль -▁verder -从事 -▁spreche -▁potatoes -▁corpo -था -▁faz -ਨ -▁geliebt -放松 -的产品 -▁Angriff -▁thật -▁irgendwo -curi -高校生 -▁petr -▁Their -проч -ニュー -▁spared -ފ -这个节目 -戒 -▁Nachde -千葉 -ibyo -τη -就好 -▁fortnight -周末 -見ていきます -我想知道 -хам -▁consumption -▁আৰু -▁sympathetic -▁Konzept -んだよね -▁Geräusch -んだって -▁subsequently -▁Russia -▁کسی -ことがある -▁afforded -ự -まえ -pfa -flug -▁queste -▁progressive -似的 -mita -кет -▁sentir -桌子 -▁хочет -▁Rasse -▁Fällen -anın -があるんです -築 -рван -と共に -▁Dick -マジ -此时 -▁Spo -▁bonnet -ҥ -āju -扩大 -这两 -体重 -ෙන් -шил -مَ -也能 -tiere -但在 -唤 -▁çocuk -▁heutigen -冬天 -▁Put -彼らは -▁guarded -▁نشان -向我 -قام -stained -▁estoy -靠近 -▁protein -ப்பட்டது -争论 -ați -่น -▁buchstäblich -▁усё -▁Lor -тура -▁pensi -まん -وض -▁evangeli -是非 -полага -原始 -عي -ிலும் -мян -不信 -afi -ድ -拓 -ふだん -消失了 -▁يتم -▁amusing -▁punch -▁när -听到了 -资产 -▁Kath -哭了 -▁tremble -▁leiden -ánh -有助于 -▁prosper -itse -▁عليه -рев -சை -▁Haut -▁внимание -详细 -▁있잖아 -投資 -▁garanti -град -▁가서 -▁другом -ごと -新鲜 -▁faintly -▁Amazon -▁Ан -耀 -▁Erklärung -IC -反而 -quarter -▁来一首 -性别 -罩 -▁charlotte -▁attained -▁детей -▁profond -▁نیز -▁Яны -但是如果 -▁Männern -▁поскольку -配置 -gespielt -▁eran -▁Fur -▁algunos -▁unua -▁отношения -菊 -姐妹 -選手権 -护理 -▁strive -wright -誓 -▁halted -Argent -▁поводу -▁morir -▁Gewinn -▁seguir -▁requested -37 -▁Alice -我跟你 -▁schlimm -▁генерал -挖 -χ -▁кооператив -蓄 -自動車 -▁merchants -▁그래도 -autor -▁Те -▁wichtigsten -考虑到 -нә -▁Ray -埼玉県 -ź -咪 -▁удар -広がり -叫什么 -或许 -ûn -▁November -geworfen -ধা -▁assuming -▁Außen -▁Debatte -▁nhân -利亚 -▁muslim -гээ -Michel -▁serait -山さん -ன்று -bris -▁telegram -笨 -陶 -عرض -198 -調べています -会发生什么 -▁smash -▁петр -盲 -ෂ -▁вроде -▁sólo -▁Times -信用 -술 -파 -訪問 -▁mı -komst -ඳ -▁александр -▁happier -毫无 -▁Roma -▁kalt -niveau -қә -kurikira -終わった -твар -poro -аваць -你就是 -▁deserved -īja -33 -¡ -陰 -▁speculation -警察官 -大きさ -八十 -visa -▁rey -十万 -seks -也得 -去年の -▁Andrew -我刚才 -这可能是 -tausch -继 -▁conspicuous -▁remembrance -gebung -▁скажу -旅游 -▁jedno -schreiben -相处 -▁respectful -▁plague -すべての -不幸 -чна -ென் -kuta -▁vehicles -stell -每周 -之处 -给您 -ацион -▁Anna -わけですね -म् -▁tempted -おととい -▁جای -而已 -赤ちゃん -covid -page -ระ -▁fig -ッツ -年前の -▁theories -究竟 -− -wanga -prost -▁pony -▁heures -▁samuel -seitig -就跟 -▁дуу -どうなる -かかり -整天 -もう一つ -倾向于 -溪 -▁prevailed -▁یاد -▁climbing -пот -▁sõ -führt -чо -▁investigate -sobola -jski -忧 -दि -▁mike -▁Song -wish -▁Tä -形状 -စ -asyon -▁roast -haired -▁vais -記者 -тим -▁luke -ඒ -ặ -▁confederate -올 -▁masa -credi -ەکان -Work -udio -▁disagree -向他 -傘 -kämpft -▁довольно -Смех -▁vraag -drag -▁proto -▁sûr -的建议 -▁seeming -حمل -耍 -▁whereupon -▁carries -抵抗 -の結果 -陵 -▁Zwischen -매 -菅 -博物馆 -六个 -werken -すぎる -▁darunter -▁intervention -を示しました -▁implementation -共有 -cji -▁embargo -줄 -▁negotiations -▁torrent -rilla -都已经 -更重要 -水分 -డు -▁شوند -▁null -خارج -▁usage -をしていた -扶 -문 -산 -列表 -▁suited -улы -▁выступ -それも -袖 -次は -始めました -▁approximately -を続けて -这座 -ێن -▁compass -ций -▁quaranta -▁tym -▁bibli -مات -▁بىر -klad -ировал -你不要 -▁необходимо -▁promising -▁Meilen -lege -loge -▁figured -申し -ときは -▁equality -之类的 -▁erhob -ケーキ -認識 -▁reconcile -▁yabo -▁debat -コード -haya -那我就 -惨 -昆 -▁слишком -お互い -交渉 -▁Daher -▁plea -▁habia -会让 -чны -孕 -笑了 -喜马拉雅 -訓練 -▁говорили -▁места -編 -рма -組み -就开始 -त्र -▁تخ -вший -▁Grenzen -我以为 -注册 -伝統 -ரே -▁Sendung -▁souvent -绝望 -▁gesicht -гьы -かけた -▁franz -砸 -▁ఆఁ -▁pauvre -▁rejoice -本周 -lamp -נ -▁cuộc -▁donald -行きます -这是一个非常 -тав -上がった -就是一个 -istischen -ή -кина -に行った -▁Nick -నా -▁clearing -▁tinha -에는 -タル -乃 -zeichnung -▁товарищество -桜 -卒業 -يه -▁luz -왔 -▁qo -ladı -baum -完美的 -疗 -いるという -▁verdient -오 -▁слыш -ище -▁tact -middel -迎えた -玲 -お二人 -▁curtains -alimenta -▁tooth -のですが -▁foresee -Risas -àtic -コメント -产业 -▁Lager -gewalt -んでしょう -حص -▁fühle -▁respected -宣传 -行吗 -たこと -चा -bürger -▁alchemist -▁Jones -чака -▁шест -ľ -俱乐部 -▁денег -繰り -karte -黎 -比你 -▁shrill -піс -▁accordance -තා -▁بشكل -营销 -▁halo -▁washing -▁heath -ワーク -▁mature -▁Wohnung -▁representatives -information -ھا -material -▁rosy -▁regulate -▁cinquanta -▁veteran -dov -只需要 -▁hull -▁但是他们 -跟她 -产生了 -時には -一颗 -▁riot -这并不 -▁pagan -▁veux -▁evolu -luck -▁será -▁übrig -▁resta -负担 -▁başka -▁пример -▁parle -ন্ত -estro -▁Regeln -vió -尿 -ුණ -素晴らしい -▁தொ -pí -phra -▁efter -糸 -ု -楽しめる -▁persian -▁Fil -▁возник -了下来 -▁willkommen -饱 -糟 -畑 -▁gigantic -▁buffalo -▁meditation -ユー -▁solemnly -よろしくお願いします -▁explica -溜 -ਦ -▁wünschte -備え -lige -ubwi -виду -我不认为 -очка -خان -ancien -▁supposing -▁gloves -▁lahko -▁работу -访 -sional -所以我想 -ከ -ገ -และ -シリーズ -てくれた -▁смог -▁Lied -の方に -▁confront -▁சில -▁parler -▁agnes -坎 -撕 -▁medizinische -少数 -Man -正义 -微博 -ıcı -▁jungle -طب -▁vicar -▁Grad -▁thereof -像你 -lach -38 -▁Verständnis -▁энерг -ギャ -▁blog -一个新的 -▁samo -IP -▁junior -▁kümmern -▁commis -burger -機会 -▁хол -ブリ -▁توان -อง -沼 -▁calendar -▁angefangen -▁கொ -这时 -敏感 -▁tlie -というのを -▁fürchte -excursió -ራ -ツアー -天堂 -▁oficial -達成 -bouw -▁forbidden -全ての -価値 -▁bruce -ジー -胶 -▁Lernen -我有一个 -野党 -обр -あさって -いるのか -▁nützlich -▁partial -▁tempt -يون -シュート -▁dachten -平安 -▁ruled -▁integrated -新型コロナの -▁grind -vina -▁сильно -▁месца -んだから -可以用 -▁dernier -сет -cato -▁голову -raient -▁ayuda -くなった -開幕 -baye -▁гри -所以它 -及时 -プラス -ნი -驾 -▁mortgage -▁awesome -怀孕 -▁нават -дела -▁float -▁Revolution -一看 -違います -▁садовое -槽 -▁invasion -▁особо -▁splash -相手の -عاد -▁dla -国連 -▁contend -▁bubble -ਹ -只会 -▁tính -▁martha -▁چرا -你不知道 -risti -▁хто -の天気 -paka -▁المت -建て -коммерческое -▁tersebut -細胞 -▁snapped -حدود -进化 -natured -围绕 -toren -臓 -稼 -我们认为 -新型コロナウイルスの -▁adequate -监控 -▁precipita -▁lorsqu -venue -股票 -ったこと -▁inspire -▁verließ -▁Га -▁sensor -空中 -ठ -ਕ -▁Aspekt -▁intens -শা -見つかった -▁remedy -みたいに -ったのは -▁greatness -▁comunica -гул -ఆ -かさ -っていうか -楽しんで -立法 -▁müsste -licit -BC -▁دهد -▁Ansicht -▁sozusagen -▁awhile -த்துக் -▁Apple -▁obliga -▁dolor -іль -ுள்ளது -▁Vari -批准 -▁components -▁Latin -▁rebellion -预算 -▁genial -ক্ত -爆発 -▁Mannes -tawa -▁சொல்ல -炒 -▁thursday -මු -гур -▁gasp -▁focusing -▁June -拿出 -▁Bald -▁естественно -▁настоящ -棍 -記憶 -▁chariot -▁comrade -▁лицо -▁rachel -メント -九点 -▁altri -有更多的 -▁nuit -㗎 -エル -▁resolute -ensemble -চি -就得 -的项目 -ருக்கு -▁nannte -̣ -▁Verantwortung -所以这是 -将会 -▁lemon -gänge -涉及 -ョ -kili -eṭṭ -▁Antrag -▁blanche -されていました -▁Gru -戻って -▁تنها -ことによって -▁Town -▁leider -mali -▁yep -你妈 -塗 -梅雨 -▁добро -的速度 -▁которым -芸人 -選手たち -kord -bald -▁Bol -plant -agh -伸ばし -кала -我们不能 -欣 -▁preach -▁breit -▁இருக்க -▁செய்ய -▁pilgrim -▁voix -▁alguns -▁veya -请问 -заў -どこか -ического -ती -rauch -的概念 -PR -щие -ranye -▁één -▁fé -政治家 -drop -取消 -とみられる -▁accomplishment -▁vegeta -▁camin -アプリ -▁assumptions -mütig -ailleurs -▁Во -wadde -prozess -▁resulting -жды -こん -открыт -асці -ފަ -ensor -zaam -▁actively -ksa -▁Ці -juk -эш -körper -インタビュー -来来来 -yama -чным -issait -▁uncommon -▁despatch -但他们 -▁klas -▁Valley -▁часто -▁tế -奪 -▁Open -န -▁façon -なんでしょうか -▁gag -▁Start -▁отдел -说法 -▁добры -いこう -grä -▁louise -▁gewisser -reiche -崩れ -▁fulfilled -措置 -这话 -▁gedaan -いたい -▁wail -diye -近づ -▁тобой -▁sheriff -限定 -校长 -運営 -▁gyfer -adju -そうですよね -柯 -▁occurrence -ട -这一次 -▁folgte -过得 -的专辑 -夜晚 -事務所 -惜 -▁aunque -等到 -ボールを -夏の -▁falta -▁frühen -▁daraus -▁saith -▁Mira -▁sanft -尴尬 -んですかね -▁religiöse -▁nennt -дель -▁شک -▁childish -▁мнение -▁stalk -▁خوش -Һ -▁bởi -見込みです -▁kişi -▁acaba -▁Live -ruff -▁approve -ေ -賛 -züge -রু -工夫 -铜 -▁همچنین -형 -▁reflecting -入れた -也不知道 -醒来 -related -аас -▁filter -▁sunny -▁cuenta -蛮 -熬 -▁catherine -▁respekt -尽快 -▁vertraut -▁cautious -겠다 -kami -▁États -▁warrior -▁circular -▁orang -チェ -▁specially -قان -▁doom -裔 -▁kubi -▁raid -わず -你又 -▁erklärte -われた -hurst -▁strait -弄清楚 -▁класс -它可以 -ありますか -拐 -체 -バイデン大統領 -揺れ -gibt -reise -いただいた -▁dump -▁meek -▁hayi -proof -fassung -▁Stock -坡 -煤 -遗憾 -▁Experiment -トマト -协会 -▁contribu -东北 -▁aynı -sız -▁geschaffen -▁secondary -▁pitt -auto -гуля -mies -lohn -離れた -сот -所有人都 -スペイン -維持 -▁Tema -▁আমি -日まで -銀行 -整理 -原子 -殿下 -вернул -▁goede -▁relates -近くの -▁клуб -▁douglas -仪式 -▁paz -▁implica -কি -korera -试试 -▁translated -▁тое -单独 -ியது -▁algorithm -몇 -▁случай -▁anterior -俳優 -▁comic -▁candidates -もうちょっと -一緒 -ość -▁nước -▁thay -▁policeman -足を -測 -▁combine -ார்கள் -▁Pour -▁gaining -更容易 -▁bloß -▁Punkte -જ -▁chocolate -ည -労働 -それぞれの -▁robbed -▁fourteenth -专辑 -物価 -北方 -یده -▁commanding -বু -▁joyous -▁drehte -▁товарищ -▁eingesetzt -▁sullen -五千 -姑 -▁девушк -我以前 -▁elderly -を取って -けさ -日目 -织 -▁elektr -▁hearty -▁trigger -トル -▁waarom -▁zač -หล -▁schaute -▁starve -erade -▁yapma -▁precise -▁kinderen -▁حول -rolle -▁productive -мова -▁bằng -酬 -▁შე -ulin -▁regulations -直後 -▁насколько -祝福 -结论 -▁Kanada -▁philosophical -▁slash -dynami -他是一个 -くなります -▁shelf -95 -ますけど -▁deprived -▁stray -出门 -小屋 -そうそう -вался -▁mujer -ու -泄 -▁моей -窃 -▁überrascht -▁diğer -▁حتى -▁loin -雨雲が -▁importantly -▁fiery -▁contradict -▁Яна -▁balloon -ając -▁einfacher -▁bestowed -島の -город -▁moyen -浪漫 -▁தலை -▁fortress -▁lebih -schild -nimi -coli -というような -▁sprak -▁fright -▁benutzen -吞 -▁Schwierigkeiten -▁estão -▁vide -▁frederick -延長 -的城市 -ināt -貌 -▁Hey -雰囲気 -▁aggr -▁wiederholt -າຍ -▁musket -▁swan -TO -▁Gang -cala -ێک -look -▁الْ -社員 -▁wales -▁problème -こちらも -zusehen -▁پو -sichtig -▁electronic -гээр -把你的 -▁server -▁exertion -屏 -ല -▁ejemplo -▁invariably -fugi -外部 -gruppe -mord -為 -ந்தி -▁señora -двига -▁exert -諸 -▁كبير -▁feedback -▁Terra -大切な -ющий -そこまで -чар -▁Var -食べた -▁glancing -薪 -还有什么 -▁compact -审查 -原さん -▁хоть -▁أحد -mén -絶対に -▁merge -ってきて -▁swallowed -▁Wachstum -▁Technik -مدينة -▁fossil -▁organiza -把这些 -引っ -を見つけ -阁 -てほしい -нө -▁impart -いますね -▁numero -あふれ -立場 -kutu -▁correspondence -增加了 -▁ragged -А -▁hindi -▁dyn -▁successive -がこちら -▁verdammt -严肃 -▁barren -▁prairie -లు -▁Ora -▁понять -▁vamos -▁conventional -に参加 -▁vegetables -▁стали -▁تغییر -希腊 -▁kelkaj -算了 -48 -ацыі -▁kitty -踊 -▁Wahrscheinlich -meza -▁swore -▁cheerfully -zego -▁storage -تك -▁bezahlt -muz -五月 -jol -дей -oğu -icamente -▁hinauf -син -▁prova -▁letzter -▁temperament -▁rencontre -▁influenced -ラーメン -▁некалькі -▁parlour -▁Mariya -fläche -▁Meister -提出了 -を求め -有意思 -няў -▁polar -▁Verwendung -▁стен -ەم -的作品 -▁verstand -所以如果你 -▁mieux -▁요즘 -▁diversity -бак -恐れ -案例 -洲 -▁tamam -▁salary -▁возможность -它将 -kret -氧 -龍 -▁industries -chá -▁Vier -▁swinging -▁bacon -пись -▁edith -诶 -ັດ -▁знаком -фу -ою -ừng -▁impress -立って -ões -хад -锐 -▁resemblance -罢 -拯救 -我也是 -▁tightly -けがを -лева -货币 -▁beautifully -యి -▁Histori -▁Harry -訴え -集団 -даль -短信 -可以通过 -лаш -苗 -▁summary -프 -▁первых -企画 -oxy -っつ -▁celebra -准备好了 -▁обрат -大胆 -tuig -θ -▁mabel -бла -метр -50% -▁fugitive -▁babe -だよね -名单 -▁haunted -做到了 -lerde -white -▁technische -意味で -脂肪 -▁dissolve -zze -▁일단 -▁loath -▁intensity -提案 -提交 -▁steckt -耶稣 -▁orbit -▁русски -▁fiercely -年後 -只是一个 -Ex -▁sakj -查看 -▁آر -▁Ost -▁stump -▁enthalten -▁bitterness -会合 -他又 -▁hesitate -神奈川県 -键 -كار -鹰 -▁درباره -жиг -▁cabeza -lada -▁bidding -тыш -▁cautiously -主播 -Gelächter -▁erlaubt -▁reconciliation -崩溃 -وارد -pion -▁fapt -協議 -▁gemeinsame -키 -▁دارید -▁Qual -東日本 -三千 -▁میں -▁venus -▁undertaking -所以我认为 -克拉 -▁câu -われる -гэр -aurait -▁никак -かわい -别说 -hilfe -▁writ -beug -▁sombre -ptic -如果有 -NG -limi -的事实 -▁cảm -rott -▁район -▁desolate -▁picturesque -বো -晕 -ذهب -ることができる -▁weinig -▁siya -▁stain -惑 -▁pourquoi -▁строительный -▁doğru -▁Institution -送给 -▁Indien -干啥 -design -ゆっくり -近い -▁Sicher -▁раньше -용 -▁effektiv -NATO -▁incentive -▁assisted -什么东西 -▁stirring -▁corresponding -हि -复制 -窝 -▁Füße -▁tất -ències -▁Ati -钥匙 -▁mysteries -▁bietet -▁gegenseitig -▁எழு -▁tej -庆祝 -เล -▁நகர -るもの -மீ -نز -sinde -サル -になってる -上空 -言われた -▁Julia -ۋا -▁grundlegende -▁comte -pida -▁speedily -我们希望 -respect -普通の -▁thoughtfully -▁Är -宜 -sorge -▁betrifft -▁dụng -ար -你如何 -地址 -▁يكون -лета -都说 -赏 -強調 -▁Sab -лос -tijd -▁bezahlen -▁Serie -イタリア -▁flexible -▁isolated -▁angrily -ゲスト -被认为是 -人工 -tauchen -▁точки -張り -▁Right -borg -ligi -about -匠 -さんから -▁passive -▁delayed -かす -ダン -জে -想着 -▁vacant -宴 -▁congregation -分かり -خور -▁juice -ستخدم -るべき -子どもの -▁poble -三振 -けれど -緩和 -▁pigeon -сны -▁большое -▁Westen -әһе -сни -▁ensuite -▁agencies -▁remorse -▁смотрите -الات -工事 -터 -▁отвеча -igkeiten -▁Universitat -bwiye -という感じ -통 -▁identific -男性は -冻 -▁quá -日曜日 -▁সেই -ミン -ído -▁parcel -▁êtes -▁ringing -癌 -▁baixa -▁благо -するか -组合 -▁predomin -reisen -hnung -▁கரு -贪 -▁Häuser -▁nowadays -▁Victoria -ثلاث -imecres -▁ошиб -保健 -▁goose -▁nieuwe -▁consented -匪 -▁geloof -▁Würde -▁pup -集まって -▁parade -これらの -周围的 -美好的 -bildung -▁plank -▁blink -▁behalten -▁сказали -▁каких -▁දෙ -佑 -呂 -▁bestimmt -▁بده -ţa -但她 -寿 -▁ўз -iera -▁shrewd -▁рядом -меж -毎年 -▁persistent -▁addict -▁mogelijk -▁Christian -▁disconnect -▁dadurch -gisha -▁politicians -▁audio -让人们 -▁Harvard -▁Niemand -fí -ড়া -▁digest -同一个 -契約 -▁corona -kku -広い -以色列 -▁Kreuz -陪伴 -ゃ -▁Gü -▁uitge -▁seasonal -▁sanction -Th -යා -vär -幻想 -▁Kate -麦克 -榜 -▁exchanged -▁verfolgt -メジャー -▁jardin -▁Kritik -▁Islam -心态 -侵 -▁console -▁الان -▁fulfil -多数 -fiel -▁voraus -conscious -sohn -부터 -時半 -▁canon -▁zahlreiche -盒子 -মু -länge -pila -▁линия -偶然 -▁whatsoever -转变 -▁eleventh -暗示 -心理学 -▁albert -表现出 -蜜 -▁pennsylvania -새 -らん -たくない -tev -плы -扑 -▁taun -手中 -▁onward -імі -空間 -▁thời -▁евро -▁tuesday -▁scotch -▁смысле -しているということです -▁redeem -čni -評 -лык -▁Divendres -ประ -▁tested -▁passar -偶尔 -▁Group -▁знаем -二十四 -想定 -▁Satz -淘 -摧毁 -▁dapat -▁helmet -▁historic -特定的 -▁youthful -▁relieve -▁chris -▁argued -十几 -▁eerst -▁документ -▁poate -мор -退休 -你有没有 -帰り -▁මෙ -হু -鎖 -長く -▁deliberate -казаць -違 -▁shed -ographie -舒 -▁jaun -▁wanneer -▁ببین -燃烧 -taking -▁Schau -发现自己 -出てきた -comm -وجه -▁contro -▁angenehm -চ্ছ -▁awaiting -عَ -▁watu -▁overwhelming -宠 -▁peuvent -▁erlebt -が好き -仕事を -体系 -vidi -▁relating -▁sweetness -▁rhai -▁круг -カリ -▁هستم -▁disput -発達 -schnitt -▁Bü -▁recognise -▁tracta -只是为了 -通過 -ではなくて -始まって -▁discharge -不出来 -▁inventor -▁bog -▁français -贤 -锻炼 -びっくり -аваны -公正 -ゅ -▁страна -安装 -▁kwenye -ніка -urage -在网上 -▁drown -年ぶりの -terri -zellen -ת -セル -いかがですか -授業 -▁morgan -▁miller -ほうが -▁neuer -论文 -▁wunder -▁Fach -▁skies -标题 -▁Sitz -zional -خواهی -見てみましょう -▁transformed -没办法 -▁melted -▁encontrar -▁genre -擅长 -▁Middle -说实话 -ática -ności -グル -▁cultivated -▁pioneer -基準 -生态 -▁இல்ல -▁neden -スープ -▁Questo -▁pry -食感 -▁Wall -▁regulation -锋 -我认为这是 -近くに -gemeen -▁hospitality -▁erected -▁Have -▁interaction -greif -ಂ -▁tissue -▁таго -▁элек -不要再 -▁Brun -▁gill -っちゃって -what -変え -▁adapted -铃 -マンション -جار -▁frighten -▁Gw -▁Top -▁juist -▁Jeff -▁wrth -▁frisch -好听 -▁penalty -▁څه -▁marion -▁Front -▁Arch -▁dicho -ော -▁optimistic -▁Zusammenhang -әл -铁路 -▁accounting -▁vocal -оби -▁representing -▁cancel -ĕ -转移 -రి -七年 -▁kubera -饮食 -▁unfold -无聊 -▁Stephen -▁bestow -▁регион -▁terrific -监管 -場所に -وک -▁matin -▁conveyed -▁склада -ペース -▁adhere -ついに -And -▁underground -tuvi -▁apenas -▁allowance -▁противо -Rires -▁нашего -▁نیاز -▁begon -▁harold -ことから -定期 -返し -ベース -▁кост -测量 -▁deceive -ダウン -部署 -应对 -找个 -命名 -▁bucket -▁traitor -ඇ -ʻ -ވަ -gá -▁அமை -▁Zweifel -овым -殺人 -落下 -▁Tell -▁стало -跪 -▁Lieblings -▁earthquake -రు -рик -処 -▁pavement -我真的很 -離れ -▁mora -開いて -十个 -ww -indre -eerde -次に -否定 -▁violin -▁numa -ドリ -加州 -ましたけど -▁моему -vēr -▁enfin -いける -▁plunder -grado -ジャン -▁podía -били -▁mourn -▁circula -▁screamed -▁eternity -▁privi -ほう -▁되는 -正面 -▁üle -ombra -▁வரு -pane -åg -▁entlang -团长 -驻 -マル -残る -ných -思いを -▁Jackson -ҭ -も多い -▁එක -を行い -achtig -的证据 -▁geschehen -慮 -▁gentil -▁найти -わし -分裂 -impi -悦 -▁định -弁護士 -陽性 -zubringen -早点 -▁autonom -手術 -種目 -我说的 -ޮ -审判 -年纪 -▁其实我 -▁gris -▁показал -▁tourist -быт -机场 -▁interrupt -守り -筋肉 -▁manière -ユニ -作戦 -▁proced -響 -▁morality -▁Wunder -igeze -▁awfully -▁gesti -▁Allerdings -▁학교 -▁dwarf -上市 -▁futbol -кен -▁construir -疯 -大雪 -▁physics -▁beteiligt -オーストラリア -▁hearth -эння -▁cavern -бат -евский -路线 -іі -▁Donc -ና -▁appreciation -▁trousers -基础设施 -▁gewissen -城镇 -你看到 -▁организаци -悬 -抹 -▁hinzufügen -▁brillant -▁Donald -ご飯 -▁dominant -рах -伙计 -meɣ -▁benim -鉴 -выше -郁 -捷 -クリスマス -▁ມັນ -▁اسم -その中で -看不见 -ывают -らせて -饮 -йын -かぶ -掌声 -ори -▁puzzle -្រ -队伍 -▁carved -ది -▁admission -слуш -鼻子 -ouvri -pta -▁yani -▁extending -ப்படுகிறது -தில் -官方 -шчы -▁пойм -皆さんに -रे -▁minim -▁forgetting -rseits -طي -日々 -unterschiedliche -teko -bewegung -▁coffin -▁Information -挥 -いきたいと思います -▁arribar -kubernetes -▁nachzudenken -55 -狙い -3000 -▁ultra -лым -業者 -▁تحت -▁menace -▁Instrument -いかない -▁Boy -گا -▁Gehen -ەیە -▁capability -양 -dział -වේ -经典 -の仕事 -abri -都不知道 -的家人 -луг -游泳 -▁owl -仍然是 -▁attachment -今から -▁Apo -▁наступ -Oh -所以当 -▁тихо -▁casting -然后在 -常に -▁laatste -weza -тир -マス -▁bộ -▁luther -▁عام -▁скажем -▁меньше -溶 -▁делает -▁Hinsicht -▁ambient -▁бя -一号 -illion -▁Zweiten -ajja -▁подобн -▁sylvia -縁 -ごめん -▁trở -▁crude -すみません -fanya -灾难 -นี้ -▁dritten -▁transferred -▁freight -▁chemin -▁milieu -他认为 -を発表 -▁cruise -▁deepest -нап -леш -▁Ecke -▁Kreis -要不要 -öß -▁Minute -▁процент -广州 -▁sublime -▁получается -▁Brad -然后是 -▁allgemein -农村 -▁болно -▁Eigenschaft -比較 -▁grandi -drängt -ۋ -▁அதிக -▁Cri -場所で -سك -▁çek -щий -纽 -冯 -▁живот -▁مې -便利 -krimin -当然是 -▁kicked -MS -友好 -▁Krankenhaus -▁Trotz -じゃないか -成果 -剩下的 -▁Vision -▁verdade -▁pê -▁Түүний -▁پیدا -= -▁пусть -▁Privat -マネ -▁Quar -物体 -▁ນີ້ -ませんか -单词 -触れ -山上 -ママ -koloni -bogen -▁đổi -▁Tanzania -在我看来 -太陽 -нец -生长 -▁Dev -▁scrutin -نَ -▁девятьсот -llah -の裏 -trum -に加え -▁fulfill -▁regardless -▁surpass -▁வந்த -▁seixanta -▁inflation -▁augenblick -орд -▁infinitely -▁ufite -时光 -▁Lauf -精力 -ēr -が確認され -மெ -හා -▁பேச -schmerz -unterricht -reɣ -创造了 -▁veure -▁sechzig -steller -▁retour -▁untersucht -に入った -方がいい -▁constitutional -号码 -▁educational -มัน -▁Those -▁Quando -▁herbert -以便 -▁années -▁acres -帆 -▁maître -▁langer -罗斯 -▁syria -office -▁nebo -▁контрол -▁everyday -▁ähnliche -▁diferents -නවා -密码 -▁Blue -▁broadcast -žu -дают -أن -pik -月亮 -stimmung -▁Krä -▁satellite -▁weltweit -▁figli -▁tailor -くれる -腐 -ሽ -の写真 -▁كه -変更 -▁negroes -▁همین -▁Acht -strom -مەن -勾 -妨 -一夜 -働いて -▁lachte -▁persisted -perto -larga -படி -▁Wirkung -▁gezicht -▁فرا -geladen -овые -vana -▁bemerkte -▁beliebt -▁гаражно -싸 -ないといけない -▁provoca -▁Ausdruck -两者 -▁canvi -▁complexion -гран -▁vedere -DA -ӡ -häuser -とかも -留下来 -▁چون -Atlanti -schwer -姿を -死去 -▁bewildered -▁refrain -▁verfügbar -▁dije -▁praying -▁fuera -代价 -▁Selle -হে -▁hyd -全身 -يين -▁немного -▁أخرى -▁Qualität -护士 -年齢 -▁tension -Prince -ième -шет -谦 -ẩ -ucu -▁ними -ছা -▁Ky -知道他 -蔡 -拦 -instagram -ovitch -▁orphan -телей -▁hablar -▁subsist -▁grape -アナ -давать -фан -▁välja -を使い -汽 -另一种 -нікі -排除 -▁scientist -ভি -лыг -▁tribute -таш -▁lind -低気圧 -▁ohio -▁universit -简直 -zaj -▁Letzte -țe -abaye -▁nke -週末 -仏 -主持人 -▁먹고 -▁recherch -▁wohin -▁pulse -▁lazy -▁impatiently -▁invalid -ىدى -を巡って -富有 -▁identical -霸 -刊 -responsabil -違反 -▁futuro -▁داریم -ителей -▁Zeitung -سون -置き -▁pete -基督教 -щения -時代の -上げた -▁военкомат -赤い -安全保障 -▁descri -▁Cle -▁Kapitän -▁regelmäßig -▁verfolgen -脅 -高騰 -▁Einrichtung -itarian -大规模 -是个好 -âr -▁Brust -▁herausfinden -▁privacy -▁важны -▁Out -mitglied -▁dedicat -廃 -▁signature -▁பகுதி -▁arriva -▁quiero -この時間 -abba -▁Nehmen -▁enlarge -ாங்க -▁Lady -趁 -▁greece -▁surgery -▁dunkel -dokument -▁quiere -ってしまう -雨が降り -▁hause -▁discretion -的风险 -ほんとに -▁Universum -▁Foo -kê -▁Pala -▁exclusive -крат -▁assumption -▁sev -を持ち -▁exhibited -▁такую -▁hỏi -▁produziert -▁jersey -▁Schönheit -额外的 -▁Vorstand -▁sotto -▁eagerness -funa -▁unseen -▁jumping -▁legitimate -▁physically -▁hafi -▁poetic -iyordu -唱的歌 -崇 -▁rubbed -▁humility -启动 -▁accessible -▁hoarse -▁nơi -▁bois -үй -حب -cari -▁Fleisch -▁Для -singa -犹豫 -▁Bedingungen -▁englische -▁sneer -を挙げ -▁sentimental -运营 -▁jaroj -覧 -我一直在 -潘 -▁ingredient -真ん中 -▁Alexander -▁brigade -▁oxygen -相同 -过度 -校园 -何だ -ключа -شە -تُ -▁Rang -远离 -相次いで -▁byinshi -▁tätig -umugore -▁dictate -▁nhau -ția -船长 -▁năng -侠 -誤 -となっている -但是如果你 -▁hyper -该怎么办 -大学生 -ればいい -这很 -тоў -ság -▁fifteenth -▁đâu -길 -▁известно -▁glacier -einig -сво -那一刻 -に乗って -ẻ -罐 -▁arriving -▁který -▁закры -べる -革 -▁retirement -▁marching -ှ -▁annoyed -▁üblich -yerek -говарива -kampf -දා -提议 -▁Western -なぁ -▁kubona -▁کجا -gezi -疏 -进展 -▁города -▁hurriedly -▁kiuj -年ぶりに -▁appearing -NA -▁elfu -鸡蛋 -涛 -▁bernard -▁manual -бед -▁banc -美しい -schneiden -لعب -▁Maßnahmen -▁superstition -speicher -▁embark -観客 -koko -▁manipula -お話を -▁joyful -হি -▁incessant -▁courtesy -ҳа -▁fain -imbi -[ -为他们 -▁determina -本部 -民間 -もらいたい -裸 -أت -做了什么 -лыш -kiye -bleib -▁şeyler -売れ -▁Germany -我很高兴 -ありますよね -呵 -▁вокруг -专注于 -▁sequence -予算 -▁indirect -▁bilden -lässig -合适 -ຽ -ჩ -You -所属 -▁tries -▁speeches -カット -▁trivial -▁posterior -見通し -▁rhan -оруж -去过 -ҩ -▁monstrous -遊び -▁hàng -▁союз -都不会 -見られます -▁ernsthaft -▁Tatsächlich -▁мозг -しん -beho -horse -▁breach -ファイ -▁když -▁muscle -▁comparable -▁grasped -誕生 -▁Nta -▁zyn -▁Они -有几个 -碑 -Ю -▁Firefox -▁carolina -控え -່າ -布莱 -gruppen -澤 -▁круп -働く -نق -볼 -▁yake -▁tiek -冠军 -পে -baho -▁Streit -晋 -▁Brü -▁направлен -维尔 -fär -presa -についても -▁tõ -▁administrative -▁communicated -ubah -реп -க்கிறது -老大 -選ばれ -▁благодар -▁desperately -corre -šķ -▁sweeping -怎么可能 -ggie -▁recur -▁உட -▁floated -推出 -прэ -在上面 -織 -◆ -▁twelfth -腺 -女孩子 -▁counting -▁hurrying -如果没有 -▁Abschluss -▁stealing -▁Deck -稲 -▁Bevor -कि -みてください -▁کمی -▁Verkehr -▁Martí -▁assess -逮捕された -▁حرف -gekomen -天才 -类似的 -▁Online -ď -▁እንደ -订阅 -渋谷 -▁už -サイズ -支配 -чку -▁advertise -▁wanjye -urile -丧 -▁aussieht -▁общественн -▁Like -▁kirk -▁tennis -▁журналист -▁сторону -▁دنیا -온 -လ -▁главное -▁fiz -funktion -lå -▁fotografi -шат -対策を -かれて -缠 -ወ -▁вполне -▁Flugzeug -▁trường -grond -▁echoed -▁phát -だいぶ -▁Sara -▁conversa -▁stimme -▁Quina -指数 -祖父 -wahl -▁klug -righteous -рап -▁mujeres -的痛苦 -六年 -全都 -▁clasp -浏览 -топ -▁horizontal -坚定 -▁wengi -▁bored -局长 -▁travaille -த்திற்கு -fluss -岗 -現状 -▁但是当 -▁Operation -فور -▁junto -你到底 -▁convenience -抑郁 -▁survived -▁образова -公寓 -लि -▁mesure -ització -パラ -▁mourning -▁dart -▁Grün -ސ -ਿ -▁wednesday -外出 -▁hasty -完整的 -▁compre -வரை -议会 -ఏ -會 -▁farklı -kracht -你可以在 -カップ -无数 -▁Gute -гийг -▁llarg -▁elevated -▁elsie -▁Kommunikation -あたり -impine -特殊的 -ழி -тере -▁そのため -нием -▁armor -▁Weiter -在中国 -ško -É -යට -▁thyself -沸 -▁achtzehn -▁extinct -太多了 -▁dresses -▁Prime -▁carrera -ுகிறது -不认识 -▁expenditure -▁innumerable -気象庁 -公安 -grown -不开 -▁infantry -▁abide -に合わせて -39 -疲れ -▁schuld -スキー -▁jog -وضع -▁européen -▁seria -合格 -いら -ာ -伐 -▁உம்ம் -రా -无关 -▁diffus -দিন -的语言 -▁Sarah -书中 -storm -受害者 -仕組み -▁banquet -早餐 -кос -亿元 -10% -供給 -アイデア -технолог -▁diwujudke -่ง -▁energetic -▁bunny -从来不 -burgh -ிருக்கிற -▁glittering -嘘 -8% -留言 -二十五 -CD -さえ -▁geändert -▁увидел -▁roedd -你这么 -BA -▁spray -ことができます -有能力 -alina -▁disposal -▁système -▁dreary -▁quarante -▁بأن -▁vient -第三个 -▁vacation -▁Ohne -币 -倡 -▁unnatural -결 -少なくとも -▁Another -みんなが -▁fuss -▁خواهد -▁patro -▁personage -▁жыв -▁ddim -альным -▁scheinen -▁probabil -▁Bewusstsein -▁Militär -裙 -▁কথা -▁Sagte -▁whe -pola -▁missus -我觉得我 -▁quaint -viel -▁telescope -涵 -▁тупик -在某种程度上 -言うと -传递 -的灵魂 -दा -▁töten -事务 -▁demonstrated -教训 -maro -▁figura -しろ -痕 -▁предлага -▁metrics -ண்டி -▁Iyo -を前に -4% -▁marian -hagen -▁ради -цеп -▁слушай -▁демократ -▁ситуация -▁Drogen -▁dose -افت -▁اول -▁suppress -bril -▁beschlossen -涂 -謎 -ಪ -badde -▁있는데 -▁drunken -▁seule -▁afge -囲 -爸妈 -棚 -峡 -▁bacteria -▁erscheinen -が続き -ț -قار -хоз -紧急 -好朋友 -рада -▁examining -同性恋 -韩国 -很高 -▁спец -ヘル -ере -一歩 -batu -▁automobile -執 -を含む -▁gerecht -▁welcomed -▁agricultural -っていうのを -▁tudo -相信我 -喜欢你 -▁woorden -彻 -তু -ارات -这都是 -模糊 -逆転 -ダブル -▁мае -ショー -▁dirigi -检测 -哪怕 -我父亲 -▁eric -із -▁parc -dodd -饰 -រ -▁December -겠지 -▁yali -▁gordon -▁Stamm -बा -▁ikintu -مین -ச்சு -美好 -▁interrog -Aplausos -EM -警報 -▁Treffen -▁Tau -▁rive -を食べ -▁sử -▁останови -▁oliver -onian -▁Ez -stuk -逛 -▁внутри -▁decisive -▁unglücklich -の様子 -広がる -这个项目 -▁Klima -▁primero -jang -▁Betrieb -▁sealed -▁insane -۔ -▁gewoon -为您 -▁tenderly -▁самый -▁oppose -▁ответил -eremoni -саб -▁correctly -FIL -าน -▁어디 -▁realidad -behörde -gerufen -уха -房子里 -▁sujet -▁classroom -▁hübsch -▁sekolah -▁گروه -▁Gli -足以 -▁Carolina -yorum -▁epidemi -áz -liwa -ボン -▁feminine -▁które -▁primo -▁verdi -кот -▁graham -mele -你们两个 -िक -感受到 -无人 -될 -▁knelt -▁tìm -▁hebrew -▁Meter -กล -▁clothed -使える -陽 -amazi -Kanal -▁бага -心灵 -逸 -▁klingt -▁видео -лоб -撤退 -景色 -nect -▁vorsichtig -ಗ -▁bachelor -▁хочешь -▁شرکت -見ていきましょう -もあって -6% -▁Mah -▁Су -லோ -வேண்டும் -浓 -▁carpenter -▁shrub -▁nourish -始める -ようになって -しまして -▁awareness -闯 -▁невозможно -▁나오 -boro -▁strife -▁dismiss -综合 -িয়ে -witz -حدث -pür -图片 -놀 -鍵 -▁subdued -spoonful -▁Finally -看不到 -运动员 -کات -▁rector -的角度 -▁faculties -麺 -円安 -緊急事態宣言 -▁molecule -▁plough -▁вчера -▁tiến -Pierre -مند -市では -▁Ми -bika -▁obstinate -▁saviour -庞 -pflicht -大海 -▁habitat -这是我的 -urira -識 -ですとか -hani -▁candid -屁 -▁ممکن -▁এবং -▁ລະ -tsinda -شته -农业 -不同意 -▁Februar -లో -ிலிருந்து -太子 -kleri -▁яму -▁draught -前提 -▁envia -▁também -▁crust -▁Калі -▁Verfahren -▁manifestation -▁verbringen -▁честно -做饭 -今天晚上 -▁видите -kò -▁marshal -▁Bäume -▁astonishing -▁conjecture -▁embarrassment -畅 -眼泪 -koli -альные -▁concentrated -岩石 -ười -▁amiable -▁hiyo -ধ্য -自行车 -▁societies -舰 -▁አዎ -▁realise -▁pouvoir -mico -に移 -就行了 -合适的 -▁setanta -fenster -▁dismal -▁Wunsch -▁wolves -lil -建設 -▁rwose -annu -▁aircraft -イチ -拥抱 -電車 -▁sixteenth -▁Kurz -Episode -▁فیلم -ību -並んで -三点 -cò -▁yella -знача -▁حا -この辺り -альных -いくと -▁Album -▁radiant -▁nossa -层面 -хим -▁diversaj -▁imitate -谋杀 -▁resentment -▁shark -总结 -進化 -运作 -▁assertion -ູ -▁Praxis -にあります -▁confidential -uğu -wego -▁Ро -▁embraced -nutri -与其 -▁buzz -▁camino -يط -视觉 -achtet -良い -▁скорее -珀 -っていうふうに -继承 -你刚才 -▁صورت -▁países -имся -是一样的 -тэн -▁гэтай -▁находится -▁voilà -▁startling -我想要 -维持 -▁tray -රු -▁повтор -的主题 -contin -的人来说 -▁demanda -旧統一教会 -▁inspection -先ほどの -▁Senat -▁breadth -sehn -ального -明明 -▁respira -جنوب -落在 -耻 -試験 -▁explaining -确 -▁perdu -▁gorgeous -陌生人 -▁Absicht -ولد -遇见 -шан -高級 -▁parlor -хлоп -ษ -▁Dijous -▁schlafen -改造 -▁miriam -▁Té -▁shipping -そこは -äck -ステージ -十分钟 -太郎 -▁pasture -ワード -▁nicely -増えて -▁beobachten -网上 -▁fröhlich -▁އަ -தொடர் -モー -льны -▁стоял -дзень -▁газет -名为 -を認め -但这是 -决心 -origine -느 -Gelach -foje -▁charter -这些问题 -▁vinden -▁Nieder -yumba -பர -が出た -▁everlasting -▁trouver -zí -成年人 -▁keer -▁Anwalt -kaka -▁nosso -▁asserted -овали -AD -接到 -କ -ĥ -疫苗 -这一切都 -理性 -▁polished -▁flavor -смотрел -産業 -你爸 -▁பய -逗 -▁Unión -▁rumor -そうですか -我就不 -▁attributed -ツー -kları -▁passenger -▁bliss -喽 -ሁ -▁verheiratet -▁mindestens -▁پنج -▁highness -verfahren -تَ -利润 -▁funkci -▁readiness -▁escala -▁канал -▁система -ராக -抛 -▁Demokratie -いただきたいと思います -arbre -在此 -▁vind -我们有一个 -▁واحد -▁gosh -拨 -▁depressed -ṛṛ -▁unlock -の前で -俺が -▁거의 -小麦 -▁whereby -▁tint -mizi -▁stretching -趋势 -名古屋 -ภ -ấu -▁putea -试验 -▁clergyman -劣 -équipe -খে -決まり -ший -▁motiva -▁Atem -▁ئەم -遮 -천 -煙 -▁Bildschirm -パパ -回到了 -▁await -▁voted -构成 -滅 -▁Hari -▁righteousness -▁женщина -白天 -▁gerald -旋转 -我想说 -▁surf -酱 -▁Tief -দ্ -▁உள்ளது -尸 -ứng -boek -brook -▁Erwachsene -激励 -щик -▁acceptable -▁món -▁enthusiastic -▁upside -่ว -umuryango -収穫 -欺负 -▁engaging -▁Reform -▁chop -үнд -的需求 -很简单 -loch -▁EBITDA -ނު -龄 -▁Spring -▁logo -▁engel -▁fry -私たちが -▁stammt -焦点 -▁Mexico -▁kerja -都内の -For -大厅 -▁noranta -einheit -ちゃんは -我们开始 -▁Option -▁사람이 -足够的 -んだね -SA -ई -▁gewöhnlich -炒め -▁squeeze -技巧 -▁tyrant -▁کمک -▁animated -▁coverage -獲得 -▁кап -▁Schrift -ауы -見えない -▁그치 -カフェ -が流れ -亲密 -▁purity -等一下 -就好了 -▁foremost -▁niedrige -కు -halen -ட்டை -zünd -▁olur -▁eliminate -pez -▁xem -重视 -▁konzentriert -▁extinguish -▁cursed -▁louder -▁disdain -strich -の中から -フライ -Krista -▁الأول -▁plantation -▁eindeutig -▁einzigartig -弦 -訪れた -рю -盒 -▁hauptsächlich -▁Тэрээр -保障 -▁সং -▁Norden -▁stamped -ехать -verkehr -wszy -▁pleaded -忌 -熱中症 -empi -арга -一分钟 -▁kadın -адзе -我妈妈 -živ -袭 -▁меч -▁квартал -▁Garten -▁frantic -▁Hij -▁iraq -がついて -▁ئې -凌 -▁squirrel -▁denomina -▁imposed -цэн -他们已经 -▁Theater -▁yiwen -▁Pap -央 -▁tüm -▁depended -亦 -▁gerçek -▁berühmte -hize -▁Veränderungen -▁unworthy -feind -дох -Instagram -▁Benutzer -▁dernière -▁Biz -▁زیر -ießen -▁attempting -▁процентов -が見つか -接受了 -▁связи -▁слышал -你有什么 -யூ -ცი -نے -▁nearby -踩 -▁nhw -▁درست -شعر -▁waiter -容器 -серьезн -前後 -schijn -ӧр -environ -▁tiuj -壳 -▁افراد -▁Muster -会发生 -▁아무 -ली -से -はどんな -eeuw -сидел -娃 -睁 -sammlung -குறி -▁shit -пыт -营养 -просил -रो -chè -▁complained -▁Szene -оф -▁imitation -цам -runner -保罗 -▁بدون -▁Mol -痛み -iĝo -▁tackle -скіх -▁mehreren -vance -▁öğren -本质上 -ボード -隔离 -▁encouragement -政党 -▁үйл -文本 -konna -weiß -辜 -担忧 -third -อน -бач -▁devote -おいしく -▁January -▁consumed -▁pyramid -▁verursacht -▁banking -コロナ禍で -決まって -▁realised -▁Syn -向こう -轩 -▁международн -▁orchestra -账户 -▁أيضا -▁привет -▁digo -▁мере -▁reaches -▁nhiên -▁aktuelle -stow -あそこ -况 -紀 -ǧǧ -▁retten -▁stability -▁mož -▁يُ -▁waking -▁Cada -됐 -车站 -你想要 -並み -ەڵ -▁collaboration -歳で -더라 -ਤ -▁skeleton -▁Church -▁duration -clav -▁другое -▁frère -▁Institute -▁quina -இன் -rijk -最新的歌 -我刚刚 -актив -▁phần -▁wandte -▁Power -▁région -▁வந்து -▁cierto -基本上是 -▁Back -が生まれ -▁whispering -▁страх -▁copies -▁rouge -▁убийств -▁eloquent -▁Hong -▁kuva -ющим -Net -晚了 -▁nostra -我们一起 -然后他们 -движ -的反应 -这样的话 -考え方 -舒适 -あるんですけど -லில் -意味着什么 -locat -▁boiled -不明 -▁fashionable -▁proprietor -複数の -框架 -▁beantworten -▁segundo -導入 -альной -おなか -▁cinquante -札 -▁guinea -▁gabriel -的作用 -買って -わかる -▁geschah -aquell -▁fino -درا -সু -▁Händen -kamera -▁expertise -▁scenario -▁حيث -次々と -連携 -打って -我心里 -嫂 -を出して -诈 -太棒了 -を目指し -扩展 -▁concentration -修复 -▁boca -fay -机制 -లే -▁дверь -底下 -侦 -栗 -▁Interview -▁agitated -沃尔 -みる -▁curios -āka -▁solely -хгүй -발 -▁Gedicht -▁klicken -到处 -不管你 -提示 -覚え -zah -▁ayrı -捡 -▁warfare -▁colonial -▁аан -▁superintendent -▁放一首 -一顿 -这些都是 -▁répond -小学生 -でもいい -가지구 -▁lawrence -ایت -legung -sexual -詰ま -アリ -敦 -验 -மைய -してしまう -谨慎 -▁difficile -▁конкрет -▁describing -jährigen -▁bastante -诚实 -▁exercised -furi -▁facile -ี่ -▁celebrate -Risate -金曜日 -▁Mission -▁спас -umunsi -对他的 -zelve -星星 -▁erano -▁Osten -▁gael -慧 -▁ප්‍ර -朋友圈 -▁tusschen -yita -今度 -周年 -聚会 -дні -漠 -耗 -毫无疑问 -轰 -▁скажите -▁sandwich -▁chambre -▁traveled -▁decidedly -▁حالا -▁despise -nesi -ŝa -▁Schauen -水果 -▁herald -婚礼 -▁overwhelmed -▁heathen -一堆 -netz -▁mississippi -土曜日 -▁internacional -あすの -hydr -跳舞 -▁enthält -▁reel -按钮 -有效的 -mayı -▁resigned -▁quantities -▁submission -ваецца -▁stärker -倒れ -estructura -▁Gegensatz -▁llibre -走过 -▁reminder -وں -щение -Wow -▁içinde -还想 -▁contrived -▁ignore -我也不 -져 -▁gregory -▁hejuru -▁korea -▁realiza -娘娘 -▁cooked -▁Stimmen -▁satisf -脆弱 -▁vaguely -顶部 -误会 -無料 -受到了 -的时候呢 -把手 -▁subsidi -▁necesita -假装 -▁persecu -▁dintre -▁endured -lender -étais -▁litter -愧 -なのです -我们发现 -▁Tamen -▁hopeful -check -声称 -意义上 -僕ら -各个 -▁vertrauen -පා -▁khu -▁pathetic -不清楚 -側は -一个很好的 -六月 -kker -▁hả -▁harness -▁vanish -geblieben -塚 -▁orchard -争议 -තර -的核心 -▁bland -▁heftig -▁terrorism -并非 -நிலை -中午 -衆 -▁arnold -貨 -▁gehabt -7% -فكر -演唱的歌 -分布 -戦闘 -▁spake -▁negativ -▁kimwe -畏 -眼前 -▁بۇ -▁sorgen -圣经 -只要你 -▁flowed -当成 -▁önemli -▁zurückkehren -砲 -▁Soldaten -はっきり -energia -言われ -が大きく -▁plein -éré -彼女の -▁kasuta -战士 -▁repeating -invest -▁virtuous -▁laboratory -ネタ -руп -ად -贼 -殴 -▁буй -▁இர -Video -ىلى -fydd -几乎没有 -山田 -гуль -▁Pel -任命 -▁discontent -▁ຊິ -▁winner -可爱的 -▁verbreitet -星球 -▁ааа -耐心 -▁overtake -災 -▁подумал -▁hände -打扰 -வெளி -▁wonderfully -▁staatliche -的房间 -に来た -▁nursing -▁dunia -笼 -▁chưa -▁Verlust -Domin -kommst -монт -逃跑 -估 -你还是 -▁stepping -驱动 -▁сначала -しばらく -衝撃 -▁blake -▁Frankreich -▁exploration -と思うんですが -▁clinic -違って -寒さ -▁какую -▁soort -meid -▁slack -▁күр -ց -▁Ozean -ić -退出 -▁historically -▁punika -画像 -▁weighed -本地 -ấp -济 -▁pouvait -ヒント -레 -▁vuitanta -▁verantwortlich -▁neunzehn -hampton -alist -▁склад -時ごろ -Comp -47 -▁Cafodd -amategeko -▁mnie -ওঁ -▁öffnete -デー -あなたが -▁enorm -明治 -今大会 -` -▁archbishop -▁иногда -▁прежде -▁göz -▁entrar -▁знать -числ -奇妙 -▁kuvuga -▁grub -▁rubber -坐着 -に関しては -▁preaching -işle -▁psychological -▁survivor -▁Oberfläche -这个想法 -脖子 -观看 -▁Verstand -▁кож -▁нужны -▁diff -integra -▁Hinweis -▁maakte -我希望你 -循环 -▁Simon -中止 -▁crucial -▁праца -▁thông -дук -▁ownership -ந்தார் -▁Paar -▁carta -大変な -▁hayat -់ -▁ситуации -欺骗 -▁regime -まるで -مُ -وص -一个女人 -資金 -ം -▁kompliziert -▁Geburt -衝突 -▁Play -▁Ärzte -▁snatched -خنده -īgi -vè -▁küçük -▁navig -両親 -تحدث -▁attire -▁Pause -連れて -▁Einsatz -kî -▁Free -认识到 -லு -扩 -男生 -仓 -▁Laura -▁magnitude -ацыя -torial -▁tercer -岸田 -テスト -بى -état -▁máy -schläge -激烈 -▁같은데 -▁kep -这就像 -পি -φ -肩膀 -▁psychology -▁wünschen -▁wiped -を求める -ظهر -▁streak -▁Aktion -لې -▁vấn -▁owed -▁assessment -▁solomon -魔法 -▁digging -▁Kleidung -▁волн -піса -직 -ښ -叠 -垫 -▁provoke -▁disturbance -范围内 -教学 -▁труб -▁Deutsch -ێت -▁করা -▁Englisch -fluent -▁какого -陪你 -sulta -▁applause -▁тэгээд -ას -▁mmhm -▁rascal -тәр -▁honesty -▁Phase -Risos -▁постоянно -申請 -ັກ -▁hängt -▁affecting -▁Veränderung -▁опыт -હ -▁اليوم -▁друж -碰到 -▁Bühne -▁порядк -ҭа -新聞 -▁Stimm -▁Süden -مام -演説 -世界上最 -leitung -遣 -北日本 -감 -碳 -▁collecting -っぽ -ができて -やりたい -▁vardı -▁reap -背中 -▁Farb -焼け -ないよ -摄 -하다 -외 -▁appealed -ッキー -▁prick -上手 -お届け -kono -▁мэдэ -顾问 -很清楚 -斑 -▁интернет -刃 -һын -▁نور -awal -▁flashing -▁Since -大师 -▁macro -เก -▁unconsciously -▁passé -▁dreaded -ძ -▁cependant -초 -▁Там -▁бело -▁personnel -犯行 -▁priorities -шев -▁grote -neuron -▁treating -âme -▁Bach -有许多 -සු -▁Pic -▁Ereignisse -感染対策 -▁discoveries -spoiled -lith -喝了 -ታ -▁Geschlecht -▁excursion -保険 -▁fonction -場に -maktadır -▁judicial -安倍元総理 -▁Sobald -lardan -кажет -ディング -▁harmless -这么一个 -▁ministry -▁ຫັ້ນ -▁cotxe -嘉宾 -を取る -ىسى -lomb -という話 -▁siaj -ambul -▁referring -小小的 -▁utterance -角落 -▁kehrte -パリ -捐 -▁provincial -想出 -▁benefici -▁Aku -▁исслед -▁Kong -ıp -激情 -周期 -▁Ruf -坐下 -▁ewig -▁African -▁çünkü -▁academy -▁Maybe -无限 -čči -▁connu -这孩子 -▁banker -村上 -▁authentic -寂 -郷 -▁kết -ヴィ -▁luncheon -▁알아 -冷凍 -▁resume -андр -▁refined -clus -这样的一个 -ாளர் -鲍 -▁nobility -▁Ул -ໍາ -を重ね -▁嗯嗯 -談 -▁awaited -فَ -▁Aussage -ღ -▁vermute -涌 -హ -月曜日 -▁tốt -esque -▁جدید -選んだ -▁Wann -身后 -アイス -カ月 -▁beschreiben -诱 -▁chwarae -附近的 -inclou -什么样 -請 -කු -ल् -▁initially -期节目 -▁roaring -▁Ар -▁другим -▁oven -必须要 -20% -▁saloon -▁врач -せん -▁lewis -▁vicious -▁Zentrum -▁brazil -的权利 -美味 -不许 -▁பயன்படுத்த -▁вульф -▁видимо -先発 -きれいに -▁ужас -▁obtaining -▁Aufnahme -▁podría -▁sadness -拿出来 -必要がある -лыҡ -作业 -采用 -▁vya -▁feat -▁Although -なければならない -大規模な -推进 -我只想 -▁durum -还有其他 -どうする -œuvre -▁eloquence -▁бөгөөд -栋 -鏡 -būt -günstig -开会 -▁Grab -▁அவர்கள் -ロシアが -voja -▁felicit -▁attendance -否认 -ぇ -ლა -わずか -▁hunted -ようやく -爵士 -ހަ -然而 -▁mournful -長期 -wamu -期限 -询问 -▁установ -▁rainbow -騒 -▁diligent -▁vergangen -▁asylum -▁yanjye -koht -▁comfortably -gerät -凶手 -▁armour -pari -▁dignified -▁cuerpo -▁Prinzip -associa -つま -▁excite -▁matches -▁brauche -▁كې -ddling -▁baggage -▁outstanding -秒钟 -▁vierzehn -克服 -▁blazing -பின் -下がって -▁руку -jící -わたし -න්නේ -▁consegui -他们正在 -▁qualified -▁tradi -统一 -人が死亡 -buah -▁защит -▁donkey -新幹線 -欲しい -クル -ifuza -miento -▁lumber -jye -▁meteor -▁gradual -களும் -▁crowned -quisition -ショート -糊 -ही -チャレンジ -னும் -▁एक -▁sydney -▁Taylor -克莱 -拿起 -リーダー -兔子 -其他地方 -▁Graf -▁ужо -ël -өнгө -▁fünfundzwanzig -▁estimated -一趟 -▁quoted -த்தா -spruch -激しく -▁Был -čil -トラブル -пустил -▁seventeenth -▁thirteenth -▁compelling -▁seemingly -▁نگاه -更好地 -▁bunk -のまま -nev -借り -▁кре -krist -七月 -▁Atom -spezifisch -一直是 -Orient -йтесь -▁meilleur -120 -▁habt -▁liking -▁legislature -どのような -一块儿 -いくつか -▁romp -▁trench -▁сильн -凑 -鸣 -登録 -▁frail -获取 -▁Main -いること -広く -プリン -親子 -段階 -豆腐 -很长时间 -▁Castell -真理 -▁треб -▁endeavoured -Institut -萌 -Infrastruktur -堀 -诉讼 -▁прекрасно -ってほしい -キャン -徐々に -▁يجب -▁vall -ზ -eisen -▁Gewicht -▁العمل -▁contemporary -戦略 -▁wesentlich -కి -予定です -っけ -▁bello -▁socialist -ということなんですね -▁cement -▁그걸 -▁shifting -▁Sup -▁дене -▁governed -schäm -▁jurisdiction -▁giorno -▁triple -funk -▁sneak -院长 -食料 -чныя -vira -▁spoon -сця -▁silenci -出售 -几十年 -geordnet -▁Philosophie -▁congratulate -リズム -▁scheen -▁пятый -▁tidings -▁podem -北陸 -大姐 -▁hệ -▁Lind -accus -иров -另 -付いて -▁vegades -▁কৰি -▁inherent -räumen -▁Vorschlag -▁Dabei -ッジ -▁Interessen -得很好 -неп -▁keel -一阵 -▁treasury -▁sculpture -▁vật -▁Beach -できなかった -ちょっと待って -巨人 -▁Verein -乗せ -▁Ple -冲动 -休み -syll -ත්ත -ോ -▁غیر -ロック -чки -回答说 -うまみ -ලි -thorpe -其中一些 -をつか -▁outdoor -に向けた -▁amuse -К -▁bantu -uwen -辅 -lulu -নী -ativa -網 -詹姆斯 -懂得 -太空 -四处 -いずれも -▁Vertrag -▁verbinden -脊 -ఎ -▁обычно -▁dispatch -切った -と指摘 -▁komplett -火事 -▁migration -kintu -働 -札幌 -▁касается -告诉他们 -▁ingenious -だとか -عادة -金钱 -ضع -般的 -▁fling -正如你 -▁durchführen -コーヒー -スケート -的意思是 -很多事情 -▁crisp -▁grunt -▁kutoka -ES -爵 -▁dự -▁catastrophe -▁tưởng -▁disregard -▁gezegd -▁Kredit -強さ -▁بودم -OS -beruf -▁handling -▁pesca -根本不 -▁Champ -▁девят -晒 -▁evaluate -▁Dewi -▁ответствен -щего -认知 -ovna -▁paragraph -決めて -▁roared -▁Quindi -毫不 -름 -▁Sitzung -கிறது -▁willow -欢迎来到 -船上 -维护 -▁tanta -▁Europäischen -▁Molt -শ্ -tiene -種類の -を超えて -▁terminal -▁consulted -▁portal -алды -▁المع -assassinat -証明 -标记 -يار -一起工作 -▁ئەو -▁Pflanzen -▁embarrassed -kawa -▁serene -▁streaming -▁jason -▁stride -▁лиш -多次 -භ -▁almighty -▁hurricane -▁Science -▁سره -fashe -quadra -常常 -国民の -▁dạ -põ -▁discount -を出す -到目前为止 -fähigkeit -谈判 -スパイ -▁patiently -▁lautet -▁болох -惊人的 -fleur -▁prosperous -委屈 -ică -▁Brian -两百 -▁ভাল -▁brandy -实在是 -àng -▁produit -палі -客厅 -を示す -▁gezwungen -исто -stairs -▁lapse -镜头 -般 -▁Està -operative -▁Veranstaltung -二人 -දී -▁moll -▁courteous -رَ -▁Oberst -谁呀 -車両 -анг -▁série -▁behandeln -பட்ட -とかそういう -лок -▁کړ -▁Austr -看起来很 -酒吧 -▁বলে -пок -インターネット -天皇 -▁estaban -зур -极端 -▁distrust -بری -去哪里 -▁сельсовет -▁نحن -▁erhöht -▁mặt -軒 -▁Abendessen -▁accusation -领导人 -льная -▁görün -年生の -伊藤 -支払 -肌肉 -▁zitten -したうえで -chimp -恋爱 -▁ег -▁зелен -动机 -▁Konflikt -군 -▁sabbath -"."" -▁kapit -セント -▁polish -▁simultaneously -की -▁kugeza -相当于 -▁годы -علوم -итесь -▁expressing -іла -美女 -umugabo -قطع -▁schickte -▁реша -▁Fälle -ெய் -migr -己 -ální -▁людям -▁некоторые -バーディー -fungu -▁executing -بحث -schieben -引发 -质疑 -▁Gründen -grenzen -▁persecution -▁Zitat -土砂災害 -▁besorgt -▁unfair -到这儿 -인데 -عات -▁ребята -ouvre -第二次 -рыс -ших -▁тус -しまい -思われ -鹅 -▁Katze -▁strengthened -kamu -▁Royal -ombro -▁folgt -▁destaca -▁همان -خورد -倦 -スポット -rechnung -▁inheritance -ىدۇ -▁பிற -▁Kevin -▁behaved -数百 -明显的 -roving -▁наконец -稚 -구나 -犹太人 -确认 -▁தீ -لِ -二十年 -为何 -ходил -жат -märk -ұ -▁الوقت -▁depois -▁цар -▁despised -商人 -ొ -▁besuchen -詐欺 -スタイル -▁überzeugt -ここの -wili -▁Life -特别好 -▁ziet -ラム -を続ける -rinda -호 -kanya -▁chairman -木さん -トイレ -крыва -▁stooped -▁Schatten -▁kuwi -一本书 -ebene -вец -▁занят -▁garment -▁Danach -▁ăn -▁Как -が続いています -遂 -क्ष -▁acceptance -▁körperlich -義務 -该怎么 -ائي -▁krista -ителя -ымі -▁Neuro -▁semble -を進めて -見られる -遭受 -▁Einheit -▁ditch -▁Sydney -▁üzerinde -葛 -▁российской -▁шестьсот -▁advertisement -▁lucruri -伯特 -小林 -▁bamu -հ -▁Pakistan -▁hành -わからない -▁historische -kiem -▁nghe -かつ -约会 -もらえる -tsiooni -▁preached -울 -胳膊 -▁exaggerate -▁subscription -▁sworn -▁evolved -认可 -verhalten -▁hạ -нде -▁путина -▁accumulate -いくら -▁Dž -先頭 -▁berlin -僅か -▁Knie -数据库 -▁жест -▁زیادی -▁envoy -▁самого -väg -录音 -جعل -タイトル -▁protecting -brian -緩 -勘 -もしかしたら -▁shrugged -willig -▁иә -නය -三个月 -時代に -音频 -来看看 -මි -▁vicinity -▁choosing -▁வழி -奇迹 -▁Schreiben -лээ -croft -▁kontrol -бот -▁izmanto -▁좋은 -пуск -parent -▁container -疯了 -尼斯 -確認された -▁thicket -▁верн -▁dankbar -并将 -大陆 -▁comercial -▁vorhanden -jev -对面 -▁tiefer -▁cama -不能再 -だと思う -則 -鸭 -▁soutenir -幺 -▁Schlacht -▁chaos -▁meisje -を行った -▁conjunt -▁Ansatz -皇后 -环境中 -님 -世紀 -も含めて -98 -ობ -त्य -▁derecho -▁davis -▁Шу -お酒 -▁verhindern -▁komunumo -▁mochte -こだわり -设施 -天使 -▁schade -позиц -9% -пай -▁richmond -▁посмотрел -eusement -meester -ỹ -োৱা -久しぶり -候选人 -ங்களில் -ন্দ -▁Zusammenarbeit -少しずつ -▁Tausende -东方 -いただき -aquestes -▁gefällt -гада -薇 -▁mathematics -▁처음 -lago -amara -zentrum -▁forgiveness -▁Each -▁அதன் -▁Deci -他にも -▁mirth -建立了 -Ɣ -сор -▁Wörter -Bahn -▁bajo -▁carne -可怜 -thought -größe -ガラス -▁screaming -▁ändert -培 -给了我 -અ -▁thôi -▁indicator -▁alfred -▁کنی -▁gezien -جلس -▁disciplined -▁housekeeper -体操 -还挺 -▁submarine -いきなり -كرة -▁erneut -▁Medizin -资助 -vå -▁lucru -▁разные -▁oars -ливо -可惜 -▁Oxford -Kampagne -▁generosity -▁무슨 -ญ -縦 -偽 -ível -パワー -▁moviment -尽量 -▁universitat -ME -ễ -▁нравится -▁понимаешь -▁böyle -学术 -こんにちは -▁kvar -摊 -棵 -▁hereafter -Franc -▁prussia -ஷ் -天哪 -▁Hügel -最新の -▁Korea -▁мөн -▁হয়ে -▁kaiser -ático -▁mooi -晩 -ึ -▁cambio -holm -ственно -▁implied -▁év -我个人 -▁jenny -就是因为 -Ĉ -を通じて -▁değiş -▁borrowed -是否有 -▁Tout -▁festgestellt -きょうも -▁تک -短暂 -▁franklin -▁piled -还是要 -自主 -یەک -▁contempor -狩 -불 -نظام -亲戚 -活跃 -真心 -会让你 -▁کشور -ování -▁stesso -бег -临时 -八点 -いろいろな -घ -螺 -க்கை -▁consultation -▁Wut -▁Personal -▁quedar -▁こうした中 -▁Ку -▁prolonged -▁folgenden -▁temporal -▁bleef -ăng -バター -▁Saya -▁detected -▁Про -▁translate -信念 -асць -ないんです -▁کوچک -両方 -▁contrari -▁அத -ோம் -お肉 -ņa -▁Einstellung -したいと思います -▁встреча -wyl -侵攻 -我刚 -۱ -房地产 -ষ্ট -▁ஆனால் -收藏 -مثل -▁Philip -▁reliable -▁conspiracy -▁indispensable -日本海側 -の歴史 -▁কোন -▁superiority -子弹 -的意见 -▁conqueror -帖 -迎え -▁одоо -優しい -ическое -wyth -▁одну -wirkung -▁financing -▁ascended -كتب -八月 -▁zoals -ヶ -▁கட்ட -▁petty -▁cricket -すぎて -得起 -cross -加强 -crypt -▁jünger -▁ຫວາ -▁considér -▁Studio -вд -另外一个 -▁kennedy -▁castell -าม -▁abrupt -▁buli -identifi -▁disadvantage -▁නො -▁arasında -ража -▁хотят -▁apron -▁damned -不在乎 -▁horace -帮助我们 -communica -жин -貸 -たちに -▁complement -▁والم -джи -▁Rick -கிறார் -▁maximum -อา -▁ҡара -▁lebendig -▁счита -毫 -▁mechanic -ෑ -ナンバー -餐厅 -援助 -▁khá -▁creu -apport -▁continual -了多少 -ところです -但我认为 -▁Villa -▁reagieren -▁нічога -筒 -贫困 -▁puerta -▁pathway -效率 -津波 -▁Europ -▁бесп -▁счет -对抗 -生物学 -writer -認め -▁extravagant -▁umbrella -▁jullie -▁distressed -▁precisa -称为 -▁honorable -ూ -伊斯兰 -尊敬 -▁clinging -▁бала -льных -pā -▁civilized -出てきて -BI -▁apparatus -▁затем -にわたって -道具 -▁Grenze -▁велико -печат -▁babi -▁blunt -▁محل -漆 -ছো -▁vegetable -regierung -かき -▁ocasi -▁lacking -颤抖 -▁thereupon -另一方面 -最後まで -düğü -七点 -basha -bikora -共享 -存储 -▁clark -是什么意思 -▁schoon -▁Nahrung -▁Elektro -▁yapıyor -ことば -kibi -▁Tony -hér -粮 -起床 -:“ -Râsete -萧 -ハウス -partei -分别 -▁principalment -戴着 -▁پرو -occupa -部落 -▁favourable -▁expose -売り上げ -▁Marie -怪我 -▁практически -▁별로 -偷偷 -▁complexity -eût -vamo -▁automatic -mysl -ремен -dimensional -прям -▁Beweis -犠牲 -нең -anomena -строй -▁طريق -の間で -▁ethel -締め -只有一个 -分散 -▁alright -プラ -▁approaches -ြ -汪 -овского -человеческ -ượ -発売 -▁quindi -คน -▁diplomat -▁mulher -人才 -▁scold -灰色 -寸 -叙 -▁covenant -▁Mind -▁Four -气候 -▁kennt -сер -▁pew -guye -валася -▁instructed -▁இல்லை -地看着 -国葬 -▁газар -掩 -筆 -艾伦 -飛ば -ID -▁substitu -tracht -名称 -だと思って -▁mientras -相手に -▁Jason -appropri -▁höre -捜 -▁தனது -▁مشکل -بند -犹太 -ジョ -▁Dienste -武装 -ydı -▁இருந்தது -▁праз -gemacht -▁feder -炊 -合理的 -leuchtet -▁Bereit -▁taylor -そうと -ивают -惊喜 -知道吗 -▁constance -あげる -ворот -台上 -plau -剥 -古老的 -也知道 -▁strategi -▁amateur -▁mettre -日军 -んでしょうね -ゥ -▁orleans -说出来 -眼里 -▁blunder -あいつ -一个小时 -▁moist -▁teatr -以一种 -▁разве -欺 -▁vernünftig -疼痛 -রের -▁Kohle -géni -▁oyun -▁healing -brä -father -王国 -伸出 -就不能 -火山 -▁пару -最后一次 -▁Kö -巾 -abaturage -▁defiance -▁москвы -観光客 -够了 -▁olw -▁açık -▁primi -czas -▁المس -▁blev -▁sauber -▁voting -▁complicat -ณ -▁través -▁optimize -▁melodi -▁lavoro -▁подожд -▁войны -するのが -▁diminu -と呼ばれ -▁самых -▁bijna -▁bildet -つながり -棉 -روس -始终 -▁yacht -▁packet -šā -しているんです -▁Wid -▁hose -istisch -▁prezent -▁missionary -▁commonplace -駆け -プロジェクト -▁circus -クラブ -▁customary -▁exclusively -鑑 -枠 -吵架 -▁peine -一起来 -時まで -いいね -▁mathematical -珍しい -▁иначе -▁depriv -▁venice -▁sitzt -留给 -▁Court -▁zooals -ぷ -▁versteckt -▁stata -▁billig -TA -shima -树林 -▁iawn -▁plac -১ -▁memorial -在做什么 -▁thường -▁ladyship -world -危険な -▁До -の中でも -▁mostrar -昨晚 -▁appreciated -▁جنگ -▁bluff -庙 -▁emphasize -▁renown -沟 -陸上 -一点也不 -lê -сия -椅 -œ -函 -▁admiring -▁sacrament -财务 -节奏 -礼貌 -广场 -▁implore -ицы -マリ -这个事情 -いいのか -があるので -年级 -kiko -▁exam -っていない -▁diameter -▁Palm -бә -起诉 -▁ہو -大好きな -▁cetera -▁पर -もう少し -瘾 -涙 -вания -▁overflow -▁ожида -临床 -▁сябе -männer -▁contradiction -吊 -▁사람들 -▁ساعت -▁العديد -▁никакого -的思想 -▁obstant -andika -▁legion -▁cultiv -▁arriba -▁przed -võt -行う -ય -▁allerdings -ogene -schalten -demokrat -▁traced -▁считает -▁produc -春天 -▁burada -赶快 -င် -ં -ゼレンスキー大統領 -▁случилось -▁состав -Ҡ -▁bemerkt -原本 -現金 -Gerät -のようなもの -енә -▁Pur -▁kreativ -▁behauptet -▁للم -▁новый -▁hardware -свет -ければ -贫 -誰が -▁marque -▁stuart -を見ると -▁Menschheit -深深 -очку -ব্য -▁roam -▁kujya -二百 -行不行 -慣れ -▁savu -原発 -▁hakkında -规矩 -▁stubborn -▁полно -▁übrigens -▁offenbar -▁tipus -▁strained -madı -ドン -朝から -ロボット -▁verletzt -的说法 -ண்ட் -尤 -我听说 -救助 -体調 -▁cooperation -做了一个 -▁junger -一点儿 -▁dusty -开枪 -▁Angebot -珊 -▁Тэд -义务 -නු -interest -血管 -▁trouva -වැ -истов -▁ҡал -ģ -▁vulnerable -▁receipt -洗濯 -تعلم -厕所 -▁conductor -▁schreibt -▁Verbrechen -▁замечательн -▁adviser -▁hostess -挙 -ע -▁cylinder -▁امروز -▁treason -▁Sever -ıyla -▁Vogel -▁wertvoll -书记 -跃 -▁gravel -▁preliminary -▁bảo -証拠 -▁solved -▁будто -わよ -果然 -вацца -ことになりました -媒 -یں -▁accuracy -▁commodity -▁District -بيع -ĵ -▁implemented -三月 -バレ -▁краін -цией -能看到 -或其他 -嗨 -അ -▁belangrijk -舟 -포 -償 -▁komplexe -▁basketball -▁Sekunden -▁noisy -▁interruption -说完 -ケア -illus -▁compliance -▁اتفاق -▁psalm -▁electrical -ენ -▁vragen -▁shun -逮捕されました -▁severity -之内 -么 -half -找出 -ٍ -▁موقع -▁Signal -我问你 -▁pobl -цяг -契 -贯 -▁făcut -▁Đây -阴影 -南京 -▁pouvez -▁Spieler -евой -kipe -тап -花钱 -▁doktor -▁вперед -▁обязательно -▁صحبت -iyoruz -製品 -ஞ -抬起 -合意 -▁quả -▁coch -ковский -儀 -する方針 -▁fringe -geschrieben -が起きた -価 -▁государство -buye -▁внутрен -疑いが持たれています -▁мама -угл -ாவது -になれ -▁salad -什么都不 -▁ghastly -匆忙 -忽视 -▁universities -▁Handlung -cull -▁maggie -▁Papa -̀ -旺 -▁zerstört -▁vapor -▁bafite -欲望 -▁sicherzustellen -▁Voll -টো -▁материал -▁gemein -▁sorrowful -诗歌 -ibindi -保安 -▁đấy -不管怎样 -▁automatically -まっている -ムー -▁Shu -怎么着 -苏联 -▁Jersey -▁произошло -▁Bạn -▁Viertel -exclusi -售 -唯 -取代 -▁handeln -▁blur -相机 -种植 -▁hark -污 -▁псих -▁ritual -▁потеря -你放心 -▁rejoiced -طلب -▁visage -ぶつ -operation -▁камен -▁conseil -▁liable -蚊 -эргэ -▁यस -работал -üßt -ランク -▁occhi -▁Мин -▁beendet -▁kitten -▁зуб -▁Kenya -▁ikibazo -▁أيضًا -デジタル -▁abbey -会觉得 -ично -ிருக்க -を通して -那不是 -жыць -通行 -▁longue -▁Heimat -▁intrigue -قدر -бен -▁joven -bücher -山本 -▁priorit -承受 -结束时 -wezi -▁regal -▁emit -▁анти -判決 -ኝ -▁eyebrows -▁bicycle -▁çıkar -дина -みそ -பர் -争取 -个性 -五分钟 -ก็ -▁смотри -kontroll -밖에 -▁exalted -消え -▁gebeten -ER -▁прибыть -弾道ミサイル -▁решения -▁அவள் -火星 -怖 -预期 -衡 -störung -усь -グルメ -▁minority -▁neighbouring -▁Leidenschaft -▁oppressed -你会看到 -gène -▁tutor -陷 -▁äußerst -嘞 -▁començar -objekt -▁proverb -கம் -anstalt -▁holiness -▁шүү -▁государства -▁мус -▁pregunt -砍 -▁überzeugen -▁다른 -слух -▁twig -зад -analyse -そうした -战场 -网友 -ლ -Ḥ -▁njegov -▁repeatedly -▁اولین -▁любой -▁archer -▁اور -積み -étude -我总是 -▁zweihundert -▁komis -抚 -ごとに -▁resurrection -杠 -▁Mehrheit -▁squadron -frica -合理 -農家 -sensibil -ទ -▁структур -▁бүтэ -引き上げ -▁Innen -нікаў -加工 -▁производ -单身 -呈现 -▁Schnee -▁برنامه -▁gleaming -応え -▁creeping -▁ligne -▁працу -▁corri -เส -現れ -▁перш -очки -▁genutzt -皆様 -総裁 -▁robinson -▁часов -нена -▁kettle -诗人 -شاهد -äß -▁muerte -▁fake -▁société -▁микрорайон -밥 -ブラジル -▁desirous -一个男人 -▁spectrum -springen -孙子 -▁सम -りません -不太好 -stāv -▁prediction -したところ -▁coil -▁Fast -ゴン -コーチ -▁proclaimed -▁jugador -▁توانم -ஊ -体内 -▁interference -四百 -が増えて -打つ -wickelt -▁Мне -▁kvin -дро -▁crab -▁Literatur -▁shawl -▁outfit -倾听 -不良 -▁Chef -zuhalten -普通に -▁そんな中 -▁groaned -の方は -艇 -▁Petr -▁Wach -bole -еньки -难受 -発信 -及其 -▁scatter -▁drifted -▁rejoicing -▁друзья -▁karakter -是一件 -assemble -を進める -でしょうね -▁Befehl -直前 -జ -亚马逊 -社交媒体 -miseks -设计师 -▁majoria -很可能 -也许是 -испол -飘 -ø -أصبح -▁orthodox -▁thieves -鹿児島 -难以置信 -明天早上 -jū -национальн -热爱 -ுகிறார் -▁piety -あれは -农场 -AC -▁مرا -▁eleanor -▁prêt -▁کتاب -大谷選手 -行事 -▁allusion -▁yavuze -▁trá -▁суу -▁gọi -雀 -மோ -不然 -かしら -优秀的 -blé -リアル -gewinn -导致了 -辩 -旬 -リオ -iddwa -ブランド -内閣 -▁وقد -册 -▁concession -選択 -▁Cambridge -込 -لەر -▁ĉefe -▁dragging -▁sparkling -▁consistently -吹き -▁пакуль -holz -ドア -做得很好 -attend -▁benjamin -▁shifted -▁Spur -ваюць -▁hynny -▁elevation -軽く -▁trình -ボタン -ganya -операци -▁رسید -又不是 -▁frenchman -看着我 -▁suppressed -kijk -▁perquè -▁জন্য -▁remarkably -aĝo -▁ernest -军官 -▁download -mette -▁Microsoft -沖 -勧 -archiv -سرع -一支 -ひとつ -▁цаг -dessus -当前 -释 -wendung -されたのは -意志 -に近い -这是什么 -スペース -▁ruling -كۈ -genomen -▁malheur -سلام -▁выборы -県内 -▁australische -▁untersuchen -鎌倉 -促进 -▁Geschenk -诊断 -▁jeanne -waż -▁groom -を受ける -▁lettre -▁adjacent -砖 -挟 -эль -▁presque -远远 -地理 -的感受 -▁Eric -читыва -concili -▁basil -配信 -▁desenvolup -桐 -縫 -跑到 -同じように -▁freuen -諦め -雨雲 -▁selben -لج -三次 -平方 -▁vaig -▁Social -カナダ -▁москве -定位 -すり -▁getrennt -bbling -▁syr -▁integrity -UN -پە -エース -▁Verbraucher -舎 -▁caracter -見てみますと -விய -听过 -谁能 -深度 -术语 -と思うので -消除 -撑 -▁şimdi -▁savoir -代わりに -حصل -▁Medikamente -やっと -ຫຼ -を獲得 -▁pitiful -▁легко -▁besiege -有趣的是 -集合 -generation -▁publisher -жым -ಡ -穆斯林 -▁declaring -ビジネス -▁elkaar -▁visibility -争い -▁scary -慢点 -▁leiten -って言った -我也不知道 -ড়ি -▁westward -▁repress -▁fehlt -ृ -▁installed -▁сожалению -▁언니 -雇佣 -▁repos -▁парк -▁accuse -سپ -みたいな感じ -飛行 -阿里 -▁demonstra -▁ridicule -▁மிகவும் -脑袋 -▁Company -চে -▁Senator -AT -▁veranda -征服 -布里 -يَ -丈 -▁சேர் -崇拜 -ivamente -▁Water -▁glimmer -していること -II -衛 -喜剧 -手紙 -▁집에 -ējā -▁Block -▁väl -undneunzig -詞 -▁слов -▁Kalifornien -ει -haza -趣 -▁Basis -▁Cela -قۇ -动议 -是多么 -やろう -▁neighboring -▁Hast -алда -вание -どこまで -▁lavora -▁erstellt -▁кеше -▁Perspektive -▁cualquier -▁chemistry -ліз -▁inherited -もち -▁surge -消費 -ώ -▁erforderlich -須 -▁обнаруж -▁descending -avons -mbri -▁televisi -▁europäischen -▁Está -▁rocket -druž -ခ -▁맨날 -従業員 -▁среди -غو -穿上 -▁phụ -任何一个 -ぱ -вших -▁wizard -レシピ -谁知道 -▁batteries -historie -▁laquelle -▁svět -тыя -질 -▁hợp -▁tiếp -▁نزدیک -スイーツ -▁vermeiden -▁striving -▁aufmerksam -上课 -機械 -▁empower -決して -开门 -▁Gerechtigkeit -▁힘들 -療養 -▁Three -existent -abhängig -▁чём -▁peggy -пресс -ވެ -▁systematic -▁než -▁simplement -▁verwirrt -せっかく -されてる -赞助 -预防 -▁två -赋予 -▁существует -▁utility -▁Wesen -soever -▁Alors -業務 -爪 -▁beschrieben -▁supernatural -▁فإن -▁analyze -▁rezult -ອນ -流动 -▁listeners -▁futur -Liber -残疾 -厌 -험 -PA -輸入 -يص -▁automatisch -欧米 -▁Belgi -引导 -わけですよね -▁영화 -▁skilful -▁называется -ēl -دۇ -sparen -歌词 -▁Schließlich -芒 -分かんない -ப்படுத்த -▁Republic -公表 -ীয় -几分钟 -晚餐 -桌子上 -schlüssel -скія -▁Цяпер -▁музыка -▁Russland -▁найд -▁merciful -迹象 -▁printing -▁growled -▁речь -気分 -可能性があります -▁plunge -▁பெண் -▁melhor -ání -▁Fä -▁transit -▁гэсэн -▁Gesamt -ándose -artisan -▁Clark -кле -What -一个巨大的 -▁Dreh -raad -给出 -▁perished -▁overthrow -▁mantle -rides -studie -为什么会 -▁lingered -完整 -▁scroll -底部 -▁Treppe -provi -前往 -福利 -钢琴 -صنع -▁подход -だったので -遗产 -▁infirm -පු -するのか -▁Geschwindigkeit -▁contemplation -▁loneliness -芯 -토 -据说 -acca -நா -▁koran -▁schimb -ңә -▁Тут -▁plug -▁torre -decorat -preservation -ސް -▁трудно -を巡る -ائية -黒い -▁Mario -▁handled -▁biological -场所 -▁تأ -哲 -▁brightness -យ -▁October -▁adjoining -▁irgendwann -虹 -▁schafft -问一下 -▁ethics -微妙 -総合 -reißen -▁показыва -▁sparkle -▁faci -▁Brasil -marsch -▁entrepreneur -ucci -出会い -плеч -목 -▁Schauspieler -▁largo -评价 -▁sniff -▁recibi -こんな感じ -村庄 -губ -▁bölge -▁چطور -▁avenge -派遣 -▁đồng -▁новая -▁achtzig -齢 -▁practised -老百姓 -▁plaça -があれば -座位 -安倍 -车辆 -良く -▁друга -▁дежур -ौ -自動 -▁وهو -▁fué -legation -あした -▁pip -디 -▁intimacy -▁пункт -▁ecosystem -网站上 -ложить -凭什么 -▁aldı -▁wambaye -フィー -発電 -▁regent -になってくる -飛行機 -stunden -▁Emma -回事 -比尔 -颠 -▁Gouverneur -▁delicacy -▁обсужда -絞 -▁removal -歩く -getrieben -▁basta -▁ясно -ковская -▁sasa -ベン -职位 -盈 -▁furchtbar -致力于 -繁荣 -整備 -▁übernehmen -▁අප -われわれ -小型 -深夜 -▁Manche -児童 -仕掛け -▁একটি -▁Bush -ҡан -▁alleged -走路 -を紹介 -▁promet -େ -▁دختر -ホームページ -約束 -யு -を起こし -larına -prinz -▁بأ -奋 -四月 -你会发现 -福島 -墨西哥 -▁latitude -▁እን -我就想 -▁horseback -ரெ -рская -っていきます -哟 -▁psychische -▁dainty -▁inquiring -▁başladı -▁خاص -하니까 -好听的 -▁chiama -▁knocking -▁carelessly -达成 -▁понят -▁precept -േ -债务 -▁schlimmer -最重要的是 -姥 -枯 -見た目 -转身 -ħ -破壊 -▁Wichtig -典型的 -▁lawful -▁caravan -来找我 -▁самым -rühm -凍 -描いた -ޅ -新規感染者 -依頼 -不算 -▁forsake -密切 -schieß -▁semana -kuti -ীর -▁geschafft -▁président -▁socrates -頑張り -▁malice -က် -▁Million -▁revolutionary -моў -▁tavern -島さん -чала -▁Sco -څ -▁Griff -の様子を -▁fantastisch -▁максим -▁verlangen -▁verdict -キャンプ -を抱え -時間帯 -▁너가 -ื -ペア -▁шоссе -男の子 -▁Muslim -抑 -▁Dazu -моло -搁 -秩序 -▁Schluss -берег -▁რომ -▁поднял -▁athlete -慢慢地 -pharma -▁bobby -entreprise -すき -▁könne -▁realizing -交换 -▁metaphor -▁Investor -્ય -▁nadie -たいと思います -▁stitch -▁dimly -คร -即便 -一応 -▁pedra -▁interface -▁قىل -ància -把它放在 -アーティスト -▁wußte -spitze -很喜欢 -って思って -艘 -კა -を訴え -▁Umugabo -▁shattered -garuka -回复 -saison -友人 -biza -▁resign -▁renewal -ছেন -を止め -▁Dach -半島 -▁removing -是什么样子 -有人说 -ビア -会話 -学位 -▁racing -哨 -▁секрет -▁pubblic -скры -▁아직 -geschnitten -angwa -价值观 -czą -有这样的 -ウム -باب -өс -ホント -▁cynnwys -▁restructuring -共和国 -亚洲 -▁metod -▁نفر -▁thích -ビール -zieh -業界 -dringen -niedrig -と見られる -▁qualche -失礼 -ฟ -Ž -▁зүйл -▁measurement -фарм -เร -ਲ -▁гораздо -鹏 -▁ہے -sabye -īga -ходзіць -öffentlich -暑い -▁roland -▁tariff -皆さんも -▁我想听 -న్ -練 -冤 -阿拉伯 -幻灯片 -▁massacre -봤어 -▁Beine -سوف -▁kritisch -▁frock -▁разных -▁Mama -സ -拾 -録 -▁Đó -▁Betracht -同伴 -使命 -▁consisting -бло -▁daddy -▁matrimoni -プログラム -明智 -真诚 -▁rotten -▁convertir -▁смерт -墙上 -服用 -appelle -▁twain -▁Dunkelheit -▁Identität -▁pharaoh -▁structural -겨 -ธ -سط -▁будуць -多年来 -やってみ -▁Arthur -发行 -童年 -忘记了 -▁whim -æ -▁என்பது -▁quivering -先制 -依靠 -那天晚上 -тычна -兔 -kārt -stift -感染者数 -▁алло -▁влия -嫌疑人 -▁olympi -▁помню -▁توانید -▁keenly -▁Pflege -กับ -▁около -広げ -bido -▁Später -アナウンサー -린 -ছিলেন -ટ -▁supplier -▁geistige -解散 -▁нашем -深く -わかった -Direct -писать -▁ўсе -▁stimulate -六点 -稽 -おすすめ -拝 -әү -埃及 -▁avea -▁quoth -▁принял -simila -▁posible -추 -▁città -收获 -▁Pflicht -▁Sehr -▁constable -gaciro -通道 -▁jasper -된 -ۇن -▁Avenue -▁hurled -▁چهار -ıdır -▁пасля -сцю -▁falsehood -好消息 -▁Golf -斯顿 -▁boundary -恰 -ৌ -β -▁beberapa -銭 -uɣal -▁حو -▁stripped -ałem -சூ -▁Kommentare -▁countless -გი -下がり -għ -▁있다 -祈 -▁obedient -▁precedent -▁dialect -ště -を目指して -▁charley -веж -に警戒 -どうなって -玄 -얘 -ગ -▁Innovation -▁venerable -▁Schaden -గా -▁deployment -▁discharged -▁bribe -▁choked -เด -ницы -▁Бер -▁shareholder -▁irresistible -색 -▁ertragen -▁دانش -猜测 -håll -▁skr -▁начала -jú -حاول -ិ -▁شدند -してくれた -▁kombin -درس -▁cuanto -▁fakt -▁loaf -후 -予測 -治愈 -细菌 -escence -▁Diana -辰 -▁ermöglichen -▁области -▁apprehend -▁sincerity -▁Marine -▁conduc -▁глаз -मि -字母 -午前中 -不止 -▁atrodas -▁встрет -▁coneix -リップ -europäische -träger -日期 -▁splendour -準決勝 -▁Kauf -▁equipped -伊朗 -▁Verfassung -▁racial -▁wistful -يست -اقتصاد -▁begrijp -▁überprüfen -挣扎 -▁вижу -聊聊 -▁greet -躁 -ק -创伤 -▁ведаю -旅程 -▁llegar -етесь -▁mbili -寒い -▁calor -▁conoce -▁worte -undsiebzig -▁stumbled -剣 -▁займа -楼梯 -市长 -低下 -▁вспомни -▁holmes -未知 -ことになります -ډ -辨 -▁contemptuous -...... -▁darted -zustand -▁грани -ビデオ -▁soothe -짜 -创始人 -▁imprisonment -▁intensely -在乎 -leɣ -traction -ificació -fellow -ంది -foli -対決 -بِ -长官 -머 -▁Ankaŭ -纯粹 -▁unmittelbar -▁Ursache -овское -▁granite -▁avem -一生中 -گەن -анс -▁epic -▁virtually -▁tylko -を防ぐ -▁podia -▁snatch -替代 -費用 -购物 -組み合わせ -長崎 -▁لذا -더 -▁واقعا -▁maior -▁ieder -をはじめ -点钟 -ელ -▁Kontext -▁Verbesserung -サポート -geleitet -ތަ -▁wickedness -▁kugirango -装饰 -▁azul -コロナ禍 -集体 -▁Null -Europe -幹部 -▁Umfrage -澄 -স্থা -▁cafe -展开 -пак -▁приходит -携 -教えてくれ -晚安 -夫妇 -εί -如果不是 -谈过 -▁controversy -▁nyingi -▁lần -まとめて -につながる -ようになりました -▁beeinflusst -▁Italien -▁classical -スリー -bilidad -нув -ピーク -▁erleben -と述べ -▁humid -海军 -brennen -▁henceforth -▁گرفته -栄養 -йшоў -▁famine -之所以 -▁improvis -жә -▁المست -▁burial -ів -ешься -冷たい -实话 -▁Fou -▁przez -▁Mathematik -▁furnace -▁ອື -舞蹈 -▁Abteilung -ḥem -▁Fair -▁avut -▁dringend -▁Lincoln -▁вариант -▁bemerkenswert -困扰 -ంద -▁fertile -另一边 -▁sangat -基金会 -注文 -між -▁Sagen -告诉她 -ಹ -▁instinctively -อย่าง -恳求 -製造 -▁gratify -ぼく -▁grit -▁Anderson -▁turtle -▁unusually -赢了 -会导致 -▁Karl -▁Wetter -gültig -▁römische -摄影 -吃完 -▁declara -250 -团结 -每当 -知ってる -酵 -▁Kapital -职业生涯 -重症化 -вернуть -ambaye -洪水 -observa -ွ -スペシャル -▁equation -恭喜 -▁инде -宪法 -▁northwest -▁Müll -▁oyster -▁devons -几年前 -ந்தது -▁Verteidigung -ミー -▁Details -▁gewann -蛋糕 -▁Kleid -つながって -▁combina -被迫 -▁geldi -▁confronted -僵 -季节 -▁그건 -▁soothing -ത്ത -▁хэрэг -牛肉 -▁papel -▁Meeres -▁Fox -▁Darüber -偏见 -メール -お茶 -卡尔 -MA -Tool -扮 -▁crise -▁efficiencies -▁participants -▁refusal -▁알바 -ņēm -▁여기 -BM -école -▁upgrade -▁superb -ते -言わ -▁черт -▁господин -▁fireplace -▁Campus -▁Hollywood -▁experiencing -震度 -▁никого -▁системы -可靠 -klima -帽 -誕生日 -▁видим -ブルー -惯 -▁biology -▁annoyance -गा -回去吧 -に入れて -vogel -▁современн -▁Wolf -சோ -失踪 -▁spill -埃尔 -这让我 -大众 -チュ -▁ignored -变得更加 -▁beforehand -ై -▁anticipation -▁imprisoned -伴侣 -トランプ -▁ilgili -▁பண்ண -▁maggior -▁hydro -▁unexpectedly -▁opportun -▁jî -肢 -ባ -孫 -▁entscheidend -▁விளையாட -▁salud -英語 -▁смысл -কো -▁fui -▁pike -こんなこと -分野 -艳 -ը -▁staggered -▁League -னால் -不幸的是 -Datei -mdash -▁cedar -部隊 -おうち -▁biraz -慰 -拥 -Community -▁gouvernement -暮らす -▁drog -▁இசை -打印 -▁turkish -过程当中 -▁кел -М -这是关于 -▁barber -▁kinh -▁bezeichnen -松本 -▁subordinate -嘲笑 -まれた -包围 -非法 -買い物 -Ɛ -▁pequeño -忽略 -猛烈 -kundig -▁бич -▁stockings -終わって -бежал -王爷 -าร -▁அல்லது -▁moore -跟你们 -▁인제 -▁Kiel -▁lúc -▁apology -ロシア側 -▁eĉ -が出ています -措 -昂 -ແລ້ວ -▁phantom -▁població -吉尔 -わかって -getreten -▁exceeding -▁Management -▁Şimdi -虚拟 -这段时间 -▁communion -っきり -植え -这个过程 -ુ -お伝えしました -▁встреч -▁besuchte -ৰে -したのが -が発表され -胀 -▁remnant -したのです -нис -mıştır -▁شدن -▁colleague -抑制 -润 -▁президента -環 -伞 -▁tecnologia -▁последние -▁restoration -あらゆる -まいります -▁qualcosa -fleck -▁بیمار -▁vegetation -▁distracted -▁hamlet -თი -schneid -satisfied -నే -கொள்ள -bwenge -▁எனக்கு -玫瑰 -なければいけない -だからこそ -継続 -▁aufgewachsen -▁explicit -ული -▁nightmare -komeje -书籍 -려고 -burton -bär -▁chama -girl -பிடி -深圳 -▁Küche -实力 -govor -努 -▁собственн -▁або -俄 -▁affliction -▁chancellor -▁suivant -▁Beide -輸 -电池 -стоян -▁babylon -▁Ça -こともある -▁kız -▁scoundrel -▁vorbereitet -▁apologize -折磨 -▁pierced -ساعد -▁protector -▁lydia -▁connais -▁actress -患有 -▁tromp -▁rejoin -▁Kenn -▁quién -蕾 -격 -わかりました -を含め -反馈 -▁grandeur -▁maud -▁Pfund -几周 -格雷 -しません -ivität -▁brace -▁trọng -루 -tempo -گذاری -▁পরি -liegt -▁Bang -婷 -▁Vietnam -▁cœur -▁doppelt -へえ -言ってる -▁już -收到了 -幽 -▁nötig -▁четвёртая -민 -ים -介護 -▁людзі -گران -ங் -家具 -動いて -▁isaac -▁першы -সব -RO -坐下来 -▁Investition -▁verzweifelt -▁Maschinen -▁솔직히 -origen -だけではなく -▁خب -遭遇 -▁crave -更快 -▁effi -大爷 -黙 -▁Canadian -▁aufgeregt -绅士 -pathie -布朗 -▁devient -返回 -▁ooit -优秀 -▁Protest -▁predecessor -預 -티 -▁Stärke -▁dirige -▁sáng -ることができます -▁бывает -▁faisait -يقة -所以如果 -undfünfzig -尔顿 -彦 -built -้น -держать -▁хамт -▁prodig -යෙන් -ια -椒 -▁tyranny -▁않아 -▁evolve -▁proprio -▁없는 -▁bombard -▁Ohio -ырға -역 -gespräch -▁хамгийн -▁мистер -困難 -▁Thu -ほかにも -therapie -▁revolu -バイク -▁finanzielle -辩护 -▁scrub -▁judging -▁freue -▁крем -wash -来到这里 -逃走 -▁última -▁انسان -▁Lä -▁müde -加盟 -ணை -西安 -土著 -▁ministre -役割 -▁geholfen -▁hết -▁Madrid -▁Stuhl -疑問 -昨天晚上 -我的朋友 -跑步 -▁баб -corp -گشت -▁knapp -要素 -Restaurant -▁kürzlich -▁voluntary -▁член -▁angst -▁ubwa -▁wartete -▁inhabited -分ほど -汤姆 -▁трав -と見られ -初め -গ্র -ตร -▁پسر -▁woher -koop -technolog -stelling -巢 -▁Michigan -▁hamilton -浑 -iPhone -▁gekauft -▁아닌 -▁девочк -▁министр -озер -▁boundaries -▁exploring -シャン -фар -▁repel -バンド -▁volont -▁позвони -▁employee -▁trobar -▁paddle -黛 -▁обраща -▁identi -▁Einkommen -▁radiation -راض -动手 -▁chú -stehenden -递 -▁mcc -收看 -▁Clinton -▁Vorsitzende -运输 -900 -▁sincerely -▁Küste -matur -取る -던데 -▁specialist -ケン -搬到 -▁voet -zulassen -▁ankoraŭ -▁grinned -▁municipi -▁zweimal -▁үҙе -抗議 -▁gorge -▁имею -▁Weltkrieg -ируют -▁Patri -▁settlers -▁بچه -傅 -قليل -દ -▁Dimarts -▁오늘 -▁공부 -▁Вось -▁crawled -▁suspend -▁daudz -申し上げ -▁durfte -▁brake -チン -ぽ -▁Master -▁certificate -▁страшно -▁statute -▁Kaiser -▁Beau -有名な -ҟ -ẹ -▁profi -▁popularity -饶 -▁repetition -▁sechzehn -effizient -差距 -▁cobert -突出 -选手 -▁bleeding -▁рабіць -فرد -做些什么 -▁patrol -升级 -九月 -▁однако -味わい -微信公众号 -끼 -▁얼마 -▁фильм -▁drilling -ström -▁মই -話し合 -▁plateau -▁komuni -今天早上 -▁tumor -stritten -折り -当たり前 -時刻 -▁inevitably -▁kontraŭ -▁liệu -巣 -迷惑 -▁fascinated -ючы -発展 -解答 -▁Doktor -지만 -▁wolle -▁gerçekten -hagi -brett -寨 -▁انتخاب -▁battalion -▁Európ -岸田総理大臣 -▁средств -巴黎 -站着 -有很大的 -越多 -▁sigui -▁жар -认为这是 -▁Schön -ってきます -▁natuurlijk -église -贈 -ރި -▁specio -▁yankee -言われる -報じ -▁autour -▁Estados -也是如此 -сцен -IM -▁Pont -வர்கள் -▁Notiz -感知 -如果你愿意 -ỡ -▁어떤 -グリーン -▁специальн -▁2010 -▁delegate -▁Depression -▁wallace -你能不能 -神社 -赞成 -ībā -trekken -▁Stone -▁cielo -僧 -▁Haufen -بەر -▁nasty -▁placid -▁abbot -▁имел -这么好 -▁erfordert -▁отец -▁bên -▁trifling -▁angemessen -慈善 -▁legislative -كَ -ṭṭ -針 -▁Verkauf -▁Ле -江戸 -嶋 -ථ -パフォーマンス -猩 -▁взять -尽く -辉 -▁медведев -▁transcend -ங்களுக்கு -局面 -▁glove -▁приехал -▁violation -昨年 -脇 -▁Health -ক্র -企业家 -ҙар -住房 -lendi -▁mound -▁gestorben -▁ungewöhnlich -▁mouvement -ベー -無事 -防御 -▁elementary -▁kneeling -を広げ -öffne -七个 -важа -▁Pul -▁далеко -在这一点上 -▁reconstruct -▁одном -废话 -рина -▁opini -静岡県 -▁стане -指标 -狐狸 -ד -▁Ariko -▁Global -▁pretence -轨道 -▁magnetic -▁gravit -CM -楽しく -▁столько -▁refusing -きちんと -污染 -▁demokratische -▁принципе -布拉 -▁Dennoch -确切 -▁ivory -▁Bauern -▁Zucker -やろ -▁frente -▁сельск -▁petrol -影响力 -差点 -海底 -antrag -▁Bundesstaat -яўля -▁роман -রো -▁probablement -▁siebzig -▁antonio -guna -キック -▁strove -röst -ないこと -▁hiç -litten -▁начинает -▁Führer -▁introducing -▁miglior -ですもんね -▁apollo -▁relaxed -▁Го -sinzi -kunga -手臂 -▁домой -▁glitter -老太太 -▁dodge -▁бюджет -▁Fakten -گار -activitat -▁parecía -▁cradle -▁дуб -добав -خوان -▁viņu -prej -模仿 -▁bazı -коммун -写道 -▁treachery -▁vị -▁Looking -espècie -▁거기서 -కా -ના -性质 -LA -毅 -▁праблем -▁exclaim -▁aufhören -异常 -到最后 -▁courtyard -勢力 -▁prophecy -▁recipe -▁doomed -优雅 -迈克尔 -▁Ды -▁furiously -▁sicherstellen -尾巴 -tempered -这样的事情 -▁thức -抱着 -ۋە -▁американск -пэўн -▁hội -▁Jordan -人工智能 -▁trenches -レーン -ზე -▁bridle -▁suspense -▁Schriftsteller -匹配 -▁binding -プリ -▁heutige -感動 -▁depict -きれいな -dolf -▁Direktor -▁benötigt -등 -▁missouri -▁paradox -▁warehouse -▁Johann -forschung -やったら -いかに -发射 -▁compel -▁massachusetts -▁وهذا -▁conosc -▁entschlossen -▁gaunt -仕上げ -徴 -ơi -▁дети -▁dikontrak -▁néixer -▁долларов -塑造 -▁uplift -لىرى -教徒 -任何地方 -▁камер -chamber -▁marilla -▁Stell -▁haughty -▁sledge -▁facilit -▁каш -百五十 -在那儿 -sicherheit -案内 -久保 -ັ້ນ -වල -▁monastery -▁Überzeugung -▁crooked -▁эксперт -▁intolerable -掃除 -▁холод -弗雷 -вшие -ҟа -فعال -我第一次 -大楼 -kirche -ព -▁ammunition -▁applaud -давал -▁medicina -▁schooner -▁Christi -▁orienta -一体何 -っぽい -顺便说一句 -▁ເດ -▁necessita -代替 -浸水 -服从 -▁ethical -苍 -言います -▁многих -▁وإ -حاضر -▁говорите -▁emphatic -聞きました -困境 -▁سے -拠点 -不记得 -いらっしゃい -有什么事 -arrell -楠 -▁survival -▁өмнө -碰巧 -lož -抜き -▁outbreak -streich -任何其他 -▁держа -▁plaster -崔 -▁Если -キャプテン -來 -皿 -▁хотелось -步骤 -▁черн -▁hagati -▁surround -▁Twa -▁அதை -▁Nachmittag -▁baptism -▁секунд -ごめんなさい -决策 -▁reasonably -介意 -▁eky -という状況 -▁anfing -食べ物 -▁banyak -▁injuries -ނަ -失礼します -病例 -甘い -тверд -▁Fremde -▁الذين -keneye -▁zaidi -▁ravine -▁accommodate -朴 -▁biscuit -衆議院 -▁victorious -أخذ -▁Großteil -そうなんですね -▁augustus -▁вызыва -初戦 -能找到 -▁நீங்கள் -二零零 -mówi -举起 -服务器 -freiheit -structure -神経 -妥 -信頼 -ゴルフ -经历过 -默默 -▁Creek -▁aṭas -▁Guerra -宮崎 -▁siguiente -兵器 -▁replica -赔偿 -▁hiểu -過去最多 -臂 -▁resol -▁panting -жер -时尚 -मु -Qué -涼 -▁illustrious -▁indefinite -厄 -▁bedeckt -▁shrine -潜水 -▁exig -▁حتی -дзіць -▁спин -竞 -рист -と比べて -케 -▁preocupa -▁preĝejo -▁vẫn -▁behaupten -яўляецца -▁notamment -運転手 -▁weariness -▁rimwe -吉田 -そっか -▁flint -衷 -豹 -▁زۆر -▁заметил -gypt -▁Milch -大人気 -很多时候 -рожд -▁второго -卸 -祝你 -мель -कु -被告知 -▁correspondent -▁propaga -读到 -作战 -燃え -▁우리가 -▁passionately -▁För -▁хор -甚 -頂いて -ք -▁bệnh -▁offspring -▁Ancak -トレーニング -この時期 -買う -因为这是 -乗客 -强迫 -市長 -▁researchers -が行われました -freude -▁гэтыя -▁scenery -ignit -енько -物品 -紅 -▁Original -찍 -hypno -▁режим -▁ahubwo -honneur -行星 -▁imaginary -winkel -өгө -▁ваша -▁tâm -ޑ -▁Président -見てください -奖励 -▁giống -▁حيا -▁clatter -▁circulation -調理 -ございます -▁பாட -从哪里 -很酷 -对我说 -▁Urteil -▁Entdeckung -▁proclamation -查询 -▁wireless -なと思いました -▁deixar -▁거는 -مجموعة -rühren -协调 -活発 -schuh -რო -른 -そろそろ -支撑 -▁아니면 -有足够的 -品质 -になりそうです -لدى -裕 -▁grammar -▁lượng -▁преступлени -牛奶 -▁đường -▁만나 -▁ricevis -▁außerdem -▁wholesale -列車 -▁jupiter -和我一起 -▁acabar -液体 -▁있지 -cyaha -碎片 -▁crater -十月 -impuls -したあと -▁elektron -分ごろ -ある程度 -跟他说 -▁titre -▁своими -▁acuerdo -නම් -▁бүх -いませんでした -話す -大切に -認められ -▁хотели -放置 -illard -Mobil -그 -ニュースをお伝えします -监督 -ētā -aardig -▁discrimination -延伸 -รา -流量 -▁considerat -었는데 -▁pronto -贷 -素材 -▁алексей -▁caroline -屁股 -辞职 -占据 -我不得不 -ಗಳ -很开心 -eater -▁Ahnung -▁secular -理念 -貴重な -▁Abschnitt -▁hiring -寒気 -▁vigor -▁fick -▁decorated -ดี -跟随 -▁español -▁помочь -▁entsprechend -인가 -ächte -▁Zehn -▁quinze -双手 -▁đô -yorsunuz -共通 -▁tutta -仰 -▁sentido -▁accommodation -▁frequency -友谊 -▁Nigeria -邮件 -▁публи -ámos -就业 -सि -▁fiddle -▁أول -▁northward -很奇怪 -这就是你 -▁бүл -机关 -愁 -▁Tränen -▁airplane -சிய -▁moralische -▁දැ -▁luôn -spetta -▁fiend -干预 -▁potenc -勃 -ޓ -▁transparency -▁hypothesis -守備 -作为一名 -▁damsel -勝手に -▁fancies -▁bấ -RE -▁cruz -不允许 -お昼 -▁запис -працоў -ハハハ -한데 -▁realization -随机 -分解 -köz -▁характер -轴 -urukundo -▁surtout -印刷 -我从来没有 -现金 -オフ -▁chị -▁lascia -tropic -▁rwego -▁Carol -ött -と思っています -فريق -弓 -▁recupera -レストラン -މު -宿泊 -▁abolish -jumu -▁قم -▁diventa -▁chronicle -师兄 -▁умер -研讨会 -嘴唇 -一首歌 -որ -▁allocation -にならない -▁existiert -▁homeward -gewicht -马车 -▁beneficial -▁Hunderte -▁Thor -▁различ -धा -写信 -undsechzig -ಟ -随着时间的推移 -▁полностью -▁çoğu -駄目 -シャツ -kogu -▁mwana -てくれました -прыг -▁prolong -なんですけども -起源 -▁Matthew -限り -▁repentance -▁hermano -▁dinero -▁oscar -исты -氛 -▁securing -▁ukuthi -▁derjenige -▁Beitrag -上午 -난 -▁gibb -▁Evrop -コントロール -▁Records -牙齿 -▁Ні -▁ғой -▁jimmie -ultima -▁Earl -▁complac -相遇 -拘 -▁verlangt -ēji -玩具 -出発 -框 -▁deceased -▁причем -▁geöffnet -▁melody -▁få -▁있을 -▁مرة -important -投资者 -▁southward -▁உள்ளன -航行 -借口 -ční -េ -▁erheblich -視聴者 -▁heiraten -就是为了 -▁neunzig -復帰 -回顾 -▁dagger -言いました -▁feverish -尖叫 -▁Hass -▁fearless -▁programming -yonna -▁extremity -▁avere -▁minimal -гээд -こない -났 -▁wondrous -▁دیگه -すごいね -losigkeit -продукт -▁unaware -▁factories -კი -起作用 -▁millionaire -লের -черед -躍 -钉 -▁varieties -▁mauvais -▁vairāk -▁booth -▁dónde -ۇق -service -最早 -▁unkind -이나 -fisch -▁adverse -▁узнал -▁가고 -▁athos -ח -乾燥 -روب -न्छ -▁darkened -▁applies -亨利 -▁приказ -って言う -▁முன் -વા -▁spontaneous -▁দিয়ে -schrecken -stancia -ల్ -▁갔다 -gefüllt -普段 -▁speck -なんだろう -▁Вот -营地 -டெ -gelaufen -邻 -▁Acest -掲げ -▁corporal -おかげで -呼んで -নো -▁Fernsehen -▁galley -天主教 -▁precision -▁uneasiness -▁фотограф -▁pēc -遵守 -▁Again -▁kontrollieren -▁olabilir -▁luce -▁rubbing -bwy -▁decoration -▁repay -▁kullanıl -▁immigration -毯 -蒋 -▁volatility -▁похоже -쪼 -▁grievous -つなげ -マリウポリ -一个地方 -進み -反复 -▁tiên -▁Waffe -▁высоко -はありませんでした -▁expressive -増えている -皱 -돌 -▁نبود -▁Dutzend -と思うんですね -对你来说 -▁geography -steigt -▁variant -助理 -▁Vögel -▁احساس -▁Klin -▁residential -Imperi -▁modified -▁solange -▁filings -αν -وظ -▁splendor -▁Kaffee -әлә -eficient -豊かな -▁معا -▁старш -▁сложно -▁хва -หา -πο -▁Burg -▁федеральн -▁лож -▁prostitu -伤心 -▁Howard -опо -まらない -▁vieux -хватил -巫 -吕 -▁đúng -▁nightingale -选项 -同士 -に到着 -設定 -▁postpone -▁нужен -▁крут -绝不 -▁robbery -▁Му -▁snarl -▁cél -வான -▁Anthony -▁Krankheiten -▁reappear -あるんですね -清醒 -тянул -违反 -▁život -ക്ക -琼 -防犯カメラ -Effekt -▁elastic -horaho -思え -мәй -▁troy -てみよう -سطح -kombe -▁Tanz -▁wipe -漢 -▁cherche -粮食 -▁držav -模様 -知識 -▁trả -▁mold -ɣur -▁softened -絡 -袁 -▁기억 -忠诚 -预计 -▁descendants -結び -别忘了 -还有一些 -▁machst -อบ -▁modification -挽 -刮 -不断地 -klā -ذكر -这两天 -▁Philipp -主持 -▁sıra -上涨 -kreuz -▁அவன் -трымліва -▁ເອົາ -▁sprinkle -▁hesitating -目撃 -資料 -▁chinesische -▁transmission -▁trebui -风景 -cloud -かかった -疫 -ってくれる -傾 -ebɣa -▁pregnant -▁memorable -▁Unterricht -▁majestic -▁Transport -▁abyss -▁voce -挺好 -▁Station -主人公 -لىك -ganira -▁geeignet -▁kentucky -▁telèfon -茨城県 -酢 -よろしくお願いいたします -▁begeistert -にもかかわらず -▁profesor -清理 -▁사실 -▁rumour -▁Forscher -▁cupboard -見つけた -千万别 -と思ったら -▁нашу -▁хэсэг -翁 -キャラクター -▁ນະ -▁охран -ordinate -考えると -▁gelten -▁chalk -▁пути -▁competent -赠 -▁cecilia -▁спокойно -▁exempt -苦労 -▁cambridge -美洲 -ゆっくりと -▁краіны -減ら -下一步 -▁cripple -▁sunrise -没法 -▁vincent -かなと思って -毕 -ரும் -平常 -祖先 -▁நெ -lood -喘 -ಬ -ラジオ -منطقة -▁civilian -快递 -ัด -仆人 -▁liquidity -▁Onkel -地铁 -▁thiết -参观 -来自于 -وست -▁jelly -爸爸妈妈 -stunde -見ている -ON -▁Termin -ដ -嘱 -▁hudson -▁நிற -▁fraction -গু -দ্ধ -媳妇儿 -近づいて -ứ -支出 -すてきな -贺 -▁ceremonies -▁поддержк -▁безопасности -▁말이야 -▁regió -▁obstruct -▁mercat -转移到 -领先 -美容 -даецца -活力 -ី -▁shrank -▁mañana -այ -▁têm -NN -広い範囲で -乐意 -intensive -教団 -番号 -▁galv -약 -▁لذلك -▁ஆகும் -▁дахь -▁полковник -▁নিয়ে -谈恋爱 -▁nursery -▁flaming -▁Darwin -▁شکل -短期 -挫 -▁Georgia -霊 -▁negotiate -▁gahunda -▁fuerza -▁Kapitel -▁puritan -尊严 -▁এখন -▁இருக்கும் -ブロック -撒谎 -লাম -▁noticing -▁rebuke -▁vexed -年目 -ĝoj -вэр -生きる -▁выступа -赴 -▁очевидно -gång -明らか -liegenden -各自 -зву -해가지고 -ับ -▁Yani -▁матери -▁сделали -▁آنجا -▁Zunächst -▁Пасля -▁싶어 -▁наук -▁جوان -▁homoj -毛病 -几百 -重量 -ޔ -▁Lächeln -▁vijf -▁imperative -财政 -писыва -曲げ -なのかな -ハリ -▁Landschaft -дорож -ēju -につなが -▁betroffen -貧 -▁یافت -修改 -▁Porque -懸 -แล้ว -▁einschließlich -▁jüngste -▁übertragen -▁государстве -▁Мар -▁Señor -եր -国民党 -目指 -可见 -闺女 -些什么 -▁resignation -weichen -▁rusty -ているということです -指南 -祖母 -侍 -▁منطقه -▁பின்னர் -ވާ -▁utilization -▁nhỏ -野蛮 -▁Beck -我们确实 -▁hannah -飲んで -diğini -▁зараз -虽 -全国各地 -rigg -▁düş -督 -▁Sala -併 -époque -▁malgranda -▁proclaim -pferd -▁Anzeige -▁yardım -jyanye -▁gait -ନ -▁Bemühungen -洒 -翠 -▁싶은 -哭泣 -technik -清洁 -▁Fac -temperatur -光明 -ติ -▁Lippen -僚 -ばっかり -▁Roboter -ாட்சி -mahanga -▁dreizehn -站住 -▁Funktionen -自衛隊 -花费 -公布 -▁implant -▁murray -深处 -▁partake -цаў -琪 -▁excellency -▁insignificant -ご存じ -▁especie -▁deputy -দেশ -ъезд -物質 -▁verteilt -▁spinning -spirited -▁fairies -▁Bydd -ống -▁exerc -ワイン -yitibwa -いらっしゃいます -喜び -やってきた -▁humil -▁kumenya -ическим -作られた -八百 -えっと -▁alumni -▁отделения -▁kulturelle -▁headache -呼ばれ -▁zamanda -▁ekster -වන -થ -ใจ -▁així -gebunden -行列 -▁прошу -▁oblige -▁тады -amenye -判决 -是时候 -プレッシャー -▁Terror -▁jordan -▁погиб -ība -▁ведае -時過ぎ -▁Pep -转换 -を持っている -▁snug -▁долг -bourne -という意味 -尺 -▁Schicksal -▁hóa -ポーランド -ހު -agrada -▁utilisé -どれだけ -▁желез -▁może -▁oppression -因为它们 -自豪 -融合 -schossen -դ -▁grâce -▁посмотреть -枕 -▁foliage -むしろ -损害 -குதி -▁பிரி -dığını -▁restaur -婆婆 -▁inizia -▁Leiter -拠 -分离 -侄 -▁geoffrey -깐 -遵循 -▁begrenzt -riff -▁хозяйство -▁হবে -ющей -▁Public -ıyı -お子さん -Psycho -▁Glen -昨夜 -様々な -نامه -▁twinkle -strafe -▁healthcare -算法 -▁worthless -遠く -乐观 -▁vardır -著名 -象征 -▁مادر -显得 -▁worauf -▁چو -2011 -puesta -締 -▁மிக -āli -▁아빠 -▁fathom -▁новые -▁valiant -▁fanatic -很快就会 -бросил -▁gusto -▁procura -傲 -喻 -火曜日 -▁scruple -▁unbekannt -▁몰라 -▁chronic -▁முன்ன -▁ziek -誇 -▁folosi -juri -▁Anruf -恼 -▁оружие -▁eccentric -▁inconvenience -▁luxurious -▁đưa -▁benannt -▁puedo -▁defensive -同じような -▁звоните -たりとか -艰 -bearer -灌 -▁enclosed -▁lizzie -verhältnis -▁አይ -▁pickwick -▁Armut -▁nelson -▁allemaal -kumva -▁klub -▁commencement -▁discord -alphabet -▁nördlich -ポーズ -驳 -▁đối -▁чинь -‍ -▁südlich -郎さん -ክ -項 -▁erfüllen -▁Что -▁головой -嘴里 -ować -▁hinweg -拉丁 -▁самой -を求めて -食べられる -に当たる -прашива -シンプル -▁sarebbe -职责 -模拟 -国境 -▁다시 -▁titan -テロ -藤井 -builder -▁Massachusetts -▁gäbe -▁먹어 -▁сосед -▁heritage -早晨 -▁rappel -ণে -▁ehren -▁politika -▁facilitate -卫星 -▁lächeln -▁erhöhen -严厉 -おしゃれ -▁Pacific -康复 -暴行 -と思うんですよね -▁prostrate -胡子 -这时候 -ஃப் -▁antagonist -▁фед -权威 -眼镜 -▁Wang -▁депутат -▁существо -▁hubiera -ლო -▁olacak -孤立 -▁affront -予防 -▁Susan -klagen -▁parrot -日常生活 -▁měl -▁لطفا -茫 -▁موضوع -栽培 -▁Board -▁Northern -しょうゆ -市にある -▁prosecution -▁можешь -アニメ -边界 -dependence -американ -埋め -alytic -▁animation -▁وكان -農業 -尻 -จาก -ラウンド -▁magician -состоя -▁freak -再一次 -▁лидер -▁داره -子育て -▁verbal -▁benötigen -끔 -பெயர் -貼 -アイドル -fleisch -▁Point -▁پیر -▁Branche -計算 -▁burglar -খন -速い -▁furent -悪化 -▁wholesome -普及 -▁gaily -秘书 -Produzent -悼 -▁enforcement -ות -场合 -侵入 -▁nommé -▁아니라 -▁oggi -▁fiber -偉 -▁perceiving -▁dinosaur -チャンピオン -موسيق -සේ -yinza -▁들어가 -killer -▁plump -进攻 -いったん -婦 -▁HIV -▁haciendo -▁немножко -▁оппозици -▁thereafter -богат -سازی -会出现 -▁écrit -▁disappearance -▁хаце -百姓 -▁وهي -говорил -▁prakti -ต้อง -▁nerv -▁Kelly -▁Ausnahme -動く -σε -▁reverend -ホン -▁угодно -抄 -▁магчыма -▁எல்லா -▁Erstens -▁crag -▁машина -▁forthwith -携带 -වත් -▁earnestness -▁interposed -▁представлен -▁trẻ -記事 -hati -▁stieß -▁sponge -ೇ -▁Columbia -▁Großbritannien -▁федерации -ничтож -▁offense -Bomb -吉姆 -ێکی -▁estudio -▁darwin -▁viên -ຸ -▁возвраща -смеш -裁判所 -吾 -▁완전 -成千上万 -▁abilities -関係者によりますと -别动 -30% -武汉 -▁craig -▁economist -わけじゃない -▁ülke -▁fung -▁cyose -▁herausgefunden -▁допустим -脑海中 -▁맛있 -▁دقیق -▁Truppen -連勝 -▁perilous -骨头 -▁هنوز -カウント -▁unangenehm -▁exhort -▁heavier -රා -流浪 -我爱你 -你也可以 -▁kijken -処分 -2012 -▁Walter -▁reflex -関心 -▁Teufel -▁congratulations -▁Dilluns -鶴 -CEO -▁Tippett -▁achieving -▁Business -roost -永久 -замен -▁Clara -このうち -身材 -▁junta -輸出 -▁دیگری -▁vendor -が出ている -▁сёння -幽默 -▁Francis -▁regula -পুর -兵士 -▁Normal -sponde -たらいい -段階で -▁composer -▁Junior -▁leonard -されていて -▁Eindruck -solució -▁southwest -▁equipo -▁Metall -▁voters -வன் -▁mosquito -▁irgendetwas -▁següent -▁loại -င်း -現役 -alisierung -穿越 -▁fervent -描いて -电视台 -nachricht -主流 -广东 -waardig -필 -▁Toronto -▁alteration -▁diligence -閉じ -との関係 -государств -▁Wilson -στ -シア -мовы -▁curr -тып -主演 -▁neugierig -▁элемент -▁vibration -お弁当 -甜蜜 -▁nikola -▁chacun -登记 -▁flirt -▁rapidity -▁pourrait -▁ومن -быстр -avion -ব্ -几十 -▁людзей -▁Geschmack -構造 -日連続で -が必要な -続けた -כ -▁sequential -▁whistling -垣 -▁Gestalt -▁그래가지고 -交換 -▁compose -праў -▁estudiant -憧れ -▁infernal -▁věc -▁navigation -选民 -▁recap -享 -▁америк -▁Hungar -天赋 -▁emerald -▁पनि -▁شامل -▁Motiv -▁aufregend -此刻 -▁generating -وى -▁вялікі -▁оказыва -myśl -▁fácil -▁treacherous -湘 -そっち -▁harriet -雷雨 -一瞬 -▁pouco -特別な -智力 -ගෙන -▁hunne -绩 -▁Emotionen -ಅ -に基づ -威廉 -▁beseech -▁dramatically -落ち着 -非難 -見通しです -▁срок -んですけれど -ulira -プラン -搅 -▁advisor -▁knives -acağım -▁Ла -▁警察によりますと -几个小时 -是正确的 -▁schrie -ரின் -改正 -▁lyric -▁могла -ବ -▁penetration -▁Nächste -▁být -atrix -ساز -你为什么不 -▁konata -ётся -たぶん -० -▁superficial -▁unreasonable -▁điểm -▁grotesque -▁coroner -▁Beschreibung -▁다음 -▁refreshment -昭 -传达 -▁надеюсь -ំ -▁Ontario -▁divinity -▁vehement -▁settling -保育 -▁лучш -▁bekomme -っていう感じ -▁Witz -歩き -ضاء -diagnose -沿岸 -衡量 -げん -▁நல்ல -改进 -ிடம் -▁большие -▁Vä -▁Stress -▁транс -▁dauern -platte -ఁ -१ -▁humiliation -▁بیرون -▁Könnte -軍事侵攻 -ことにしています -लो -れん -டோ -ждения -▁dickens -江湖 -▁ansieht -▁insgesamt -▁вещь -▁دنبال -寒冷 -▁lobby -ハム -年ぶり -死刑 -在接下来的 -绘 -פ -▁thú -▁millones -▁Presse -コート -エイ -右边 -entrada -liselt -▁Engagement -芋 -▁worüber -▁regretted -首席 -そうなんだ -▁costru -を決める -fuß -റ -▁Margaret -亭 -参议员 -▁Nutzen -sluit -étend -gambi -▁workshop -▁Sprach -schleunig -બ -▁además -▁золот -聞かれ -▁endowed -▁strode -крыты -하면은 -4000 -▁kommun -ত্ত -总理 -▁миллионов -▁escaping -န် -ウクライナ侵攻 -▁முதல் -▁Provinz -▁Questa -有哪些 -▁occupant -▁rugged -調べに対し -▁البر -▁Gedanke -我只是想 -篮 -贩 -ঝ -▁arguing -▁хлеб -▁Certain -を巡り -▁پشت -生き物 -▁parola -▁수도 -主教 -包装 -遗传 -เธอ -举办 -陥 -艦 -▁shabby -透露 -скага -▁picnic -▁construcció -占领 -▁activist -işim -であること -▁davvero -▁crític -珍惜 -▁çalışma -▁другого -▁rogue -▁geliyor -্ট -▁todavía -▁ډېر -▁गर्न -おかしい -▁действия -こういうこと -ին -▁примерно -▁Greg -られていた -猴子 -▁adieu -▁готовы -▁akzeptieren -纱 -▁Bewertung -おそれがあります -▁вопросов -▁hybrid -▁único -▁کردیم -▁reprit -escena -▁Ҡа -▁hoặc -▁nostrils -▁champagne -やり方 -▁smote -圧倒 -ならば -▁babiri -セカンド -才知道 -連覇 -▁идти -▁imposing -Book -waarde -yczn -らっしゃる -▁hoorde -▁verbessert -▁zooveel -形容 -もらいました -▁inviting -іўся -▁volcano -新潟県 -▁eastward -froid -ніз -mauer -lösung -▁undertook -伤口 -ивается -▁زمانی -කට -イヤー -興 -▁militärische -マイナス -这部电影 -▁trifft -▁доктор -▁analytics -્ર -领袖 -▁notorious -▁piercing -▁película -▁compara -▁молча -▁commentary -▁Morris -станци -チュー -▁conscientious -坠 -▁Stoff -غۇ -对我们来说 -серд -受け止め -▁Brüder -皇家 -提起 -検証 -ގ -rechnet -ழை -▁yakın -▁alluded -▁Parlement -▁ripple -▁trocken -вуча -▁Saison -といわれて -▁Hugh -議長 -敞 -શ -▁erscheint -▁خاطر -▁нужна -sighted -做不到 -ふた -向かい -分类 -見たこと -▁comparative -翅膀 -丛 -▁necklace -交往 -建築 -大伙 -▁станция -▁geraten -▁Gebet -▁peuple -▁weibliche -重症者 -▁Vortrag -▁Раз -گذار -▁acerca -பை -してしまった -どうでしょうか -▁জান -▁disclosure -▁geschieht -▁здравствуйте -▁apprentice -▁Blumen -シングル -▁одним -入侵 -▁näi -に関して -▁wakati -▁качестве -ғыҙ -▁blickte -▁anecdote -ایل -▁secund -▁سەر -على -▁devout -整整 -现在正在 -dzē -脆 -羡慕 -▁Houston -▁Erwartung -ぴったり -▁genießen -▁شاید -▁nombreux -▁Bruce -▁genus -两周 -パット -▁лежа -gefahren -▁آس -อยู่ -▁Pennsylvania -▁છે -佐々木 -durchschnittlich -机械 -晴れて -▁humbly -▁afecta -▁тракт -屋根 -▁করেন -知らせ -▁diagram -▁evitar -くなっている -▁intuition -▁jonathan -blätter -▁default -▁measuring -зван -▁어제 -▁protocol -últim -してくる -処理 -ეს -发誓 -▁Mount -autant -如果有人 -▁миров -障 -▁анализ -▁அழை -如果你能 -停電 -的角度来看 -வரும் -친 -戚 -▁Präsentation -▁Festival -伊丽莎白 -▁Geräte -▁иметь -▁cherry -▁Vergnügen -▁بىلەن -▁때문에 -淹 -ヴ -▁Portugal -▁Crist -尤其 -▁Major -の様子です -趣味 -gesteld -糊涂 -色んな -▁اصلی -▁Ausschuss -వు -▁pluraj -室内 -ировали -構え -runde -棄 -▁گوش -▁михаил -医疗保健 -▁waarop -を決めました -体现 -▁voiture -▁Ufer -▁Route -もらいます -▁tác -میر -拒 -を果たし -▁nachgedacht -페 -▁комитет -▁ມີ -▁داستان -减肥 -геҙ -ジン -左边 -▁Sorge -▁чаго -▁incense -▁العام -旭 -▁đại -▁بنابراین -▁смотреть -▁دلیل -キム -말 -▁investor -塞尔 -小伙子 -屎 -▁Jennifer -ും -▁уровне -▁homage -▁видели -正しい -▁laboratori -に住んで -▁illinois -▁tiền -サラダ -▁boughs -▁russell -▁sagst -警備 -zuziehen -甘み -▁sinister -ரீ -ような感じ -ریک -姚 -▁Wähler -▁columbia -▁ekzistas -▁perplexed -▁братьев -渔 -▁grill -▁exalt -kontakt -▁feit -▁governess -▁kurya -▁Kindheit -▁sichtbar -پتۇ -เรา -▁hump -▁پول -spread -愈 -▁clumsy -▁plutôt -취 -▁Lewis -関東地方 -▁каманд -哲学家 -▁написал -▁jazz -そのとき -▁tiel -よろしく -▁Sekunde -پوش -甲子園 -▁Widerstand -jüdische -▁pretext -▁début -▁Standort -▁половин -▁shovel -йшлі -С -▁dennoch -schwäch -毒品 -救命 -▁tiam -▁forbear -▁convincing -▁miraculous -▁поговорить -▁mugihe -intérieur -睡着了 -▁여자 -100% -하기 -修理 -ruḥ -翌日 -▁siebzehn -▁waistcoat -继续前进 -▁cuán -▁urging -給付 -mıştı -茹 -វ -ピンチ -80% -缓慢 -▁Ли -保密 -镜子 -▁felix -あると思います -つらい -▁خودش -▁detachment -▁prescription -貢 -都道府県 -▁cavalier -もしかして -尼克 -▁petersburg -▁zunehmend -đ -layan -哄 -ō -▁zukünftige -▁declining -▁extern -சொல் -积累 -っていうのも -europa -स्त -▁starving -祭り -呼吁 -ٌ -▁corazón -▁сталин -▁eugene -▁participating -做生意 -▁condens -描かれ -łow -できれば -▁zacht -删除 -適用 -▁скажи -▁Definition -intérêt -滥 -▁Một -schloß -▁প্রতি -取り組んで -▁tolerate -▁điện -▁auction -ნე -▁Gefangene -zungu -▁hieß -董事长 -▁calamity -▁precipice -▁ایجاد -▁hoffnung -▁nuovo -囚犯 -▁două -タイムリー -主管 -▁Rw -▁حسنا -▁meditate -▁Fakat -メダルを獲得 -دعو -博客 -▁schweigen -▁cemetery -▁lloyd -審査 -啤酒 -成績 -nął -▁rook -▁Association -▁Perezida -▁baltimore -▁endurance -洛杉矶 -消耗 -物理学 -ющее -стреля -很多人都 -揺 -ច -这辈子 -▁Knochen -▁και -▁видно -▁Wirklichkeit -▁چشم -ソフト -ப்போ -弟子 -1,000 -干什么呀 -գ -▁অব -▁unreal -▁Kristo -gewandt -▁হয়েছে -сроч -▁volgende -▁gelukkig -하면서 -▁زبان -▁arbitr -ምን -▁Davis -書いた -ергә -▁marcus -を持った -尉 -▁hilfreich -▁вместо -▁څنګه -▁irgend -▁gambling -▁উপ -▁возможности -просить -▁unterscheiden -▁feststellen -ゴー -食堂 -▁gelebt -んでしょ -знания -▁estudiar -زده -▁норм -жир -▁shameful -열 -▁течение -▁stammered -阴谋 -уулах -▁ransom -kapital -▁franco -奈良 -顺便 -▁slipping -ığın -ალ -▁wichtigste -料金 -坛 -▁малая -属下的一个 -谐 -박 -いかがでしょうか -▁ماشین -読んで -▁шестой -Tabelle -۲ -▁algún -▁unanimous -▁thống -▁skupin -暮 -やめて -曇り -писал -驶 -▁fidelity -▁pouvons -▁mondiale -速報 -▁Überleben -離れて -lardı -▁quitted -ぴ -販 -▁느낌 -▁воздух -▁patriarch -沙漠 -▁развива -глядзе -優先 -▁Má -தான -你怎么知道 -▁dispense -変えて -ီ -鸦 -▁Eigentum -▁discouraged -這 -こういうふうに -阶级 -せば -▁leitet -theorie -▁cultivation -leihen -eceğim -巨大な -▁Lektion -มาก -らせる -торгов -▁Empfehlung -▁celestial -▁occidental -алтай -▁athletic -桁 -affaire -ものすごい -▁civilisation -▁اتاق -这几天 -▁Europäische -注定 -该地区 -析 -掏 -▁Mitgliedstaaten -▁recognizing -력 -▁казалось -▁Sturm -パーク -рабатыва -▁военно -▁sentinel -どうしよう -▁spike -良心 -временно -ຖ -甄 -抛弃 -▁получить -▁abgeschlossen -伍德 -残念 -▁collector -▁микро -▁joshua -▁период -့ -▁பெரிய -Source -ющего -くなっています -▁astronomi -汇报 -復活 -țele -デモ -хир -仙台 -囊 -舱 -▁coincidence -▁compromis -メイン -inspiring -▁politeness -碧 -▁வழங்க -扉 -▁pudding -▁baptist -▁Vull -▁epoch -▁combusti -entwicklung -▁дней -负面 -帰国 -▁байгуул -▁Nachbarn -▁대학 -espér -▁Disney -спя -ডি -なじみ -▁Bedürfnisse -极其 -▁بسیاری -▁zurückkommen -うどん -悄悄 -▁зохио -メダリスト -▁kesk -▁possono -棕色 -総理大臣 -වෙන -nummer -異なる -城堡 -ғына -▁relaciona -▁hobby -▁людьми -mektedir -▁caballero -▁του -▁ہے۔ -▁адрес -▁никакой -▁باشه -▁durchaus -▁außen -▁politician -höchste -を行いました -عامل -ણ -ቀ -যোগ -六个月 -▁sophia -endroit -どうでしょう -ێر -ファー -је -فضل -感染症 -让我们看看 -屋顶 -飛車 -▁ذات -drž -泼 -asanzwe -ား -厚生労働省 -▁dungeon -▁جيد -押さえ -▁vollkommen -క్క -zwingen -ведения -▁Mühe -▁seneng -нести -幼儿园 -磅 -腔 -烦恼 -▁Fahrzeug -眼神 -▁чисто -▁далей -を迎える -▁sexuelle -オリジナル -马丁 -▁aufbauen -ausschuss -における -周囲 -狮子 -できるだけ -gegriffen -▁langue -ウクライナ軍 -▁herzlich -▁suffi -▁İki -▁gehst -苦しい -توانیم -塑料 -▁chơi -▁khó -▁არა -▁самые -▁tedious -感染状況 -ước -▁întreb -每一次 -岭 -▁Vậy -▁discomfort -▁настолько -捐赠 -▁капитан -konsum -▁رجل -ポリ -ходили -▁다니 -▁économique -敗れ -génér -▁Cross -ルート -lumina -吸收 -▁косм -假期 -klapp -验证 -▁Fond -▁bizim -▁portuguese -▁rubbish -복 -oubli -干吗呀 -▁хот -运气 -тыўна -▁இப்ப -▁kanggo -ெட் -寡 -▁sanctuary -써 -よろしい -邸 -▁tradicional -▁bandage -▁ukrain -渡辺 -ミニ -というわけで -▁mängi -ちゃいます -▁рух -abash -▁Gedächtnis -▁pièce -医療機関 -▁immune -火災 -▁forlorn -genossen -▁хоча -räsentiert -▁horribly -▁безусловно -▁кӱ -▁семьсот -▁sweetheart -▁مؤ -解雇 -涉及到 -▁воды -況 -塘 -▁harvard -罰 -▁Speicher -▁benedict -▁fellowship -在这方面 -英文 -▁pronounce -ţ -▁proprie -▁болсон -リュ -▁celebration -▁Güte -正在进行 -蔽 -청 -膝盖 -▁радио -▁rustic -▁общество -▁pulpit -▁Fußball -▁Josep -cliffe -▁தெரி -現代 -podobn -▁fascination -▁który -▁devait -▁دهند -再現 -▁geographical -变革 -▁мисс -史密斯 -ニック -▁Egypt -строить -精神病 -▁모르겠 -▁русско -gegenwärtig -둘 -씩 -▁ĉirkaŭ -喫 -एको -神话 -▁titul -▁Träume -▁আস -厳しく -▁dazzling -▁erwiderte -▁Überraschung -▁gedanken -增强 -基督 -ાર -▁luggage -▁이번에 -täuscht -ড়ে -▁mwiza -әҙер -щим -▁marvelous -入り口 -wahrscheinlich -述べ -▁velmi -ർ -▁Londres -▁تولید -▁Sonntag -▁hôm -腐败 -갖고 -承認 -考验 -▁Chu -▁aisle -▁beauties -ambigu -ぼう -▁hippo -霉 -▁overlooked -▁Takže -▁moisture -తా -▁hoàn -ってみよう -太平洋側 -▁cultivate -▁wobei -▁ecclesiastical -édé -爱尔兰 -▁пространств -おばあちゃん -▁Training -పో -餐馆 -▁dripping -geschenk -▁auditor -▁unequal -amatu -白宫 -mutima -▁fisherman -疆 -ないですか -▁drake -判定 -▁disseny -kungu -買った -▁troublesome -Blanc -▁доступ -证实 -▁mẹ -▁மனித -▁Vermögen -급 -引擎 -づらい -Unis -▁Anspruch -房屋 -引退 -▁борис -માં -▁Kategorie -▁зусім -잡 -娅 -▁Spanish -▁thanksgiving -లా -▁хороший -▁honom -隐私 -▁flip -▁occurring -▁Ereignis -wheel -ウォー -生み出 -だと思うんです -quote -▁Despite -まいりましょう -tumye -▁humorous -女優 -▁Voraus -ってしまった -▁Köpfe -最終的に -▁rhyme -▁clump -▁видеть -▁luckily -▁رنگ -▁malaria -生涯 -патрэб -ప్ప -▁Foundation -▁secrecy -谜 -纤 -ŝanĝ -▁Provi -▁дүр -ご覧いただ -беҙ -▁audit -▁spice -▁süd -கல -吸引力 -色々 -▁drüben -▁schüttelte -▁completamente -決断 -▁думать -励 -塑 -▁novelty -龟 -▁Flügel -▁diferencia -▁cristian -▁urmă -▁jesuit -▁fördern -َلَ -と述べました -晴れる -を発表しました -言える -陌生 -▁medication -季度 -▁lächelte -綱 -ున్నా -gratul -▁моего -سې -▁اين -兄弟们 -▁ئەوە -卿 -荒谬 -弘 -▁제일 -▁будешь -适用于 -食べたい -40% -▁Ре -场比赛 -▁xả -▁kostet -▁bố -Werbung -▁Academy -▁mohammed -▁آمریکا -唐纳德 -罗伯特 -▁помощью -自殺 -▁Vì -▁Rauch -剧院 -▁curate -▁Moore -を越え -一件事情 -▁алма -▁distint -▁absolv -▁deceit -▁propriety -怪物 -根本就不 -度目の -▁Entfernung -▁Après -▁signifas -日ざし -▁Pläne -▁Nerven -▁güzel -ビッグ -▁hydrogen -▁winzige -farben -鞭 -▁thompson -ঙ্গ -▁griechische -▁хөгж -観察 -sloten -▁chunk -▁installation -クリア -汚 -빠 -ុ -▁elapsed -▁Government -毁灭 -▁rapture -しさを -▁Symbol -不思議な -gestiegen -▁practise -▁athens -▁recreation -պ -猿 -▁موجود -現象 -▁крайней -▁morbid -感冒 -ждение -引入 -▁делают -▁moustache -洗澡 -▁되는데 -選び -flipp -ならではの -▁chemist -▁rustle -▁Student -ղ -▁longtemps -▁verschwunden -讽刺 -▁sturdy -游客 -▁arising -▁irritated -ダム -▁твой -عالم -▁heroine -見たい -税收 -オレンジ -▁üret -耕 -恥ずかし -▁왜냐면 -▁sidewalk -▁никому -▁protože -▁involving -▁alguma -krebs -бель -▁geplant -ść -нюю -torium -▁abnormal -▁condescend -滤 -参议院 -別れ -▁Cousin -▁kansas -▁contributing -▁ஆன் -▁волос -带领 -▁constantinople -▁inasmuch -ում -▁Ähnlich -分かりません -▁spiral -▁tradici -追いかけ -睇 -水曜日 -ވެސް -▁reassure -▁Melbourne -▁gegründet -▁водо -北京オリンピック -▁voyez -介入 -获胜 -▁سمت -虑 -溢 -▁která -verwandt -▁බව -ピンク -میل -▁Kommentar -漬け -lassung -エビ -嫉妒 -▁Klimawandel -▁солдат -指责 -▁основан -▁implies -排名 -飼 -▁Rechnung -▁monotonous -▁spēlē -▁medieval -▁rhetoric -▁detached -▁Mountain -▁isolation -▁войск -解决这个问题 -▁хочется -articula -▁umutima -▁curb -▁liefern -伯格 -▁Multi -▁russische -矮 -▁Zuhause -▁malcolm -▁nevoie -läufig -▁shelves -落ち着いて -▁смерти -▁feudal -澤さん -あえて -klassi -▁constituent -▁другая -▁rabbi -ライス -▁Sklaven -▁الواقع -まもなく -▁dictator -丫头 -荷兰 -▁சீ -▁salmon -▁flores -っていうところ -初期 -卧 -▁hypothe -▁entfernen -▁insolent -不合适 -▁মানে -ρα -▁Dacă -▁Montag -▁чуж -рожа -準 -▁Folie -慈 -抖 -▁Colorado -▁Nutzung -▁cognitive -▁după -مدرسة -残忍 -요일 -sexuell -▁القر -尋 -▁kemudian -▁persuasion -狄 -줘 -お客様 -▁jefferson -▁pivot -▁машины -نقل -▁استخدام -ބަ -▁whipped -▁geleden -▁escucha -▁Could -▁остров -▁cavall -quê -须 -ជ -▁versteht -拭 -interesse -▁eksp -▁disappoint -▁även -钩 -katholisch -▁کودک -紫色 -▁cố -代の男性 -Time -收益 -▁чад -▁elevat -▁hacía -▁Alkohol -蔑 -褒 -从那以后 -▁извините -▁тело -▁spirituelle -யார் -▁sünd -设法 -▁geographic -獲 -முக -▁impamvu -▁хэдэн -▁Physik -▁umfasst -反抗 -▁concede -▁обща -▁zwang -取引 -ministerium -蹲 -০ -▁Prüfung -▁embedded -▁possiamo -タクシー -▁пятая -出てきました -▁discrimina -ェ -能做到 -▁clenched -▁pequeña -▁tennessee -哮 -煎 -かっこいい -▁请播放 -▁așa -▁Jemand -gehoben -befehl -▁mildred -▁disrupt -mètre -コスト -▁нашим -ใ -膝 -▁ausgewählt -▁nécessaire -▁eclipse -换句话说 -丼 -誠 -جنس -▁daisy -▁dzīv -மும் -納得 -kräftig -▁merupakan -コラボ -記者会見 -收购 -▁crusade -金額 -höhe -ایە -▁hína -▁snuff -▁социал -möglichkeit -ijoro -▁clamor -順位 -▁husk -▁Flüchtling -奥巴马 -▁duidelijk -▁குறை -twenty -▁discut -▁пройд -お待ち -发动机 -警官 -ତ -▁aufzubauen -这个样子 -넘 -▁сергей -愛知県 -▁shroud -コンビニ -行方不明 -▁люблю -▁rusange -▁твои -となりそうです -訴 -▁augustine -чёт -ものすごく -▁Society -动态 -▁vierundzwanzig -▁ocurr -▁mitigate -konomi -▁testify -▁чист -▁имеют -▁destructive -▁историю -▁мальчик -▁alcuni -渠道 -砂糖 -▁besagt -علام -waffen -原則 -▁agafar -▁supposition -▁diplomatic -▁marshall -fünfhundert -▁pilgrimage -今のところ -ālā -▁legitim -ித்தார் -▁мысли -ሚ -▁securities -辖 -▁bestätigt -umukobwa -▁Therefore -軟 -▁problém -並ぶ -ҙың -▁Họ -寄付 -ченко -gerissen -▁hâ -▁компьютер -▁முக்கிய -こんなふうに -媛 -놓 -▁vigour -▁apparition -▁imbaraga -▁gratified -symmetri -▁clash -▁milestone -hundertfünf -▁Doctor -ლებ -▁camí -عيد -鸿 -▁disponible -▁butterfly -▁teenager -▁carlyle -▁Mereka -▁хэв -ступил -とみられています -entendre -棘 -▁enabling -▁faltered -▁bizarre -▁nodding -präg -重症 -▁cartoon -▁hareket -とみられます -▁Republik -பாடு -▁width -▁риск -▁Runde -ẫ -ڈ -▁zugänglich -ျ -詩 -مجتمع -ゲット -散步 -dämm -▁eigenlijk -菓子 -飛んで -级别 -厌恶 -齿 -▁ingenuity -▁последний -▁руководств -▁NASA -▁muffled -▁theoretical -▁நிறுவ -女孩儿 -▁shilling -▁ethnic -▁сделан -合わせた -క్ -счастлив -茅 -▁Indonesia -▁مدرسه -▁정말 -▁Fehl -豪華 -▁chestnut -伙计们 -が止ま -新宿 -▁பெரு -了解更多 -▁серьезно -績 -面试 -结局 -pflege -Á -թ -▁crouched -フルーツ -최 -▁espacio -خصوص -▁eindelijk -悲剧 -zauber -physiologi -▁подготов -▁лепш -一个例子 -远处 -合計 -చ్చ -赎 -ຢ -▁ecstasy -▁نمایش -ӹн -実態 -rechnen -менять -▁новых -竟 -▁landlady -繊 -▁gutanga -▁ominous -▁voulu -証言 -演示 -▁junk -▁integrate -隠れ -▁Außer -▁Entschuldigung -▁Kommissar -扫描 -▁hoofs -wäss -اگه -▁лица -嘿 -▁merchandise -▁செயல் -▁elkander -▁spüren -▁clown -▁важна -▁calculate -収入 -続けている -灵活 -▁தனி -▁fügte -▁взаимо -▁갑자기 -▁Republikaner -▁infidel -▁desolation -▁längst -坚强 -▁cicl -行きたい -lehrer -▁literal -韓 -非常有趣 -▁marcel -▁Intelligenz -冈 -▁пошли -气候变化 -が必要だ -▁странно -με -种族主义 -の疑いで -▁yahweh -斥 -至关重要 -▁Kämpfe -▁detained -▁هنر -▁sovint -▁syllable -▁mittlere -schalt -aufnahme -トルコ -▁цели -▁judith -▁spacious -海滩 -کۆ -▁yazı -▁भए -▁Minnesota -▁использовать -▁languid -▁آورد -▁reiterate -▁Patrick -▁убива -▁توجه -Europa -▁تواند -崎さん -▁Richtlinie -▁kibazo -▁potenziell -▁deferred -▁பிறகு -ނެ -▁usurp -羽毛 -schwor -نوشت -▁appoint -▁sancho -▁குழந்தை -▁Үүний -▁línea -▁Studium -▁Ireland -▁Modern -病床 -льныя -▁кровь -査 -心疼 -렸 -▁يوجد -owski -▁konkret -▁பற்றி -▁categori -▁نقش -дзь -炼 -▁நிகழ் -▁indicating -▁Gegenteil -▁Emily -▁война -行われている -▁presidential -▁Little -கொள் -肤 -▁Existenz -拜访 -▁antony -▁Samuel -見つかり -▁může -垒 -慷慨 -▁Ernährung -▁displeasure -ッグ -捉 -▁говорим -▁değiştir -必然 -▁condicion -▁welsh -拜拜 -失业 -▁sparrow -アピール -▁sociedad -ދަ -ދު -▁사람들이 -▁mercado -見つけ -文書 -▁Auftrag -▁Annahme -▁Coast -ներ -霜 -▁boyunca -時半ごろ -▁asteroid -▁коротк -▁قانون -ிற்கு -nshingano -▁musí -边境 -▁riddle -伍 -謝 -▁Illinois -▁دانشگاه -schließt -▁पु -イラン -▁ĉu -ミング -ジョー -▁comunidad -▁companionship -轻易 -qqim -▁portray -▁үнэ -ёшь -好奇心 -になりたい -虾 -bitekerezo -▁Pēc -▁antiquity -▁científic -淋 -アルバム -▁acontece -おととし -師匠 -gemeinschaft -看一看 -きょう午前 -抜いて -谢谢大家 -▁bırak -versorgung -▁Konferenz -GPS -▁혼자 -▁gracias -▁athenian -▁persoon -▁inaugur -▁менш -群众 -▁northeast -▁vorgeschlagen -雨が降って -▁patriotism -档案 -luğu -ໃຫ້ -▁defiant -▁malicious -▁Kansas -▁chaplain -残酷 -▁bertram -交付 -消化 -▁Felsen -▁bathroom -おじさん -▁байр -▁palju -▁Alpha -▁Katastrophe -▁Respekt -▁обязан -ツイッター -▁oyna -▁غذا -▁أفضل -▁لدينا -filtr -层次 -主导 -속 -ጥ -▁sophisticated -▁буквально -▁façana -侮辱 -▁дороги -前两天 -将棋 -▁너는 -ريخ -ුරු -労 -戴安娜 -逝 -▁سیستم -̃ -剥夺 -▁ensued -这是一件 -schwimm -是不可能的 -辞め -▁pueda -església -süchtig -▁birçok -出租车 -귀 -麗 -적으로 -注射 -schränkung -▁snare -▁skate -▁retard -一生懸命 -▁ängstlich -▁vegada -ডা -あるんですか -起訴 -räte -徽 -▁Posteriorment -▁nyinshi -▁trabalho -코 -▁చె -▁Больш -ロンドン -▁verwandelt -▁bagian -設計 -zugreifen -▁பழ -语音 -▁naples -世の中 -括 -嚟 -ఫ -挖掘 -世帯 -▁scottish -見直し -ركز -現れた -▁Stich -▁refinement -▁keith -老虎 -бега -▁temporarily -コンピュータ -腸 -昆虫 -アート -1.5 -維 -▁straightforward -ঐ -凌晨 -繁殖 -ধি -beamte -▁руках -▁задерж -▁остава -積極的に -匆 -▁Interessant -▁законопроект -liśmy -▁cantonada -▁مرکز -杭州 -▁verurteilt -噴火 -▁адказ -▁Nacional -expliqu -▁rebuild -people -ıyordu -눈 -설 -キッチン -▁لطفاً -▁decât -▁일본 -▁prodigious -▁Jacob -散歩 -传奇 -▁klassische -▁существу -▁форма -釣り -▁подпис -风暴 -▁Opera -▁институт -ическом -▁michigan -バッグ -▁clinton -それこそ -весел -商業 -ハンド -ipps -▁spouse -▁trustee -▁площад -▁uzata -صاب -geheimnis -披 -ച -▁sorgfältig -현 -แต่ -▁discreet -chirurg -といわれる -ുന്ന -▁возраст -▁birkaç -schirm -环节 -▁intact -▁Então -طبق -亨 -forderung -階段 -教导 -auftrag -kümme -所需的 -▁Jimmy -▁kümmert -대로 -▁aquellos -እ -▁susceptible -痕迹 -▁fuerte -トレー -▁invece -ложения -静岡 -kündigt -▁hoffentlich -▁audible -학년 -▁Finanzierung -າມ -▁simbol -rätt -ாலும் -▁سخت -▁ĉefa -▁veröffentlichen -▁медицин -▁دوباره -アスリート -▁건데 -ordination -あぁ -▁utawa -判明 -マウンド -木曜日 -PCR -▁produzieren -▁tactics -可能性もある -ிங் -هدف -artista -違った -弊 -▁bijzonder -▁nghệ -▁boulder -逃避 -减轻 -唉呀 -▁Einfach -▁Hütte -▁Feli -▁Charlie -反発 -▁navigate -極めて -▁дожд -▁забыл -▁bourgeois -▁steadfast -졌 -ሆ -▁voulez -▁силы -فروش -▁Chief -想一想 -າກ -항 -芸術 -▁सु -▁implicit -▁duncan -▁واحدة -▁humming -muster -装备 -▁membership -کشید -▁bequem -▁vieille -▁begleitet -▁empfind -▁果啲 -▁impulsive -▁அரச -▁позвонил -▁düster -▁bunlar -▁Offizier -▁دغه -贫穷 -▁করতে -多长时间 -赞美 -▁boost -باد -▁успел -没见过 -変わらない -肾 -▁industrious -▁конфликт -▁беларускай -▁carrière -▁zgod -▁renounce -股份 -глянул -faktor -臨時 -拜托 -building -▁demselben -▁Spiegel -▁enchanted -▁그럴 -抚养 -▁아예 -▁conserve -姐夫 -▁erwähnen -▁influential -▁первого -▁кандидат -vermögen -▁penitent -受益 -▁wiederholen -atangiye -க்காக -面积 -▁aconsegui -▁columbus -▁verpflichtet -貫 -▁tournament -令人惊讶 -▁hinterlassen -▁servicio -▁словно -地板上 -ىرى -シート -キーウ -训 -ਜ -▁Ayrıca -▁bình -▁resembling -▁birlikte -▁আমার -▁vienna -▁retiring -▁Yagize -贵族 -▁mnoh -宿舍 -成为一名 -投降 -▁Zahn -▁Ня -عيش -▁fritz -крыл -▁execu -乏 -瓷 -ס -▁gobierno -▁westminster -▁Усё -책 -▁temporada -隙 -昇 -ಾಗ -▁мужик -ლე -լ -▁llavors -シュー -教師 -ランチ -▁тэг -сурс -早已 -▁Bridge -▁geleistet -▁mỗi -水準 -▁되지 -▁triangle -▁fuori -玛丽拉 -изова -▁Dichter -異常 -炸弹 -▁elevator -▁gateway -ルーム -观念 -▁signify -▁distraction -推广 -equilibri -▁wunderschön -哑 -弗兰克 -谣 -▁مكان -疑惑 -▁Bürgermeister -▁beetle -রাজ -ことはない -verbrauch -風景 -▁kaldı -zusammenarbeiten -▁appelé -kandida -▁compost -▁заўсёды -▁степени -▁erstaunt -▁tödlich -对他来说 -▁seguro -ッカー -怜 -を対象に -τι -झ -▁requiring -indirimbo -▁gufata -förmig -▁thrice -▁piteous -espai -百六十 -背叛 -▁برخی -チェン -▁Prinz -暴風 -ळ -▁развития -▁хүрэ -▁Firma -报仇 -▁chuckled -▁sacrifi -されていない -お疲れさま -▁Experten -▁республик -▁peninsula -乗用車 -▁좋아하 -▁parliamentary -ල්ල -ாமல் -简短 -▁forfeit -ङ -پذیر -畳 -冷蔵庫 -▁rôle -بناء -▁Summe -▁любим -▁spars -▁konkur -ើ -ែ -ੋ -▁Així -▁lấy -▁않았 -汀 -డి -打败 -▁unendlich -▁гости -▁сабе -▁tehnolo -بێت -▁posibil -揮 -逢 -▁chuyển -眞 -▁Kennedy -▁miliard -▁эфир -ọ́ -▁метод -なりません -schäf -▁роль -这项工作 -ېرى -虐 -恭 -▁Ukraine -▁gratification -▁सं -ěl -另一件事 -▁teilweise -新潟 -並べ -こいつ -ġ -▁কিছু -태 -▁perchance -グッズ -▁transplant -▁impartial -入ってる -小さく -んねん -的一件事是 -▁lehnte -▁distingu -▁metropolitan -처럼 -▁gegessen -呈 -▁trouvé -▁recurring -お菓子 -▁ຫຍັງ -ホワイト -담 -兜 -આ -阪 -塌 -锡 -ढ -२ -扛 -ỳ -雌 -忽 -偿 -И -捧 -釈 -滨 -ሄ -娇 -ូ -铭 -滩 -ャ -ύ -ޯ -斌 -절 -종 -託 -ޫ -缶 -崖 -ദ -潰 -緊 -ɗ -蔓 -仑 -ஈ -브 -ৎ -厦 -扰 -អ -벌 -증 -২ -ਵ -骚 -吨 -歓 -竖 -址 -瞥 -ള -渋 -挪 -暇 -掛 -յ -铅 -钓 -橡 -拡 -狐 -줬 -출 -ٽ -এ -柿 -络 -乙 -ቃ -幾 -亜 -嗅 -咕 -喔 -畜 -茄 -글 -ጠ -Б -學 -플 -勉 -咸 -锤 -ð -건 -능 -ఉ -歧 -叨 -ҿ -烫 -坤 -芦 -$ -監 -គ -践 -침 -蟹 -唠 -합 -ຜ -堤 -肘 -宪 -임 -梳 -霞 -薛 -병 -순 -攀 -驴 -灣 -甩 -邊 -妄 -론 -軸 -메 -脈 -튼 -蓉 -赐 -ਮ -葱 -魅 -盼 -ံ -秃 -甭 -է -란 -ぺ -ጣ -ৱ -窟 -靖 -颈 -壶 -꾸 -앞 -ኛ -浆 -ঙ -仆 -Д -叉 -亀 -猴 -茎 -삼 -嬉 -澳 -颁 -笛 -커 -稻 -엔 -筛 -魁 -閣 -渣 -蹴 -搏 -ੰ -肆 -ں -ਆ -蛙 -磊 -ସ -點 -汰 -棟 -陕 -憎 -绣 -歪 -頻 -趟 -岂 -О -ވ -胞 -ష -표 -噴 -堕 -圏 -咳 -淑 -庸 -疚 -嘎 -ג -滝 -譲 -炫 -ପ -蓬 -绵 -谎 -ዳ -碍 -巷 -驰 -ኔ -ጋ -ξ -평 -ű -ါ -詳 -圭 -顽 -蹦 -枉 -頑 -慣 -鋭 -鲸 -栖 -姫 -嫩 -큰 -渊 -掠 -ಳ -ਂ -衔 -憋 -癖 -顧 -확 -얼 -宰 -厨 -ડ -բ -ဆ -颖 -ੱ -碌 -駐 -覇 -禅 -肿 -乞 -們 -듣 -ਪ -匿 -梗 -幹 -ޖ -俘 -접 -彪 -醋 -阅 -紋 -ሉ -ୁ -國 -袍 -癒 -° -夷 -腻 -Î -愣 -堅 -賢 -沾 -贬 -绸 -먼 -맛 -灿 -끝 -吟 -ണ -駆 -镖 -활 -妆 -硕 -ჯ -硅 -몰 -纷 -彫 -渗 -陋 -賄 -陀 -셨 -– -ჰ -奎 -杏 -ڑ -ମ -译 -ט -盾 -盔 -贞 -溺 -坪 -잠 -육 -쁘 -竭 -佢 -辽 -袜 -栈 -ሎ -ፈ -ೊ -Í -ፍ -詹 -怎 -仿 -婶 -循 -백 -馅 -橙 -徹 -鍛 -ሱ -儒 -恕 -耸 -ೂ -淳 -翌 -餌 -庇 -捞 -斐 -膏 -۵ -럽 -隅 -啪 -辐 -熙 -ඔ -紛 -捏 -떨 -손 -駒 -愚 -椎 -朽 -̉ -踪 -ዚ -帘 -嘟 -颊 -惧 -ኮ -藩 -筑 -廉 -એ -ሳ -葵 -慕 -泛 -窒 -ધ -랬 -昧 -족 -屿 -죽 -팔 -ယ -粥 -ዋ -餅 -討 -廣 -붙 -씨 -犹 -叮 -萩 -歹 -咽 -湧 -侣 -蝶 -捆 -В -ڻ -శ -ખ -懲 -؛ -哩 -尹 -웃 -ỷ -망 -즈 -贱 -瞅 -斎 -П -ሪ -졸 -貯 -郵 -频 -囚 -鲨 -凳 -缸 -짝 -ۀ -ɓ -뭘 -홍 -옷 -쳐 -참 -痒 -혼 -眨 -揉 -Ғ -테 -ծ -咒 -绒 -厘 -변 -십 -厢 -琐 -਼ -ẳ -缴 -驼 -ዲ -嵐 -礁 -粹 -독 -俳 -妞 -쉬 -毙 -ዛ -岐 -闇 -肮 -ـ -債 -盯 -銅 -卦 -莹 -။ -ቅ -樱 -笠 -薯 -醇 -栓 -़ -崛 -ካ -刹 -奨 -迅 -њ -җ -릴 -투 -谭 -俯 -帳 -帐 -瑶 -떡 -ោ -溝 -ೀ -谍 -습 -噩 -ҷ -ੁ -淀 -勺 -簿 -曝 -ւ -饺 -棺 -斩 -። -貝 -鼎 -Ё -뒤 -Ŝ -별 -ိ -殻 -舗 -婿 -韵 -ੈ -충 -酔 -繋 -剛 -愤 -韧 -웠 -ಣ -ฐ -哺 -哼 -ඟ -嗡 -緒 -姬 -慶 -匈 -懐 -ഷ -挠 -氓 -இ -桩 -ۍ -ៅ -纲 -妾 -軌 -渴 -聘 -ם -衍 -랐 -ŷ -奄 -酋 -ူ -ହ -睹 -拌 -ຶ -绪 -瘫 -濱 -隧 -瞄 -ൂ -耿 -ൻ -吱 -喇 -ഗ -շ -嘻 -ಷ -ಚ -霧 -넣 -怠 -杖 -錦 -屠 -빼 -鞠 -眺 -藻 -栅 -矛 -冊 -ထ -聆 -ശ -怡 -宵 -악 -Ы -嚷 -패 -ァ -勋 -언 -慨 -赦 -萍 -ռ -막 -አ -ζ -豁 -휴 -肚 -捣 -ٿ -셔 -昨 -皓 -喃 -എ -喉 -貿 -趴 -迭 -謀 -孩 -ቤ -薦 -粛 -哒 -ീ -趾 -酿 -섯 -痘 -茜 -蚀 -菇 -எ -躬 -誌 -佬 -¿ -俵 -ċ -꺼 -渐 -卒 -鸽 -發 -ళ -ហ -亩 -唇 -壇 -ಶ -蝇 -ચ -蜀 -隻 -俱 -泌 -剿 -磕 -ቸ -அ -衬 -처 -垮 -琉 -墅 -쯤 -畀 -険 -扁 -橱 -창 -咁 -婉 -특 -沒 -倫 -噜 -钦 -傍 -ӷ -嗓 -枫 -답 -ਗ -茸 -兑 -攒 -צ -惰 -림 -숙 -榄 -氢 -喧 -览 -澜 -羅 -忏 -憩 -拱 -轿 -Ú -슬 -倩 -ਅ -剔 -距 -禀 -揍 -ޒ -嵌 -瞬 -憲 -蹭 -凹 -판 -ィ -९ -凸 -橘 -苔 -蕉 -浇 -৯ -獄 -穂 -„ -贸 -ʼ -읽 -聪 -료 -옆 -乜 -골 -對 -谨 -斧 -켜 -縄 -菱 -# -吼 -허 -嗽 -蹄 -拇 -ಜ -該 -텐 -북 -髓 -ਬ -浄 -荘 -Ô -죠 -ះ -栃 -몸 -瓣 -莓 -굴 -塾 -遵 -ן -۹ -甸 -娟 -蠢 -함 -獣 -缅 -ೋ -틀 -각 -啫 -屯 -經 -Г -餃 -ੂ -療 -绍 -槛 -ჭ -ధ -겼 -曦 -涅 -涡 -鄙 -霖 -麟 -ભ -冥 -谅 -희 -饲 -潇 -飽 -骆 -哉 -ఒ -ઓ -萎 -膚 -斉 -皂 -屑 -悯 -衫 -鉢 -축 -ሞ -며 -법 -芙 -疤 -帜 -罕 -蝠 -+ -향 -寇 -丫 -힘 -朋 -拙 -荆 -ஆ -늦 -황 -撇 -택 -戳 -랜 -撰 -璃 -釜 -혀 -盏 -ォ -択 -沛 -臀 -莽 -ሀ -酮 -록 -诵 -绊 -婪 -ૂ -硫 -품 -碁 -郝 -匀 -颇 -聋 -賠 -删 -阐 -ណ -妊 -Х -辟 -丞 -牡 -석 -익 -噬 -拟 -瞪 -刈 -坝 -嵩 -۳ -욕 -详 -ሩ -檬 -媚 -虏 -粪 -닐 -ҽ -蜗 -惦 -ൾ -鐘 -淮 -զ -베 -铸 -綿 -缉 -蘑 -垄 -粤 -슷 -풀 -맨 -骸 -٬ -唬 -绞 -블 -婴 -ധ -蒲 -넌 -ួ -У -综 -塊 -择 -խ -膳 -蒜 -蝙 -ਇ -嚼 -榴 -曽 -때 -枢 -於 -偵 -涩 -ആ -诡 -鳄 -矩 -溯 -贿 -검 -쓸 -칠 -厉 -責 -靓 -송 -炖 -疹 -肃 -咧 -ଲ -旱 -ඹ -魄 -哋 -○ -션 -꼬 -ञ -婢 -캐 -烘 -苛 -ջ -ខ -ਟ -肇 -栽 -熄 -馨 -ળ -紗 -채 -환 -窄 -禄 -탈 -권 -腥 -噌 -祐 -妓 -ୟ -訓 -淫 -懦 -昊 -磯 -糕 -贡 -篷 -ሺ -捍 -ങ -광 -铲 -۴ -墟 -粧 -娥 -৫ -ဖ -祁 -忆 -啸 -〈 -ෘ -懈 -ಇ -拧 -凿 -톡 -չ -녀 -ڤ -김 -汐 -糧 -谓 -瀑 -ޝ -寓 -ਣ -扒 -衅 -ఈ -ജ -۾ -剃 -腫 -勿 -ញ -奕 -깨 -卜 -꼭 -ඕ -砕 -澡 -嚣 -閥 -Ĝ -邱 -簡 -飙 -৩ -芭 -떠 -庶 -× -蛛 -麼 -औ -째 -철 -锯 -ぃ -鉱 -嗰 -鹤 -혹 -嘶 -舆 -穀 -冗 -诫 -恤 -箸 -鎮 -ז -ᱟ -巩 -彬 -嬢 -瘟 -诀 -埔 -砰 -舔 -ષ -밤 -詰 -顕 -ዘ -煽 -綾 -窥 -絆 -움 -宛 -撼 -ಧ -咔 -與 -陳 -芹 -陡 -掷 -廓 -逻 -ബ -唆 -寧 -怯 -鹦 -裹 -翰 -ቶ -ෞ -벽 -奮 -너 -齋 -승 -ዎ -ኩ -뽑 -ഇ -讳 -ភ -拽 -ଦ -못 -彤 -當 -퍼 -缪 -唾 -渦 -跤 -ዝ -掐 -峭 -梭 -ށ -兮 -窑 -應 -屉 -ঢ -伽 -џ -菩 -ฮ -潤 -辑 -៉ -께 -땐 -鈴 -暂 -廖 -ॉ -ഒ -屡 -峻 -鹉 -熏 -鞍 -呻 -雯 -곳 -搂 -蜡 -ฉ -৪ -깔 -說 -헤 -缆 -涯 -ធ -掀 -孽 -ഹ -奠 -련 -짐 -樊 -粋 -衙 -ҕ -녁 -叭 -ڊ -멀 -큼 -詠 -劈 -높 -আ -蕨 -掃 -భ -驯 -篠 -뜨 -痪 -窮 -騎 -ຟ -ሮ -Ř -촌 -歉 -ణ -ฝ -잔 -沦 -绽 -Τ -樣 -暢 -폰 -窍 -條 -봉 -泵 -ൽ -빨 -암 -纺 -寛 -悉 -潭 -ୋ -焚 -畔 -嘲 -捂 -껴 -輔 -棕 -饥 -ថ -籠 -ဲ -佣 -ଏ -ڏ -泻 -柠 -ഞ -류 -፣ -ƙ -۽ -钞 -呜 -葫 -។ -嶽 -ቢ -濁 -仨 -ӣ -飓 -ഭ -沐 -ಆ -邀 -赁 -冕 -哗 -禽 -酶 -侃 -锈 -呪 -熔 -揚 -奢 -Э -趋 -嗦 -ផ -衝 -窖 -阀 -扳 -摂 -응 -ඊ -쉽 -筷 -妍 -ओ -斬 -肋 -클 -胺 -亵 -叽 -咎 -桨 -ሥ -앉 -潔 -ዬ -錯 -극 -宙 -禾 -৮ -궁 -넷 -丐 -睦 -ଣ -끄 -딩 -ફ -赋 -蘭 -۸ -논 -徊 -徘 -Ш -琦 -빌 -颤 -颂 -착 -氨 -։ -썼 -擅 -‐ -ぉ -蓮 -৬ -쿠 -Κ -釣 -捅 - -拢 -鵬 -叱 -३ -• -嚎 -싼 -ഴ -苑 -놨 -啓 -冨 -嘢 -鷲 -ଇ -킨 -邵 -狮 -燥 -ޕ -ಭ -犀 -馒 -癫 -沫 -늘 -瑜 -љ -禧 -딸 -瘤 -咖 -抒 -棠 -५ -ቱ -噂 -舵 -곤 -凄 -抠 -Ņ -ሌ -拷 -蓋 -寮 -斋 -४ -ഉ -걱 -呦 -ሬ -俭 -蚕 -揽 -컴 -舶 -맥 -焕 -倭 -睿 -瞳 -鹊 -ಎ -ಥ -辻 -☎ -铛 -弔 -락 -兩 -钙 -崽 -Π -钝 -낫 -밀 -銘 -縛 -殊 -藍 -俞 -惩 -刁 -튜 -褪 -脾 -谤 -跋 -८ -쌤 -획 -Ф -呕 -雁 -躯 -迦 -恳 -啱 -梵 -關 -孵 -晏 -鴨 -ਉ -棱 -疎 -恍 -匂 -咀 -濒 -渲 -绷 -냈 -淆 -胰 -ሻ -實 -팀 -坟 -龚 -쁜 -谊 -溃 -ћ -髦 -诽 -拎 -醤 -曇 -阎 -찾 -娩 -ଥ -ሲ -渺 -骼 -蘇 -६ -啃 -揣 -椰 -嗑 -弧 -懵 -찌 -笘 -辙 -渎 -苟 -۷ -ቆ -빵 -ଗ -汹 -۶ -檐 -喵 -騰 -窦 -歼 -葩 -범 -Ș -억 -隘 -襟 -逍 -攞 -櫻 -ቻ -锚 -赃 -喀 -璐 -蔼 -ဘ -區 -範 -绰 -沪 -碟 -沥 -ଟ -딴 -쩌 -ኧ -७ -ਖ -胚 -篱 -幡 -嶺 -験 -掺 -蚁 -৭ -ਚ -篤 -暫 -聡 -鷹 -茉 -氟 -叩 -擁 -掰 -嗎 -乍 -Ṭ -溅 -煲 -Ở -உ -핑 -旷 -烬 -睫 -굉 -탄 -沧 -跷 -剰 -런 -๊ -ઉ -岔 -枣 -渕 -扼 -咏 -佟 -Ā -悚 -灶 -ẵ -靳 -Ο -醸 -褐 -愉 -媳 -筝 -觅 -彰 -逮 -逞 -矫 -殷 -센 -盎 -ঃ -巅 -聽 -澈 -亞 -姗 -赂 -鑫 -聂 -闸 -Ä -퇴 -螃 -冉 -簧 -疟 -갑 -З -倔 -绎 -翅 -搵 -僻 -眷 -藓 -ଅ -ኑ -Ǧ -ௌ -ଯ -萝 -İ -芥 -ٻ -壕 -謡 -媽 -긍 -ձ -褶 -鉛 -첫 -惶 -笹 -徙 -搾 -Ҳ -걍 -膀 -揪 -໊ -逾 -왕 -ഡ -렌 -씬 -悖 -痩 -裡 -揃 -挚 -娄 -眩 -氣 -ਈ -ጀ -膛 -ଜ -੍ -ፋ -甥 -驸 -荧 -雞 -灸 -焉 -琅 -煌 -唧 -戮 -뛰 -쩔 -팅 -춰 -骏 -凛 -볶 -欄 -镶 -墜 -猶 -械 -酌 -Α -듯 -瑛 -滕 -챙 -镯 -蠕 -丙 -灼 -訟 -鄂 -馈 -柬 -黏 -轶 -豫 -氯 -幫 -喚 -惚 -ઈ -渠 -镀 -ୀ -漱 -Ý -ӯ -皈 -咗 -莺 -ឹ -柵 -碱 -ጊ -徑 -隋 -啰 -ሊ -祠 -층 -诏 -텔 -찬 -箇 -钧 -뉴 -體 -痫 -麒 -փ -ᱩ -녔 -搓 -柚 -竿 -轄 -अ -ಒ -榨 -립 -蛤 -惭 -炳 -飢 -ဟ -ቺ -帧 -鳞 -곱 -헬 -ଆ -锣 -倪 -鸥 -錠 -ڳ -ဝ -ๆ -견 -琶 -饵 -將 -怂 -蔭 -蛾 -榆 -鎌 -揾 -탕 -ዐ -倘 -秉 -賭 -菠 -瑙 -囱 -훨 -缕 -ఓ -撩 -篡 -Ī -缀 -짓 -踝 -辫 -Σ -၏ -邢 -氮 -존 -탁 -硝 -萱 -拴 -烛 -ޗ -铝 -锥 -쇼 -暦 -焊 -릭 -腎 -瘩 -淼 -Μ -乒 -牲 -疮 -蓓 -酪 -霄 -ޢ -ኪ -搐 -츠 -绅 -ៃ -빡 -粟 -遏 -颅 -ጉ -링 -퓨 -磷 -耽 -祟 -瘍 -염 -謙 -霾 -臻 -猟 -诞 -៊ -蔷 -賊 -訂 -贅 -Щ -晾 -Õ -ଶ -霆 -喪 -剖 -嗒 -樋 -疙 -靶 -纬 -ਡ -값 -娴 -貞 -擒 -ൊ -跚 -厩 -烯 -炽 -आ -駄 -侑 -袱 -픈 -玮 -朔 -ኖ -ዜ -滔 -겁 -맘 -漬 -俣 -羔 -囤 -烷 -嗣 -峠 -ǎ -晗 -乓 -蹒 -髄 -ڙ -睾 -兢 -咐 -铮 -ೈ -睐 -蹊 -깝 -翘 -螂 -椭 -ઇ -鈍 -္ -參 -眯 -秩 -敛 -ଡ -鋼 -榈 -號 -掂 -磐 -萬 -裴 -阮 -蔚 -雍 -悍 -젠 -ޙ -駿 -拂 -腊 -寞 -穹 -悴 -憔 -琥 -琵 -밑 -恥 -ဂ -垢 -茬 -坨 -遛 -涕 -掲 -咚 -覺 -嘈 -峥 -꼈 -蝉 -麵 -٠ -땜 -祀 -譜 -ൈ -ᱱ -량 -酥 -橇 -靡 -槐 -Ấ -錢 -槻 -暧 -侥 -ଧ -척 -턴 -吠 -甫 -壌 -갖 -鳳 -ኦ -놔 -쓴 -寅 -麓 -Ö -ഥ -驭 -ቦ -ጅ -낙 -鹃 -Ա -屌 -壤 -Å -낮 -ဒ -隶 -讓 -豌 -憾 -噢 -闫 -ฤ -ժ -ٔ -岬 -萤 -ӳ -ճ -ଭ -匣 -효 -傑 -완 -瑾 -荫 -ଷ -ጨ -액 -諭 -છ -痊 -ऊ -羹 -漩 -砾 -岚 -裳 -규 -థ -ψ -콘 -惟 -렵 -짧 -钏 -窜 -臼 -闽 -Ó -內 -诬 -樂 -煞 -蝎 -弛 -從 -닭 -င -缔 -岌 -怼 -Ò -巍 -곡 -啼 -桓 -谂 -賂 -鳍 -摧 -ޤ -킹 -冀 -彗 -铐 -銚 -Ṣ -깜 -烙 -蜱 -梶 -胴 -莞 -Ọ -Ӱ -呱 -« -狸 -瑕 -痰 -纫 -臆 -ዙ -紊 -肴 -迂 -隼 -稜 -꿀 -茁 -淌 -ഫ -꽤 -믄 -赣 -๋ -洽 -농 -霹 -倚 -晦 -踹 -ᱠ -덕 -嗖 -濡 -猬 -낼 -덜 -Ε -撬 -呛 -þ -ጂ -珑 -瑠 -虜 -훈 -晤 -舘 -嗜 -渓 -瓢 -眶 -쳤 -瞰 -腌 -勲 -蕴 -韶 -뜻 -懿 -蕊 -ቁ -黃 -陨 -鳌 -匕 -籽 -냄 -帶 -稠 -餓 -裾 -梧 -̇ -ኬ -Ḍ -Я -় -닌 -荻 -ਧ -烨 -瘸 -蜿 -齊 -團 -姻 -ឡ -瞻 -ฎ -捎 -ሜ -嚇 -ଙ -殉 -ቼ -厥 -ਫ -ጎ -酗 -哔 -刨 -侨 -痹 -섭 -웬 -骡 -汝 -蜒 -桦 -嘣 -冶 -峙 -樽 -變 -湛 -雳 -呸 -數 -檀 -辍 -笋 -ៀ -崭 -꿈 -藉 -ຝ -悄 -օ -ଳ -ಉ -롱 -쌓 -ॅ -엽 -총 -寥 -՝ -롤 -沌 -允 -咄 -撂 -ኋ -苇 -賣 -엄 -恙 -碾 -蜷 -닥 -觀 -겹 -茵 -蹑 -吝 -璇 -໋ -័ -墩 -猥 -널 -잤 -玷 -薫 -蹬 -弈 -ፊ -俐 -頬 -秤 -ଛ -၊ -쎄 -獅 -橫 -ך -吏 -抨 -鯉 -腱 -ඛ -缰 -秽 -렇 -锄 -呉 -ሙ -찰 -苯 -람 -摁 -幣 -圍 -俏 -撵 -Ś -혜 -炕 -ଚ -猝 -쭉 -穏 -珂 -ਭ -멋 -喳 -狡 -嘀 -韬 -瞭 -惺 -ಖ -끌 -쌍 -讽 -缎 -庐 -拣 -槟 -侶 -嘆 -뻔 -單 -處 -殆 -噛 -庚 -뻐 -즐 -梓 -램 -빈 -雏 -諮 -嚏 -득 -蜥 -뿌 -鳩 -谕 -匮 -婊 -匙 -炬 -싱 -楓 -畸 -頓 -ஒ -噪 -犁 -懊 -谚 -畴 -< -ቡ -讐 -鮭 -꿔 -隷 -梢 -鯛 -坷 -晟 -簸 -疵 -閲 -낸 -컨 -흥 -眸 -侏 -臺 -> -짤 -胱 -Γ -沁 -墳 -襄 -蛎 -빙 -矣 -湊 -ಈ -믿 -잉 -ෛ -蟑 -畠 -셋 -槿 -嬛 -狈 -羚 -隈 -泞 -荐 -吭 -剁 -٘ -炙 -蟆 -牽 -翡 -튀 -ଁ -ᱤ -嗷 -绮 -簇 -娱 -幌 -犊 -漓 -ቴ -牟 -昕 -념 -诋 -俸 -翩 -钥 -淤 -玻 -绥 -칼 -澎 -٫ -攘 -溉 -瀚 -庵 -ઘ -塀 -茧 -哆 -롯 -挿 -殡 -荃 -釉 -窯 -伶 -爺 -瞑 -ڌ -厮 -汶 -풍 -팬 -兒 -絹 -薩 -祷 -慑 -憂 -ฏ -嫉 -輩 -拯 -淇 -馋 -ᱭ -啄 -猖 -絮 -Δ -穗 -녹 -맡 -켓 -Ē -辗 -ఖ -嫣 -Η -ዊ -轉 -惮 -傀 -儡 -啬 -颓 -渭 -筐 -ଉ -ዱ -샤 -ሸ -ឺ -鞘 -驿 -푸 -桅 -浙 -俾 -叼 -ቂ -愕 -聲 -넓 -赘 -蛊 -儲 -岖 -죄 -È -蛍 -朦 -ዕ -貂 -뀌 -폭 -權 -渉 -跺 -酝 -ጭ -焙 -渇 -筱 -ඝ -撸 -洼 -脐 -曖 -옮 -ኳ -翟 -쟁 -蘸 -稔 -紳 -喱 -蚤 -雹 -鞅 -鲤 -☆ -妬 -蹈 -捋 -矜 -ђ -털 -潼 -ኒ -ዶ -袒 -멘 -閑 -陌 -অ -玺 -羁 -卤 -渝 -戎 -ෆ -ჟ -坍 -邑 -昵 -忒 -砌 -磋 -汲 -웨 -젤 -珈 -綻 -镰 -暁 -敖 -槌 -踱 -堺 -ᱮ -摞 -ቹ -钳 -倶 -诛 -寐 -邹 -缭 -솔 -撲 -醍 -樓 -ः -胧 -讪 -醐 -ݨ -ඨ -蜴 -毗 -虞 -떼 -롭 -聯 -钠 -峯 -璋 -賓 -淵 -～ -蜚 -ޚ -湃 -̍ -ಫ -亢 -腑 -숨 -ౌ -枷 -檜 -谬 -岑 -袄 -铀 -Ì -鲑 -\ -杵 -韭 -콜 -烹 -ඬ -ኸ -ਥ -킬 -ඥ -熨 -擂 -赡 -滿 -ሷ -摯 -诠 -匡 -谟 -瞩 -腓 -黯 -ڼ -帚 -뿐 -엑 -흐 -ଂ -顷 -ឆ -潦 -탔 -ኘ -앙 -箔 -똑 -匾 -징 -ሴ -ጃ -邝 -딜 -ဉ -漪 -胁 -羲 -耙 -馀 -訊 -氪 -瘠 -١ -닝 -젊 -흔 -邉 -骤 -슨 -骰 -滇 -繕 -辦 -ஃ -抉 -渍 -彝 -曰 -顎 -랩 -슈 -씻 -냉 -율 -縣 -询 -럴 -Մ -亥 -樟 -樫 -畫 -홀 -尧 -骄 -饷 -걘 -얻 -浊 -령 -씀 -ぅ -鐵 -蔗 -遼 -谛 -杭 -毋 -၀ -땡 -ሠ -憤 -涟 -芜 -鸳 -콩 -椿 -怦 -鸯 -ઝ -၎ -ऐ -擬 -酯 -灘 -钮 -痢 -醫 -餸 -꽃 -凱 -忡 -酎 -냥 -吮 -弩 -續 -荔 -狳 -產 -ጆ -犰 -骇 -ଖ -噼 -紡 -줌 -짱 -趕 -峨 -컬 -粑 -攸 -ŋ -嗱 -ኤ -槙 -Ҫ -ዓ -몬 -拗 -營 -帥 -曙 -ጫ -锻 -浚 -幂 -俑 -笃 -鬱 -廿 -祺 -夠 -杞 -钾 -ݙ -舷 -購 -瘀 -萃 -蜓 -즌 -筏 -涤 -曳 -ฆ -랄 -蒼 -忑 -៍ -胭 -ቲ -ቷ -嬷 -釧 -鳗 -忐 -鼹 -緻 -轼 -벤 -傳 -悸 -렀 -訣 -暉 -锌 -哧 -娲 -禹 -窘 -蜻 -Ł -嚓 -눠 -덴 -똥 -춤 -唄 -諾 -楔 -薗 -錮 -楷 -遡 -ڀ -폴 -鱿 -嗝 -델 -ഈ -뚫 -켰 -柑 -啡 -漕 -凪 -蹋 -ഏ -─ -煩 -객 -專 -篝 -Ż -깊 -댓 -웹 -ੜ -迢 -钰 -芊 -薰 -ੌ -ᱢ -孜 -Ķ -渤 -绯 -碇 -諏 -Ĵ -帷 -涸 -蟋 -芮 -邋 -懇 -擎 -馍 -掖 -鯨 -ዩ -燒 -钵 -ૃ -瞌 -ഖ -沽 -蟀 -ќ -锂 -荚 -鼬 -덟 -딘 -쌀 -蟒 -嫦 -藝 -姊 -률 -ఐ -漉 -誕 -寫 -憬 -萦 -균 -낀 -압 -옥 -卉 -焰 -偎 -殃 -肛 -噔 -鹭 -ٺ -壺 -蝦 -멍 -윤 -컵 -픽 -Ê -榊 -總 -灏 -噺 -紺 -捨 -厕 -盪 -脯 -驹 -ᱜ -崴 -榛 -邯 -鬟 -Հ -ऱ -섬 -왠 -竺 -勅 -栾 -譬 -琛 -蕃 -홉 -骁 -栩 -攥 -俪 -刽 -笙 -遢 -삶 -걷 -눌 -Š -菁 -輕 -妳 -汾 -磺 -醺 -ሶ -ፕ -ᱚ -댄 -셀 -템 -憨 -錬 -喙 -氦 -땅 -릉 -肽 -颯 -黔 -锵 -릿 -밍 -绛 -ヂ -嫖 -炜 -瘪 -臊 -벗 -봄 -쟤 -폐 -蒿 -엘 -詣 -羨 -캠 -孰 -铬 -恺 -恢 -佰 -蚱 -渥 -纂 -纶 -벅 -叡 -捶 -綺 -眾 -憧 -ऑ -ڄ -昴 -誹 -謗 -棣 -汕 -沏 -ᱫ -빛 -馁 -鵜 -涮 -ঈ -଼ -앤 -玟 -芷 -妒 -柊 -琊 -竣 -斟 -騙 -Έ -ዮ -瀧 -艮 -ဗ -糙 -闵 -ጓ -腳 -蜕 -韻 -뮤 -ඵ -낭 -룸 -蝗 -蹂 -ਏ -腮 -럭 -쁠 -ඡ -诧 -镁 -鄉 -鍾 -窿 -蚪 -蝌 -疡 -ዴ -砥 -뷰 -엉 -皙 -撅 -犟 -娯 -掴 -둥 -헐 -혈 -砺 -ਯ -麹 -ฬ -籔 -럼 -捻 -벨 -홈 -嫡 -睛 -ぢ -遷 -伎 -᱾ -哽 -ឈ -堰 -磡 -焱 -翎 -矗 -翊 -Ν -ೃ -၁ -腋 -舊 -豬 -꼐 -썰 -펜 -坞 -ஏ -糯 -ޞ -倣 -凋 -엠 -헌 -흘 -諜 -ヅ -頸 -ሂ -ፎ -꼼 -둔 -삭 -♫ -貓 -踵 -惋 -價 -歡 -昱 -浣 -讹 -喆 -擔 -ף -龛 -艶 -苣 -涓 -躏 -窪 -屹 -恬 -裘 -糗 -绚 -錄 -霓 -噱 -껄 -槍 -蹩 -~ -孢 -춘 -힐 -햄 -夯 -潟 -漾 -偃 -咣 -癞 -訃 -딨 -Ն -찜 -촬 -춥 -罠 -麸 -獭 -镳 -铠 -ጡ -吒 -삐 -잃 -찐 -틱 -핀 -皐 -闺 -榎 -娼 -ୂ -ឋ -阂 -몽 -Ļ -Ս -ృ -詫 -铎 -僅 -菓 -៏ -卯 -噎 -榕 -馄 -樵 -랙 -ᱛ -괴 -낳 -힌 -疱 -舜 -祛 -箍 -劉 -枸 -盹 -觑 -ൃ -戯 -驗 -례 -핫 -Җ -Қ -醛 -嘩 -慵 -섞 -큐 -팩 -ઠ -ឌ -圖 -藕 -蚓 -呑 -喩 -곧 -닫 -밝 -앨 -毡 -跛 -秧 -嗮 -褛 -讷 -툰 -@ -虱 -蟾 -壱 -晖 -碜 -嫔 -Ă -Ģ -٢ -鋳 -협 -颚 -踮 -酰 -鳟 -禍 -阜 -挛 -箕 -ᱧ -腩 -꽂 -쏘 -탑 -碘 -잖 -彷 -鸠 -缇 -绢 -ฑ -猕 -밴 -퀴 -戟 -巳 -隕 -啤 -擢 -睽 -辘 -痉 -ፖ -熠 -鞑 -饨 -ሐ -褴 -阈 -묻 -烏 -酚 -惣 -ຣ -阑 -犒 -碉 -龈 -靼 -ਘ -蛰 -阙 -놈 -땠 -鬃 -또 -哝 -Ồ -낄 -싹 -첨 -蔻 -鑼 -毀 -痣 -釘 -偕 -湍 -燎 -钗 -咫 -덩 -箋 -罹 -孚 -宓 -ඤ -ቋ -燈 -왼 -꿨 -흰 -၍ -庾 -盡 -躇 -鎧 -幢 -浒 -胤 -荤 -鼾 -孀 -蹿 -裝 -獾 -皖 -蛀 -蚯 -颐 -좌 -棲 -^ -獗 -睑 -苞 -鳕 -腦 -뒷 -Ј -楞 -ଠ -ኞ -ዞ -납 -떴 -쩍 -斷 -憶 -泸 -勸 -铰 -洱 -緯 -겸 -ૌ -粽 -咤 -宕 -쿨 -ֆ -ڃ -‟ -鞦 -빤 -뼈 -슴 -엇 -칸 -莘 -挝 -韆 -夭 -腆 -Β -뚱 -칭 -閃 -蜍 -謹 -迄 -坯 -傣 -谏 -祯 -羯 -鹑 -ሃ -Բ -ഓ -寶 -戲 -轧 -拮 -椛 -佃 -蠣 -礎 -囧 -丕 -摒 -榻 -ヱ -扈 -薙 -렁 -‧ -啷 -舉 -侬 -邃 -垛 -怔 -闰 -ፓ -혔 -⁄ -氰 -끗 -덮 -證 -虻 -俚 -壑 -瞿 -藥 -衩 -ѳ -喎 -醜 -갠 -뒀 -멜 -컸 -핸 -뚝 -晌 -අ -ೌ -扪 -| -荨 -깎 -짬 -雙 -髅 -圃 -蓟 -鹫 -榮 -绫 -藐 -贻 -ኢ -亂 -禮 -賜 -샵 -측 -ฒ -胥 -骷 -앴 -褂 -較 -恃 -垦 -麝 -诲 -뜬 -갚 -턱 -ፅ -媲 -馏 -駕 -톤 -닮 -壽 -剽 -篓 -馊 -鹂 -圓 -壹 -잊 -Ե -٩ -亘 -缽 -翱 -貪 -얀 -펴 -ঔ -罂 -鳖 -黝 -汞 -痺 -佯 -稷 -恪 -彌 -砦 -ጪ -爭 -찔 -痞 -喰 -狒 -戬 -簪 -憑 -‒ -嗌 -嗤 -囉 -諒 -뚜 -팡 -罵 -楊 -噶 -凜 -≪ -〜 -匐 -芈 -鹌 -诃 -鳃 -】 -涎 -腼 -Є -ጤ -泷 -漸 -蚌 -끈 -땀 -띠 -爾 -脓 -髋 -ૈ -廳 -虔 -缜 -楢 -褥 -暄 -禺 -怅 -ፒ -阉 -끓 -렉 -벼 -뽀 -틴 -팠 -Ӹ -褚 -啜 -雖 -ୱ -【 -槲 -ଫ -雉 -馥 -烊 -ୃ -摹 -羟 -騨 -琢 -钊 -ൺ -٥ -ඈ -꼴 -댔 -豐 -廻 -沂 -啾 -埼 -徨 -剐 -唏 -轲 -牒 -ဏ -븐 -샘 -據 -峪 -錫 -밖 -漳 -炅 -荼 -၂ -玖 -絢 -镍 -沓 -뺐 -칙 -桝 -啕 -紐 -讀 -凰 -麥 -吆 -淞 -瓮 -耦 -佘 -喋 -孺 -螨 -ៈ -苫 -闩 -Θ -醬 -뷔 -篆 -鉾 -蔬 -桔 -锢 -讣 -辕 -鸵 -꽁 -Ԑ -赈 -遁 -隨 -掸 -暨 -陇 -宦 -戛 -睬 -፡ -嘚 -歲 -汛 -렛 -씹 -잇 -嚴 -檢 -흑 -麋 -佼 -랫 -鮎 -脖 -歷 -勞 -楂 -蚂 -Կ -兀 -ሏ -舛 -녕 -뇌 -릇 -짠 -힙 -冴 -蕎 -崗 -膿 -侮 -茛 -攪 -逅 -匍 -邂 -瘁 -Ի -ڇ -ឃ -△ -ঋ -ਝ -曬 -멈 -묵 -컷 -혁 -휘 -깃 -椋 -ヵ -潺 -螳 -鳅 -ಘ -ဇ -迸 -拄 -浃 -钛 -낚 -얇 -헷 -흡 -ਛ -搀 -렴 -黜 -闆 -惬 -帛 -戰 -৷ -ଘ -€ -蜢 -鲈 -遐 -뽕 -캡 -砧 -碼 -邨 -ឱ -溥 -咿 -锹 -砚 -熹 -Ả -‚ -珺 -紬 -Ẹ -凧 -戊 -곰 -畢 -鱗 -苹 -笞 -箫 -Դ -瀕 -Ū -ፉ -谩 -겉 -쭈 -탐 -Ό -廟 -怆 -絕 -꽉 -鬣 -塵 -羡 -Λ -댕 -뜯 -ጽ -稱 -覗 -꾼 -劃 -卻 -栞 -雛 -跆 -抿 -잘 -啧 -俨 -汴 -賽 -叟 -Ҙ -ଓ -渾 -糾 -긁 -“ -Ġ -ǹ -ٰ -ឿ -泯 -泾 -묘 -쪘 -쫓 -婧 -籁 -淄 -痨 -弑 -忱 -淨 -縞 -酣 -繼 -Ι -ѓ -ଞ -壞 -겪 -烽 -묶 -썹 -풋 -宍 -苷 -靜 -羌 -矯 -Χ -啮 -胯 -賺 -吖 -냅 -붕 -쉴 -ૉ -獨 -덤 -詮 -臃 -焖 -獒 -紹 -諗 -岱 -璨 -讃 -둬 -璧 -痔 -冽 -舀 -弼 -徇 -綠 -繭 -镣 -驮 -ऋ -搡 -搪 -砷 -닷 -닿 -땄 -욱 -웅 -찝 -ဦ -噗 -醚 -谑 -紘 -炷 -枭 -罔 -蚣 -颌 -璞 -닦 -ĺ -ሕ -馴 -긋 -랍 -咨 -粱 -ໆ -蛭 -骋 -囡 -ץ -劵 -濟 -纣 -荟 -蛟 -뀐 -밟 -Պ -膠 -ៗ -ൗ -狛 -琰 -畝 -觐 -擀 -蒔 -蚜 -귄 -빅 -쫄 -촉 -螈 -蚝 -郸 -飴 -鸞 -娓 -皎 -眈 -捺 -砒 -糞 -茱 -裆 -갤 -뺏 -쭐 -쿄 -팟 -赝 -犸 -蜊 -惆 -瘴 -笆 -讥 -钨 -驷 -宸 -戾 -賑 -ڍ -ሯ -ጦ -랭 -룩 -뺄 -샐 -숫 -팝 -Ո -桟 -罄 -槃 -捗 -轱 -濕 -谙 -ሦ -榔 -溫 -璀 -诣 -늙 -썩 -쫙 -톱 -爛 -铂 -奧 -鹈 -赳 -膵 -渚 -缈 -耘 -唰 -綴 -豺 -龊 -龌 -٣ -ඌ -犷 -葆 -颞 -馳 -릎 -숭 -쌩 -썸 -祇 -險 -蝓 -鴻 -熾 -蛞 -沱 -潍 -堇 -ਐ -尬 -粕 -辄 -껍 -넨 -룹 -샌 -쌌 -좁 -핵 -Գ -榉 -臥 -鹕 -蟻 -咝 -缥 -∞ -刍 -惘 -牦 -絲 -ጁ -屬 -讧 -돋 -맙 -౦ -ᱞ -啟 -뺀 -埗 -悶 -毂 -贋 -顆 -鲟 -孬 -昙 -薮 -壓 -狀 -缤 -藜 -鹽 -麩 -갓 -멤 -믹 -뱅 -붓 -윗 -쩐 -췄 -斓 -莴 -펙 -ヲ -釋 -袅 -躊 -阚 -囔 -铆 -Ț -ሑ -ጌ -兎 -戍 -涝 -诟 -铿 -쨌 -쩨 -Ĥ -Ӧ -ፀ -冑 -廠 -앱 -秆 -糠 -鮫 -桧 -垩 -耷 -镐 -엊 -夙 -宥 -濠 -繍 -ઢ -佗 -戶 -皑 -蝾 -쫍 -莆 -饉 -懷 -එ -啁 -赊 -鸪 -挞 -鹧 -ඓ -蔫 -뜩 -띄 -략 -뤄 -맵 -폼 -甬 -烩 -碴 -钍 -掇 -閒 -奘 -羿 -趙 -Ō -Ά -ഘ -၉ -ቪ -弋 -斡 -衲 -辿 -쥐 -쪄 -珞 -瓯 -壬 -鬧 -忖 -¥ -ဓ -肓 -薅 -靈 -靛 -ఘ -ಏ -轭 -윙 -ÿ -亟 -呲 -咻 -硒 -絨 -魯 -껌 -덥 -듬 -빽 -飒 -迥 -Վ -彙 -즘 -ϊ -蜈 -嗲 -觎 -轟 -귤 -낯 -쌈 -찢 -쾌 -팍 -ဥ -揄 -煦 -熵 -淺 -玫 -哐 -藪 -Ñ -Φ -Ԥ -٤ -埠 -拈 -炯 -굽 -뻤 -뿔 -셜 -Į -Թ -珏 -疽 -缨 -揶 -囃 -梱 -餡 -鰹 -燻 -Ħ -撥 -爻 -脫 -雫 -霁 -ኙ -擇 -踌 -鬓 -겐 -쩡 -텀 -텍 -ਓ -뭉 -햇 -鯖 -髭 -傭 -蛐 -鰻 -遜 -ഠ -› -怄 -裟 -啩 -恣 -斛 -檻 -谔 -踞 -닉 -맹 -잼 -詐 -櫃 -浏 -綬 -攫 -冢 -綜 -芃 -歆 -殇 -鄭 -鲱 -黨 -ፃ -ᱨ -Ụ -‹ -滓 -濤 -갱 -앗 -쵸 -캔 -抡 -輿 -擊 -苓 -歎 -幔 -愫 -萼 -檸 -嵇 -薏 -蘿 -Ӓ -ፌ -딪 -Ք -ሔ -憐 -洸 -燧 -珩 -껏 -셉 -즉 -펌 -珐 -瘙 -粵 -膽 -荏 -镊 -劾 -妲 -缮 -靚 -鳏 -Ţ -ఠ -ቄ -昀 -椀 -袤 -遽 -흠 -Џ -仃 -婵 -诩 -鍼 -쉐 -탱 -奚 -饯 -桢 -樺 -锭 -蚬 -跻 -ޠ -膺 -ԑ -ޏ -ဤ -哂 -攰 -葦 -錐 -” -ỵ -靭 -뺑 -엥 -탠 -帼 -〇 -姪 -晰 -摺 -ឬ -恻 -惡 -蹉 -à -၅ -궈 -멸 -빴 -쇠 -푼 -Տ -巌 -掳 -撚 -膈 -蛹 -胛 -舫 -缚 -舐 -鲫 -荞 -豉 -叻 -骛 -龋 -糜 -둑 -뢰 -륵 -얹 -煉 -痤 -蝽 -煨 -膦 -嚿 -蛆 -蟲 -钴 -顯 -} -ᱴ -歸 -湄 -Ő -Լ -Ռ -٦ -銷 -깥 -뱃 -嶙 -鄱 -錣 -烃 -謁 -炀 -潢 -煜 -娑 -痿 -၆ -ቨ -跎 -꼽 -댁 -밭 -섹 -숏 -쎈 -쥬 -츄 -칵 -콤 -ૅ -瑰 -襷 -楕 -瞠 -酉 -鹬 -叵 -婕 -庖 -觊 -謂 -闊 -٨ -偌 -挎 -锏 -룰 -뭣 -봇 -빔 -융 -찼 -퉁 -헛 -汎 -蟠 -ゞ -箏 -峋 -堑 -痍 -纥 -勵 -粼 -钚 -퀄 -ᱥ -窩 -螯 -髻 -鱲 -′ -巽 -谄 -꼰 -뇨 -뜰 -볍 -빚 -툭 -펑 -ਊ -涣 -淬 -稅 -魇 -姣 -疣 -胫 -酊 -檗 -猾 -跄 -踉 -瓒 -骊 -鬆 -ґ -咦 -肱 -臉 -鞄 -넉 -빗 -뻥 -얄 -엎 -칩 -훔 -Ə -ઊ -泱 -狞 -윈 -欽 -涧 -匝 -籌 -鲶 -嘗 -鰂 -鹩 -濮 -姦 -恿 -袈 -£ -撐 -曉 -聰 -蔥 -郴 -ʿ -໌ -၈ -ጄ -ឥ -戌 -蕙 -蠻 -贮 -铵 -깄 -앵 -혐 -檎 -緋 -桉 -骞 -坳 -箴 -桀 -鏑 -瀛 -礴 -芪 -ঊ -倖 -谵 -{ -Þ -၄ -喹 -燔 -芍 -詢 -遙 -깡 -뀔 -넥 -젝 -핏 -횟 -Օ -ઞ -洩 -颧 -燭 -뭐 -ঞ -繰 -呷 -鲻 -ங -鳝 -鹪 -偻 -珥 -铡 -ಞ -戀 -狰 -璜 -纭 -蝈 -ሟ -‽ -敝 -砝 -삿 -샷 -쏠 -쿼 -揸 -锰 -掟 -葭 -鸚 -謳 -罷 -湮 -蜃 -Œ -ಠ -诙 -ਠ -ಐ -厭 -咛 -掻 -揿 -纏 -荀 -菏 -蓦 -袂 -镫 -뱀 -뱉 -짰 -嘔 -歐 -礒 -葡 -鋸 -匯 -滉 -倹 -៌ -擺 -痱 -篑 -遲 -鹳 -嬴 -惴 -鰺 -၃ -彈 -滟 -簾 -苋 -٧ -ਢ -၌ -★ -ゑ -窈 -葺 -谪 -랗 -맣 -틈 -耆 -苅 -铉 -鹋 -妩 -塹 -牆 -獐 -Չ -ଵ -怵 -獻 -硌 -磴 -ୌ -绌 -굿 -껀 -띵 -뻘 -슐 -쩜 -툴 -椽 -濂 -焗 -裱 -챔 -穩 -茗 -橿 -镑 -脷 -錆 -寰 -阡 -忻 -矾 -镭 -骜 -駛 -詔 -냬 -뉘 -듀 -횡 -ȋ -ቧ -ᱷ -厲 -屐 -徵 -谗 -貰 -렬 -쿵 -唸 -嚥 -塙 -澪 -櫓 -燦 -అ -І -噚 -榷 -孪 -揀 -擞 -纜 -Ø -Ρ -⠀ -伢 -缄 -翳 -蛳 -諫 -谥 -賦 -雜 -鮑 -Ζ -Ї -Ֆ -٪ -丟 -獎 -秸 -郦 -隱 -깼 -므 -팽 -푹 -仄 -廈 -杳 -涞 -淅 -袴 -繳 -撫 -嘤 -笺 -髮 -穣 -纾 -鲭 -ኃ -垠 -牠 -睨 -၇ -ጻ -佞 -櫛 -虛 -鲷 -갇 -똘 -쇄 -쑥 -젖 -탭 -훌 -淚 -贏 -镂 -阖 -夥 -滲 -簽 -菰 -鹹 -绗 -牝 -霏 -逵 -鹜 -鸸 -噏 -忤 -瞓 -啖 -Ω -՛ -ޟ -ሹ -ᱵ -殼 -礫 -簌 -蛔 -蛯 -铤 -곽 -귈 -됩 -벳 -숱 -숲 -첩 -탓 -틸 -펼 -Ҷ -ጸ -鋪 -쁨 -饽 -忿 -濾 -畿 -澁 -穢 -矶 -绉 -嚢 -犄 -筵 -茴 -莅 -Ջ -ଢ -嗔 -诓 -隍 -셰 -ŕ -ఛ -悌 -槇 -蘋 -鵝 -녜 -맻 -벙 -섰 -썬 -쏟 -퀘 -흉 -Ď -Ь -寵 -廢 -祓 -麽 -蹼 -鋒 -槭 -懋 -窕 -̂ -嵜 -掣 -灞 -襯 -邈 -锱 -魷 -Շ -ޘ -ቫ -峽 -碓 -謠 -遴 -颦 -멕 -킥 -ዥ -ឧ -叢 -鍮 -黐 -갸 -뎅 -옵 -훠 -覽 -暹 -甾 -疸 -鴎 -缛 -烁 -猁 -猞 -ឯ -佝 -欖 -瀝 -罡 -萸 -藿 -̄ -咂 -螢 -铢 -頚 -饗 -鸢 -ઑ -Ừ -嗬 -嘥 -嚕 -爲 -纨 -겟 -굔 -냠 -콕 -텝 -훅 -Ң -悻 -潛 -苺 -藁 -鶯 -黍 -넛 -濫 -鄰 -蠅 -襖 -枇 -盧 -廚 -褓 -賤 -幄 -栀 -盃 -鑊 -珅 -绾 -蔦 -遨 -Ҩ -ۂ -嬲 -繫 -膊 -룬 -맺 -옴 -쭤 -팁 -폈 -瑪 -癸 -삽 -첼 -锑 -龜 -嵯 -氚 -蓼 -ຼ -珪 -揖 -瑚 -膻 -霎 -飕 -Ή -Խ -峦 -廁 -蘆 -衢 -蹟 -锉 -ሼ -啵 -恆 -焯 -诿 -깅 -뛸 -륨 -밸 -쉰 -텅 -壯 -夾 -峒 -蝋 -餘 -勁 -哏 -檄 -赭 -毓 -燗 -鮨 -榭 -啶 -梆 -嵘 -轢 -嗟 -ጮ -嬰 -捱 -蹶 -꺾 -텨 -Ӑ -ኗ -ዤ -ዷ -፤ -冚 -搖 -楣 -浔 -瞟 -诨 -骥 -닙 -젓 -펐 -繞 -鹸 -瀞 -燮 -苜 -湎 -靱 -閻 -杷 -臧 -噻 -囫 -溴 -阄 -Ҵ -簑 -薔 -蠔 -頁 -ፐ -〔 -檔 -閱 -겄 -괄 -굶 -귓 -깠 -꽈 -넜 -럿 -옹 -욜 -쬐 -漑 -潸 -唷 -笈 -鱈 -蓿 -剌 -酩 -佇 -唑 -嶼 -钒 -胝 -胼 -蛱 -圩 -礙 -趨 -Υ -櫂 -玥 -瑄 -绺 -蔔 -鸬 -鹚 -Æ -ୈ -墾 -搶 -盅 -绡 -蚩 -閪 -ž -­ -̈ -ۖ -ଝ -ሾ -ዪ -琏 -굵 -눅 -늬 -됨 -붉 -샴 -씌 -얜 -옳 -욘 -傥 -蜣 -迴 -鱧 -唢 -殒 -菫 -沣 -爐 -泗 -揆 -靉 -倏 -疥 -卞 -噉 -囵 -殘 -氙 -腚 -銮 -ᱣ -慘 -搔 -犠 -盥 -綫 -蒐 -褲 -訝 -辊 -© -® -ቭ -〕 -吡 -啉 -痂 -觞 -貘 -鷺 -눕 -늑 -늫 -렷 -벚 -뻗 -얌 -얗 -왓 -짖 -Ư -唁 -圀 -鐔 -륜 -뻑 -쓱 -왤 -滘 -濑 -岷 -疋 -蓑 -譚 -铯 -毘 -諦 -襁 -讴 -鄞 -緣 -膘 -禰 -泮 -璎 -莊 -蔺 -裨 -陂 -馗 -ڦ -ಃ -ጩ -渫 -溧 -獠 -祢 -诌 -赅 -괌 -렘 -렙 -ኚ -Ủ -兇 -彿 -荠 -谀 -댈 -룡 -륙 -및 -뿜 -셈 -읍 -찡 -毬 -辋 -箩 -饅 -拚 -紆 -葚 -儺 -籾 -菀 -呤 -煸 -琲 -胍 -玳 -谴 -镉 -俎 -洵 -锲 -颉 -僱 -柘 -栎 -疝 -萢 -鑽 -骶 -〆 -儘 -汩 -腭 -Փ -佈 -掮 -梏 -歙 -毽 -涿 -矬 -엮 -Û -Ѐ -ዣ -ᱡ -ᱦ -喬 -嫲 -嬌 -懶 -筲 -糅 -辭 -霭 -낑 -뎌 -뛴 -봅 -솜 -엣 -왁 -찹 -칫 -懼 -禎 -ဌ -娆 -鬚 -荥 -笏 -嶌 -癣 -攣 -鍬 -嘌 -捌 -孑 -淦 -瑁 -硼 -擾 -泓 -閾 -楯 -蝕 -ゐ -哙 -姝 -孖 -盂 -胄 -Ɓ -ଃ -ഊ -ዌ -ፆ -倜 -卅 -卍 -柩 -鲅 -갛 -껑 -껜 -륭 -뭇 -슝 -싯 -쏴 -잎 -콧 -팜 -펀 -ඞ -婀 -톨 -洙 -硤 -梠 -锆 -筧 -鵤 -菖 -邬 -軋 -栉 -忪 -桎 -筠 -脍 -锃 -佔 -儆 -掬 -旮 -荊 -ᱹ -隽 -饴 -훑 -Ċ -Է -ቬ -ጧ -奂 -滷 -癮 -蝼 -슥 -쏙 -왈 -팥 -핥 -Ը -乸 -擤 -縱 -铍 -멧 -Ў -嘹 -埴 -悅 -欅 -谒 -鴛 -ឲ -嘭 -箪 -鴦 -恫 -覃 -穎 -郜 -韋 -僭 -痙 -邁 -哌 -疇 -惇 -侗 -箒 -埂 -讶 -邺 -鲹 -稞 -蒡 -賴 -Զ -绶 -贖 -铱 -Ҭ -亳 -坩 -柒 -纰 -觸 -Ɗ -ፏ -⋯ -劑 -擴 -殲 -溏 -茯 -깍 -붐 -뻣 -샹 -줍 -쯔 -펠 -敕 -깬 -꾹 -뮬 -빰 -숍 -즙 -쭝 -쾅 -퀸 -킵 -펭 -헝 -俥 -滂 -瘘 -캘 -嗪 -衞 -睢 -铣 -韮 -翦 -娠 -旛 -翫 -蕈 -譯 -吽 -囿 -͘ -讚 -钹 -Ƙ -ǔ -Ұ -阕 -阱 -麿 -쫑 -쿡 -ဧ -ሣ -嬤 -懺 -晁 -殓 -滾 -苻 -钯 -饬 -껐 -꿋 -덧 -뵈 -엌 -잌 -Ë -沅 -瑩 -撻 -笥 -尕 -簀 -竈 -縷 -鮪 -糀 -謄 -侘 -鰭 -氩 -籐 -舖 -皺 -伫 -弭 -欸 -泙 -Ύ -祚 -缢 -聒 -诰 -鄢 -鴫 -鹄 -齡 -Ξ -ಓ -ᱰ -垓 -燉 -筈 -贊 -鬥 -Ĩ -Ź -ഐ -ඖ -ᱲ -侩 -惱 -杓 -涪 -漿 -炆 -觥 -颍 -餵 -麾 -겜 -괘 -꿍 -돕 -돗 -딲 -릏 -맑 -뵙 -솥 -앚 -쫀 -쭘 -펄 -Ũ -Ӗ -┐ -榧 -癜 -缱 -饕 -驅 -鲇 -젯 -퍽 -갯 -憫 -爍 -鄧 -萘 -廼 -吁 -茲 -鉤 -埚 -墉 -慳 -泔 -猢 -瑭 -旌 -孱 -屆 -弐 -珉 -祗 -薑 -Ŵ -ʽ -Њ -ѐ -ഛ -ቾ -Ị -唞 -囁 -搽 -旯 -绻 -腧 -膣 -謊 -谆 -谌 -蹤 -钽 -靂 -뚤 -몫 -삥 -웜 -줏 -쩰 -츤 -캉 -큘 -팸 -펍 -펫 -헨 -崑 -瑤 -痧 -轍 -顛 -飚 -鵑 -龅 -롬 -잣 -횐 -ಛ -ඍ -滯 -薹 -譴 -桿 -氤 -蹙 -÷ -鵯 -臘 -鲼 -甑 -鯵 -嬬 -婺 -杈 -鬶 -鲠 -鳶 -嬸 -骅 -ઋ -啐 -嗫 -尴 -徉 -抻 -煬 -瓊 -祜 -虢 -鈿 -俶 -倌 -撳 -棗 -樸 -珲 -癬 -笪 -錶 -삘 -씽 -ኡ -ፔ -剱 -彎 -獰 -甕 -綁 -腍 -芡 -薈 -蜆 -逑 -겔 -곈 -뤘 -뾰 -옇 -윽 -잭 -텃 -텼 -픔 -兖 -勳 -擰 -朧 -桤 -睏 -迩 -흙 -舩 -訛 -馮 -撈 -攬 -祎 -饒 -儚 -ឍ -纈 -纐 -莳 -氘 -鑓 -葳 -莪 -儂 -繇 -苒 -恸 -舢 -刎 -徜 -桠 -繹 -芫 -杢 -榫 -氲 -睜 -箜 -篌 -貅 -閖 -ᱼ -屙 -敘 -暈 -梾 -籤 -謬 -낌 -씁 -씸 -Ĕ -Ŭ -Ӡ -ቿ -傢 -呟 -悭 -溟 -璽 -瓴 -绔 -芩 -貔 -酞 -釀 -鍊 -鲃 -깁 -돔 -둡 -랴 -썪 -짭 -짼 -퀵 -폿 -홋 -ఞ -潞 -癲 -鋲 -캄 -퐁 -瀾 -訶 -贄 -ಢ -羰 -羸 -麂 - -剋 -滁 -瑳 -谶 -荸 -좀 -碲 -楳 -鲳 -煕 -戇 -溲 -膑 -ޣ -壷 -擠 -聿 -伉 -滦 -睥 -繩 -脘 -荽 -崙 -攤 -柾 -砀 -籮 -蠡 -谧 -ഔ -挲 -晔 -琮 -瘋 -藨 -钣 -Ơ -Ҟ -ಔ -ዑ -ጵ -Ứ -‫ -∈ -凇 -懑 -掙 -揼 -涜 -炔 -繪 -腟 -芾 -錘 -頒 -驟 -鹞 -꽝 -넬 -눴 -뜸 -밉 -뵀 -삔 -샜 -셌 -쑤 -엿 -콸 -Ҥ -Ҽ -ဿ -捩 -禿 -竇 -譽 -郫 -둠 -뒹 -렐 -맴 -뽈 -첸 -拋 -淙 -盞 -丶 -寬 -獵 -窰 -舳 -註 -ઃ -诅 -閤 -鴇 -嘧 -慄 -攝 -蝨 -鰯 -貶 -臾 -笕 -頷 -镌 -竪 -噤 -诘 -锗 -閘 -嗚 -壩 -撺 -晷 -桡 -棹 -耧 -趸 -→ -妁 -牯 -瓿 -笄 -蛄 -豈 -铖 -骐 -鷉 -鸾 -屍 -楸 -踽 -锒 -鲲 -섀 -켄 -Ľ -ӊ -ጇ -ጬ -◎ -嚨 -姒 -蒺 -蝸 -輻 -鸨 -齟 -깰 -끽 -낵 -눔 -닳 -밋 -밲 -벡 -뺨 -쉘 -슉 -쌔 -짚 -촛 -춧 -캣 -캥 -튕 -휙 -ਔ -ఢ -೧ -ᱯ -偲 -劍 -枱 -膩 -艷 -菸 -詛 -豇 -낡 -됬 -둣 -쌰 -撷 -贰 -躙 -辯 -遑 -Յ -楮 -誼 -瞞 -祿 -绦 -廬 -皋 -妝 -鸮 -떤 -圳 -捲 -陝 -獺 -媾 -魍 -鼩 -鴈 -ゝ -狲 -釐 -铄 -沮 -蘼 -邕 -钎 -靥 -鞣 -♥ -姘 -娣 -稹 -胳 -郅 -阆 -颱 -餮 -־ -儋 -厝 -肅 -誊 -騷 -숟 -’ -— -Ճ -՞ -ኜ -ዢ -ዦ -Ố -嘍 -揩 -曆 -栢 -潋 -箬 -糍 -遞 -髡 -鰐 -鲡 -鲢 -齬 -걀 -꺄 -꿉 -뗄 -빕 -얽 -읏 -잰 -쟀 -컥 -킷 -햐 -흩 -ඣ -ፑ -៣ -寳 -淖 -灑 -錨 -駁 -랠 -썽 -웰 -젬 -탬 -툼 -핍 -檳 -籃 -僑 -橼 -脹 -銛 -钜 -盱 -籲 -陲 -颔 -勖 -蓖 -郢 -檯 -粂 -獏 -燿 -祕 -鯊 -枡 -惕 -兌 -钼 -鞆 -● -綦 -蕗 -埜 -焘 -劭 -愎 -橈 -鎚 -锷 -鞏 -齁 -龇 -ဍ -♂ -侪 -窠 -肪 -蜇 -逹 -邛 -卟 -撓 -燐 -纖 -郓 -闱 -餞 -鹓 -俬 -呔 -澧 -燴 -犍 -羧 -葶 -谲 -¬ -Ć -ː -̓ -ڱ -ۚ -ඪ -ፁ -ᱪ -Ẩ -呎 -哣 -噃 -搣 -淒 -苕 -萋 -襪 -訇 -諄 -謢 -邳 -鉈 -鴉 -鸻 -갭 -곶 -넹 -뗐 -룽 -맷 -샾 -쐈 -쨍 -챠 -컹 -튠 -푠 -ˮ -Ί -Ҿ -ޛ -ዟ -悗 -耒 -躾 -鏟 -閂 -곁 -맏 -뮌 -찻 -睪 -礦 -筺 -艱 -賬 -镕 -蕕 -炝 -聾 -逡 -ฌ -瀋 -詭 -鲣 -侉 -埙 -慟 -蜉 -钡 -輯 -諧 -吳 -鐙 -陛 -撹 -苧 -劔 -濛 -齧 -Ժ -剝 -吩 -徕 -镓 -ൌ -佻 -嚅 -岘 -窨 -跬 -銜 -骢 -魉 -鰓 -㩒 -嬗 -旎 -旖 -氫 -洄 -牺 -篙 -舂 -闌 -飄 -Ծ -ḿ -仞 -嘯 -噓 -囹 -圄 -岿 -恁 -揦 -殚 -沆 -簕 -莠 -莼 -萊 -鰆 -ɔ -≡ -砣 -辇 -궐 -뽐 -„ -š -§ -Ť -Ձ -ۓ -ጢ -ፂ -ፄ -Ổ -Ờ -僆 -棂 -獸 -瓏 -瘢 -聳 -荛 -衿 -遒 -鑰 -镬 -깽 -꺠 -끙 -늪 -댐 -딥 -딧 -랖 -룻 -릅 -봔 -봬 -뼛 -섣 -쉼 -싣 -쎘 -얏 -윌 -쥴 -쯧 -챈 -챌 -촥 -톰 -핬 -圪 -屜 -捽 -珮 -碛 -臟 -螫 -輋 -醪 -骠 -똠 -맸 -샬 -沔 -禊 -襦 -趄 -邇 -剜 -筍 -緞 -虧 -趔 -铩 -埒 -憚 -扦 -罟 -囮 -賈 -匁 -吲 -哚 -雎 -鄒 -飫 -縊 -讼 -濯 -竊 -铕 -蓣 -ๅ -潑 -瀉 -Ґ -ಊ -屓 -碣 -粳 -苈 -蕤 -誨 -跖 -騾 -魑 -⸺ -倅 -幇 -廂 -柺 -楡 -瀨 -狆 -籏 -籬 -跣 -锶 -镆 -韌 -ΐ -佚 -汜 -牍 -牴 -癱 -蟬 -顏 -ϋ -ዉ -▪ -佥 -刿 -噙 -孭 -洮 -漲 -猷 -瓤 -疊 -癡 -矍 -硯 -稃 -讫 -贔 -꾀 -떵 -맬 -빳 -챕 -‘ -– -ƴ -ؔ -ઔ -ෲ -ኣ -១ -啞 -夘 -嵋 -徬 -慾 -斂 -渌 -滌 -漯 -燶 -砵 -稟 -笤 -蓆 -螞 -覓 -諺 -诳 -谡 -踎 -躉 -鈔 -铋 -陞 -顼 -麪 -갬 -궜 -궤 -꿇 -덱 -떳 -띨 -룐 -몹 -삑 -슁 -쏭 -앰 -욤 -웩 -잦 -죙 -챘 -첵 -촘 -쿤 -킴 -텁 -퓸 -훼 -ઍ -冧 -勐 -擸 -晉 -汨 -燊 -瘡 -癇 -眀 -鎹 -铷 -鯰 -鱒 -딤 -앓 -얍 -윷 -쟈 -팎 -囗 -諌 -鋤 -壆 -嶄 -碕 -綵 -闢 -鳐 -秣 -簗 -蕪 -氹 -兪 -恹 -鈕 -钇 -蝣 -軀 -畲 -埕 -潅 -瞼 -褄 -詈 -邏 -颶 -莟 -艙 -碩 -筅 -钐 -寤 -徭 -銑 -朊 -楝 -澩 -竽 -褌 -覲 -铑 -鵠 -捭 -哞 -墊 -忾 -杼 -玑 -砭 -芨 -菡 -锇 -埓 -壅 -峅 -崧 -徠 -悱 -瑧 -脩 -邙 -铨 -鱸 -鸩 -ẅ -壢 -泫 -爰 -箝 -耄 -耋 -▲ -垭 -巒 -捯 -撿 -攋 -梼 -璟 -疖 -痦 -紥 -缬 -腈 -菝 -逓 -铒 -鬢 -魃 -뎁 -ѝ -垚 -擲 -眦 -絃 -舄 -蘅 -隸 -髯 -鲛 -鹱 -뎠 -딛 -몄 -쨈 -휠 -휩 -ȃ -Ց -ۃ -ॠ -ḅ -ヮ -勻 -卌 -吋 -噸 -囝 -奀 -戆 -揈 -揞 -搲 -攏 -昶 -暅 -椶 -榲 -橞 -涠 -珙 -琬 -磚 -粝 -糰 -緬 -罫 -羈 -葜 -蒹 -蕁 -薷 -蠱 -襴 -轸 -邰 -鏈 -鬘 -龐 -긱 -꺽 -늠 -뎀 -딕 -띡 -뵐 -셧 -슌 -웍 -윳 -짙 -쫒 -텄 -헉 -헹 -훗 -Ώ -♯ -刪 -妯 -廪 -瀟 -犧 -畦 -癪 -矽 -禪 -腴 -袢 -鉦 -鏝 -뽁 -켈 -휜 -沭 -漣 -磔 -蕩 -ଐ -仟 -壟 -妪 -淝 -紓 -苴 -莜 -隴 -饌 -駭 -鹘 -黢 -ઐ -浛 -ㄟ -剷 -圻 -澹 -砻 -肄 -崂 -痾 -稗 -褻 -迨 -镧 -霰 -顰 -輦 -輛 -焔 -篭 -踐 -坻 -왜 -殯 -靄 -琨 -闖 -騭 -蝿 -頤 -厠 -夲 -嫪 -玘 -蘊 -黚 -黧 -媞 -咥 -嘜 -嵊 -椴 -濞 -緘 -藺 -蝮 -醴 -鉉 -鹗 -贲 -ഃ -ဠ -偈 -唪 -嗳 -姶 -嫻 -孥 -崁 -彧 -徂 -枞 -狽 -皲 -紮 -缦 -莒 -裃 -ṃ -穫 -゚ -喑 -摟 -擋 -氡 -篾 -絣 -绐 -聩 -蚶 -螟 -襞 -賁 -踟 -蹰 -鈷 -镛 -闾 -髂 -鲆 -齒 -쌋 -췌 -ॊ -ఔ -ဩ -ኅ -※ -俅 -唖 -尷 -洇 -澆 -绀 -蕭 -틋 -ኻ -佷 -侈 -뉜 -쉑 -쑈 -Š - -Ğ -ǐ -ಝ -೯ -ඃ -ฯ -ဈ -ሒ -ኼ -ጴ -៖ -៦ -ᱬ -ᱶ -ᱸ -□ -䁅 -呯 -唈 -唳 -喐 -嗄 -噹 -娌 -娛 -寢 -嶂 -恽 -慚 -懞 -懣 -抌 -攜 -曚 -枥 -柽 -樑 -樞 -樾 -牀 -狍 -稙 -繚 -舸 -芎 -衾 -訕 -豢 -躝 -轎 -酐 -鎏 -鏊 -钆 -钪 -钶 -雋 -饋 -鬠 -鸫 -龠 -갰 -겅 -곗 -곪 -굼 -낱 -냇 -넒 -닛 -댑 -덨 -듦 -땔 -떄 -뗀 -똔 -롷 -롹 -묽 -볐 -빢 -뼌 -뽂 -샛 -샥 -솟 -숄 -숑 -슛 -쐬 -쑨 -쓕 -앳 -얕 -옅 -웁 -윰 -쟨 -젼 -짹 -쫘 -쭌 -챗 -펩 -푯 -핌 -𢱕 -櫚 -煅 -甌 -莢 -驕 -髌 -랏 -쏜 -옐 -핼 -ஔ -僖 -恊 -滙 -澍 -癢 -粿 -翹 -蔀 -蛸 -躓 -鏃 -飩 -髀 -吶 -垃 -巉 -巔 -怩 -搗 -楦 -琚 -篁 -脲 -誡 -阊 -鬻 -鸱 -叺 -湟 -頗 -魟 -狢 -畐 -畷 -椹 -諍 -醮 -鐸 -釗 -镗 -锴 -゙ -戕 -稈 -纒 -亓 -庹 -氖 -祉 -鉗 -础 -嚯 -堉 -桫 -椤 -楋 -瀣 -珧 -礬 -舾 -邾 -鵺 -鼱 -滢 -臍 -堝 -弍 -晞 -椁 -濺 -睄 -礇 -笫 -蠟 -鎂 -閨 -怏 -慷 -瀏 -綸 -罎 -閩 -ጐ -ឫ -伧 -僂 -冼 -夔 -媠 -嵴 -幟 -畊 -磬 -窺 -簷 -胿 -臬 -蚵 -蹚 -鋏 -鏖 -霑 -騮 -鲔 -끅 -̋ -Љ -ѕ -២ -佶 -唻 -抾 -柞 -澱 -錙 -늄 -뒨 -믈 -콰 -± -¶ -ʾ -̊ -ଈ -ଔ -ஶ -ኀ -ጳ -ጼ -ጾ -ጿ -፥ -ឮ -០ -៤ -៨ -ᱝ -㓤 -仝 -倧 -刄 -厍 -咇 -唥 -喏 -嗞 -囍 -圜 -埞 -塬 -塱 -墀 -墮 -壸 -婭 -岫 -崃 -崋 -弶 -愜 -憊 -挈 -揜 -摮 -擘 -擱 -昐 -枘 -枳 -椚 -槁 -樒 -櫸 -淸 -溘 -溼 -燙 -痈 -硎 -篩 -簒 -縝 -縻 -纔 -荪 -葯 -蚴 -蛏 -蛻 -蝰 -蠹 -裇 -裥 -誅 -豎 -貲 -踭 -踴 -蹌 -蹣 -鑿 -铼 -锺 -镲 -颙 -駈 -駱 -鮓 -鮟 -鯇 -鰈 -鰜 -鱇 -鲀 -鵲 -괭 -굘 -긌 -깟 -깻 -꼿 -넙 -뉸 -뗘 -뚠 -띃 -렜 -룔 -멓 -멱 -뭄 -뺌 -뿅 -뿍 -숯 -슘 -쎌 -얠 -옌 -잴 -쩝 -쳇 -췻 -츰 -캇 -켔 -퀭 -킁 -탤 -튄 -팰 -혓 -홧 -훤 -휑 -힉 -ȇ -ˎ -躼 -곯 -덫 -햅 -Ě -狹 -睚 -觜 -겡 -셴 -쌜 -ಋ -壘 -孛 -忟 -旻 -榑 -煥 -狎 -眇 -罘 -胪 -脛 -舨 -镒 -餼 -馐 -촤 -歃 -禛 -♭ -垌 -尭 -晝 -楹 -滄 -砜 -菟 -蒨 -藷 -鏢 -鐡 -頌 -馕 -鰲 -鳉 -豕 -蜘 -ㄧ -嵬 -忸 -暝 -盜 -螣 -謐 -嘬 -圾 -洟 -舁 -醗 -铟 -颏 -黌 -栂 -瘻 -瞋 -窣 -窸 -絋 -鶫 -銕 -√ -蚺 -蹕 -窶 -牻 -擯 -愼 -榾 -癩 -筜 -筼 -聶 -蟄 -鍔 -頽 -黠 -梛 -莨 -骈 -鸊 -倬 -唛 -嗶 -嘰 -嚐 -媪 -徛 -憺 -揠 -甦 -翃 -肭 -芗 -茔 -萁 -葎 -蓠 -蛉 -蜮 -贶 -趖 -轡 -釁 -鈉 -隹 -餉 -饪 -騅 -橹 -篳 -蟯 -Ъ -ឦ -∠ -〝 -ヰ -俠 -冪 -埤 -墘 -嬅 -峤 -巿 -扻 -搦 -攔 -昰 -枋 -槊 -渑 -燵 -猊 -簋 -肼 -臚 -艄 -茆 -茼 -菘 -菪 -諷 -譟 -躑 -輓 -郯 -郾 -鄄 -鋆 -铳 -锨 -閏 -颪 -馭 -髒 -鱔 -ǰ -ॲ -୫ -ឪ -愠 -歛 -皚 -硲 -稣 -蛚 -輾 -馩 -꽌 -롸 -밧 -뱄 -€ -™ -Ï -ǒ -ȏ -̌ -̔ -̟ -Ӯ -ٗ -ۗ -ޡ -ऍ -ॆ -॔ -ૢ -୪ -೦ -೨ -೩ -ෳ -ቮ -ጹ -ḉ -ḫ -ṇ -ṉ -ẃ -Ạ -Ầ -Ậ -Ệ -Ự -⁠ -∙ -⊙ -◯ -⸻ -〟 -㧎 -䒏 -䒐 -佮 -俟 -倯 -倻 -偢 -僥 -儍 -凊 -匱 -叁 -嗐 -嘏 -噁 -囪 -埵 -堯 -奓 -姍 -娉 -尣 -弸 -怍 -悽 -挜 -挹 -揗 -摈 -斃 -昉 -曵 -梣 -棧 -楫 -橐 -欒 -殭 -殳 -洎 -浐 -涷 -玭 -瑋 -璁 -璈 -甙 -畈 -瘓 -眙 -硃 -碚 -磧 -竅 -筥 -篦 -粲 -糒 -繻 -罅 -胗 -舺 -艋 -艤 -艪 -艸 -茕 -荜 -莵 -菉 -菔 -萠 -蓺 -蔣 -蘂 -蟥 -覯 -訐 -訥 -詡 -誣 -誦 -誻 -謨 -譖 -豂 -赧 -趌 -趺 -躅 -軚 -輘 -輷 -迾 -鄣 -醌 -鎅 -鎔 -鎝 -鏨 -鑄 -鑲 -钋 -闕 -陉 -頰 -餋 -餒 -餛 -馯 -骘 -鬍 -鬨 -魎 -鲮 -鲿 -鳫 -鵞 -鵡 -鶉 -鹛 -鼆 -鼐 -걜 -겋 -곌 -굥 -귐 -꽐 -꽥 -꿩 -끍 -냔 -냘 -냡 -넝 -넴 -놉 -놋 -놘 -뇽 -뉩 -늉 -댜 -듈 -땋 -떰 -띤 -맽 -멩 -몀 -믕 -볕 -뵌 -빻 -뿡 -샨 -숀 -숴 -슾 -쌕 -쌨 -썅 -썜 -쎅 -쏼 -쒀 -씰 -옉 -옫 -웟 -읊 -읜 -좆 -짯 -쨋 -쨰 -쩄 -쮸 -촐 -캬 -켁 -켐 -켸 -콥 -쿱 -퉤 -튬 -팹 -퐉 -푤 -퓰 -픕 -휀 -𢳂 -ʺ -꾜 -꿰 -쇳 -잽 -Ǹ -೫ -ኟ -ṅ -† -凈 -垪 -拵 -曷 -梘 -漚 -絚 -鯪 -넚 -쌉 -엡 -೮ -䢢 -佤 -凫 -煖 -獪 -瘆 -癆 -秬 -糋 -躹 -迳 -钌 -陜 -韪 -驛 -髙 -鹼 -갉 -뷴 -寃 -刳 -劏 -嚡 -杮 -槎 -槤 -樅 -沤 -炴 -煊 -熒 -珎 -璉 -痼 -簔 -苄 -苳 -菴 -蘚 -虬 -詆 -赍 -跶 -铪 -闔 -顱 -颢 -飜 -骹 -伜 -柝 -聟 -釵 -崆 -畋 -笸 -膾 -蕲 -靫 -頴 -髷 -鵙 -鸷 -錺 -蒟 -愴 -腘 -鯱 -샀 -끊 -굳 -拶 -Ẓ -橄 -Ṛ -惫 -咆 -옛 -ఊ -싫 -밌 -雰 -괜 -떻 -뭔 -伥 -飪 -鬪 -鼈 -걔 -椙 -蒎 -锿 -鲵 -亰 -啻 -囂 -峁 -弖 -憮 -桴 -瓘 -瘧 -秭 -簓 -薖 -蝴 -谯 -趿 -镨 -闳 -馑 -骺 -鱚 -鲐 -ఋ -咙 -Ÿ -ഋ -ഢ -ဋ -丨 -丱 -仱 -傈 -傩 -僳 -劊 -嗆 -嗹 -嘁 -岈 -嵖 -巖 -庠 -廸 -戔 -扂 -拏 -挾 -掗 -摰 -撣 -攑 -敍 -旃 -旒 -栻 -槓 -歕 -歨 -殂 -泠 -渀 -潲 -潷 -澀 -瓩 -甓 -疃 -癀 -癔 -竦 -筊 -篥 -籟 -籼 -糬 -緹 -縉 -縢 -膕 -臈 -臙 -艏 -苡 -莩 -蓊 -薀 -薜 -蘓 -裈 -褧 -覕 -諡 -謇 -诒 -诤 -贽 -軼 -迤 -逶 -邡 -醅 -釼 -錚 -鍚 -鐃 -鐐 -钺 -铇 -锕 -镎 -靑 -顫 -髖 -鰊 -鳎 -鳔 -鷽 -鼙 -ኰ -䖙 -俢 -儉 -啍 -埲 -屄 -戥 -掞 -枦 -爿 -笳 -綢 -繄 -翕 -芘 -蛣 -豔 -蹐 -鉀 -闞 -鵪 -鸝 -됭 -싰 -옭 -좔 -̧ -☉ -떫 -뱌 -벘 -씉 -엷 -읐 -Ƴ - - -Ž -˜ -¦ -Ð -Ù -Ŋ -ƒ -Ǥ -ǫ -Ʉ -ˊ -ˋ -̕ -̱ -̲ -̶ -Ψ -Ђ -Ћ -Ќ -Ѹ -Ӌ -Ӳ -Ղ -Ր -ַ -ּ -ؓ -ٓ -ऩ -ॐ -ৗ -઼ -૧ -૮ -ୗ -୨ -୯ -ఝ -ఱ -೪ -ഝ -෴ -་ -ན -ሓ -ሿ -ቐ -ቓ -ቯ -ዒ -ዖ -ዡ -ጯ -ፗ -៎ -៥ -៧ -ḏ -ḡ -ḩ -Ḫ -ṁ -ẞ -Ắ -Ể -Ỉ -Ỗ -Ộ -Ớ -Ὑ -ῖ -‰ -₹ -⃗ -↑ -↓ -∇ -∼ -≈ -▼ -☺ -✅ -Ⱅ -Ⱎ -ゎ -ゔ -㶶 -䁯 -䆀 -䱽 -䴕 -亍 -佉 -侷 -傃 -傉 -傱 -僉 -僊 -僮 -凩 -刋 -剎 -劖 -劼 -勰 -勼 -匏 -厴 -厶 -叅 -吿 -呓 -咹 -哓 -唂 -唎 -喟 -喲 -喼 -嗇 -嗿 -嚀 -嚒 -囑 -圷 -坜 -坵 -坼 -埆 -埭 -塢 -塭 -墁 -奬 -妗 -妠 -妡 -妣 -妤 -姹 -娗 -嫐 -嬶 -尓 -尙 -屢 -屣 -岀 -峄 -峇 -崞 -崮 -帙 -廍 -弌 -弢 -彥 -彳 -悒 -惝 -愔 -愷 -愾 -慤 -戞 -戽 -扴 -抆 -抔 -抦 -拃 -捹 -掁 -掕 -掼 -摙 -摳 -摵 -摷 -擏 -擷 -斝 -旳 -昃 -晡 -晧 -暸 -杙 -杣 -杻 -枧 -枰 -柸 -棔 -椏 -椟 -榙 -樁 -樗 -檪 -櫈 -殁 -殄 -毵 -氾 -汱 -洐 -洹 -淥 -淪 -湫 -溋 -溷 -滸 -潴 -澗 -澶 -濉 -瀍 -烝 -煆 -熈 -燜 -爨 -牾 -猗 -玜 -玠 -珒 -珣 -瑨 -瓠 -疔 -疠 -疴 -睞 -硚 -硨 -磲 -礑 -祆 -禳 -穐 -笮 -筌 -筿 -箆 -箓 -篋 -簟 -簫 -糉 -絅 -綖 -綯 -綷 -綽 -緁 -緲 -縒 -縹 -繆 -繏 -缑 -缙 -罨 -羂 -羣 -羶 -翙 -聼 -肟 -艀 -艹 -芰 -芻 -苎 -茏 -茖 -茭 -莚 -莸 -莾 -萜 -萡 -蒽 -蓀 -蓁 -蓥 -蕘 -蕞 -薟 -藳 -蛲 -蜑 -蜞 -蝥 -螋 -蟇 -蟳 -衒 -衮 -袛 -袰 -裄 -裎 -褦 -褫 -襤 -觔 -觚 -詬 -諚 -諤 -謔 -譫 -讒 -诮 -谘 -谳 -貉 -貮 -赀 -赓 -赟 -踅 -蹺 -輊 -輟 -輳 -轾 -辎 -辶 -迍 -郃 -郗 -郛 -郧 -鄯 -醯 -釆 -釿 -鈪 -鉅 -鉎 -銥 -銳 -鎭 -鐇 -鐶 -鑛 -鑢 -钕 -钤 -钫 -钬 -钿 -铙 -铧 -铽 -锝 -锟 -镝 -镡 -闼 -隗 -雺 -霈 -韃 -韜 -韫 -餚 -餾 -饑 -馔 -駝 -驺 -驽 -骝 -髧 -鮒 -鮖 -鯣 -鰌 -鰒 -鱉 -鱷 -鲗 -鲩 -鲾 -鳀 -鳊 -鳚 -鳜 -鳢 -鳰 -鴿 -鹀 -鹟 -麭 -黩 -鼢 -鼷 -齴 -龢 -ꞌ -갼 -겝 -겻 -곘 -괍 -괏 -궂 -귯 -꺅 -꺤 -껒 -꽨 -꽷 -꾿 -뀨 -끕 -낏 -넵 -녘 -놥 -눟 -늗 -늣 -닪 -닸 -덷 -뎄 -뎡 -돚 -됑 -듭 -듶 -딫 -땍 -땟 -떈 -떱 -뗏 -똫 -뙤 -뚸 -뛌 -뜹 -띌 -띔 -럤 -롄 -뤃 -뤼 -맀 -먀 -먙 -멨 -묀 -뭍 -뭥 -뭬 -뭰 -믁 -믐 -밈 -밎 -뱁 -뱡 -벋 -벛 -볻 -봥 -뵤 -붜 -뷘 -뺘 -뻬 -뼘 -뼜 -뿕 -뿟 -쁩 -쁸 -삣 -삧 -삯 -셤 -셥 -셸 -솝 -솨 -쇽 -쉪 -쉭 -쌘 -쎼 -쏸 -쐐 -쐴 -쑬 -쒯 -씃 -앎 -앏 -앝 -얉 -얋 -얐 -얬 -옙 -옜 -왝 -왯 -윅 -읒 -잿 -쟝 -젭 -젱 -졀 -좃 -좇 -좐 -죈 -죵 -줜 -줴 -쥔 -쥘 -짢 -쩟 -ํ -ଋ -닯 -뜀 -룟 -뭡 -쌂 -Ѓ -ઁ -ః -摅 -欉 -洶 -牘 -篪 -繃 -艻 -跩 -鷯 -뫼 -왐 -ఙ -仂 -俍 -埖 -堊 -尅 -悾 -掅 -摎 -柢 -樨 -橂 -歁 -殕 -狯 -珜 -珰 -瑆 -畭 -穰 -箨 -缳 -罌 -耨 -臌 -苁 -萄 -蠓 -蠖 -蠶 -褸 -襠 -觴 -謖 -酺 -铊 -駟 -鰍 -黾 -♡ -僢 -剉 -噘 -圞 -圹 -岨 -弉 -昺 -橢 -濶 -焮 -禩 -秡 -秫 -笊 -茌 -蕖 -藹 -螅 -袆 -郏 -鉋 -銹 -铌 -駸 -墻 -悋 -暱 -櫨 -浬 -筬 -糺 -紑 -誂 -賎 -跹 -蹁 -蹠 -鰤 -ằ -蒻 -鞨 -ắ -笵 - - - diff --git a/owsm_v3.1_ebf/exp/s2t_stats_raw_bpe50000/train/feats_stats.npz b/owsm_v3.1_ebf/exp/s2t_stats_raw_bpe50000/train/feats_stats.npz deleted file mode 100644 index 4ef154c285deb458cb537da751909790aea294d2..0000000000000000000000000000000000000000 --- a/owsm_v3.1_ebf/exp/s2t_stats_raw_bpe50000/train/feats_stats.npz +++ /dev/null @@ -1,3 +0,0 @@ -version https://git-lfs.github.com/spec/v1 -oid sha256:7ef4b5e465110edf32eec024cf2427eedd677f5733bb87d6b2131e6984a6e13f -size 1402 diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/config.yaml b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/config.yaml deleted file mode 100644 index 69a7cfc1cdb13fa54d172830c9764b2849b718ec..0000000000000000000000000000000000000000 --- a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/config.yaml +++ /dev/null @@ -1,50257 +0,0 @@ -config: conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml -print_config: false -log_level: INFO -drop_last_iter: false -dry_run: false -iterator_type: sequence -valid_iterator_type: null -output_dir: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 -ngpu: 1 -seed: 42 -num_workers: 4 -num_att_plot: 0 -dist_backend: nccl -dist_init_method: file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 -dist_world_size: 64 -dist_rank: 0 -local_rank: 0 -dist_master_addr: null -dist_master_port: null -dist_launcher: slurm -multiprocessing_distributed: true -unused_parameters: false -sharded_ddp: false -cudnn_enabled: true -cudnn_benchmark: false -cudnn_deterministic: true -collect_stats: false -write_collected_feats: false -max_epoch: 45 -patience: null -val_scheduler_criterion: -- valid -- loss -early_stopping_criterion: -- valid -- loss -- min -best_model_criterion: -- - valid - - acc - - max -- - valid - - total_count - - max -keep_nbest_models: 5 -nbest_averaging_interval: 5 -grad_clip: 5.0 -grad_clip_type: 2.0 -grad_noise: false -accum_grad: 1 -no_forward_run: false -resume: true -train_dtype: float32 -use_amp: true -log_interval: null -use_matplotlib: true -use_tensorboard: true -create_graph_in_tensorboard: false -use_wandb: false -wandb_project: null -wandb_id: null -wandb_entity: null -wandb_name: null -wandb_model_log_interval: -1 -detect_anomaly: false -pretrain_path: null -init_param: [] -ignore_init_mismatch: false -freeze_param: [] -num_iters_per_epoch: 15000 -batch_size: 256 -valid_batch_size: null -batch_bins: 1000000 -valid_batch_bins: null -train_shape_file: -- exp/s2t_stats_raw_bpe50000/splits12/speech_shape -- exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe -- exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe -- exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe -valid_shape_file: -- exp/s2t_stats_raw_bpe50000/valid/speech_shape -- exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe -- exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe -- exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe -batch_type: unsorted -valid_batch_type: null -fold_length: -- 80000 -- 150 -- 150 -- 150 -sort_in_batch: descending -shuffle_within_batch: false -sort_batch: descending -multiple_iterator: true -chunk_length: 500 -chunk_shift_ratio: 0.5 -num_cache_chunks: 1024 -chunk_excluded_key_prefixes: [] -train_data_path_and_name_and_type: -- - exp/s2t_stats_raw_bpe50000/splits12/wav.scp - - speech - - kaldi_ark -- - exp/s2t_stats_raw_bpe50000/splits12/text.prev - - text_prev - - text -- - exp/s2t_stats_raw_bpe50000/splits12/text.ctc - - text_ctc - - text -- - exp/s2t_stats_raw_bpe50000/splits12/text - - text - - text -valid_data_path_and_name_and_type: -- - dump/raw/dev_v3/wav.scp - - speech - - kaldi_ark -- - dump/raw/dev_v3/text.prev - - text_prev - - text -- - dump/raw/dev_v3/text.ctc - - text_ctc - - text -- - dump/raw/dev_v3/text - - text - - text -allow_variable_data_keys: false -max_cache_size: 0.0 -max_cache_fd: 32 -valid_max_cache_size: null -exclude_weight_decay: false -exclude_weight_decay_conf: {} -optim: adamw -optim_conf: - lr: 0.0002 - betas: - - 0.9 - - 0.98 - eps: 1.0e-06 - weight_decay: 0.0 -scheduler: piecewiselinearwarmuplr -scheduler_conf: - warmup_steps_list: - - 0 - - 30000 - - 60000 - warmup_lr_list: - - 0.0 - - 5.0e-05 - - 0.0002 -token_list: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- <0.00> -- <0.02> -- <0.04> -- <0.06> -- <0.08> -- <0.10> -- <0.12> -- <0.14> -- <0.16> -- <0.18> -- <0.20> -- <0.22> -- <0.24> -- <0.26> -- <0.28> -- <0.30> -- <0.32> -- <0.34> -- <0.36> -- <0.38> -- <0.40> -- <0.42> -- <0.44> -- <0.46> -- <0.48> -- <0.50> -- <0.52> -- <0.54> -- <0.56> -- <0.58> -- <0.60> -- <0.62> -- <0.64> -- <0.66> -- <0.68> -- <0.70> -- <0.72> -- <0.74> -- <0.76> -- <0.78> -- <0.80> -- <0.82> -- <0.84> -- <0.86> -- <0.88> -- <0.90> -- <0.92> -- <0.94> -- <0.96> -- <0.98> -- <1.00> -- <1.02> -- <1.04> -- <1.06> -- <1.08> -- <1.10> -- <1.12> -- <1.14> -- <1.16> -- <1.18> -- <1.20> -- <1.22> -- <1.24> -- <1.26> -- <1.28> -- <1.30> -- <1.32> -- <1.34> -- <1.36> -- <1.38> -- <1.40> -- <1.42> -- <1.44> -- <1.46> -- <1.48> -- <1.50> -- <1.52> -- <1.54> -- <1.56> -- <1.58> -- <1.60> -- <1.62> -- <1.64> -- <1.66> -- <1.68> -- <1.70> -- <1.72> -- <1.74> -- <1.76> -- <1.78> -- <1.80> -- <1.82> -- <1.84> -- <1.86> -- <1.88> -- <1.90> -- <1.92> -- <1.94> -- <1.96> -- <1.98> -- <2.00> -- <2.02> -- <2.04> -- <2.06> -- <2.08> -- <2.10> -- <2.12> -- <2.14> -- <2.16> -- <2.18> -- <2.20> -- <2.22> -- <2.24> -- <2.26> -- <2.28> -- <2.30> -- <2.32> -- <2.34> -- <2.36> -- <2.38> -- <2.40> -- <2.42> -- <2.44> -- <2.46> -- <2.48> -- <2.50> -- <2.52> -- <2.54> -- <2.56> -- <2.58> -- <2.60> -- <2.62> -- <2.64> -- <2.66> -- <2.68> -- <2.70> -- <2.72> -- <2.74> -- <2.76> -- <2.78> -- <2.80> -- <2.82> -- <2.84> -- <2.86> -- <2.88> -- <2.90> -- <2.92> -- <2.94> -- <2.96> -- <2.98> -- <3.00> -- <3.02> -- <3.04> -- <3.06> -- <3.08> -- <3.10> -- <3.12> -- <3.14> -- <3.16> -- <3.18> -- <3.20> -- <3.22> -- <3.24> -- <3.26> -- <3.28> -- <3.30> -- <3.32> -- <3.34> -- <3.36> -- <3.38> -- <3.40> -- <3.42> -- <3.44> -- <3.46> -- <3.48> -- <3.50> -- <3.52> -- <3.54> -- <3.56> -- <3.58> -- <3.60> -- <3.62> -- <3.64> -- <3.66> -- <3.68> -- <3.70> -- <3.72> -- <3.74> -- <3.76> -- <3.78> -- <3.80> -- <3.82> -- <3.84> -- <3.86> -- <3.88> -- <3.90> -- <3.92> -- <3.94> -- <3.96> -- <3.98> -- <4.00> -- <4.02> -- <4.04> -- <4.06> -- <4.08> -- <4.10> -- <4.12> -- <4.14> -- <4.16> -- <4.18> -- <4.20> -- <4.22> -- <4.24> -- <4.26> -- <4.28> -- <4.30> -- <4.32> -- <4.34> -- <4.36> -- <4.38> -- <4.40> -- <4.42> -- <4.44> -- <4.46> -- <4.48> -- <4.50> -- <4.52> -- <4.54> -- <4.56> -- <4.58> -- <4.60> -- <4.62> -- <4.64> -- <4.66> -- <4.68> -- <4.70> -- <4.72> -- <4.74> -- <4.76> -- <4.78> -- <4.80> -- <4.82> -- <4.84> -- <4.86> -- <4.88> -- <4.90> -- <4.92> -- <4.94> -- <4.96> -- <4.98> -- <5.00> -- <5.02> -- <5.04> -- <5.06> -- <5.08> -- <5.10> -- <5.12> -- <5.14> -- <5.16> -- <5.18> -- <5.20> -- <5.22> -- <5.24> -- <5.26> -- <5.28> -- <5.30> -- <5.32> -- <5.34> -- <5.36> -- <5.38> -- <5.40> -- <5.42> -- <5.44> -- <5.46> -- <5.48> -- <5.50> -- <5.52> -- <5.54> -- <5.56> -- <5.58> -- <5.60> -- <5.62> -- <5.64> -- <5.66> -- <5.68> -- <5.70> -- <5.72> -- <5.74> -- <5.76> -- <5.78> -- <5.80> -- <5.82> -- <5.84> -- <5.86> -- <5.88> -- <5.90> -- <5.92> -- <5.94> -- <5.96> -- <5.98> -- <6.00> -- <6.02> -- <6.04> -- <6.06> -- <6.08> -- <6.10> -- <6.12> -- <6.14> -- <6.16> -- <6.18> -- <6.20> -- <6.22> -- <6.24> -- <6.26> -- <6.28> -- <6.30> -- <6.32> -- <6.34> -- <6.36> -- <6.38> -- <6.40> -- <6.42> -- <6.44> -- <6.46> -- <6.48> -- <6.50> -- <6.52> -- <6.54> -- <6.56> -- <6.58> -- <6.60> -- <6.62> -- <6.64> -- <6.66> -- <6.68> -- <6.70> -- <6.72> -- <6.74> -- <6.76> -- <6.78> -- <6.80> -- <6.82> -- <6.84> -- <6.86> -- <6.88> -- <6.90> -- <6.92> -- <6.94> -- <6.96> -- <6.98> -- <7.00> -- <7.02> -- <7.04> -- <7.06> -- <7.08> -- <7.10> -- <7.12> -- <7.14> -- <7.16> -- <7.18> -- <7.20> -- <7.22> -- <7.24> -- <7.26> -- <7.28> -- <7.30> -- <7.32> -- <7.34> -- <7.36> -- <7.38> -- <7.40> -- <7.42> -- <7.44> -- <7.46> -- <7.48> -- <7.50> -- <7.52> -- <7.54> -- <7.56> -- <7.58> -- <7.60> -- <7.62> -- <7.64> -- <7.66> -- <7.68> -- <7.70> -- <7.72> -- <7.74> -- <7.76> -- <7.78> -- <7.80> -- <7.82> -- <7.84> -- <7.86> -- <7.88> -- <7.90> -- <7.92> -- <7.94> -- <7.96> -- <7.98> -- <8.00> -- <8.02> -- <8.04> -- <8.06> -- <8.08> -- <8.10> -- <8.12> -- <8.14> -- <8.16> -- <8.18> -- <8.20> -- <8.22> -- <8.24> -- <8.26> -- <8.28> -- <8.30> -- <8.32> -- <8.34> -- <8.36> -- <8.38> -- <8.40> -- <8.42> -- <8.44> -- <8.46> -- <8.48> -- <8.50> -- <8.52> -- <8.54> -- <8.56> -- <8.58> -- <8.60> -- <8.62> -- <8.64> -- <8.66> -- <8.68> -- <8.70> -- <8.72> -- <8.74> -- <8.76> -- <8.78> -- <8.80> -- <8.82> -- <8.84> -- <8.86> -- <8.88> -- <8.90> -- <8.92> -- <8.94> -- <8.96> -- <8.98> -- <9.00> -- <9.02> -- <9.04> -- <9.06> -- <9.08> -- <9.10> -- <9.12> -- <9.14> -- <9.16> -- <9.18> -- <9.20> -- <9.22> -- <9.24> -- <9.26> -- <9.28> -- <9.30> -- <9.32> -- <9.34> -- <9.36> -- <9.38> -- <9.40> -- <9.42> -- <9.44> -- <9.46> -- <9.48> -- <9.50> -- <9.52> -- <9.54> -- <9.56> -- <9.58> -- <9.60> -- <9.62> -- <9.64> -- <9.66> -- <9.68> -- <9.70> -- <9.72> -- <9.74> -- <9.76> -- <9.78> -- <9.80> -- <9.82> -- <9.84> -- <9.86> -- <9.88> -- <9.90> -- <9.92> -- <9.94> -- <9.96> -- <9.98> -- <10.00> -- <10.02> -- <10.04> -- <10.06> -- <10.08> -- <10.10> -- <10.12> -- <10.14> -- <10.16> -- <10.18> -- <10.20> -- <10.22> -- <10.24> -- <10.26> -- <10.28> -- <10.30> -- <10.32> -- <10.34> -- <10.36> -- <10.38> -- <10.40> -- <10.42> -- <10.44> -- <10.46> -- <10.48> -- <10.50> -- <10.52> -- <10.54> -- <10.56> -- <10.58> -- <10.60> -- <10.62> -- <10.64> -- <10.66> -- <10.68> -- <10.70> -- <10.72> -- <10.74> -- <10.76> -- <10.78> -- <10.80> -- <10.82> -- <10.84> -- <10.86> -- <10.88> -- <10.90> -- <10.92> -- <10.94> -- <10.96> -- <10.98> -- <11.00> -- <11.02> -- <11.04> -- <11.06> -- <11.08> -- <11.10> -- <11.12> -- <11.14> -- <11.16> -- <11.18> -- <11.20> -- <11.22> -- <11.24> -- <11.26> -- <11.28> -- <11.30> -- <11.32> -- <11.34> -- <11.36> -- <11.38> -- <11.40> -- <11.42> -- <11.44> -- <11.46> -- <11.48> -- <11.50> -- <11.52> -- <11.54> -- <11.56> -- <11.58> -- <11.60> -- <11.62> -- <11.64> -- <11.66> -- <11.68> -- <11.70> -- <11.72> -- <11.74> -- <11.76> -- <11.78> -- <11.80> -- <11.82> -- <11.84> -- <11.86> -- <11.88> -- <11.90> -- <11.92> -- <11.94> -- <11.96> -- <11.98> -- <12.00> -- <12.02> -- <12.04> -- <12.06> -- <12.08> -- <12.10> -- <12.12> -- <12.14> -- <12.16> -- <12.18> -- <12.20> -- <12.22> -- <12.24> -- <12.26> -- <12.28> -- <12.30> -- <12.32> -- <12.34> -- <12.36> -- <12.38> -- <12.40> -- <12.42> -- <12.44> -- <12.46> -- <12.48> -- <12.50> -- <12.52> -- <12.54> -- <12.56> -- <12.58> -- <12.60> -- <12.62> -- <12.64> -- <12.66> -- <12.68> -- <12.70> -- <12.72> -- <12.74> -- <12.76> -- <12.78> -- <12.80> -- <12.82> -- <12.84> -- <12.86> -- <12.88> -- <12.90> -- <12.92> -- <12.94> -- <12.96> -- <12.98> -- <13.00> -- <13.02> -- <13.04> -- <13.06> -- <13.08> -- <13.10> -- <13.12> -- <13.14> -- <13.16> -- <13.18> -- <13.20> -- <13.22> -- <13.24> -- <13.26> -- <13.28> -- <13.30> -- <13.32> -- <13.34> -- <13.36> -- <13.38> -- <13.40> -- <13.42> -- <13.44> -- <13.46> -- <13.48> -- <13.50> -- <13.52> -- <13.54> -- <13.56> -- <13.58> -- <13.60> -- <13.62> -- <13.64> -- <13.66> -- <13.68> -- <13.70> -- <13.72> -- <13.74> -- <13.76> -- <13.78> -- <13.80> -- <13.82> -- <13.84> -- <13.86> -- <13.88> -- <13.90> -- <13.92> -- <13.94> -- <13.96> -- <13.98> -- <14.00> -- <14.02> -- <14.04> -- <14.06> -- <14.08> -- <14.10> -- <14.12> -- <14.14> -- <14.16> -- <14.18> -- <14.20> -- <14.22> -- <14.24> -- <14.26> -- <14.28> -- <14.30> -- <14.32> -- <14.34> -- <14.36> -- <14.38> -- <14.40> -- <14.42> -- <14.44> -- <14.46> -- <14.48> -- <14.50> -- <14.52> -- <14.54> -- <14.56> -- <14.58> -- <14.60> -- <14.62> -- <14.64> -- <14.66> -- <14.68> -- <14.70> -- <14.72> -- <14.74> -- <14.76> -- <14.78> -- <14.80> -- <14.82> -- <14.84> -- <14.86> -- <14.88> -- <14.90> -- <14.92> -- <14.94> -- <14.96> -- <14.98> -- <15.00> -- <15.02> -- <15.04> -- <15.06> -- <15.08> -- <15.10> -- <15.12> -- <15.14> -- <15.16> -- <15.18> -- <15.20> -- <15.22> -- <15.24> -- <15.26> -- <15.28> -- <15.30> -- <15.32> -- <15.34> -- <15.36> -- <15.38> -- <15.40> -- <15.42> -- <15.44> -- <15.46> -- <15.48> -- <15.50> -- <15.52> -- <15.54> -- <15.56> -- <15.58> -- <15.60> -- <15.62> -- <15.64> -- <15.66> -- <15.68> -- <15.70> -- <15.72> -- <15.74> -- <15.76> -- <15.78> -- <15.80> -- <15.82> -- <15.84> -- <15.86> -- <15.88> -- <15.90> -- <15.92> -- <15.94> -- <15.96> -- <15.98> -- <16.00> -- <16.02> -- <16.04> -- <16.06> -- <16.08> -- <16.10> -- <16.12> -- <16.14> -- <16.16> -- <16.18> -- <16.20> -- <16.22> -- <16.24> -- <16.26> -- <16.28> -- <16.30> -- <16.32> -- <16.34> -- <16.36> -- <16.38> -- <16.40> -- <16.42> -- <16.44> -- <16.46> -- <16.48> -- <16.50> -- <16.52> -- <16.54> -- <16.56> -- <16.58> -- <16.60> -- <16.62> -- <16.64> -- <16.66> -- <16.68> -- <16.70> -- <16.72> -- <16.74> -- <16.76> -- <16.78> -- <16.80> -- <16.82> -- <16.84> -- <16.86> -- <16.88> -- <16.90> -- <16.92> -- <16.94> -- <16.96> -- <16.98> -- <17.00> -- <17.02> -- <17.04> -- <17.06> -- <17.08> -- <17.10> -- <17.12> -- <17.14> -- <17.16> -- <17.18> -- <17.20> -- <17.22> -- <17.24> -- <17.26> -- <17.28> -- <17.30> -- <17.32> -- <17.34> -- <17.36> -- <17.38> -- <17.40> -- <17.42> -- <17.44> -- <17.46> -- <17.48> -- <17.50> -- <17.52> -- <17.54> -- <17.56> -- <17.58> -- <17.60> -- <17.62> -- <17.64> -- <17.66> -- <17.68> -- <17.70> -- <17.72> -- <17.74> -- <17.76> -- <17.78> -- <17.80> -- <17.82> -- <17.84> -- <17.86> -- <17.88> -- <17.90> -- <17.92> -- <17.94> -- <17.96> -- <17.98> -- <18.00> -- <18.02> -- <18.04> -- <18.06> -- <18.08> -- <18.10> -- <18.12> -- <18.14> -- <18.16> -- <18.18> -- <18.20> -- <18.22> -- <18.24> -- <18.26> -- <18.28> -- <18.30> -- <18.32> -- <18.34> -- <18.36> -- <18.38> -- <18.40> -- <18.42> -- <18.44> -- <18.46> -- <18.48> -- <18.50> -- <18.52> -- <18.54> -- <18.56> -- <18.58> -- <18.60> -- <18.62> -- <18.64> -- <18.66> -- <18.68> -- <18.70> -- <18.72> -- <18.74> -- <18.76> -- <18.78> -- <18.80> -- <18.82> -- <18.84> -- <18.86> -- <18.88> -- <18.90> -- <18.92> -- <18.94> -- <18.96> -- <18.98> -- <19.00> -- <19.02> -- <19.04> -- <19.06> -- <19.08> -- <19.10> -- <19.12> -- <19.14> -- <19.16> -- <19.18> -- <19.20> -- <19.22> -- <19.24> -- <19.26> -- <19.28> -- <19.30> -- <19.32> -- <19.34> -- <19.36> -- <19.38> -- <19.40> -- <19.42> -- <19.44> -- <19.46> -- <19.48> -- <19.50> -- <19.52> -- <19.54> -- <19.56> -- <19.58> -- <19.60> -- <19.62> -- <19.64> -- <19.66> -- <19.68> -- <19.70> -- <19.72> -- <19.74> -- <19.76> -- <19.78> -- <19.80> -- <19.82> -- <19.84> -- <19.86> -- <19.88> -- <19.90> -- <19.92> -- <19.94> -- <19.96> -- <19.98> -- <20.00> -- <20.02> -- <20.04> -- <20.06> -- <20.08> -- <20.10> -- <20.12> -- <20.14> -- <20.16> -- <20.18> -- <20.20> -- <20.22> -- <20.24> -- <20.26> -- <20.28> -- <20.30> -- <20.32> -- <20.34> -- <20.36> -- <20.38> -- <20.40> -- <20.42> -- <20.44> -- <20.46> -- <20.48> -- <20.50> -- <20.52> -- <20.54> -- <20.56> -- <20.58> -- <20.60> -- <20.62> -- <20.64> -- <20.66> -- <20.68> -- <20.70> -- <20.72> -- <20.74> -- <20.76> -- <20.78> -- <20.80> -- <20.82> -- <20.84> -- <20.86> -- <20.88> -- <20.90> -- <20.92> -- <20.94> -- <20.96> -- <20.98> -- <21.00> -- <21.02> -- <21.04> -- <21.06> -- <21.08> -- <21.10> -- <21.12> -- <21.14> -- <21.16> -- <21.18> -- <21.20> -- <21.22> -- <21.24> -- <21.26> -- <21.28> -- <21.30> -- <21.32> -- <21.34> -- <21.36> -- <21.38> -- <21.40> -- <21.42> -- <21.44> -- <21.46> -- <21.48> -- <21.50> -- <21.52> -- <21.54> -- <21.56> -- <21.58> -- <21.60> -- <21.62> -- <21.64> -- <21.66> -- <21.68> -- <21.70> -- <21.72> -- <21.74> -- <21.76> -- <21.78> -- <21.80> -- <21.82> -- <21.84> -- <21.86> -- <21.88> -- <21.90> -- <21.92> -- <21.94> -- <21.96> -- <21.98> -- <22.00> -- <22.02> -- <22.04> -- <22.06> -- <22.08> -- <22.10> -- <22.12> -- <22.14> -- <22.16> -- <22.18> -- <22.20> -- <22.22> -- <22.24> -- <22.26> -- <22.28> -- <22.30> -- <22.32> -- <22.34> -- <22.36> -- <22.38> -- <22.40> -- <22.42> -- <22.44> -- <22.46> -- <22.48> -- <22.50> -- <22.52> -- <22.54> -- <22.56> -- <22.58> -- <22.60> -- <22.62> -- <22.64> -- <22.66> -- <22.68> -- <22.70> -- <22.72> -- <22.74> -- <22.76> -- <22.78> -- <22.80> -- <22.82> -- <22.84> -- <22.86> -- <22.88> -- <22.90> -- <22.92> -- <22.94> -- <22.96> -- <22.98> -- <23.00> -- <23.02> -- <23.04> -- <23.06> -- <23.08> -- <23.10> -- <23.12> -- <23.14> -- <23.16> -- <23.18> -- <23.20> -- <23.22> -- <23.24> -- <23.26> -- <23.28> -- <23.30> -- <23.32> -- <23.34> -- <23.36> -- <23.38> -- <23.40> -- <23.42> -- <23.44> -- <23.46> -- <23.48> -- <23.50> -- <23.52> -- <23.54> -- <23.56> -- <23.58> -- <23.60> -- <23.62> -- <23.64> -- <23.66> -- <23.68> -- <23.70> -- <23.72> -- <23.74> -- <23.76> -- <23.78> -- <23.80> -- <23.82> -- <23.84> -- <23.86> -- <23.88> -- <23.90> -- <23.92> -- <23.94> -- <23.96> -- <23.98> -- <24.00> -- <24.02> -- <24.04> -- <24.06> -- <24.08> -- <24.10> -- <24.12> -- <24.14> -- <24.16> -- <24.18> -- <24.20> -- <24.22> -- <24.24> -- <24.26> -- <24.28> -- <24.30> -- <24.32> -- <24.34> -- <24.36> -- <24.38> -- <24.40> -- <24.42> -- <24.44> -- <24.46> -- <24.48> -- <24.50> -- <24.52> -- <24.54> -- <24.56> -- <24.58> -- <24.60> -- <24.62> -- <24.64> -- <24.66> -- <24.68> -- <24.70> -- <24.72> -- <24.74> -- <24.76> -- <24.78> -- <24.80> -- <24.82> -- <24.84> -- <24.86> -- <24.88> -- <24.90> -- <24.92> -- <24.94> -- <24.96> -- <24.98> -- <25.00> -- <25.02> -- <25.04> -- <25.06> -- <25.08> -- <25.10> -- <25.12> -- <25.14> -- <25.16> -- <25.18> -- <25.20> -- <25.22> -- <25.24> -- <25.26> -- <25.28> -- <25.30> -- <25.32> -- <25.34> -- <25.36> -- <25.38> -- <25.40> -- <25.42> -- <25.44> -- <25.46> -- <25.48> -- <25.50> -- <25.52> -- <25.54> -- <25.56> -- <25.58> -- <25.60> -- <25.62> -- <25.64> -- <25.66> -- <25.68> -- <25.70> -- <25.72> -- <25.74> -- <25.76> -- <25.78> -- <25.80> -- <25.82> -- <25.84> -- <25.86> -- <25.88> -- <25.90> -- <25.92> -- <25.94> -- <25.96> -- <25.98> -- <26.00> -- <26.02> -- <26.04> -- <26.06> -- <26.08> -- <26.10> -- <26.12> -- <26.14> -- <26.16> -- <26.18> -- <26.20> -- <26.22> -- <26.24> -- <26.26> -- <26.28> -- <26.30> -- <26.32> -- <26.34> -- <26.36> -- <26.38> -- <26.40> -- <26.42> -- <26.44> -- <26.46> -- <26.48> -- <26.50> -- <26.52> -- <26.54> -- <26.56> -- <26.58> -- <26.60> -- <26.62> -- <26.64> -- <26.66> -- <26.68> -- <26.70> -- <26.72> -- <26.74> -- <26.76> -- <26.78> -- <26.80> -- <26.82> -- <26.84> -- <26.86> -- <26.88> -- <26.90> -- <26.92> -- <26.94> -- <26.96> -- <26.98> -- <27.00> -- <27.02> -- <27.04> -- <27.06> -- <27.08> -- <27.10> -- <27.12> -- <27.14> -- <27.16> -- <27.18> -- <27.20> -- <27.22> -- <27.24> -- <27.26> -- <27.28> -- <27.30> -- <27.32> -- <27.34> -- <27.36> -- <27.38> -- <27.40> -- <27.42> -- <27.44> -- <27.46> -- <27.48> -- <27.50> -- <27.52> -- <27.54> -- <27.56> -- <27.58> -- <27.60> -- <27.62> -- <27.64> -- <27.66> -- <27.68> -- <27.70> -- <27.72> -- <27.74> -- <27.76> -- <27.78> -- <27.80> -- <27.82> -- <27.84> -- <27.86> -- <27.88> -- <27.90> -- <27.92> -- <27.94> -- <27.96> -- <27.98> -- <28.00> -- <28.02> -- <28.04> -- <28.06> -- <28.08> -- <28.10> -- <28.12> -- <28.14> -- <28.16> -- <28.18> -- <28.20> -- <28.22> -- <28.24> -- <28.26> -- <28.28> -- <28.30> -- <28.32> -- <28.34> -- <28.36> -- <28.38> -- <28.40> -- <28.42> -- <28.44> -- <28.46> -- <28.48> -- <28.50> -- <28.52> -- <28.54> -- <28.56> -- <28.58> -- <28.60> -- <28.62> -- <28.64> -- <28.66> -- <28.68> -- <28.70> -- <28.72> -- <28.74> -- <28.76> -- <28.78> -- <28.80> -- <28.82> -- <28.84> -- <28.86> -- <28.88> -- <28.90> -- <28.92> -- <28.94> -- <28.96> -- <28.98> -- <29.00> -- <29.02> -- <29.04> -- <29.06> -- <29.08> -- <29.10> -- <29.12> -- <29.14> -- <29.16> -- <29.18> -- <29.20> -- <29.22> -- <29.24> -- <29.26> -- <29.28> -- <29.30> -- <29.32> -- <29.34> -- <29.36> -- <29.38> -- <29.40> -- <29.42> -- <29.44> -- <29.46> -- <29.48> -- <29.50> -- <29.52> -- <29.54> -- <29.56> -- <29.58> -- <29.60> -- <29.62> -- <29.64> -- <29.66> -- <29.68> -- <29.70> -- <29.72> -- <29.74> -- <29.76> -- <29.78> -- <29.80> -- <29.82> -- <29.84> -- <29.86> -- <29.88> -- <29.90> -- <29.92> -- <29.94> -- <29.96> -- <29.98> -- <30.00> -- ▁ -- ',' -- ▁the -- . -- s -- ▁and -- ▁of -- ▁to -- ▁a -- 。 -- ▁in -- '''' -- ▁that -- ▁i -- ▁it -- ▁was -- en -- e -- t -- ▁you -- ▁he -- ▁is -- 的 -- '-' -- ▁for -- ▁de -- ▁with -- ▁be -- n -- d -- ▁as -- ▁his -- ▁we -- の -- ▁on -- 、 -- ▁die -- ▁had -- a -- ▁but -- ▁so -- '?' -- o -- ▁not -- ▁at -- ▁have -- ▁this -- ▁und -- er -- ▁her -- i -- ▁they -- m -- ed -- re -- ▁she -- ▁an -- ▁by -- ▁der -- ing -- ▁all -- ▁are -- ▁la -- が -- を -- ▁from -- ▁me -- ▁which -- ▁my -- es -- ▁one -- は -- ▁no -- ▁there -- 了 -- ▁him -- ▁or -- ▁were -- に -- y -- ▁do -- ▁what -- r -- ▁zu -- ▁our -- u -- ▁if -- ly -- ▁ist -- ▁would -- ▁when -- ▁their -- ▁will -- ▁said -- で -- ▁es -- ▁like -- ▁das -- ▁Sie -- ▁them -- 在 -- ▁can -- ▁who -- ▁out -- ▁know -- te -- ▁been -- ▁ich -- ▁about -- ▁up -- ▁I -- '!' -- ▁more -- ▁man -- ve -- 我 -- ▁que -- ▁un -- 是 -- ▁sie -- 和 -- ▁then -- ▁your -- ▁ein -- ▁some -- ▁den -- а -- ▁now -- 你 -- ▁von -- ▁nicht -- ▁very -- と -- ▁has -- ▁into -- in -- ▁time -- ▁в -- ar -- ▁just -- ▁не -- ▁um -- k -- ▁could -- ▁dass -- ▁Und -- 人 -- ▁think -- ▁auf -- al -- de -- ▁и -- ▁war -- ▁eine -- ▁over -- ▁mit -- ▁well -- も -- 他 -- ▁see -- ▁also -- ▁wir -- ▁other -- ▁des -- le -- ▁how -- ll -- ▁than -- 不 -- 啊 -- ▁these -- ▁little -- ▁sich -- ▁" -- ten -- c -- an -- ▁us -- 上 -- ▁l -- ▁two -- ▁any -- 有 -- ▁don -- ▁go -- ▁did -- ▁people -- ▁only -- е -- na -- ▁good -- l -- st -- ▁where -- ▁на -- ▁el -- ▁se -- z -- to -- 中 -- ▁first -- g -- ta -- ▁na -- ▁di -- ▁als -- is -- ▁come -- ▁Ich -- ▁much -- ▁für -- ne -- ▁с -- 我们 -- 大 -- ▁get -- ▁here -- ▁down -- у -- ▁du -- ▁le -- ▁что -- から -- ▁way -- h -- ▁y -- ▁wie -- ▁should -- ▁before -- ▁am -- ▁made -- ▁those -- ▁after -- 一 -- 'on' -- ▁upon -- ▁because -- ▁back -- ▁right -- ▁haben -- se -- ▁great -- 他们 -- ▁say -- ▁going -- です -- 这个 -- ▁dem -- и -- 就 -- f -- ▁по -- ▁make -- ra -- 来 -- ▁The -- م -- ▁er -- ▁its -- ▁such -- ▁ver -- ▁may -- w -- ge -- ▁even -- la -- ▁men -- 说 -- ':' -- ▁new -- ▁im -- 地 -- é -- da -- ch -- ▁through -- 呢 -- ▁long -- な -- me -- ▁never -- ▁most -- ▁Es -- as -- il -- p -- ▁A -- ▁must -- '"' -- ▁sind -- ▁day -- し -- 一个 -- ▁really -- ▁per -- b -- ▁came -- ▁con -- '1' -- 这 -- man -- ▁And -- ▁life -- ▁many -- м -- ▁old -- est -- я -- j -- ▁я -- ▁yeah -- 'no' -- ro -- ▁again -- т -- ▁things -- ▁La -- ▁hat -- be -- ma -- ▁mu -- ▁own -- 她 -- den -- ▁take -- ci -- ▁et -- ▁aus -- ▁being -- ▁je -- ga -- os -- 它 -- ni -- we -- ▁mr -- ▁still -- ir -- ▁我 -- '2' -- ▁last -- か -- 小 -- ▁too -- ▁les -- ▁might -- 会 -- ▁work -- us -- ▁у -- ce -- や -- ▁every -- un -- ▁We -- 子 -- ▁ku -- ▁al -- 去 -- ▁за -- ▁So -- ы -- at -- ▁want -- る -- ی -- ▁Die -- 到 -- it -- ▁went -- ▁look -- ▁über -- х -- ▁In -- ti -- ▁years -- 对 -- ’ -- 吗 -- ▁это -- ▁same -- ▁three -- ▁something -- ▁da -- do -- li -- ▁werden -- ▁let -- ▁thought -- ▁himself -- ▁ne -- й -- ▁ah -- 被 -- ▁van -- って -- ▁got -- ▁ge -- д -- ▁world -- ね -- い -- ▁wenn -- va -- 好 -- ▁einen -- 要 -- ▁thing -- ▁while -- ▁à -- ▁part -- 都 -- ه -- с -- 着 -- ▁year -- el -- ▁del -- ▁oh -- ▁away -- ▁hand -- ▁Er -- em -- et -- ho -- 下 -- た -- ▁Das -- ▁auch -- ka -- ▁ya -- ter -- ▁kind -- ▁without -- ▁place -- ж -- ▁put -- 出 -- lo -- ba -- ment -- ▁oder -- ▁under -- 没有 -- した -- л -- ▁вы -- ▁una -- ▁off -- th -- ▁то -- ri -- 里 -- ▁yet -- ze -- н -- する -- ▁diese -- ▁another -- ers -- ▁why -- je -- ▁found -- 从 -- 时 -- ko -- 就是 -- sa -- ng -- ▁S -- ▁shall -- ▁aber -- ▁sein -- or -- ▁а -- 点 -- '3' -- ur -- ка -- ▁tell -- ▁god -- お -- ▁و -- ▁Aber -- ke -- ness -- 也 -- ▁far -- able -- ▁give -- si -- して -- ▁though -- ▁nothing -- mo -- ▁eyes -- 手 -- ▁once -- 家 -- x -- ver -- ▁always -- ▁het -- 日 -- ▁saw -- ▁house -- men -- 用 -- di -- ▁ha -- この -- ja -- go -- ▁wird -- ▁ever -- ▁een -- ▁face -- о -- ) -- ▁vor -- ▁你 -- 年 -- ▁love -- am -- 想 -- ung -- ent -- ▁uns -- ▁home -- he -- на -- ▁habe -- ation -- ▁head -- ▁nach -- ли -- ▁nur -- mi -- ▁few -- zi -- ▁young -- но -- ن -- て -- ▁mean -- ▁mich -- ki -- ▁better -- ▁each -- ▁einem -- ▁find -- ha -- ▁si -- ▁business -- ш -- ت -- では -- ▁left -- ▁both -- ton -- ▁It -- ▁v -- der -- v -- ▁einer -- 那 -- 为 -- wa -- ▁night -- · -- 过 -- ▁took -- ▁( -- ▁können -- ▁mind -- ▁— -- ya -- ▁father -- ▁mir -- ▁moment -- ▁done -- 得 -- ▁va -- ca -- د -- 水 -- ▁su -- 」 -- ▁against -- ▁need -- ry -- 吧 -- 的人 -- ▁end -- ▁yes -- sch -- ▁lot -- ity -- という -- um -- ▁course -- co -- ▁dat -- ▁half -- ▁between -- 高 -- ▁Wir -- ▁من -- ant -- り -- ▁next -- ste -- 当 -- ▁noch -- ▁pro -- ▁He -- 多 -- 做 -- ▁E -- gen -- 本 -- 这些 -- 事 -- でも -- ▁می -- ▁door -- к -- ▁called -- ted -- son -- ▁looked -- za -- ▁ja -- ul -- 前 -- tu -- ▁ko -- ▁wurde -- ye -- ス -- ، -- 什么 -- ▁por -- ▁kann -- ▁los -- ▁asked -- ش -- ▁seen -- ▁как -- 回 -- ла -- 「 -- ▁дробь -- ▁улица -- 心 -- ▁side -- ▁told -- ▁does -- ら -- '4' -- 者 -- lu -- ▁son -- ▁having -- 生 -- ▁water -- 分 -- ol -- 三 -- ▁sehr -- ▁quite -- ▁hatte -- 看 -- ▁El -- ▁heard -- ▁whole -- ▁heart -- ▁believe -- '".' -- ▁te -- ▁met -- ч -- 打 -- 与 -- ▁name -- ▁uh -- 的时候 -- ▁ni -- 而 -- ▁mother -- ▁در -- ▁ال -- vo -- 把 -- ▁bei -- land -- 能 -- ▁ob -- ▁knew -- ▁о -- ▁op -- ▁ma -- ▁different -- ▁around -- ▁best -- ▁به -- ▁call -- 可以 -- ▁mi -- ▁enough -- ▁il -- ▁second -- ▁para -- く -- 行 -- 自己 -- ▁par -- 性 -- ie -- ▁point -- ▁seemed -- ю -- ます -- 后 -- ▁ba -- ▁set -- ▁four -- 所 -- ました -- ة -- ▁pas -- ▁mrs -- so -- には -- ▁woman -- ia -- ven -- ▁room -- ▁да -- 山 -- ting -- その -- ・ -- bo -- S -- ▁five -- ▁che -- ion -- 이 -- ▁high -- 走 -- ▁所以 -- ▁sure -- ▁但是 -- ▁durch -- 还 -- '5' -- ▁hundred -- ▁country -- ▁light -- ▁sir -- та -- ▁use -- ▁hier -- ▁anything -- ▁sa -- г -- ▁к -- ▁actually -- 现在 -- ad -- by -- ▁bir -- ku -- ▁он -- ▁quarter -- ▁wa -- ▁po -- ó -- ▁при -- ▁almost -- ▁про -- ▁days -- ▁от -- ▁他 -- 天 -- ken -- ▁help -- 最 -- ▁care -- ▁sort -- ر -- 您 -- ▁dieser -- ▁Der -- po -- 特 -- id -- 新 -- ▁L -- ▁ab -- ですね -- ▁gibt -- ▁soon -- ler -- 国 -- ▁com -- ▁з -- ▁Be -- 我的 -- ▁white -- ▁alle -- ▁dann -- du -- ling -- ▁small -- 力 -- ي -- less -- ▁together -- ▁fact -- im -- ▁since -- ▁money -- ak -- ▁мы -- 很 -- à -- 个 -- 你的 -- ▁qui -- ▁doing -- さん -- hi -- 更 -- ▁until -- 给 -- ine -- 斯 -- ▁talk -- ▁question -- ▁nor -- 老 -- き -- ty -- ▁twenty -- ▁didn -- ▁used -- ik -- vi -- ▁bit -- ▁hard -- ▁miss -- zu -- ▁big -- ▁full -- ▁Le -- ▁Re -- ▁yn -- ▁De -- ist -- よ -- 非常 -- au -- ▁gave -- 不是 -- ▁morning -- さ -- з -- ▁mehr -- ов -- 将 -- ку -- ▁keep -- pa -- ut -- 可能 -- ▁lord -- ▁rest -- ▁number -- ▁An -- que -- ▁real -- 가 -- ▁words -- ▁began -- and -- ки -- 呀 -- ▁ik -- ▁immer -- ▁however -- ▁hands -- ▁open -- ▁king -- 头 -- ▁bin -- ▁ب -- A -- ▁lo -- bi -- ▁looking -- ▁раз -- ▁pe -- led -- ل -- ▁па -- ▁c -- п -- ig -- р -- ▁turned -- ▁feel -- ▁En -- 那个 -- ▁waren -- 可 -- lar -- ic -- ▁і -- ▁felt -- ▁так -- 比 -- ▁zum -- ▁bu -- ها -- 再 -- ▁في -- ▁wirklich -- 像 -- в -- 外 -- ▁etwas -- 开始 -- 已经 -- 长 -- ちょっと -- ▁poor -- ▁pour -- ▁D -- ▁power -- 或 -- 名 -- ▁word -- ▁among -- gi -- 度 -- ▁myself -- ▁children -- ▁during -- ا -- ▁whom -- ▁ka -- しました -- ▁这 -- ▁lady -- ▁large -- ▁matter -- ▁death -- ▁Ver -- ▁Ja -- ▁vi -- pe -- ▁true -- '6' -- ▁certain -- ate -- ом -- kan -- nt -- ▁state -- ▁pa -- 并 -- ь -- ▁till -- ▁که -- ▁dans -- ▁person -- 月 -- 金 -- ▁present -- ▁general -- les -- ▁tun -- ▁O -- tion -- ă -- 向 -- ▁boy -- 因为 -- ▁live -- ▁case -- ▁est -- ▁brought -- 以 -- ▁black -- 成 -- 又 -- 你们 -- ek -- ▁order -- ▁dis -- oj -- ▁rather -- mu -- だ -- ▁Se -- 太 -- ▁voice -- ▁w -- ▁все -- ▁taken -- zo -- 道 -- ▁Menschen -- 先 -- jo -- ть -- ▁Wenn -- 让 -- ▁perhaps -- ▁given -- ない -- 内 -- ▁hear -- ▁already -- ju -- 所以 -- ся -- ▁une -- dy -- ▁important -- ▁girl -- ▁human -- ▁show -- 发 -- ▁вот -- 这种 -- ▁ihre -- ▁را -- ▁C -- wi -- ▁hij -- á -- ▁ihr -- ▁B -- ▁qu -- ▁ihn -- ▁K -- ▁company -- lan -- ▁meine -- ▁strong -- ren -- ▁thousand -- the -- った -- га -- ▁seine -- す -- ▁air -- ▁coming -- ▁But -- 面 -- ▁friend -- ▁-- -- ben -- ▁within -- ▁round -- 海 -- 方 -- ▁Li -- ▁change -- ва -- ji -- ard -- ▁six -- み -- 二 -- ai -- ▁often -- ▁everything -- ▁sea -- ع -- 没 -- ▁along -- nie -- ▁sent -- ▁Ein -- ▁whether -- 他的 -- '7' -- ▁wissen -- 无 -- う -- 这是 -- とか -- 尔 -- per -- ▁estas -- 但 -- ▁но -- ieren -- ▁This -- ▁car -- ive -- ▁themselves -- ب -- 车 -- 口 -- ▁forward -- 入 -- 学 -- ▁co -- ▁N -- ado -- ▁Na -- 西 -- 何 -- ▁others -- ▁za -- í -- つ -- го -- ▁我们 -- ▁idea -- 开 -- ▁keur -- س -- ▁across -- ▁dear -- ▁stood -- ▁school -- ▁那 -- ▁understand -- ▁sagte -- ▁making -- ▁dan -- ck -- bu -- ▁family -- ▁fire -- ▁nature -- ▁near -- ▁из -- 于 -- ем -- もう -- ▁times -- да -- ▁herself -- ▁public -- ▁niet -- ▁b -- ▁Zeit -- ▁read -- ▁cannot -- ▁pre -- ▁hope -- 花 -- ▁turn -- ▁city -- ル -- ▁این -- cu -- ▁würde -- è -- ▁است -- ▁zijn -- ger -- 死 -- ▁از -- sta -- ны -- ▁viel -- ▁li -- ner -- ▁women -- ▁gone -- ▁sagen -- ster -- ▁non -- ▁sur -- 听 -- ▁然后 -- fe -- ▁ser -- ▁means -- ▁thus -- いい -- ▁tu -- ▁child -- ▁least -- ق -- ▁sehen -- ▁T -- ▁nu -- 化 -- ▁pretty -- aba -- ▁ki -- ты -- ▁sense -- ▁says -- ada -- ▁أ -- fa -- 工作 -- ので -- ▁reason -- 这样 -- ▁einfach -- ▁keine -- ▁behind -- 日本 -- ▁この -- ▁wife -- ▁Il -- T -- E -- いた -- che -- ▁voor -- ▁short -- ▁bi -- 一些 -- ▁body -- ▁indeed -- 先生 -- ▁ce -- ▁feet -- wo -- 一样 -- '8' -- ▁M -- 就像 -- ▁wo -- 还是 -- 德 -- نا -- ▁до -- ▁Ma -- ▁sat -- ▁continue -- ま -- ts -- ▁unter -- age -- q -- ▁ask -- 儿 -- ▁U -- ▁close -- ить -- ம் -- ▁several -- 放 -- ▁won -- ▁om -- ية -- ▁whose -- не -- ▁market -- 之 -- ▁red -- ▁possible -- C -- up -- 你知道 -- ▁amb -- イ -- わ -- 部 -- ▁leave -- tes -- など -- 는 -- として -- ▁less -- ile -- ク -- ▁become -- ля -- ▁later -- 重 -- 拉 -- ان -- 吃 -- ▁known -- ▁Un -- ف -- ▁growth -- zen -- ä -- P -- ft -- ▁Ge -- ▁friends -- و -- lich -- ▁either -- ny -- gu -- ▁story -- ▁probably -- 体 -- ous -- ana -- ▁ihm -- ー -- ▁Sch -- ▁able -- ▁thou -- ▁else -- ▁wieder -- io -- 白 -- ц -- 跟 -- 万 -- ▁run -- 光 -- 位 -- ▁diesem -- ▁bad -- б -- ▁alone -- 但是 -- ات -- ▁そして -- ▁gut -- ز -- ▁start -- 法 -- ▁past -- 路 -- ▁itself -- iert -- aj -- ▁în -- š -- ▁Art -- ле -- ▁jetzt -- I -- ran -- і -- ▁therefore -- ア -- ▁free -- ▁sometimes -- ▁passed -- ў -- ▁speak -- mos -- 数 -- 问题 -- yo -- ▁book -- ▁line -- ▁andere -- ▁mal -- chen -- ми -- ▁Bu -- ▁above -- ▁became -- ▁Al -- bar -- 我们的 -- ▁wanted -- des -- ال -- way -- 利 -- era -- ك -- ▁bo -- ▁Je -- ▁cried -- '9' -- ban -- ▁today -- tro -- ▁au -- 今 -- 고 -- ▁getting -- 别 -- ▁okay -- ley -- ▁kaj -- ham -- 马 -- ん -- fer -- sten -- 지 -- ▁saying -- ▁No -- ▁bring -- ▁zwei -- 四 -- ated -- 需要 -- ▁p -- 田 -- ح -- ▁weil -- ▁las -- ▁z -- mer -- gel -- ▁és -- 世界 -- '10' -- ber -- 孩子 -- んだ -- ет -- end -- 都是 -- ▁ta -- ▁그 -- だった -- 王 -- リ -- ▁form -- ▁dead -- ▁hour -- ▁future -- ма -- ▁bis -- ▁machen -- 物 -- پ -- лі -- ▁earth -- ▁zur -- 自 -- nd -- ful -- カ -- ▁là -- ▁government -- ▁Do -- 钱 -- ▁، -- му -- nu -- ▁play -- ▁remember -- ▁land -- ▁bed -- ▁vous -- ere -- ▁plus -- 知道 -- 两 -- 带 -- 真 -- ▁fast -- ish -- ning -- 快 -- 身 -- ▁fell -- ▁dark -- ▁held -- 时间 -- rs -- 定 -- им -- ▁As -- ▁started -- ▁lost -- op -- 主 -- ▁hi -- ▁como -- 爱 -- ▁ت -- ▁answer -- ▁Was -- 一下 -- ▁bar -- ▁один -- tor -- します -- gan -- ▁cost -- ная -- ▁fa -- nya -- ang -- ▁сто -- ой -- ▁early -- ari -- min -- ご -- ▁müssen -- su -- ▁ground -- lin -- ▁answered -- ▁ago -- red -- ▁anderen -- ▁lay -- 明 -- ▁Vi -- ▁ў -- ▁Ba -- con -- ▁stand -- 正 -- ▁但 -- 安 -- 知 -- 加 -- ▁под -- 合 -- ▁selbst -- 谁 -- 起 -- han -- ▁они -- ▁em -- ра -- ▁Ha -- ç -- ']' -- tt -- vu -- 五 -- ▁truth -- ▁Ka -- 美 -- ▁mar -- ot -- ド -- ▁мне -- 看到 -- ▁alles -- 流 -- ▁denke -- ▁try -- ac -- iz -- ait -- 人们 -- ker -- cy -- ru -- ▁clear -- ко -- 同 -- ▁Leute -- ▁working -- 克 -- ▁Ne -- ▁front -- ▁towards -- ▁replied -- ト -- port -- ▁taking -- ▁Ihnen -- ▁viele -- 火 -- 然后 -- ▁же -- 怎么 -- her -- え -- র -- ▁further -- 等 -- 那么 -- day -- 的话 -- ин -- 叫 -- ▁Dinge -- ▁fine -- ▁ad -- 市 -- வ -- ▁kon -- ▁ну -- ам -- 只是 -- om -- ▁zurück -- ▁trying -- ." -- tan -- ism -- ▁law -- O -- ▁town -- ▁было -- ▁для -- 感 -- ▁fear -- ff -- ▁Da -- 门 -- lle -- ez -- B -- 全 -- 气 -- これ -- にも -- ▁его -- ini -- ern -- まで -- ire -- 目 -- ▁ты -- 真的 -- ラ -- ; -- ▁thank -- ▁со -- ▁table -- are -- ▁ye -- ؟ -- ▁Y -- 使用 -- 中国 -- ▁есть -- ▁third -- ▁church -- ▁dieses -- ▁expect -- ú -- 作 -- います -- ex -- ▁Du -- ▁art -- 平 -- ▁Sa -- ▁diesen -- ный -- ▁sun -- ▁doubt -- ▁бы -- ▁return -- qui -- ▁system -- ▁pay -- ap -- ▁sin -- ▁era -- ▁[ -- ü -- ance -- のは -- ▁plan -- 도 -- め -- ▁maybe -- ▁soul -- ர் -- コ -- 野 -- ▁dr -- ita -- tre -- ina -- ло -- ▁muss -- ▁الم -- sen -- 通 -- ▁aan -- 请 -- ▁sound -- ring -- ▁거 -- ند -- one -- ▁Wie -- 南 -- ▁beautiful -- ▁seems -- 見 -- ах -- ▁week -- ▁brother -- ▁два -- ▁با -- ▁kept -- sha -- 時 -- elle -- あ -- ary -- gar -- ▁certainly -- ▁continued -- ▁comes -- ▁P -- ▁top -- ▁position -- ча -- 어 -- '20' -- sto -- ▁там -- ит -- ▁gu -- ▁нас -- K -- ▁suddenly -- ▁seven -- ▁thinking -- ▁А -- している -- 에 -- ab -- ▁wish -- ▁talking -- ▁ready -- ▁Mi -- ▁master -- F -- ▁service -- 自己的 -- ন -- ▁evening -- しています -- ▁view -- ▁cap -- ▁thy -- 那些 -- ▁nie -- ک -- ▁ما -- sel -- ▁subject -- 通过 -- ▁Per -- '...' -- 应该 -- ▁Ta -- ▁eines -- ▁cold -- ure -- és -- pi -- ▁dé -- 文 -- ▁longer -- ▁letter -- ▁cause -- ▁Ro -- ▁happened -- kin -- 生活 -- ды -- ▁deep -- ▁nous -- ▁если -- dan -- ▁common -- ding -- 立 -- 使 -- ▁happy -- ▁post -- van -- ▁zij -- bel -- でした -- ン -- tar -- ▁дом -- ▁ca -- んで -- ▁low -- ▁arm -- 区 -- ▁gi -- ▁cu -- 动 -- ▁pass -- ти -- ни -- то -- ble -- ▁interest -- ▁dit -- 格 -- ah -- ▁schon -- cia -- ix -- 这么 -- ê -- igen -- ▁ihnen -- 只 -- ▁john -- 米 -- une -- ▁Ihre -- ▁manner -- ▁living -- ies -- ▁To -- 它们 -- 声 -- து -- ama -- ▁natural -- ある -- 送 -- いて -- ▁hold -- ▁thirty -- ▁eight -- ▁「 -- ▁б -- ▁Welt -- mp -- 研究 -- ▁spirit -- fi -- ▁months -- された -- ▁river -- ▁அ -- ين -- ▁unsere -- 出来 -- ▁husband -- ▁watch -- G -- ক -- ▁capital -- ite -- sh -- 店 -- 不会 -- mal -- ris -- 问 -- ▁road -- 意 -- 住 -- ▁rose -- ▁fi -- los -- ▁guess -- val -- 总 -- ▁Ab -- 的是 -- ▁seeing -- ▁support -- 喜欢 -- ня -- ной -- ▁result -- ub -- ▁Ni -- 有一个 -- 我想 -- 原 -- ▁You -- ▁value -- во -- ط -- ▁deal -- ▁meet -- ▁results -- 号 -- ▁wurden -- 長 -- bra -- 今天 -- tic -- 木 -- 不能 -- ▁street -- 次 -- 希望 -- ▁vol -- 情 -- 给我 -- ▁green -- ар -- ▁denn -- ▁social -- ▁hours -- 或者 -- 科 -- ▁returned -- ▁cut -- ил -- ▁experience -- vis -- ian -- ون -- len -- ▁sub -- ungen -- ▁strange -- ud -- 元 -- ▁werde -- 戦 -- кі -- いる -- ая -- 是的 -- ▁whatever -- ▁einige -- ▁sight -- 之前 -- ▁mein -- 公司 -- 半 -- 的事情 -- ▁drei -- 言 -- ▁doesn -- 公 -- ischen -- car -- ▁その -- ▁Aus -- ей -- те -- 也是 -- 是一个 -- ▁să -- ▁fair -- ▁У -- ▁terms -- ▁food -- 気 -- ▁minutes -- ef -- 的东西 -- ▁seiner -- ▁아 -- 能够 -- ль -- خ -- ▁ex -- ons -- sche -- ▁Te -- ▁court -- ▁process -- ナ -- tel -- ▁account -- 发现 -- 该 -- 品 -- 林 -- ▁received -- ▁blood -- ▁меня -- ных -- ence -- ag -- D -- ▁followed -- ▁Ra -- ▁ho -- ▁Mo -- 干 -- ▁pri -- ロ -- 张 -- がある -- ò -- ▁feeling -- ну -- ici -- ▁Co -- 州 -- 觉得 -- ▁particular -- las -- ல் -- マ -- ▁Di -- ▁makes -- ні -- lie -- ▁はい -- ▁yo -- ▁due -- 他们的 -- ▁move -- ▁یک -- ▁english -- 第 -- line -- ā -- 女 -- ▁أن -- ▁mais -- ▁seem -- 讲 -- 代 -- 八 -- ▁Vor -- ende -- ▁damit -- ما -- 线 -- ▁act -- ▁beyond -- ria -- れ -- nen -- ▁captain -- zer -- ▁single -- ▁hair -- ▁об -- té -- ▁arms -- ▁spoke -- ▁They -- tra -- ▁suppose -- ▁có -- tas -- க் -- ர -- ▁self -- ▁Also -- ▁information -- ▁data -- ▁simple -- وا -- ста -- 之后 -- ша -- ▁wild -- ▁horse -- ige -- ▁R -- 还有 -- 一点 -- M -- king -- ▁tried -- ▁sleep -- č -- 相 -- ▁mine -- 을 -- 石 -- ée -- 社会 -- ndo -- 色 -- _ -- mes -- 量 -- 人が -- 神 -- ▁wrong -- 大家 -- ▁effect -- ▁wind -- ▁history -- ▁sit -- ▁yourself -- ور -- 才 -- 集 -- ▁eye -- 球 -- 理 -- ▁walk -- ▁fifty -- ブ -- ▁states -- 军 -- cer -- ▁foot -- ▁Um -- 们 -- レ -- hu -- cht -- ▁очень -- 台 -- だけ -- じ -- 形 -- ▁inter -- ▁Les -- ▁problem -- gri -- ▁although -- ▁fer -- ▁maar -- こ -- 空 -- ме -- 不要 -- ▁gold -- ische -- N -- 找 -- ▁G -- ▁mo -- fu -- ▁这是 -- ura -- mente -- ally -- ▁F -- 关于 -- 北 -- if -- 很多 -- î -- ▁space -- ست -- ▁когда -- ▁period -- なかった -- ▁ei -- 所有 -- ▁könnte -- ています -- んです -- ▁glad -- こと -- タ -- ▁weiß -- 六 -- ▁example -- ▁двадцать -- ▁stop -- ▁stuff -- 私 -- ▁els -- ron -- ▁reached -- 认为 -- ▁doctor -- ę -- 政府 -- 让我 -- ▁none -- nde -- ano -- ම -- ▁daughter -- ▁send -- ▁force -- のか -- use -- 进 -- tter -- ▁chance -- ras -- ▁attention -- че -- 见 -- ▁W -- 买 -- ▁fall -- ▁pot -- 教 -- ম -- room -- ▁Man -- ş -- について -- ▁она -- ▁blue -- ▁exactly -- ale -- 如果 -- ▁New -- 东西 -- né -- ▁dir -- 時間 -- ▁Ku -- ▁camp -- ▁stay -- wer -- ▁party -- ▁Si -- ▁especially -- ض -- 完全 -- 川 -- wn -- af -- ando -- fen -- ди -- ▁character -- ▁dich -- ▁except -- вер -- 布 -- ▁please -- my -- ок -- ▁Pa -- そう -- ▁Als -- ▁share -- ▁hatten -- ия -- フ -- 事情 -- ▁Leben -- ▁higher -- ▁tôi -- 阿 -- 何か -- ement -- 受 -- になる -- ▁mis -- ▁outside -- ▁following -- ▁hu -- ▁level -- ▁Me -- ные -- ▁geht -- 信 -- ру -- ▁couple -- ▁lui -- ▁necessary -- ok -- ▁Auf -- ele -- 器 -- 给你 -- 卡 -- 味 -- やっぱり -- 起来 -- це -- 话 -- ▁instead -- ▁và -- ▁opportunity -- ▁carried -- ▁nun -- eg -- nk -- ▁appeared -- ▁toward -- 食 -- 如何 -- ▁gab -- cho -- ▁respect -- 风 -- ati -- ▁south -- ▁Teil -- 美国 -- シ -- ▁added -- ž -- ▁window -- ▁如果 -- nda -- 正在 -- ▁او -- är -- ன் -- ö -- ▁control -- ating -- もの -- ▁england -- ор -- ф -- за -- ▁seinen -- ▁пере -- ▁nine -- па -- ▁questions -- ই -- 成为 -- 越 -- オ -- ▁ought -- 期 -- ▁más -- ▁save -- 九 -- 朝 -- del -- ць -- ▁Mu -- ▁late -- ▁lower -- ▁нь -- 民 -- ira -- 以后 -- ▁lived -- ▁health -- ▁knowledge -- ▁ke -- ▁Lo -- 写 -- ▁што -- ns -- ▁нет -- ▁现在 -- res -- са -- ▁customers -- ▁tra -- он -- 嘛 -- ▁dollars -- ый -- ё -- ▁Mae -- ▁Bo -- ▁gehen -- cha -- ▁wat -- ▁Po -- र -- 歌 -- ▁opened -- ks -- ار -- 取 -- ▁Im -- chi -- ▁miles -- ▁grand -- eth -- let -- また -- 少 -- ▁haar -- ている -- ▁pen -- ▁wall -- ach -- க்க -- ▁è -- 学校 -- 选择 -- ▁comp -- ▁eighteen -- ▁step -- ▁easy -- tur -- 哪 -- heit -- ば -- ▁quickly -- don -- ▁Mal -- mar -- ▁wait -- ging -- 书 -- っていう -- ky -- 回来 -- 员 -- eur -- ба -- ▁Pro -- 城 -- ▁Bi -- ien -- ▁neither -- ▁уже -- ре -- tal -- ▁fellow -- ise -- ▁group -- ▁product -- lla -- ▁Ri -- ام -- 人の -- ▁building -- ▁чтобы -- ide -- ▁因为 -- ▁goes -- ▁north -- ▁chi -- ▁jeung -- ▁Z -- ▁vielleicht -- ▁music -- ு -- 一种 -- ▁main -- ▁три -- una -- ▁paper -- 周 -- ри -- ▁bright -- ▁beginning -- க -- ным -- out -- ▁V -- ры -- tin -- 几 -- ▁hall -- L -- ▁ningal -- ▁wonder -- ▁diwawancara -- ▁forth -- ▁olohok -- ▁office -- ▁christ -- ▁sweet -- ▁möchte -- ミ -- 後 -- ذ -- ▁wollen -- stre -- stand -- ▁ihren -- ities -- H -- ned -- yi -- ▁var -- ▁wäre -- ▁figure -- ▁mhm -- ▁Ki -- 为什么 -- ▁entre -- ▁nearly -- ▁ran -- ▁dipoto -- ன -- ▁wartawan -- ▁avec -- ▁forty -- 任何 -- 制 -- ▁пра -- 十 -- kt -- 在这里 -- ке -- ▁team -- ali -- time -- ▁mon -- ida -- 夜 -- 清 -- bre -- 进行 -- ▁Mann -- lor -- med -- 的一个 -- ▁ganz -- ج -- دا -- 由 -- ▁bien -- 机 -- 本当に -- 拿 -- と思います -- 近 -- ▁Con -- 大学 -- ▁kam -- ğ -- ges -- wy -- ▁rich -- 直 -- ийн -- ▁interesting -- 的な -- ▁Mit -- ду -- ▁There -- ▁local -- ▁konnte -- или -- ▁sollte -- 急 -- ▁Am -- 波 -- 特别 -- ▁purpose -- 其他 -- 倒 -- mon -- ▁este -- ▁lives -- ல -- ということです -- ▁будет -- ан -- ▁daß -- 的地方 -- ▁Ad -- ту -- ville -- ▁key -- kel -- pan -- ص -- 巴 -- ▁một -- 村 -- 得到 -- 表 -- od -- ert -- ▁heute -- けど -- ল -- ▁Com -- ▁근데 -- ça -- 解 -- ▁game -- 接 -- ▁news -- ▁peace -- ▁weiter -- ய -- ▁pleasure -- sti -- ▁darüber -- for -- ▁situation -- ▁learn -- ▁ou -- ▁ihrer -- 局 -- 笑 -- ▁lie -- ▁안 -- バ -- 是什么 -- tie -- ▁على -- ▁silence -- ▁grow -- R -- 是不是 -- '30' -- ▁sister -- tri -- ▁sei -- 安全 -- ther -- த -- ▁class -- ید -- 音 -- 派 -- 甚至 -- ▁zoo -- ▁pan -- ▁moved -- ▁strength -- ib -- ili -- ▁sta -- ということで -- ▁modern -- ▁success -- ante -- side -- 雪 -- ▁secret -- log -- ▁Va -- ł -- 君 -- 初 -- 哥 -- ▁dog -- ▁follow -- 指 -- ani -- cher -- се -- 船 -- 切 -- 继续 -- ▁board -- 男 -- ▁comme -- ▁ru -- ▁mag -- 提供 -- ▁뭐 -- vel -- 古 -- nes -- U -- ▁och -- ▁davon -- 다 -- 中的 -- 国家 -- 雨 -- 来说 -- ▁french -- ッ -- 早 -- ▁gegen -- ро -- mit -- lichen -- ▁middle -- 两个 -- ▁project -- ▁С -- lang -- ▁uit -- ▁afraid -- どう -- ía -- ▁eat -- ▁expected -- ▁dar -- cal -- への -- ▁bear -- む -- 实际上 -- 管 -- غ -- nce -- 落 -- ▁Я -- よく -- ▁performance -- ▁Arbeit -- っ -- 难 -- ца -- ▁wouldn -- ▁ara -- tte -- ▁army -- こう -- ▁entered -- uri -- 到了 -- mas -- 字 -- ▁spring -- ▁fit -- ▁Ho -- mor -- ize -- 如此 -- ier -- ▁impact -- ▁object -- 七 -- 帮助 -- ▁national -- can -- ▁drive -- rea -- ▁cool -- ▁private -- 片 -- ” -- ▁difficult -- 在一起 -- 咱们 -- 土 -- 曲 -- ▁joy -- ized -- ப் -- ү -- ▁standing -- 其实 -- ▁progress -- ▁trouble -- 低 -- ▁floor -- tres -- ▁pu -- 選手 -- ▁только -- 東京 -- ▁ship -- ▁Nun -- かな -- 哈 -- ▁Su -- ▁break -- чи -- 一直 -- 命 -- form -- ▁mai -- ول -- ▁zusammen -- ئ -- ple -- ▁av -- ▁cho -- エ -- ズ -- ▁provide -- 救 -- pen -- ▁She -- ами -- ▁happen -- ving -- 病 -- ▁din -- 感じ -- 作为 -- zeit -- 活 -- になって -- ▁nice -- ウ -- ▁ways -- ▁american -- ▁everybody -- ▁special -- ▁smile -- же -- ▁major -- 率 -- ▁ju -- sse -- ▁chief -- ▁hem -- 理解 -- 一起 -- およそ -- 处 -- ▁sont -- ত -- ▁distance -- 罗 -- ▁И -- 看看 -- чы -- 电 -- ció -- vin -- ▁prince -- ▁dies -- ▁sign -- لا -- ▁fight -- ▁greater -- ▁That -- ен -- ▁mouth -- 朋友 -- ▁Jahren -- dig -- ido -- ▁kein -- ▁consider -- ▁demand -- ව -- 反 -- ▁sitting -- ого -- ▁written -- ▁lang -- ▁oku -- ▁Wa -- ní -- cla -- ▁remain -- ▁couldn -- 李 -- art -- dd -- ▁Eine -- 은 -- 街 -- 场 -- ▁design -- ▁spot -- ▁потому -- house -- cken -- 不知道 -- ▁vom -- すると -- ▁length -- nis -- win -- ▁ба -- 〉 -- ▁job -- ▁пять -- すごい -- ship -- 岁 -- hen -- ▁heaven -- де -- ა -- san -- 必须 -- 河 -- ▁books -- 条 -- ▁final -- of -- ▁grew -- ▁base -- 一次 -- ие -- ▁walked -- ▁isn -- ▁increase -- 官 -- ▁просто -- 奥 -- ▁society -- ▁amount -- ▁On -- 断 -- ero -- cur -- гу -- ▁trees -- ▁program -- ▁これ -- ې -- ▁был -- न -- 有点 -- ى -- ▁ம -- ations -- â -- iza -- ▁faith -- vor -- ▁heavy -- ▁immediately -- ▁battle -- ▁president -- ین -- ▁financial -- ▁What -- ▁〈 -- のが -- ▁dort -- ▁четыре -- ▁running -- ▁begin -- ▁рас -- par -- 間 -- サ -- ▁personal -- へ -- ▁action -- ха -- wan -- ▁cor -- ▁тридцать -- sie -- ▁places -- ▁development -- ▁visit -- ▁во -- ▁train -- ▁eu -- ▁mary -- ▁learned -- ▁không -- ▁write -- ▁cre -- ▁ohne -- ですよね -- ▁Gu -- ст -- 一个人 -- 东 -- 最近 -- 首 -- ется -- ▁darauf -- nas -- ▁hot -- さんが -- ▁died -- 地方 -- 支持 -- ую -- ▁laid -- ▁perfect -- 她的 -- ces -- ries -- ▁queen -- 工 -- 却 -- そして -- ▁Ar -- 决定 -- できる -- ▁einmal -- 서 -- 足 -- ▁command -- ▁safe -- ии -- yu -- される -- ▁slowly -- 连 -- dra -- ә -- ▁price -- ▁Ti -- ▁super -- 玩 -- ı -- ▁Mar -- ий -- ▁quick -- ▁wood -- ▁glaube -- ▁сейчас -- ▁add -- 女性 -- ram -- ndi -- ▁estis -- liche -- ▁build -- 只有 -- 实 -- っている -- ▁sales -- ▁nga -- ▁Zu -- ▁stopped -- ą -- 队 -- dro -- ▁sobre -- キ -- 森 -- ▁嗯 -- ▁finally -- 红 -- 思 -- nia -- ▁various -- ▁conversation -- 差 -- 当然 -- ▁color -- ▁changed -- ▁age -- 推 -- ө -- цы -- ▁married -- 远 -- ▁west -- ▁caught -- mm -- 酒 -- ▁gentleman -- vid -- 深 -- mus -- ▁més -- ▁cette -- lik -- 战 -- ▁hast -- clock -- uch -- 所有的 -- 强 -- ве -- ▁или -- ▁film -- ▁desire -- shi -- mel -- ▁straight -- ▁study -- ins -- メ -- ▁pi -- isi -- ▁может -- вы -- ▁model -- ▁warm -- ▁ging -- rie -- sion -- ▁которые -- ▁tree -- 当时 -- ▁ill -- த்த -- ▁cross -- ▁hay -- ▁ад -- dem -- ▁built -- ▁Land -- ▁science -- ▁бол -- ▁J -- ▁bra -- ட -- ans -- 亚 -- ところ -- ▁danger -- 商 -- 努力 -- ska -- ▁kwa -- 啦 -- 每 -- ▁talked -- ▁remained -- 部分 -- 老师 -- 士 -- 室 -- 变 -- sis -- 番 -- ▁paar -- schen -- ▁giving -- gang -- 話 -- そうです -- ▁gonna -- ▁All -- pp -- ité -- ▁quiet -- 让我们 -- ▁rate -- ного -- 转 -- ▁york -- ▁meiner -- 热 -- ▁их -- rus -- チ -- ▁الأ -- ɣ -- ▁tre -- 我是 -- 事件 -- ▁wrote -- ▁picture -- ▁loved -- ip -- yan -- аў -- ▁Diese -- ps -- 整个 -- ▁Ur -- ▁tr -- ▁Ko -- ▁snow -- ▁gemacht -- ▁waiting -- ▁uncle -- ث -- tive -- ▁семь -- 肉 -- ▁那么 -- ▁fort -- ▁yang -- ▁race -- ito -- 失 -- ▁nichts -- ▁For -- ▁london -- ▁кто -- мо -- ▁これは -- ▁minute -- ать -- ino -- ▁boys -- 报 -- ski -- бы -- 千 -- ▁dinner -- til -- ▁gar -- ▁march -- ය -- хо -- 房 -- ▁fourth -- rem -- 边 -- ▁works -- ▁sprechen -- ▁broken -- tus -- 关 -- ▁tatsächlich -- ち -- ▁below -- 有什么 -- ▁đ -- ties -- 感觉 -- ona -- ▁piece -- xi -- ▁similar -- より -- ▁according -- 保 -- ▁simply -- 最后 -- ▁trust -- 往 -- 达 -- なく -- ம -- ▁seinem -- ḥ -- ▁regard -- ug -- ▁hardly -- 如果你 -- ▁zwischen -- ▁direction -- ▁seu -- ▁drew -- 世 -- lä -- ▁mil -- сан -- ▁brain -- ▁corner -- 真正 -- cle -- 种 -- 以上 -- 关系 -- ▁using -- 这里 -- ▁summer -- اس -- ▁buy -- ich -- ▁language -- ▁Ke -- ▁impossible -- ▁sus -- 不同 -- چ -- ше -- eren -- ▁Tu -- ▁bon -- 权 -- ▁hätte -- ade -- ▁Tag -- ▁beauty -- ▁lips -- ue -- 画 -- 第一 -- ▁evil -- ▁Now -- õ -- 单 -- ▁france -- ▁garden -- ▁بود -- ▁month -- bil -- ▁station -- ec -- さんの -- ev -- 进入 -- ▁lead -- ré -- int -- 包 -- 県 -- sco -- 기 -- ▁Ga -- gehen -- ▁denen -- ▁presence -- amente -- ▁girls -- ▁opinion -- ▁touch -- dia -- そういう -- ▁gran -- 的问题 -- ▁fresh -- ▁آن -- 过去 -- ▁united -- 系统 -- field -- ▁Hu -- gra -- 야 -- rit -- ▁mas -- ▁political -- ▁showed -- とは -- ят -- fo -- یم -- ▁ма -- ▁г -- ser -- ▁looks -- ться -- 眼 -- ず -- ▁Frage -- 以及 -- را -- ▁vier -- ▁나 -- ▁гэта -- ▁placed -- ney -- パ -- pu -- ▁brown -- 冷 -- 発 -- ▁сорок -- ал -- cra -- 根 -- met -- ▁Pe -- ato -- ▁我想 -- 星 -- ava -- ción -- ▁growing -- ei -- ions -- 省 -- ▁risk -- 了一个 -- ▁că -- ▁В -- ▁sick -- ツ -- ▁bank -- ▁переулок -- ▁current -- ▁decided -- ▁soft -- ▁village -- 板 -- ですが -- 夫 -- 我就 -- 今年 -- ব -- ▁filled -- cent -- 青 -- 好的 -- ▁hit -- 実 -- ▁еще -- ▁speaking -- nh -- ih -- ют -- ▁dazu -- ice -- گ -- 其 -- 图 -- ral -- น -- V -- ▁вас -- ර -- ▁hin -- ▁Hi -- ▁Ca -- ▁led -- 来了 -- kon -- ▁ஆ -- ou -- ▁برای -- 装 -- schaft -- ▁wasn -- ▁cent -- ▁har -- ▁muri -- iti -- эр -- ▁weeks -- 上的 -- 找到 -- ▁zich -- ▁pero -- 非 -- well -- ▁inside -- ial -- like -- ▁Sta -- ▁Ihr -- ▁writing -- berg -- ▁mentioned -- 在那里 -- ▁expression -- 出去 -- ▁trade -- 脚 -- ▁born -- fin -- ▁pain -- ▁á -- ▁worked -- ika -- 風 -- ament -- 比较 -- 交 -- ▁twelve -- 这样的 -- ▁type -- ▁cy -- ده -- ▁kan -- ▁Jahre -- ▁revenue -- nte -- ▁rain -- ▁serve -- ова -- ute -- ▁reach -- よね -- ▁H -- oli -- ▁meant -- ▁würden -- har -- 妈妈 -- ▁direct -- ▁இ -- ң -- やって -- ▁plain -- ▁för -- ▁Ru -- ▁pleased -- ▁win -- ▁winter -- ▁influence -- ▁parts -- ▁doch -- isch -- kat -- uk -- ▁mij -- ▁Lu -- 車 -- 你可以 -- ▁naar -- ▁worth -- via -- 这一 -- ▁community -- ▁thoughts -- 突然 -- 》 -- 包括 -- ▁kommen -- hin -- ▁しかし -- ▁raised -- ▁wide -- ▁col -- ▁große -- ▁của -- дзе -- eb -- 传 -- リー -- ▁haven -- ▁chair -- ▁bri -- ▁field -- fall -- 亲 -- ▁umu -- 松 -- 里面 -- wood -- 存在 -- 让你 -- 皮 -- 零 -- ▁boat -- ▁forget -- bro -- ▁exclaimed -- 代表 -- uka -- ded -- 听到 -- '11' -- 血 -- ут -- ▁carry -- ▁chúng -- mmer -- mis -- das -- 华 -- 别人 -- ió -- ▁Geschichte -- ford -- bb -- ▁broad -- ▁od -- ▁paid -- ▁likely -- ▁condition -- ▁ersten -- ▁afternoon -- 以前 -- ▁someone -- ▁grave -- ▁și -- put -- ای -- ▁genau -- 々 -- ▁dream -- сы -- ▁Fa -- ых -- න -- ▁мо -- ▁На -- 说话 -- ком -- ▁ourselves -- ▁waar -- ô -- 草 -- ▁band -- 我觉得 -- ▁content -- ▁wenig -- ora -- 自然 -- 家庭 -- 方面 -- ে -- 黑 -- ▁imp -- ▁industry -- ▁terrible -- dos -- 尼 -- ым -- rig -- ▁report -- ▁somebody -- 要求 -- ▁allowed -- さんは -- ▁path -- rá -- ▁pale -- 那里 -- ▁appearance -- ssen -- ▁mark -- ▁worden -- umu -- よう -- 学生 -- ments -- мен -- 院 -- ▁க -- أ -- sur -- 円 -- ▁journey -- жа -- ▁usually -- ▁دو -- 卖 -- ную -- ves -- ите -- gli -- 的方式 -- だと -- 调 -- ▁listen -- 警察 -- び -- wen -- ▁Frau -- 兰 -- tik -- グ -- ī -- 温 -- '50' -- 線 -- んですよ -- ▁vast -- يا -- ▁anar -- ▁material -- ە -- ▁generally -- ට -- ▁fait -- ▁enemy -- пер -- ▁area -- ▁struck -- dar -- aient -- 重要 -- tir -- ▁rock -- ような -- 喝 -- 的に -- ▁shot -- ると -- ▁finden -- ▁sorry -- ▁gra -- ▁evidence -- ▁آ -- া -- ний -- 我认为 -- ход -- ula -- sam -- 了解 -- ▁daran -- wu -- uma -- ▁Gi -- ▁Nach -- いました -- ков -- ▁easily -- 件 -- ▁individual -- 节 -- ▁duty -- 座 -- ▁tout -- mie -- 过来 -- ▁những -- ▁unless -- まだ -- 它的 -- ু -- ros -- ▁bill -- ▁fifteen -- heid -- mann -- ▁Her -- lt -- 成功 -- iv -- pri -- اد -- iya -- それ -- lia -- ▁laughed -- ▁шесть -- ▁надо -- ▁clean -- ▁normal -- sar -- ▁ن -- ▁tea -- ala -- ▁kar -- ami -- var -- ながら -- 恩 -- oc -- ▁gesagt -- llen -- 是否 -- ▁meeting -- 纳 -- ▁create -- ▁ஒரு -- ҡ -- ▁Dann -- ▁ré -- ▁products -- ▁Et -- ▁вам -- tis -- ▁fun -- ▁während -- 了吗 -- ▁focus -- ses -- あの -- ▁fond -- ▁sí -- んですけど -- あと -- ▁star -- ▁Weise -- 健康 -- ▁considered -- َ -- ▁não -- 油 -- स -- せ -- んですね -- ▁Weg -- ▁broke -- stra -- ▁moving -- ▁sah -- set -- ▁быть -- 此 -- ▁leaving -- ▁supposed -- stan -- ぶ -- ▁million -- ▁services -- ひ -- ▁charge -- ▁ber -- ▁drink -- ▁test -- ская -- ▁enter -- ▁gerade -- 技术 -- ▁sudden -- 式 -- wr -- ги -- ista -- ▁wonderful -- त -- ▁season -- ▁어 -- '",' -- ▁difference -- ▁jo -- ▁আ -- 未 -- اء -- ▁knows -- ▁geben -- ▁rep -- きました -- ified -- 为了 -- leg -- iri -- ▁mad -- ▁positive -- ▁grace -- ▁пры -- dri -- ▁stone -- なんか -- ▁spent -- 我在 -- ▁everyone -- W -- als -- られる -- ē -- ▁bat -- ▁Kinder -- 修 -- 方法 -- э -- ▁principal -- 怎么样 -- ▁sagt -- ▁iron -- dor -- pt -- ▁том -- ก -- 坐 -- ▁Ve -- アメリカ -- ▁ball -- ▁fünf -- ▁Jo -- ▁Fall -- ped -- ▁energy -- ▁sixty -- ▁honor -- 雷 -- ius -- لی -- ▁min -- رو -- ジ -- ▁ganze -- ▁بر -- というのは -- 间 -- чу -- ▁ப -- ▁imagine -- zar -- ţi -- ▁covered -- ▁exist -- 人的 -- ▁latter -- ▁receive -- ▁wollte -- ▁cast -- 任 -- ▁daar -- 不同的 -- nor -- ▁moral -- vers -- ▁global -- ▁fo -- ▁esta -- pro -- 強 -- eu -- ように -- たい -- تر -- ▁natürlich -- ぐらい -- bed -- сти -- uru -- ▁allow -- ே -- ▁closed -- ▁cases -- 离 -- nos -- ▁bound -- ஸ் -- but -- 把它 -- ▁kun -- ▁shut -- 左 -- ▁dafür -- ▁arrived -- ▁huge -- pf -- ▁technology -- ▁besides -- ▁term -- ா -- ット -- ことが -- ph -- 自由 -- 改变 -- ▁Kon -- 服务 -- 二十 -- ニ -- 许多 -- 注意 -- ろ -- ay -- ▁At -- cin -- ▁entirely -- ▁tears -- ですか -- ojn -- 教育 -- ▁particularly -- ▁pod -- ▁девять -- 有人 -- ey -- ▁hill -- 直接 -- 试图 -- ▁ل -- ▁großen -- ão -- ▁Ze -- ▁而且 -- ella -- ▁actual -- looking -- ata -- bli -- по -- のです -- all -- ▁І -- 方式 -- 状況 -- ants -- ▁anti -- pre -- ▁Our -- ▁turning -- ació -- しか -- هم -- 学习 -- ▁ко -- 一天 -- 步 -- yn -- ▁lassen -- んですが -- rt -- yon -- 准备 -- ビ -- 维 -- 药 -- ▁cat -- ward -- ▁percent -- ▁ahead -- ▁notice -- spe -- 离开 -- 人类 -- ▁justice -- ▁sollten -- iga -- ▁spend -- pul -- ▁significant -- ▁fest -- ▁ي -- ▁needs -- 收 -- hand -- ай -- ical -- ▁sand -- だから -- ட் -- лю -- ▁sky -- ▁killed -- 语 -- ▁dos -- ▁bak -- nder -- eva -- 를 -- ▁Beispiel -- rà -- лу -- 留 -- 考え -- ▁holy -- 宝 -- 百 -- ▁Dr -- ▁Pi -- ▁Go -- ส -- ▁europe -- ▁rise -- ▁animal -- های -- 完 -- ▁macht -- ение -- ▁jeder -- ▁labor -- ▁бо -- ▁John -- ▁deux -- 参加 -- ▁island -- ▁kids -- ▁size -- ▁occasion -- cio -- ▁beside -- ぎ -- iki -- ▁park -- ул -- illa -- ви -- og -- 中心 -- され -- 福 -- board -- 島 -- ▁jack -- ▁complete -- 提 -- ▁east -- ▁religion -- ▁note -- ein -- ▁usual -- ture -- ▁horses -- ▁police -- ▁youth -- ▁unserer -- vil -- ▁uma -- ▁wise -- 短 -- ハ -- ón -- ola -- 角 -- tru -- ▁crowd -- ▁george -- ▁welche -- ▁пред -- ḍ -- ▁gute -- ▁silent -- 吉 -- 兵 -- 跑 -- していた -- 影响 -- ム -- qu -- ▁пятьдесят -- 查 -- ▁opportunities -- hr -- ▁tend -- lon -- ▁peter -- av -- になった -- ima -- 师 -- ▁education -- 見て -- 好好 -- ▁К -- ▁« -- лен -- bert -- ți -- ▁countries -- ボ -- ably -- ▁sam -- ability -- ▁нам -- 你会 -- கள் -- ▁blind -- ど -- ▁trans -- '40' -- ▁восемь -- ▁former -- ▁مع -- vy -- nan -- ▁ただ -- ▁molt -- ▁tut -- ▁су -- ▁“ -- 完成 -- ▁sicher -- ▁prop -- ▁noble -- ▁ubu -- ▁tax -- ▁della -- ▁meinen -- lé -- mun -- 案 -- mba -- 客 -- ▁ziemlich -- เ -- тор -- ▁Hand -- ▁warum -- ▁lange -- ман -- ▁letters -- ▁была -- ▁reading -- ▁Denn -- ▁parents -- 演 -- 配 -- ▁Car -- rei -- ▁attack -- ▁чем -- лся -- teil -- ▁surprise -- 来自 -- にある -- 破 -- ▁heraus -- pon -- 文化 -- 走了 -- ▁aunt -- ▁needed -- ▁ngo -- ▁slow -- low -- 数据 -- ▁offer -- といいます -- 至 -- ▁pleasant -- ▁list -- ett -- arbeit -- 罪 -- ▁entire -- ৰ -- 无法 -- uta -- ▁lines -- sent -- ▁Dies -- 만 -- ▁merely -- ▁cry -- ▁está -- ▁ac -- ierte -- iro -- tha -- mbo -- ▁worse -- ▁pra -- 待 -- kla -- ▁cha -- 另一个 -- huh -- tag -- ▁unto -- があります -- ▁absolutely -- ▁marriage -- tim -- 跳 -- ened -- ▁п -- sia -- 算 -- ▁gesehen -- ▁ни -- ▁original -- ▁этом -- nou -- ▁tall -- ネ -- ▁based -- aka -- ร -- ov -- 管理 -- 似乎 -- ▁ideas -- ador -- mut -- bla -- ▁этого -- 我会 -- ые -- نی -- ▁هو -- ▁store -- 取り -- 全部 -- 也不 -- ▁kandi -- 获得 -- ▁somewhat -- 대 -- ▁kleine -- ▁watching -- 我要 -- 经济 -- ▁forest -- 原因 -- ▁weak -- kommen -- ats -- 問題 -- ▁takes -- шы -- 总是 -- தி -- سی -- ▁steps -- ▁nog -- ▁всё -- rat -- 利用 -- ▁mà -- 一定 -- 政治 -- ▁Or -- ▁đó -- ▁members -- ▁silver -- ▁discovered -- 你在 -- ге -- án -- ▁ع -- 割 -- า -- 好了 -- ▁including -- 科学 -- ский -- tta -- эл -- ▁tan -- ▁property -- тер -- ▁bow -- け -- ▁appear -- 计划 -- gal -- itat -- 通常 -- ▁draw -- 飞 -- 守 -- 掉 -- 谷 -- 未来 -- ▁serious -- ▁bottom -- ils -- rn -- night -- ▁circumstances -- ▁是的 -- vre -- ▁Geld -- اب -- ▁escape -- ▁chapter -- ét -- ▁movement -- J -- ▁proud -- ell -- “ -- ▁fortune -- ▁customer -- そ -- nden -- tung -- ▁iz -- лы -- ▁breath -- ů -- ▁san -- 满 -- ▁ph -- ▁Jahr -- werk -- 发生 -- 好像 -- ▁Wo -- ▁وال -- ▁thick -- ▁mountain -- 党 -- tz -- 可能会 -- ū -- ▁changes -- ения -- ав -- ▁sondern -- 故事 -- бо -- ი -- ந்த -- ケ -- ▁prepared -- ▁sad -- ▁Stadt -- ▁completely -- 母 -- 感染 -- 迪 -- ▁fish -- dis -- ▁mort -- ete -- до -- ▁points -- 击 -- ▁besser -- ▁gw -- oni -- rwa -- ▁dels -- oma -- ев -- ▁increased -- ▁bij -- ▁america -- ▁Herr -- । -- ▁instant -- ica -- ▁Moment -- ▁Über -- ▁где -- rin -- ▁erste -- ▁named -- ரி -- 如 -- モ -- ▁conditions -- 停 -- ▁guard -- 리 -- lic -- ▁здесь -- ▁Ya -- bit -- ис -- ස -- 共 -- tek -- 夏 -- ep -- ын -- ُ -- ▁mijn -- これは -- ظ -- 几乎 -- ட்ட -- 精 -- ▁effort -- ▁judge -- 仍然 -- ▁habit -- ▁credit -- sim -- 牛 -- ▁jesus -- 江 -- ▁тем -- ▁afterwards -- ม -- ▁ok -- lung -- 信息 -- 追 -- ▁cal -- най -- ▁sono -- 皆さん -- ное -- ▁gives -- aga -- 忙 -- '12' -- ▁advantage -- ně -- rum -- 谈论 -- itu -- ray -- 毛 -- 素 -- ret -- ▁research -- ▁meaning -- ator -- ▁zou -- ці -- lay -- ック -- ▁Grund -- ▁glass -- ▁nobody -- ▁video -- kle -- ▁Ende -- gy -- 程 -- 感到 -- イン -- 养 -- හ -- ▁Ort -- ▁cash -- hir -- ▁count -- ▁inform -- ▁また -- ▁neue -- encia -- 歳 -- lü -- ▁taste -- ▁porque -- ▁box -- ▁fin -- ற -- ことを -- ân -- ▁watched -- ▁college -- ▁막 -- ▁York -- ▁того -- ▁storm -- ▁mass -- みんな -- 约 -- 我们在 -- ▁weather -- 拍 -- े -- å -- 排 -- ▁scene -- ▁laugh -- ▁dry -- ▁total -- 确实 -- ということ -- zin -- 对于 -- ▁beiden -- ▁memory -- ▁się -- ▁Els -- ▁madame -- 其中 -- '15' -- তা -- mak -- ▁events -- 'off' -- ▁greatest -- тай -- ▁aba -- 界 -- ping -- 型 -- press -- ▁Sache -- ▁speech -- ▁pick -- ados -- ▁played -- ▁companies -- idad -- ▁passage -- 下来 -- こんな -- ▁weg -- ▁benefit -- ▁alt -- ▁War -- 退 -- light -- 视 -- ▁economic -- ▁тут -- ▁edge -- ▁international -- gue -- net -- 晚上 -- 照 -- 医生 -- ▁Bar -- ева -- ▁record -- bol -- ロシア -- zel -- 屋 -- ▁fallen -- ▁tak -- ▁animals -- 超 -- ż -- ほど -- ▁تا -- odd -- ▁我是 -- ▁kill -- 菜 -- ක -- ille -- ación -- ს -- 今日 -- ▁app -- ▁tone -- cos -- ▁shore -- ▁balance -- abo -- ▁إلى -- ▁dia -- ▁solid -- ın -- 香 -- 勝 -- 思い -- wed -- ো -- 肯定 -- zy -- ری -- ぐ -- ▁denken -- ux -- rang -- kul -- äh -- ▁spread -- kar -- ノ -- ily -- table -- ▁moon -- 班 -- 娘 -- 端 -- ад -- over -- ua -- эн -- じゃない -- 昨日 -- なら -- wing -- 服 -- die -- ще -- 因 -- ▁için -- ▁sharp -- tem -- いく -- ▁без -- ▁jeden -- sk -- 苦 -- vad -- eta -- fre -- 시 -- ▁comfort -- ப -- mb -- ɛ -- ран -- 云 -- 回到 -- ▁understood -- 機 -- ▁الت -- ▁Haus -- 称 -- 树 -- ガ -- ▁ihrem -- ▁های -- ▁можно -- ▁search -- iko -- тра -- vé -- 费 -- ▁bag -- られた -- ▁honour -- 经常 -- ▁tom -- ría -- டி -- 無 -- ▁casa -- 洗 -- テ -- ▁bekommen -- ▁shape -- 必要 -- rent -- 望 -- ▁fla -- 非常に -- ▁cover -- ▁даже -- 井 -- 員 -- 换 -- ▁kommt -- ved -- ちゃん -- 武 -- 是个 -- ▁exp -- ▁interested -- ▁prove -- 나 -- qua -- ▁ben -- 全国 -- ▁believed -- ▁fixed -- म -- ▁brave -- law -- ▁surface -- рэ -- ▁double -- ▁reply -- 場 -- प -- dir -- ني -- ▁Daten -- ▁dress -- ▁Gefühl -- от -- pped -- 的时间 -- ▁song -- some -- ▁sau -- ▁stock -- ▁If -- मा -- ▁nó -- ara -- ย -- ▁laws -- ▁square -- ▁bru -- ير -- ここ -- ▁gehört -- ▁professor -- ▁emp -- ▁excited -- ▁لل -- ▁Unternehmen -- stone -- 玉 -- 市场 -- ▁finding -- ▁sing -- ith -- ▁environment -- gg -- ▁schnell -- enden -- gera -- 最终 -- 刘 -- ▁popular -- ▁ont -- ▁ancient -- স -- 联系 -- asi -- 帮 -- ▁royal -- 右 -- ▁pie -- став -- 身上 -- ▁leben -- стра -- ▁seventy -- ▁parte -- 个人 -- ▁throughout -- ▁Fi -- ▁いや -- ▁ces -- 大きな -- ер -- ▁smoke -- 求 -- bri -- 基 -- ນ -- டு -- ▁markets -- ▁These -- ため -- ▁lake -- '0' -- ▁bal -- ▁mere -- 接受 -- ▁driven -- 密 -- 登 -- 之间 -- ▁persons -- ▁người -- ▁explain -- ▁seat -- ▁putting -- ▁af -- 鱼 -- мы -- imi -- ார் -- ▁pos -- ▁telling -- ▁час -- ▁其实 -- ▁بال -- 龙 -- ▁region -- ▁center -- ▁Ĝi -- 系 -- ▁walls -- ▁century -- ▁mor -- ▁mid -- ว -- ▁club -- nel -- 便 -- ▁pat -- ▁range -- ▁determined -- ering -- ▁Han -- ▁prevent -- ▁author -- ப்ப -- ▁sold -- 呃 -- ▁எ -- 音乐 -- ▁civil -- ▁bas -- com -- aŭ -- 黄 -- ▁accept -- ▁stage -- din -- ▁narrow -- ▁foreign -- ob -- ▁neck -- 害 -- ▁رو -- ▁issue -- hor -- 解决 -- 发展 -- tig -- ▁production -- ▁yellow -- ▁soll -- 证 -- ▁ladies -- ▁hurt -- ▁perfectly -- ▁fill -- und -- 各 -- tant -- 法律 -- 就会 -- jen -- 杀 -- ол -- 告 -- их -- ▁german -- ▁你知道 -- tura -- 跟我 -- 付 -- ▁plant -- 頭 -- ▁wel -- ина -- 想要 -- 大会 -- ِ -- мі -- вед -- ▁approach -- recht -- gas -- ▁access -- ▁St -- ▁familiar -- ▁Ce -- 去了 -- ▁proper -- 常 -- ▁tri -- との -- ▁hotel -- 伤 -- শ -- ▁Dar -- ▁learning -- ▁Ju -- 塔 -- ▁numbers -- ▁fan -- ▁bla -- bin -- ast -- とも -- rar -- 有很多 -- ▁stick -- ual -- ▁hebben -- gestellt -- ▁因此 -- ী -- pin -- ත -- ▁students -- 対 -- lli -- 站 -- りました -- 投 -- ▁wished -- ▁paris -- ▁iki -- ▁offered -- ▁19 -- 关注 -- ▁cloud -- тар -- ▁grass -- 城市 -- سا -- rec -- ур -- war -- ▁observed -- ▁هم -- ▁tam -- ii -- 之一 -- ▁favor -- れば -- ▁meinem -- 乱 -- ته -- ▁confidence -- ▁agree -- 父 -- 女人 -- cour -- ?" -- でしょう -- 少し -- ▁som -- twa -- osa -- ea -- ▁keinen -- له -- ▁degree -- ▁который -- ▁beneath -- 秋 -- ▁était -- فر -- ▁mental -- ▁Problem -- work -- 場所 -- tā -- eux -- biri -- ▁marry -- 微 -- ün -- ged -- ▁quality -- ▁Seite -- ła -- 结果 -- лись -- ▁firm -- ▁baby -- 奇 -- ları -- rah -- ▁clearly -- ▁oil -- 做的 -- ▁promise -- ▁roman -- ▁한 -- gin -- lid -- 伊 -- チーム -- れる -- '100' -- ද -- ▁farm -- ▁человек -- ▁finished -- ًا -- ▁darkness -- ego -- leri -- lum -- ▁clothes -- ্ -- '60' -- 死亡 -- 久 -- مان -- цца -- 保持 -- っと -- 迷 -- 俺 -- ▁produce -- ▁happiness -- ▁Elle -- ▁rule -- ▁کار -- 是我 -- みたいな -- ▁playing -- ▁gas -- 列 -- ▁шестьдесят -- 节目 -- たら -- tet -- uz -- ane -- ▁تو -- وم -- को -- 家族 -- ▁golden -- ▁あっ -- 相信 -- ▁உ -- ▁rein -- 选 -- ▁scarcely -- ▁seit -- 你就 -- 几个 -- 友 -- 一般 -- ▁equal -- ▁knowing -- 回家 -- tern -- ▁Ex -- ச -- 役 -- 回答 -- 果 -- ▁management -- ▁lose -- ール -- ná -- ▁brand -- ▁sal -- 啥 -- ▁könnten -- ▁可是 -- зна -- ▁opening -- 試合 -- ター -- 人生 -- morrow -- ▁drawing -- デ -- ▁operating -- ▁bạn -- ▁profit -- ▁Gra -- ▁paul -- 让他 -- rak -- оч -- glo -- ette -- ß -- ▁loss -- ▁stories -- ▁wine -- ▁sell -- があった -- 电话 -- hm -- 脸 -- ▁attempt -- ▁address -- ▁bay -- uku -- 町 -- ▁leaves -- ▁courage -- spir -- ▁media -- ▁leading -- ▁schwer -- ▁ses -- 的小 -- ▁efforts -- ▁soldiers -- ▁surely -- ▁San -- hel -- lip -- rü -- iger -- ▁Hier -- ві -- pot -- 电影 -- ▁är -- ▁passiert -- ▁Але -- än -- ▁etwa -- 他在 -- 春 -- ow -- non -- ▁produced -- ▁flowers -- ▁valley -- ▁earlier -- ▁Ik -- cie -- 人は -- ▁holding -- ▁eigenen -- 理由 -- لي -- ▁Mr -- ▁sword -- ▁supply -- bot -- ▁được -- ▁weight -- 副 -- ▁さあ -- 주 -- 网 -- 视频 -- 妈 -- ி -- ▁check -- ▁walking -- ▁flu -- 連 -- 告诉我 -- ▁Europe -- 枪 -- ▁additional -- 这一点 -- ls -- ▁pla -- ிய -- 助 -- pit -- ▁fra -- 因为我 -- ena -- ification -- eau -- ako -- ▁choice -- による -- 骨 -- бу -- ▁vain -- 自分の -- ▁decision -- cing -- ▁如果你 -- 背 -- ▁Б -- ▁gro -- 라 -- ▁powerful -- 弱 -- 地区 -- лан -- 陈 -- きた -- 拥有 -- 東 -- 这样做 -- ▁welcome -- ▁recent -- lam -- 残 -- ▁happens -- ▁structure -- 在这个 -- fan -- lit -- وی -- ▁formed -- ▁han -- ▁speed -- ddy -- zione -- ▁meisten -- ా -- 是在 -- '14' -- 狗 -- lí -- 로 -- ▁gli -- ▁seek -- 一番 -- 组织 -- rio -- ▁nation -- tat -- ▁houses -- ▁travel -- ▁uz -- ▁тоже -- ▁bird -- ▁passion -- ▁directly -- 去年 -- ▁그냥 -- である -- ious -- lı -- mul -- вод -- ▁basis -- 明天 -- прав -- ▁Can -- ▁platform -- ▁як -- aire -- どんな -- 的这个 -- cker -- The -- ists -- 治 -- gna -- serv -- ▁threw -- ▁dropped -- ▁divine -- ▁deze -- ▁그런 -- 这次 -- んですか -- 读 -- ▁flat -- ง -- ▁Buch -- 考 -- ир -- uza -- 考虑 -- dol -- න් -- ▁deliver -- ак -- vá -- かった -- 는데 -- ▁شد -- スト -- 」。 -- mat -- fully -- ugu -- hör -- ▁military -- ▁letzten -- 睡 -- ▁birds -- ▁sake -- ▁lying -- ください -- ▁Fe -- жи -- ▁required -- ▁existence -- ▁ничего -- ▁addition -- 横 -- 気持ち -- ▁contract -- 爸爸 -- ् -- ள -- バー -- stu -- из -- bie -- бе -- ▁passing -- 不了 -- try -- 若 -- ▁ibi -- ▁declared -- セ -- 唱 -- ▁Par -- уч -- ▁конечно -- ▁эти -- ▁anybody -- 身体 -- ▁coast -- aux -- tum -- きょう -- си -- ▁cri -- কে -- ▁내가 -- ныя -- ▁available -- rich -- क -- 建 -- '18' -- ▁glance -- ▁track -- ▁unser -- 尽 -- ▁page -- بر -- ること -- bl -- 良 -- chten -- mic -- ▁understanding -- ▁orders -- ▁practice -- 源 -- су -- 带着 -- ▁seva -- ▁wichtig -- vas -- sin -- 三个 -- bau -- zwe -- ole -- kuru -- 愿 -- 人家 -- stat -- mond -- こちら -- she -- ▁你们 -- ▁william -- ▁caused -- stein -- ▁christian -- ible -- ient -- ▁Mas -- ▁catch -- cas -- ▁Wasser -- ▁guy -- ction -- 時に -- ▁uno -- ▁vint -- 脱 -- 轻 -- ▁eighty -- ▁allen -- 封 -- ▁şi -- ▁host -- ▁fly -- ▁– -- rate -- rick -- ▁Д -- gil -- uko -- ▁bedeutet -- ▁hung -- ▁ears -- ▁prison -- ▁più -- ▁ф -- ▁двести -- more -- 例 -- ▁muy -- 前に -- ▁text -- ▁centre -- ▁presently -- 熱 -- 情况 -- ▁wahrscheinlich -- gle -- ポイント -- によって -- ▁Augen -- вал -- genommen -- 普 -- อ -- chan -- gre -- 社区 -- ▁že -- ▁này -- 托 -- ▁curious -- になります -- ön -- 해 -- ▁larger -- jar -- ▁этот -- ▁pel -- ін -- ▁shows -- ▁voi -- 新的 -- つの -- geben -- 类 -- 夫人 -- 处理 -- ket -- ▁instance -- ▁colonel -- ▁Okay -- quer -- ungs -- ▁net -- ▁indi -- 比如 -- 年前 -- thi -- 错 -- ▁ре -- すごく -- nne -- 第二 -- ▁hath -- 자 -- க்கு -- 及 -- ▁pr -- 这是一个 -- 首先 -- igkeit -- ▁population -- 면 -- ▁pentru -- 了我 -- cen -- ▁vision -- 的事 -- ▁accident -- じゃ -- ▁matters -- ▁elle -- 解释 -- 返 -- ▁richtig -- 也许 -- 群 -- व -- 极 -- ▁spoken -- ▁indian -- ▁kwi -- ▁coat -- ▁hearing -- っています -- ▁gets -- ざ -- nic -- 级 -- ▁shown -- ▁هذا -- ▁hospital -- kes -- での -- би -- ロー -- ी -- ▁officers -- ▁port -- ais -- 一切 -- ग -- ▁kleinen -- ▁statements -- 回去 -- ▁cro -- 刚 -- ▁Bei -- 데 -- ative -- ▁gre -- ним -- '19' -- 不好 -- 办 -- 乐 -- 沙 -- ▁shadow -- ہ -- ▁fool -- 团 -- ▁今天 -- vert -- ▁calm -- 担心 -- bye -- ▁motion -- stru -- プ -- 現在 -- ▁ook -- ▁faire -- ▁aux -- ▁thin -- ▁basically -- まして -- ▁shook -- 事故 -- 保护 -- গ -- ▁henry -- ▁member -- lis -- ▁thanks -- ▁aware -- ▁время -- あります -- されました -- eri -- ▁opposite -- ო -- ▁pocket -- ▁task -- ▁willing -- ▁successful -- فت -- 秒 -- ▁bread -- uw -- চ -- ▁ama -- 变得 -- ▁tem -- なので -- ▁trong -- ▁extra -- ▁religious -- ▁люди -- ▁strategy -- ▁Har -- یه -- ▁remains -- ▁cousin -- ус -- ▁إ -- 票 -- 挺 -- などの -- 不用 -- ぞ -- ▁fre -- ですよ -- ‘ -- 游戏 -- ▁beat -- ese -- dde -- 而不是 -- 苏 -- ▁guys -- ▁Aba -- ▁central -- 最高 -- それを -- ches -- jan -- 容 -- ▁officer -- pic -- ▁wants -- ched -- ▁related -- ▁bw -- ふ -- ▁noise -- 杰 -- ▁possession -- 開 -- lat -- ▁pure -- そんな -- ▁Person -- 造 -- ▁nti -- 語 -- ▁otherwise -- ▁gray -- ▁carefully -- ▁sogar -- 産 -- вид -- 一年 -- 项目 -- ண -- ග -- ▁thể -- kom -- ние -- ด -- 個 -- ▁daily -- 衣 -- ▁comment -- ▁我觉得 -- mek -- ෙ -- ors -- 咱 -- ▁10 -- 穿 -- bat -- ▁areas -- mme -- vol -- ś -- ▁pres -- ▁sum -- 防 -- cause -- ですから -- ற்ற -- ▁stream -- ▁今 -- ▁были -- 手机 -- 段 -- igi -- ▁ear -- ▁scale -- ▁activity -- ▁drawn -- uh -- ▁smiled -- ▁Oder -- 出现 -- 控制 -- pat -- ▁conduct -- られ -- istic -- ▁ninety -- ston -- ▁surprised -- ▁са -- ▁cas -- ▁engaged -- pie -- ▁你说 -- ▁Ent -- nc -- ▁fate -- 動 -- 相当 -- ▁policy -- 你想 -- ▁Form -- ▁شما -- あった -- ரு -- ▁aid -- ▁bur -- nar -- ▁repeated -- ▁jedoch -- 休 -- ▁throw -- 给他 -- 才能 -- ▁excellent -- 結構 -- plo -- ▁event -- ▁Ben -- ign -- 我们可以 -- ▁семьдесят -- دي -- ▁больше -- 渡 -- eh -- ▁apart -- 快乐 -- али -- 改 -- ▁neu -- ▁district -- ij -- sed -- 男人 -- ▁gun -- kte -- lem -- ▁versch -- 应 -- ▁এ -- يد -- 《 -- ▁ay -- мер -- 様 -- ▁Ye -- 层 -- ▁fue -- dat -- 饭 -- ismus -- kä -- ▁spite -- ▁dire -- ▁skin -- ▁castle -- sz -- hl -- ▁خ -- ▁bil -- ▁My -- lig -- ▁digital -- 已 -- ▁dick -- ும் -- ▁monsieur -- ▁species -- ▁О -- iku -- ▁machine -- 愛 -- ▁reform -- ▁gentlemen -- ▁fur -- '16' -- ▁regular -- ши -- far -- ु -- ▁mountains -- ▁fat -- ć -- ас -- ▁på -- ▁fruit -- ierung -- ▁correct -- 直到 -- 分享 -- ▁difficulty -- ▁نه -- こちらの -- ি -- ▁Spiel -- ▁image -- setzen -- ▁review -- ▁todo -- ▁getan -- 楼 -- об -- heim -- ım -- ▁hoe -- ï -- ດ -- вар -- ▁advance -- 放在 -- dic -- 底 -- ▁reality -- 根据 -- ▁portion -- 強い -- sor -- ска -- ▁ausge -- ▁commercial -- ▁created -- ▁spa -- 不想 -- tí -- če -- ▁还有 -- ela -- ном -- ▁temple -- 同じ -- ポ -- ▁anyone -- 姐 -- ▁보 -- 持 -- ▁keeping -- udi -- ▁message -- 看着 -- ල -- 数字 -- row -- یت -- ▁später -- isa -- 并不 -- 上帝 -- ▁crime -- ▁forced -- ▁noticed -- ▁tired -- ▁choose -- ▁pieces -- ▁đã -- 想象 -- ソ -- place -- 活动 -- ▁creature -- dom -- ▁union -- 茶 -- 父母 -- 更多的 -- 兄弟 -- legen -- ▁wahr -- '25' -- 初めて -- кой -- fra -- ques -- anya -- 我说 -- ник -- 没事 -- ずっと -- ▁proved -- ▁plans -- gh -- ▁legal -- 每个 -- ▁improve -- لو -- ▁pride -- ▁bevor -- 午後 -- 组 -- ▁erhalten -- ▁знаю -- ゴ -- hy -- ▁عن -- ▁ту -- ▁كان -- 아 -- 大人 -- nem -- ▁suffering -- rad -- 楽 -- ▁Well -- ▁кон -- ▁duke -- ダ -- ▁served -- ▁sol -- ša -- пи -- 我可以 -- ys -- ạ -- yle -- 小姐 -- ▁dachte -- fel -- ▁obviously -- 再次 -- ▁suit -- ▁fully -- ▁frank -- 作品 -- ▁Kar -- ピ -- 性的 -- kim -- 双 -- こういう -- ▁bridge -- pus -- mont -- ▁eh -- 除 -- ▁res -- ▁mention -- ▁sounds -- されている -- ێ -- 有些 -- 限 -- 情報 -- ▁لا -- its -- ▁blow -- 精神 -- 做了 -- ▁été -- ▁然而 -- ▁だから -- nye -- kwa -- ▁peculiar -- ore -- ▁burst -- ▁planet -- ▁faint -- ▁jemand -- 样 -- сто -- 伯 -- ▁nineteen -- ▁tur -- ▁asking -- ▁pounds -- ▁bringen -- んですよね -- ▁allem -- 的工作 -- bona -- ري -- ▁starting -- 明白 -- ヤ -- ▁press -- 款 -- ▁avait -- ▁pray -- 圣 -- 可能性 -- ▁gij -- 紧 -- ▁height -- 女孩 -- 告诉 -- nova -- kir -- eɣ -- 梅 -- parti -- ▁bereits -- ▁att -- ▁අ -- wel -- ▁david -- ▁Thank -- ▁measure -- ▁date -- ▁진짜 -- ▁nom -- fru -- 痛 -- stro -- gt -- 引 -- てる -- hood -- নি -- dal -- ▁forma -- 我也 -- 余 -- ิ -- ▁servant -- 结 -- ங்க -- fle -- ▁stranger -- ву -- wana -- '17' -- ▁Frauen -- ▁blo -- ric -- ▁Tom -- auf -- ней -- ▁enjoy -- 料 -- 書 -- 한 -- してる -- ▁Unter -- ▁moi -- wie -- nni -- 他说 -- ▁Nu -- ▁names -- ult -- ▁provided -- ▁breast -- vez -- 政策 -- ▁palace -- となる -- 大约 -- ल -- লে -- ▁costs -- ▁tap -- тан -- amu -- 男性 -- 而且 -- ▁devil -- ▁freedom -- ▁charles -- ھ -- 存 -- ▁authority -- bone -- mble -- ▁defend -- ▁hoch -- pens -- ▁бар -- ▁reasons -- しい -- 业 -- ▁Sam -- ▁sechs -- ません -- ▁fancy -- ▁fashion -- 毒 -- ос -- ▁intention -- ▁alive -- 倍 -- py -- 静 -- 今回 -- ▁pair -- 设计 -- ▁impression -- 儿子 -- ör -- ▁sex -- 伦 -- ellen -- ▁cyane -- ▁desert -- ▁gentle -- 认识 -- ▁bell -- ۆ -- 잖아 -- ала -- 多少 -- 压 -- 都有 -- ▁style -- ṛ -- ▁forms -- ▁anxious -- ▁teach -- 哦 -- 词 -- ▁Pu -- 更多 -- vent -- 的生活 -- ▁genug -- 怕 -- 很好 -- род -- voll -- ▁sup -- ▁Menge -- 假 -- 方向 -- mark -- ▁circle -- ▁weit -- ▁тебя -- ddi -- cul -- 自分 -- ▁twice -- তে -- 政 -- قا -- ▁ordered -- ▁gla -- ▁mer -- ▁honest -- ▁сказал -- のお -- ▁Zi -- ▁stra -- ▁possibly -- ▁angry -- ▁س -- ▁council -- sol -- loo -- dam -- ▁vida -- 能力 -- gara -- ši -- ▁brief -- ▁کرد -- eln -- 基本 -- ▁лет -- ró -- 打开 -- ▁20 -- 犯 -- nik -- br -- ▁leur -- ▁gy -- mine -- ration -- uli -- ▁ocean -- ▁origin -- ▁Sant -- ▁З -- ▁geen -- icht -- 英国 -- ▁patient -- ▁ordinary -- ▁bent -- ැ -- ▁british -- alt -- ▁ای -- ▁importance -- ▁qua -- ▁són -- 喜 -- vie -- ▁яго -- 多くの -- ▁legs -- ство -- ния -- kins -- ▁university -- long -- ▁вопрос -- ▁eigentlich -- ▁юм -- ▁hören -- 好吧 -- shed -- lijk -- rag -- 姆 -- 令人 -- 인 -- 结婚 -- ▁rising -- дер -- leid -- ▁Vater -- ▁culture -- ▁或者 -- ▁tongue -- ▁murder -- els -- はい -- '200' -- 当中 -- ▁Kopf -- arm -- ▁somewhere -- ▁volume -- ▁heads -- ega -- ▁qual -- ▁với -- گر -- nnen -- 清楚 -- ▁safety -- halt -- ▁ganzen -- কা -- ▁zo -- ades -- 支 -- pend -- 同时 -- 嗯 -- 스 -- ▁Mutter -- 激 -- 選 -- تی -- сть -- ví -- pet -- ▁problems -- ▁agreed -- ▁physical -- ▁investment -- 内容 -- ▁truly -- gus -- wal -- ▁row -- わけ -- ि -- ▁security -- iĝis -- hab -- ээ -- ▁fe -- ▁тебе -- ology -- ▁hate -- ▁shoulder -- ▁forgotten -- ord -- ▁breakfast -- ▁rode -- пла -- ▁seventeen -- ▁那你 -- ▁taught -- ▁ему -- 你是 -- ▁roof -- vir -- ▁aim -- ▁cook -- 迫 -- tä -- ▁med -- ▁mistake -- ▁promised -- ▁много -- ▁dance -- 运动 -- ▁сам -- ▁Cha -- されています -- pun -- ود -- ▁China -- ыш -- ▁join -- še -- geb -- 感谢 -- ▁versuchen -- ▁waited -- elijk -- ▁exercise -- ▁roll -- ight -- uda -- ▁ability -- ▁anne -- rou -- ▁altogether -- ▁dare -- izi -- ▁remembered -- plan -- 息 -- нов -- 氏 -- гүй -- люб -- 主要 -- ▁Jetzt -- ▁kor -- ▁би -- ▁calling -- fl -- ▁làm -- ▁Ch -- lent -- ▁fingers -- ▁dangerous -- சி -- ▁weniger -- ▁hart -- 不可 -- ▁feelings -- аль -- ▁Tra -- ▁kuri -- ▁target -- வா -- ていた -- ▁потом -- old -- 三十 -- ▁tent -- ▁salt -- part -- 质 -- jn -- けれども -- ▁failed -- 这不是 -- ▁glory -- ule -- 每天 -- از -- ▁восемьдесят -- 永远 -- ▁chose -- uit -- ▁そう -- اق -- ▁бу -- 曾经 -- ▁streets -- 汉 -- கி -- ▁specific -- nje -- ▁wil -- раз -- 関係 -- any -- を見 -- ▁вообще -- tch -- ▁terror -- tausend -- すること -- 一位 -- 税 -- ▁bist -- ға -- 跟你 -- ▁empty -- lief -- 景 -- ▁helped -- ▁method -- ▁james -- 刚刚 -- ▁vielen -- zon -- uni -- bili -- jā -- stellen -- ▁rot -- ▁quietly -- bon -- ねえ -- ▁famous -- pping -- パー -- rim -- 社 -- gor -- ▁drop -- 一条 -- ▁fil -- ▁auto -- 调查 -- urs -- ▁express -- zig -- ▁grant -- ziehen -- ▁active -- 都会 -- 消 -- ▁wear -- ▁после -- bal -- 婚 -- 亮 -- ▁байна -- iye -- ▁пре -- য় -- ▁princess -- ▁limit -- 后来 -- 万円 -- ld -- ▁ха -- ło -- ▁wij -- 生命 -- keit -- の中で -- ائ -- ▁ச -- ▁bul -- 探 -- ▁Für -- ▁kingdom -- cke -- ▁series -- ▁sufficient -- 越来越 -- ▁busy -- ▁grown -- бор -- '13' -- 有一些 -- ▁Мы -- ▁aussi -- tika -- 企业 -- ▁các -- 行动 -- ▁issues -- wert -- bus -- ▁rapid -- зы -- 告诉你 -- ூ -- ▁Za -- ▁شده -- ▁такой -- 赛 -- eli -- もある -- rz -- ▁delight -- ▁sang -- なんです -- ▁struggle -- 堂 -- 在我 -- ▁online -- ▁그거 -- tori -- ▁explained -- ño -- 軍 -- про -- ▁fault -- aw -- ▁deg -- প -- ім -- rom -- ▁ended -- ▁guide -- 目前 -- ート -- ▁signal -- ▁heat -- či -- ▁flow -- 日本の -- ▁そうですね -- phy -- nin -- 念 -- 旧 -- tto -- ▁aside -- ▁gr -- û -- ium -- ▁그래서 -- ▁liegt -- 散 -- ▁És -- ▁potential -- ▁yesterday -- ▁rights -- ▁девяносто -- ▁false -- gia -- 医 -- يل -- nze -- 違う -- ▁pré -- ▁sorrow -- ▁highest -- 医院 -- sp -- されて -- ▁hinter -- ▁Wer -- kā -- ▁extremely -- ▁Dia -- ▁experiment -- Laughter -- иться -- ▁judgment -- 网络 -- ▁exact -- ▁сегодня -- اف -- ▁fel -- ▁hell -- 你说 -- aya -- 绝对 -- ▁dev -- ▁verstehen -- 駅 -- ▁listening -- おいしい -- 第一次 -- 的孩子 -- ▁strike -- ▁connection -- ▁sentence -- ▁income -- 赤 -- 居 -- ล -- ▁European -- ▁kuba -- ▁pou -- ▁greatly -- ▁Па -- 房子 -- ▁described -- ского -- したい -- ກ -- ▁klar -- ▁recently -- 萨 -- ▁priest -- 旅行 -- ి -- ▁margin -- ое -- ▁pressure -- ▁touched -- ▁trial -- haus -- ▁separate -- ▁network -- ▁refer -- وي -- était -- tle -- ▁fix -- ▁previous -- ▁sides -- 요 -- 出了 -- 降 -- ▁companion -- uf -- uff -- спе -- 洛 -- dio -- ▁때 -- ▁Fragen -- 真是 -- ▁vers -- ▁де -- 那种 -- ▁older -- ▁disease -- ▁почему -- 大的 -- ▁angel -- lá -- нем -- ▁zehn -- ▁beim -- 進 -- ▁settled -- হ -- oso -- ude -- ▁gay -- rung -- ▁ride -- 合作 -- ▁grande -- ются -- horn -- cies -- ▁becomes -- ym -- 剧 -- pla -- 置 -- からの -- দ -- tom -- 你要 -- ▁eleven -- ▁When -- bs -- ▁людей -- ▁meer -- یا -- ْ -- ▁map -- ▁gleich -- ▁apparently -- ▁naturally -- ства -- ҙ -- 那是 -- gun -- دی -- 很难 -- 来的 -- ▁sage -- ime -- ▁onder -- 英 -- ▁гор -- ▁Prozent -- 致 -- ming -- ▁superior -- aus -- tă -- ▁имени -- sem -- 游 -- ウクライナ -- ▁Lebens -- 即使 -- ▁hun -- ▁intended -- ▁philip -- lio -- ▁sixteen -- сон -- ▁involved -- ыя -- эд -- ился -- ▁liked -- ▁capacity -- 诺 -- まず -- 轮 -- ▁vie -- ▁Ci -- iste -- wand -- ана -- ▁interview -- ▁troops -- ▁Auto -- eye -- antes -- лась -- ▁même -- ées -- ▁belief -- ້ -- 一家 -- gem -- cara -- າ -- nal -- ▁него -- ▁title -- nge -- 我们将 -- 参与 -- 你能 -- 机会 -- 除了 -- 产 -- amos -- ▁bald -- ▁release -- ▁corn -- 谈 -- 粉 -- 创造 -- 親 -- 冲 -- でしょうか -- ▁ice -- ▁مت -- ▁driving -- ▁stars -- щ -- rry -- ▁student -- hundert -- ▁highly -- 展示 -- 止 -- ▁vote -- ▁shop -- ht -- nehmen -- ande -- нд -- ▁operations -- eller -- inde -- ash -- ек -- lot -- ruh -- ա -- ▁career -- ct -- ▁definitely -- ▁chamber -- ▁argument -- ▁happening -- tier -- fr -- phi -- bes -- 晚 -- гийн -- ▁sans -- 讨论 -- ono -- ▁admit -- 抓 -- ましょう -- olo -- zwa -- 料理 -- ila -- ▁ap -- той -- 収 -- ε -- ▁avoid -- burg -- ▁thrown -- vä -- 実は -- 校 -- ив -- によりますと -- ▁todos -- ▁contra -- 架 -- ▁aller -- 整 -- やはり -- ▁flo -- 富 -- ▁suffer -- ▁shoulders -- 认 -- ▁minister -- ▁Th -- gro -- ès -- ▁match -- ▁ந -- tud -- 滑 -- ▁bereit -- spiel -- tür -- 俩 -- 期待 -- ▁concerned -- 弄 -- ▁windows -- 一定要 -- ийг -- ▁harm -- ▁cup -- ori -- hora -- 末 -- বে -- ज -- ario -- ▁thousands -- ▁kennen -- тур -- লা -- ▁pointed -- ▁nay -- ▁His -- get -- ▁ideal -- 下去 -- 它是 -- ži -- 箱 -- sing -- rd -- '80' -- ▁fairly -- ▁standard -- ▁ее -- 只能 -- ▁nose -- 的故事 -- lus -- kal -- iamo -- ▁spiritual -- ▁해 -- ▁Pri -- 田さん -- dale -- ▁carriage -- яв -- رس -- ▁verwenden -- ▁kinds -- 要是 -- ▁Gott -- 呼 -- tten -- 块 -- ▁loud -- ▁helfen -- ▁joined -- ▁себя -- ▁bro -- 吃饭 -- ▁kid -- 索 -- 하는 -- 报告 -- vit -- 可能是 -- ▁novel -- tain -- 县 -- 不管 -- ▁weitere -- gam -- ejo -- anza -- stri -- ▁claim -- reich -- ▁excuse -- த் -- வு -- 复 -- 叶 -- 就在 -- ▁fighting -- ▁mari -- пу -- ▁ones -- ▁temps -- 猫 -- ▁affairs -- gwa -- ust -- kana -- ▁wealth -- 症 -- 重新 -- ▁useful -- dé -- 百分之 -- ▁presented -- ▁flight -- 鲁 -- kam -- 灯 -- ▁grey -- cut -- ▁пад -- 记 -- 每个人都 -- cz -- ▁papa -- ique -- ▁fri -- rik -- できない -- ▁mix -- lock -- ▁loose -- ность -- fort -- ▁Cor -- بي -- ▁niemand -- ян -- ▁cuando -- ▁prayer -- ▁faces -- pad -- bare -- 歳の -- ▁debt -- ▁evidently -- abi -- ▁unseren -- ▁möglich -- まあ -- ▁suggest -- 付け -- pha -- ща -- 动物 -- ▁woods -- का -- 你不 -- ▁Х -- vien -- ▁pull -- ▁develop -- 当你 -- ▁cruel -- ▁そんな -- ità -- igung -- 借 -- したら -- ▁anders -- ▁ف -- بل -- மா -- 令 -- dus -- 因此 -- 市の -- になりました -- ▁indem -- ▁Regierung -- ▁الح -- ▁average -- 时代 -- شر -- ▁native -- 速 -- ked -- ▁ange -- ▁خود -- ▁X -- ▁아니 -- ▁tin -- ි -- tü -- 梦 -- hau -- ила -- тал -- 愿意 -- ▁worst -- por -- வி -- じゃないですか -- 続いて -- თ -- bwa -- wick -- ssa -- ▁lack -- 表示 -- ▁considerable -- ▁нужно -- olu -- hn -- 志 -- ▁trail -- ace -- rup -- ▁dogs -- 勒 -- ath -- ▁suggested -- ▁torn -- パン -- ▁nos -- ▁pal -- 程度 -- 也有 -- ify -- ▁bid -- mwe -- eix -- 慢 -- ▁raz -- ụ -- 都在 -- tent -- ▁пока -- 父亲 -- 贵 -- haft -- 条件 -- ск -- र् -- ▁Dan -- 注目 -- ▁arbeiten -- lichkeit -- 是谁 -- bas -- ▁gate -- ▁மற்றும் -- ▁male -- uel -- нь -- ▁dabei -- ▁sought -- ▁raise -- ters -- elles -- ▁какой -- それで -- ▁이제 -- ▁gain -- 的想法 -- ▁bodies -- book -- ▁wohl -- ▁それは -- ゆ -- hind -- ыр -- ▁constant -- 明日 -- ▁heb -- ▁好吧 -- 威 -- 心里 -- وت -- ▁sacrifice -- 然 -- ▁Männer -- 普通 -- ▁labour -- 产品 -- ете -- ▁bekannt -- 分析 -- 込み -- 看起来 -- とき -- 莫 -- ▁refused -- 占 -- gé -- 顿 -- comp -- しない -- ▁slightly -- ▁хорошо -- 道路 -- ▁fail -- しっかり -- ▁sheet -- 招 -- ▁source -- ▁Meinung -- ▁dot -- ▁Dank -- 经 -- sign -- 是你 -- ening -- ум -- ▁birth -- ▁també -- bury -- コン -- ▁hills -- 顔 -- ui -- ▁rapidly -- ▁pur -- ▁becoming -- 我知道 -- 谢谢 -- 盘 -- ▁saved -- kken -- hang -- ▁поэтому -- ▁bringing -- 谢谢你 -- ▁Nicht -- mia -- ▁tender -- ▁showing -- дел -- える -- 以来 -- pal -- 也没有 -- ской -- ▁computer -- নে -- ギ -- ▁virtue -- 曼 -- ▁nehmen -- ره -- 硬 -- ▁unknown -- ▁tradition -- fon -- cr -- ws -- なる -- ▁finger -- ▁advanced -- inte -- мат -- 句 -- сэн -- ▁Film -- 到底 -- avi -- ▁papers -- ▁governor -- trag -- ▁upper -- 就可以 -- ▁じゃあ -- cé -- produ -- кам -- ▁Post -- ▁audience -- たち -- anga -- 切り -- با -- ▁extent -- ▁peut -- ▁pin -- なぜ -- halten -- ▁solche -- ▁gift -- ▁э -- endo -- 側 -- ▁neuen -- லை -- ▁pity -- ▁theory -- sal -- 提出 -- ▁Em -- ▁¿ -- ▁alte -- 場合 -- ▁division -- 历史 -- ▁everywhere -- iva -- '70' -- ▁Bir -- 들 -- なって -- pli -- 北京 -- ization -- 沉 -- ▁çok -- ▁praise -- ▁cities -- term -- yer -- ▁Des -- ▁Vo -- ▁portfolio -- ▁Tre -- これから -- று -- 会社 -- 价 -- ▁первый -- ▁dressed -- ▁Auch -- punkt -- ел -- 教授 -- ▁servants -- 建立 -- ▁charm -- ▁nächsten -- ▁cell -- ▁System -- ベ -- 靠 -- 育 -- зи -- стр -- cept -- хи -- ▁See -- ▁talent -- ▁Idee -- wir -- ▁où -- 你有 -- right -- ál -- 魔 -- ▁кор -- 射 -- ▁trip -- ▁established -- ül -- ▁sua -- ▁features -- ▁الس -- ▁distant -- 至少 -- ▁rome -- ▁Punkt -- ▁kitchen -- ced -- ets -- 都不 -- stellung -- ▁wake -- yl -- 具 -- ецца -- ▁advice -- ешь -- xa -- 国内 -- なんて -- ▁quarters -- 坏 -- ibi -- না -- 折 -- 一百 -- ▁gewesen -- ▁occurred -- esa -- эх -- ▁Hause -- kus -- 結果 -- 刀 -- ér -- ▁respond -- 満 -- ▁reflect -- phe -- ( -- ır -- ▁moments -- ▁Park -- isten -- ワ -- ේ -- ▁yr -- ▁beg -- ▁аб -- کن -- ▁mode -- ▁ذلك -- jou -- ▁forces -- 家里 -- ised -- ▁committed -- ▁hy -- ▁Г -- 是如何 -- ña -- zza -- 判断 -- mber -- その後 -- ▁announced -- ▁Tri -- ▁quatre -- ▁bought -- дар -- уд -- ности -- 空间 -- 立ち -- cro -- 核 -- 怪 -- 刚才 -- ▁думаю -- ständig -- main -- ▁robert -- ▁discover -- ара -- ▁pace -- ▁guidance -- раб -- ▁include -- 業 -- ▁kiss -- mbe -- 藤 -- ▁pulled -- ▁había -- ▁بعد -- cions -- 言葉 -- ▁Gesicht -- بار -- nell -- ▁darin -- сі -- 恶 -- lf -- ▁teeth -- ▁How -- ▁пе -- ej -- を受け -- 活動 -- ▁lamp -- '24' -- ▁smart -- ▁leg -- ீ -- 礼 -- rac -- ▁lovely -- pose -- きます -- বা -- த்து -- 总统 -- 都没有 -- зе -- ает -- 所有这些 -- ▁card -- ▁jane -- 警 -- ▁facts -- dur -- ▁ankaŭ -- ▁我就 -- mir -- 身边 -- ▁sunday -- 投票 -- ▁prefer -- ră -- 黒 -- ema -- ▁detail -- ▁shame -- ▁oli -- 電 -- 마 -- ▁fut -- str -- 主义 -- ож -- ▁block -- บ -- ▁Cu -- 世纪 -- 番組 -- 航 -- ▁هذه -- ▁frei -- ▁этой -- ře -- ▁closely -- ▁intelligence -- ▁erst -- 卫 -- 意识到 -- ì -- ▁hang -- mma -- ▁hearts -- ▁leicht -- ▁drove -- app -- nga -- нос -- 支援 -- ske -- 厚 -- ▁bud -- ▁அவர் -- ▁One -- 进来 -- ▁afford -- back -- ▁zal -- 什么时候 -- ▁whispered -- 現場 -- ▁medical -- 旅 -- 真正的 -- pra -- être -- kor -- ▁pop -- 建议 -- tı -- 増 -- ico -- ▁Warum -- ▁போ -- ▁protection -- ▁details -- ▁Ol -- ▁milk -- 搞 -- 顶 -- eza -- いろんな -- ▁comfortable -- ことは -- ▁Ob -- 论 -- ▁section -- 属 -- oon -- ▁department -- ат -- ▁다 -- 博 -- ▁gathered -- 证明 -- ▁existing -- ން -- 게 -- von -- 尾 -- izing -- ▁affection -- かなり -- ech -- ▁metal -- ▁liebe -- 蒙 -- sko -- ここで -- 他是 -- ür -- pé -- 势 -- ▁dozen -- фи -- 影 -- тро -- 最好的 -- ▁secure -- lab -- ▁extraordinary -- ▁anyway -- ▁cosa -- ▁listened -- 货 -- sus -- ▁brauchen -- ▁slight -- nta -- ▁Namen -- ますね -- ▁conclusion -- ▁female -- нее -- سم -- 抗 -- пол -- tos -- ▁gene -- 观 -- ▁laughing -- ▁represent -- ▁manage -- 鬼 -- ▁syn -- ▁solo -- ▁crown -- ▁handsome -- ▁Pre -- town -- ▁Video -- 领 -- ▁ở -- ▁heeft -- 我们有 -- 延 -- ▁bitter -- ▁carrying -- 一会儿 -- ▁daha -- 我有 -- ▁„ -- 感情 -- ▁nurse -- ు -- 胡 -- ▁smooth -- ▁iran -- ▁él -- 運 -- 経済 -- ▁indians -- 是为了 -- sicht -- 位置 -- eḍ -- ▁donc -- ▁больш -- ▁Hal -- მ -- nek -- 象 -- ▁treatment -- 我已经 -- っていうのは -- medi -- ත් -- ▁অ -- டை -- なんだ -- ப்பு -- ▁consideration -- ▁த -- 制作 -- тэй -- tions -- 不到 -- ▁appears -- ong -- дал -- 的一些 -- fini -- ▁Wissen -- ▁当然 -- 今回の -- ▁developed -- 宫 -- 运 -- ▁careful -- 新闻 -- ▁obliged -- ế -- ▁projects -- もっと -- ▁treat -- kh -- ŝ -- ের -- ▁discussion -- ▁clar -- ▁sự -- べ -- ▁về -- zie -- 思考 -- ▁reward -- 环境 -- ヒ -- ▁П -- kö -- ▁дело -- 参 -- ボール -- гі -- 冬 -- ente -- ▁resources -- ▁வி -- ▁второй -- 日に -- 네 -- ència -- cks -- şi -- ා -- ▁independent -- ▁professional -- さらに -- ▁Is -- 地说 -- 各种 -- blick -- пе -- ▁staff -- ▁Raum -- iyo -- 铁 -- 是因为 -- zan -- 十分 -- ▁role -- 阳 -- 引き -- ▁тогда -- pl -- ティ -- ▁rough -- 举 -- ່ -- 冰 -- ▁nta -- ▁jest -- ▁focused -- ▁drug -- ▁mighty -- 記録 -- ▁ප -- द -- fli -- aha -- ctor -- bor -- ên -- bank -- 日の -- az -- ो -- ▁Q -- 了吧 -- ▁transport -- hält -- ▁lies -- ▁wow -- ▁schools -- wit -- ▁reg -- ▁smaller -- それは -- 最大 -- ▁Woche -- ▁кол -- rap -- 想到 -- ን -- ▁systems -- ▁mé -- ball -- あれ -- なかなか -- 幸福 -- cion -- のに -- ▁response -- tá -- ▁compared -- ▁Mon -- ▁imagination -- ▁pare -- 是吧 -- ค -- رف -- ▁200 -- nyi -- 做出 -- рав -- ▁louis -- ppen -- 曾 -- 会有 -- ▁realized -- каз -- ▁Wort -- ▁Chris -- ▁artist -- ção -- くる -- ▁element -- sho -- ▁sieht -- 归 -- 说了 -- gl -- este -- تا -- ý -- gate -- einander -- dí -- ciones -- 随着 -- ต -- 欢迎 -- 年代 -- uga -- 岛 -- 独 -- nom -- nken -- げ -- 职 -- ▁kurz -- ▁permit -- 尽管 -- ▁organization -- vier -- ère -- ▁extreme -- 危险 -- ژ -- fold -- ▁training -- 现 -- hat -- 寻找 -- ▁spr -- ings -- ▁University -- 行为 -- カー -- ▁Dollar -- ▁incident -- mbi -- gon -- 塞 -- ▁David -- ▁instrument -- ▁hal -- star -- ▁questo -- ▁rare -- でしょ -- 价值 -- ▁Schw -- 嫌 -- ▁cop -- ã -- უ -- ▁organis -- 把我 -- ▁Neu -- யா -- られて -- ▁cya -- ität -- ▁leader -- 歩 -- 仕事 -- ▁smiling -- ▁まずは -- imo -- ▁Kind -- бер -- ం -- ▁beide -- peri -- 受到 -- 暗 -- ▁contrary -- ▁saint -- ▁deine -- ▁treasure -- llo -- ▁hidden -- ierten -- iyor -- ▁patients -- 状態 -- ▁mess -- ▁unbe -- ▁skill -- nza -- ▁eso -- ▁joe -- ▁principle -- 示 -- ▁realize -- 领域 -- ▁EU -- ▁relief -- ▁ain -- 的歌 -- يت -- ▁Pen -- ちゃんと -- ▁arab -- فا -- مر -- ▁Che -- lim -- ▁succeeded -- pos -- ▁fleet -- wind -- өр -- 同样 -- ▁measures -- 豆 -- 公共 -- ▁actions -- ▁temper -- жы -- ▁不过 -- һ -- ▁gan -- ayo -- ってる -- ▁carrer -- ▁liberty -- রা -- ▁ئا -- ▁setting -- оў -- ट -- ▁protect -- 藏 -- 我是说 -- ▁colour -- ▁более -- 刺 -- ▁function -- blo -- ▁estate -- ▁invest -- sid -- ▁families -- ▁Sha -- ыл -- ун -- ▁wore -- nat -- ▁steht -- 同意 -- 劳 -- ppe -- ▁falling -- 必 -- 私は -- 委 -- 简单 -- ▁suffered -- に対して -- тэ -- টা -- 随 -- ▁Sp -- ▁frequently -- hol -- ▁somehow -- 不可能 -- 十二 -- ▁partner -- itude -- ▁flesh -- ▁powers -- اع -- 你看 -- ▁olarak -- ▁ships -- '500' -- cus -- 』 -- ▁yi -- اه -- ▁ج -- 唯一 -- ист -- ▁stellen -- 有时 -- ▁campaign -- uje -- 『 -- ▁solution -- aron -- 上了 -- ubu -- ery -- shy -- ydd -- ▁nevertheless -- 投资 -- ▁overall -- 床 -- 対応 -- ▁affair -- 我不 -- ▁awful -- ▁Europa -- ▁như -- ▁stark -- ▁begann -- ▁Recht -- ▁picked -- ▁Ihrer -- kazi -- 基本上 -- 说的 -- bia -- ▁accepted -- ▁sp -- ▁request -- фе -- ▁Freund -- ency -- 功 -- vari -- shaka -- ▁favour -- ▁direkt -- ▁euch -- ක් -- ▁plenty -- ▁ĉi -- 有了 -- unt -- ём -- 等等 -- ▁businesses -- ▁seized -- もあります -- dien -- ów -- ▁grim -- 特に -- 不过 -- ▁glauben -- hal -- ▁kra -- üh -- ▁conference -- ▁zeigen -- ▁motor -- ▁пера -- 患者 -- юць -- ▁peu -- ▁thế -- 以为 -- 薬 -- sey -- 产生 -- ▁faithful -- ▁satisfied -- fic -- spect -- yor -- lly -- ▁dust -- ▁dreadful -- 即 -- ▁하 -- 私の -- ▁うん -- ▁jim -- ▁pet -- 套 -- 一直在 -- 에서 -- ▁funny -- viv -- 股 -- weg -- cs -- ▁expressed -- ▁مو -- 累 -- 上げ -- mara -- ▁foundation -- аны -- ont -- ▁tip -- gul -- وس -- 職 -- 把他 -- さんに -- uv -- にして -- ▁Sal -- ▁remarked -- ここに -- ▁appeal -- pel -- dul -- ं -- ▁meal -- ▁Internet -- ▁bob -- ▁fields -- 前の -- 生物 -- ▁possess -- ▁soldier -- эт -- つけ -- ▁horror -- ▁alla -- лет -- 変 -- んだよ -- ▁kal -- 你也 -- veni -- 还没有 -- cri -- 贝 -- می -- 当我们 -- лар -- ome -- 洋 -- дан -- ▁воз -- ▁ක -- gie -- 吸 -- 预 -- ▁excitement -- ▁거야 -- 是一种 -- ▁contact -- ▁rules -- 両 -- ▁mac -- ▁negative -- ▁Ist -- 敢 -- ▁Гэта -- ▁connected -- ▁universal -- ▁Gar -- ▁irgendwie -- pil -- ▁majority -- ▁destroy -- ▁Los -- 蒂 -- hod -- 我去 -- prob -- kol -- がありました -- ▁Den -- ோ -- ▁sé -- ▁relationship -- со -- ▁bore -- ▁lifted -- 编 -- tory -- ▁Körper -- ▁fu -- ▁whenever -- かもしれない -- ▁sprang -- வே -- と思う -- 了一 -- cat -- ▁我要 -- これを -- top -- 汽车 -- зі -- 害怕 -- '90' -- ▁iyi -- ▁With -- ▁şey -- ▁qué -- ▁emperor -- ▁lock -- oh -- ▁Và -- ▁flag -- ▁Reihe -- 结束 -- ▁tail -- ▁pardon -- ians -- ред -- ▁proof -- ▁fal -- ▁protest -- ▁parties -- 地域 -- 死了 -- rian -- 你必须 -- яр -- ▁rid -- ▁amazing -- kas -- మ -- nig -- 袋 -- Z -- ▁hello -- ட்டு -- ké -- кова -- ▁challenge -- 但我 -- сад -- ▁Pan -- act -- isto -- 我没有 -- زی -- ▁savage -- tisch -- ▁Angst -- ▁spo -- 丁 -- mise -- 弹 -- 我都 -- 可是 -- ▁prior -- だって -- ▁West -- ▁adam -- ▁nest -- 我还 -- ▁resist -- ▁Antwort -- ▁rev -- ▁수 -- ▁mot -- Y -- ▁இந்த -- ▁decide -- ▁wondering -- ▁phone -- ▁所以我 -- 境 -- ▁crossed -- down -- 疑 -- ▁radio -- 母亲 -- 印象 -- ▁Saint -- ▁те -- mobil -- ▁wisdom -- ▁để -- 战争 -- nna -- ▁anger -- ップ -- ▁flower -- ▁Familie -- kli -- ▁zei -- مل -- ▁Не -- rze -- ▁screen -- aniran -- ington -- ▁کو -- ▁frame -- 食べ -- ktor -- ange -- kü -- '""' -- 露 -- ▁đi -- ▁occupied -- ả -- ▁それでは -- nit -- 翻 -- ▁despair -- ▁washington -- five -- 人に -- 務 -- 和你 -- ▁kunnen -- ров -- ▁demanded -- 里的 -- ose -- 的名字 -- uti -- 天气 -- col -- シャ -- ▁Liebe -- бай -- ▁dawn -- 烟 -- colo -- 做什么 -- ▁schi -- 最初 -- ▁statement -- دار -- nam -- نى -- させて -- 商品 -- 까 -- band -- 杨 -- position -- tage -- 土地 -- ▁gerne -- ▁ghost -- 谢 -- ▁пол -- ▁fundamental -- ▁managed -- 池 -- 治疗 -- duc -- ▁Ihren -- 人员 -- ▁enemies -- eurs -- ▁School -- ▁kur -- ▁rank -- ель -- nah -- なんですが -- fern -- ▁yer -- 衣服 -- 凯 -- ▁communication -- ▁agreement -- ▁marked -- treten -- ெ -- tti -- ▁Son -- бра -- 共同 -- 赶 -- みたい -- ▁一方 -- ▁increasing -- य -- 니까 -- ▁Let -- ▁removed -- وب -- 浮 -- 発表 -- 有没有 -- をして -- ▁dying -- ▁slave -- 关键 -- ▁remarkable -- 进去 -- ▁Krieg -- 権 -- dzi -- tó -- iş -- ▁Het -- ▁теперь -- ▁supper -- ▁ari -- ஜ -- ▁cow -- न् -- 他们在 -- 年の -- ▁improvement -- ▁mistress -- 计 -- 舞台 -- 团队 -- ු -- 面前 -- ered -- ▁equally -- ▁суд -- ▁jak -- iem -- ▁violence -- بی -- ▁strategic -- ▁burning -- öl -- 没有人 -- 今の -- くらい -- ▁шу -- liegen -- ▁très -- ▁schien -- ▁However -- ▁mü -- などを -- ▁poet -- ▁الك -- ▁bishop -- ▁clo -- ▁deck -- お願いします -- ▁baron -- ▁Mor -- stig -- 有多 -- ▁farther -- 皇 -- 课 -- 恋 -- кая -- ень -- ▁primer -- 的声音 -- 人民 -- ▁말 -- ▁regarded -- ▁Spe -- 你好 -- 值 -- ▁groups -- ▁asleep -- 尤其是 -- ▁Э -- 組 -- пом -- ▁kom -- 戴 -- ▁effective -- ት -- stin -- sky -- ▁mile -- ▁verschiedene -- ▁Alle -- யில் -- 机构 -- 如果我 -- ında -- の方 -- 聞いて -- ▁educa -- jas -- ▁code -- ▁kas -- ▁Cap -- stellt -- ▁Ste -- chter -- テレビ -- ▁generation -- 坐在 -- 秘密 -- од -- もし -- ▁wedi -- роз -- พ -- vita -- ▁sprach -- ▁dengan -- ▁cab -- ▁describe -- ▁route -- ಿ -- ▁weißt -- ▁nahm -- ед -- いない -- ▁좀 -- grad -- ▁esto -- 원 -- ▁calls -- 务 -- ▁deeply -- că -- انی -- ▁continues -- னை -- オリンピック -- 了很多 -- ▁meat -- お前 -- 的大 -- bul -- thy -- 先ほど -- ngu -- ▁gew -- uba -- ▁pack -- сты -- wyd -- 丸 -- ▁arch -- ▁播放 -- 怀疑 -- 了你 -- weise -- ага -- آ -- ▁topic -- oz -- ган -- ▁herum -- 看见 -- 和我 -- ▁Amerika -- 移 -- ▁behold -- schau -- 这个人 -- ▁inner -- 营 -- ▁import -- angle -- rice -- ▁capable -- гла -- 女儿 -- ▁nervous -- ▁Kra -- 介绍 -- ▁flying -- 熊 -- ▁hacer -- ▁chain -- 唐 -- ▁minds -- がない -- whi -- 妹 -- 混 -- tische -- 姑娘 -- mah -- ▁acht -- ▁будзе -- 地球 -- ▁أو -- ▁innocent -- gui -- run -- ▁Men -- vě -- ▁software -- ffer -- 背景 -- ific -- らない -- bet -- களை -- تى -- 宁 -- ▁begun -- uzi -- ▁levels -- vă -- 年轻 -- ▁yield -- lap -- よりも -- ▁Informationen -- ▁بی -- ▁spirits -- ▁alarm -- ▁проезд -- ▁machte -- ▁explanation -- 对我 -- 不仅 -- ▁jam -- zone -- ▁younger -- র্ -- 优 -- لت -- гал -- toj -- ▁hide -- ▁buried -- マン -- 攻撃 -- ▁worthy -- 希 -- 吹 -- ▁Commission -- ▁konnten -- ा -- ▁gods -- tors -- lama -- ▁aspect -- ▁eene -- このあと -- dum -- 那样 -- ▁pred -- ison -- org -- 并且 -- ▁rear -- ரா -- 具体 -- ▁wave -- 加入 -- клад -- ▁complex -- 你现在 -- ▁Arm -- を見て -- loc -- ▁southern -- ▁mayor -- ງ -- gs -- тель -- ▁doors -- лә -- ▁citizens -- 麻 -- 眼睛 -- ▁forgive -- نت -- ▁evident -- 事儿 -- 人で -- 帮我 -- வை -- ▁commission -- ▁site -- 自身 -- ▁included -- igt -- 宮 -- 莉 -- 不太 -- 莱 -- ▁unique -- setzt -- ▁अ -- 第三 -- ▁sons -- 展 -- ▁dull -- pass -- ▁我说 -- ▁bottle -- 容疑者 -- ▁dari -- ▁الع -- wydd -- ▁verschiedenen -- ▁bull -- 一只 -- ▁stehen -- 関 -- っていた -- ▁کا -- ▁чего -- pers -- ν -- ступ -- anda -- 高い -- তো -- worth -- 你还 -- ▁dim -- ▁tower -- ▁millions -- ▁satisfaction -- ▁effects -- ▁rates -- ▁gener -- 表明 -- ▁虽然 -- 灵 -- 전 -- kuwa -- 叫做 -- 下面 -- ▁cheer -- من -- کر -- 领导 -- 变化 -- عد -- 正常 -- 第一个 -- ▁clever -- ▁treated -- ▁divers -- water -- lös -- ő -- ▁rocks -- 路上 -- ▁necessity -- もちろん -- 的一部分 -- licht -- ingly -- ۇ -- 我们会 -- yard -- 了他 -- аг -- ▁ново -- oka -- ▁zero -- ▁fund -- ▁Natur -- 接種 -- ridge -- ▁pipe -- 老板 -- قد -- ▁figures -- 丽 -- vant -- 在哪里 -- maze -- だけで -- 替 -- lah -- ▁edward -- ▁shade -- 人間 -- 乡 -- 在他 -- nim -- ĉ -- 备 -- それが -- 新しい -- ▁friendship -- oi -- ホ -- 你这 -- nud -- ▁liber -- ▁sheep -- ▁вер -- ▁pictures -- 义 -- ▁election -- bung -- gira -- ▁Tur -- эм -- alo -- ▁attitude -- ▁них -- jes -- 橋 -- ▁conscious -- že -- ▁proportion -- ▁ruin -- cil -- ▁себе -- cyo -- 其他人 -- ▁document -- ▁western -- ▁oo -- ез -- ▁economy -- ▁twee -- cient -- ư -- ▁palm -- gua -- elli -- ств -- と思って -- raz -- ▁execution -- 視 -- 麦 -- ными -- ▁entrance -- 食物 -- кт -- ▁manifest -- ци -- ▁perspective -- ▁nations -- ▁ху -- lea -- anti -- ▁Bre -- ▁plate -- ▁desired -- ço -- ペ -- ▁alten -- ▁الب -- ▁expense -- 女子 -- そこ -- vou -- 目的 -- 坚持 -- ▁tiny -- voir -- ▁allein -- ▁confi -- шел -- 导 -- ります -- tica -- ▁gradually -- ▁Chi -- cial -- ▁pli -- 壁 -- ▁mem -- tab -- 会议 -- wis -- ış -- 私が -- ▁smith -- 一人 -- ▁obtained -- في -- ▁relation -- ▁grup -- ▁gaze -- رب -- rous -- していました -- か月 -- 彩 -- rk -- 许 -- hä -- ▁tour -- ▁giant -- ▁perform -- いや -- ▁lad -- ▁triumph -- ▁finish -- oku -- ニュース -- 艺术 -- ▁бер -- 席 -- ▁всех -- やすい -- hung -- ▁mí -- jí -- ▁sail -- ▁require -- ▁core -- ▁einzige -- 調査 -- рам -- 马上 -- ▁сказать -- 影響 -- ▁wounded -- griff -- 大哥 -- ▁Tür -- 完了 -- ▁Ziel -- 一场 -- 一旦 -- gent -- ▁untuk -- ▁criminal -- nny -- 企業 -- ▁revolution -- 还要 -- ▁mystery -- ▁mercy -- aban -- ▁constantly -- cli -- ▁teaching -- taj -- shobora -- rod -- cast -- roll -- ▁teacher -- итель -- ologie -- bly -- ▁update -- 僕 -- ▁acquaintance -- 休息 -- 今月 -- ▁article -- 挑战 -- ▁эта -- ▁bisschen -- 某 -- ▁あの -- fri -- 照顾 -- 酸 -- ▁nói -- وق -- ▁sul -- ▁visible -- ▁instantly -- gegangen -- ▁dei -- ▁それ -- ▁значит -- ▁versucht -- 対策 -- ▁работа -- өө -- ▁через -- ▁Ed -- 测试 -- 护 -- year -- というのが -- ▁counsel -- сла -- ҫ -- ですけど -- 接下来 -- ▁你看 -- 難しい -- ▁tres -- 实现 -- ▁триста -- last -- 按 -- 觉 -- 宗教 -- ▁Plan -- کی -- 这么多 -- 确定 -- 悪 -- ▁letzte -- ец -- ▁violent -- ▁knees -- ▁knight -- 在我们 -- 如果我们 -- isha -- aria -- ını -- ▁пу -- '21' -- gru -- ▁nel -- ▁crack -- ് -- 因为他 -- ttle -- ▁splendid -- ▁richard -- ▁Mont -- ▁brilliant -- ▁assured -- script -- 对你 -- rel -- ▁mill -- sca -- imu -- 減 -- ▁jede -- ▁какие -- 责任 -- apo -- ▁être -- ▁az -- 补 -- 就是说 -- ▁earnings -- 新たな -- ▁fragte -- ვ -- ▁necessarily -- tiv -- ▁wit -- ▁critical -- ▁harry -- 一张 -- gol -- 赶紧 -- 潜 -- ではない -- cou -- 一緒に -- ▁confident -- ▁lag -- 本来 -- ew -- In -- лася -- 言って -- 建筑 -- ާ -- 上がって -- ▁multi -- ically -- ▁turns -- 惊 -- ию -- ▁website -- よかった -- ▁worship -- ▁unable -- ▁throat -- ӱ -- ▁grief -- lement -- ここから -- مي -- ▁relations -- iɣ -- ▁كل -- ière -- 额 -- ▁published -- 纸 -- dina -- ▁vis -- umi -- ▁suspicion -- 陆 -- test -- ▁دارد -- ўся -- ▁sẽ -- ▁Det -- 也会 -- dad -- eten -- ▁petit -- در -- জ -- 我们要 -- ▁darum -- ▁maintain -- ▁director -- ▁الن -- غا -- 这个问题 -- 馬 -- 我很 -- aja -- ▁Paul -- 库 -- fy -- ▁official -- rí -- ▁delivered -- ▁cart -- ▁goed -- 上面 -- ▁schön -- ▁prisoner -- enga -- 让他们 -- ▁universe -- 挑 -- ▁rooms -- оп -- ▁bija -- аць -- 站在 -- pper -- ایی -- ▁оста -- ▁regret -- ▁differ -- ▁나는 -- даг -- ▁Col -- んですけれども -- ene -- ந்து -- 这儿 -- トップ -- ▁mat -- 言う -- ▁puis -- tail -- だろう -- ▁実は -- 来到 -- 起こ -- ▁tal -- ▁objection -- ▁Not -- üm -- ▁reden -- 我自己 -- 经历 -- ▁midst -- ▁admitted -- ▁እ -- 耳 -- ▁نمی -- にかけて -- ится -- ▁threat -- ás -- ▁stronger -- ingen -- 考えて -- ხ -- كم -- Т -- ▁county -- zem -- ▁halten -- 遇到 -- eff -- 聊 -- ▁worry -- 错误 -- fla -- 观察 -- fte -- ▁proposed -- 免 -- ▁hence -- ▁attend -- لة -- ume -- ▁cada -- ▁nearer -- ▁Mädchen -- 联 -- 大事 -- 甲 -- lassen -- өн -- ▁такое -- ▁roz -- の中 -- ▁guns -- ик -- ট -- cade -- 牌 -- 岡 -- ▁description -- ▁Ка -- ▁lots -- ないと -- ▁web -- 男孩 -- ▁잘 -- 最大的 -- اند -- 争 -- ▁adalah -- рад -- ▁concerning -- ▁singing -- ▁blame -- lè -- ▁affected -- ▁folks -- ▁verwendet -- kira -- ા -- fas -- ▁shock -- ▁さらに -- 容易 -- ick -- 日本人 -- ously -- 你自己 -- ▁possessed -- mittel -- ▁cabin -- бі -- ▁liberal -- ▁我认为 -- ▁stones -- 根本 -- 缺 -- ▁engine -- graf -- vat -- ▁vice -- ▁plants -- 变成 -- dung -- 录 -- lerin -- ▁Bro -- 唔 -- ▁mc -- dü -- ▁бул -- ▁changing -- ▁scientific -- ท -- ▁immense -- ▁val -- zug -- ▁sport -- ▁largest -- über -- lk -- ▁magic -- ▁гар -- meter -- 届 -- gger -- ე -- 笔 -- ▁私は -- ▁absence -- 京 -- ▁absolute -- ▁дела -- லி -- cons -- 媒体 -- ▁пи -- 这件事 -- 原来 -- ▁wy -- 丹 -- قل -- aries -- ▁Kan -- ▁conflict -- تم -- 对吗 -- 府 -- ▁над -- ischer -- 園 -- ▁brothers -- しく -- oth -- னி -- ▁proceeded -- ▁sem -- nak -- ▁intent -- ▁کند -- ▁disappeared -- 只要 -- ово -- bag -- chte -- ▁govern -- ugh -- きのう -- 秀 -- yar -- ▁mortal -- 停止 -- ▁voices -- 之间的 -- ▁nächste -- ディ -- ▁Au -- ▁rue -- گی -- ප -- zz -- ▁bleiben -- ▁لم -- ▁favorite -- pak -- zähl -- ▁hoped -- ▁Nein -- ▁mae -- なり -- 声音 -- ▁seated -- дет -- ▁bold -- meye -- ▁affect -- ▁tempo -- ે -- ▁soil -- 乔 -- 宇宙 -- ह -- 镇 -- 骗 -- یک -- ▁мар -- 暴 -- aan -- ▁waters -- 中で -- ั -- ucht -- мет -- ▁awake -- elo -- ▁expectations -- ▁sieben -- знач -- মা -- としては -- 撃 -- 工具 -- usa -- 记录 -- 일 -- ▁arrival -- atu -- 在这 -- ▁Que -- ▁hole -- ffe -- 港 -- ▁coffee -- 選挙 -- gleich -- ▁studies -- 幅 -- ▁gente -- 嘴 -- komp -- ▁wusste -- tric -- ▁library -- 增加 -- nzi -- ▁delicate -- ▁domestic -- mina -- ▁scheme -- ▁перед -- rö -- bild -- ▁profession -- ▁experienced -- ▁jedes -- ▁interests -- 后面 -- ▁Kom -- 经过 -- ▁elizabeth -- enda -- プロ -- ▁vessel -- hold -- ▁eating -- ▁quando -- czy -- abil -- merk -- ▁remind -- 盛 -- ▁channel -- ▁Nacht -- ▁না -- 有个 -- 也没 -- 意思 -- ▁link -- ▁تر -- ▁numerous -- zt -- のある -- 今後 -- bun -- نگ -- ▁recognized -- ▁scheint -- ▁الج -- 这就是 -- рын -- ▁custom -- ▁mundo -- ▁occur -- nau -- 的原因 -- 所以我 -- lect -- сці -- そうな -- ▁vez -- 行业 -- ▁bath -- ▁Gehirn -- ax -- 由于 -- 描述 -- ▁pol -- 陪 -- ▁silk -- ort -- ▁crew -- ▁Wi -- bt -- ▁frightened -- ▁всего -- 现实 -- dies -- 娜 -- ザ -- ▁seines -- たくさん -- ▁えっ -- ▁hor -- 我不知道 -- ▁Bereich -- ▁ceased -- 湖 -- 爹 -- ▁israel -- ▁wondered -- ▁objects -- 是我们 -- ▁prime -- 丝 -- ▁apartment -- ▁steel -- ▁ещё -- ただ -- 我相信 -- ▁resolved -- ▁Nor -- ▁Bur -- 固 -- Al -- 洞 -- ▁更に -- 中央 -- 舞 -- ▁china -- ▁cert -- ▁Mein -- 确保 -- mini -- 怀 -- ▁stepped -- 依 -- ▁shelter -- ▁fourteen -- ching -- ▁bou -- ▁failure -- ▁investments -- амі -- кон -- ▁christmas -- ▁signs -- 看到了 -- ▁khi -- ref -- ছে -- ▁groß -- மை -- ▁committee -- autre -- ▁anywhere -- ▁organ -- ▁게 -- ▁apply -- ບ -- いません -- ▁chosen -- ook -- тә -- ▁buck -- んだけど -- 음 -- ▁Wal -- ular -- erung -- 優勝 -- ▁mysterious -- ▁پر -- 決め -- ĝ -- ▁friendly -- 上がり -- 打ち -- rez -- ▁Abend -- ▁tous -- xe -- 万人 -- ▁Энэ -- ▁кар -- ぬ -- سل -- prav -- scher -- adi -- ▁ён -- lyn -- スター -- jun -- ை -- 一部 -- බ -- thing -- ▁principles -- ▁너 -- eka -- ອ -- ▁voyage -- ラン -- nut -- 最好 -- ▁rent -- 方が -- ▁Tod -- ▁Staaten -- ▁دە -- 奖 -- ▁majesty -- wij -- 易 -- ▁tiene -- ▁закон -- 麻烦 -- ▁Rat -- 过了 -- 達 -- ▁حال -- 传统 -- ۈ -- iyi -- 週間 -- つく -- radi -- ▁Haupt -- hil -- ▁bet -- 对不起 -- ▁prices -- ▁manchmal -- ▁manera -- 习惯 -- ▁construction -- gat -- X -- 的所有 -- ▁error -- 抱 -- ▁està -- なくて -- ▁heißt -- weit -- 我现在 -- ▁mission -- nica -- àn -- cor -- zna -- scha -- ときに -- hui -- ago -- ▁ee -- ▁herr -- 模式 -- 人気 -- 高兴 -- 准 -- ▁为什么 -- どこ -- стан -- 学院 -- 我看 -- 結 -- gne -- fahren -- ▁foolish -- 枚 -- ə -- ที่ -- ifi -- já -- homme -- 检查 -- 银行 -- 允许 -- дзі -- ▁pause -- ▁rief -- ො -- 醒 -- uto -- というか -- টি -- list -- 午前 -- ▁problema -- char -- 勢 -- ▁Licht -- nov -- 乗 -- ▁Pla -- ▁char -- ▁internet -- ▁coach -- кан -- 还没 -- enza -- ▁gently -- ▁beach -- fried -- 标准 -- ñ -- ▁currently -- 不行 -- ▁encore -- 圈 -- ለ -- iß -- fect -- 年轻人 -- ▁College -- ọ -- ▁discovery -- ▁practical -- ▁ĝi -- 电视 -- poli -- ▁oben -- 命令 -- дзя -- 艾 -- ▁stands -- 虽然 -- ▁besteht -- ▁Möglichkeit -- ▁git -- ▁paused -- ▁sooner -- ksi -- ▁Mais -- unk -- ▁사 -- த்தில் -- iden -- cc -- ▁这就是 -- زن -- 名字 -- кра -- ▁trois -- 您的 -- door -- 刻 -- ▁mille -- ген -- スタート -- ▁cui -- ▁Will -- ▁sacred -- やり -- च -- зу -- system -- ▁mud -- inter -- ▁одна -- ▁quand -- dienst -- ▁hon -- แ -- 这位 -- ▁blessed -- ▁pushed -- ▁reco -- 瓦 -- ▁ariko -- 大多数 -- ▁наш -- ▁Wahl -- ▁reign -- 장 -- air -- kum -- 来看 -- دة -- ▁delay -- стро -- жу -- ▁mont -- ▁fought -- seite -- ог -- ▁reported -- chester -- 他就 -- gged -- ▁bare -- ▁sigh -- 薄 -- ▁thunder -- شی -- 年間 -- いつも -- アン -- ▁Yes -- ▁Präsident -- ▁northern -- ▁Sir -- ले -- 当地 -- dik -- sy -- tia -- liv -- عمل -- essa -- 軽 -- 议 -- ▁modest -- 蛋 -- ngi -- gesetzt -- oto -- ▁empire -- geführt -- 人たち -- nej -- ▁Ihrem -- ъ -- ▁waste -- ыг -- 被害 -- ▁İ -- bile -- ▁delle -- 弗 -- でき -- 当我 -- ▁quan -- ▁collection -- ▁கா -- ▁prima -- 杯 -- ▁photograph -- ▁veel -- 压力 -- tif -- 典 -- ▁wings -- мә -- ச் -- rij -- ▁dreams -- 司 -- ▁dur -- 予想 -- ▁gained -- 怎么了 -- при -- ▁내 -- ▁سر -- ▁horrible -- 人物 -- пар -- 我能 -- ▁fled -- 超过 -- 干什么 -- cí -- rais -- фа -- 調 -- vision -- ăm -- ars -- ▁easier -- ▁могу -- ▁Probleme -- 있 -- 顺 -- facebook -- ▁sofort -- たま -- not -- zog -- 戏 -- isme -- ▁آنها -- ే -- 显示 -- ▁funktioniert -- wali -- なんと -- 本身 -- 姿 -- 永 -- ▁stairs -- ▁sale -- ulo -- ép -- roj -- ▁Port -- ▁proceed -- 甘 -- ▁copy -- ▁burn -- ▁bearing -- 確認 -- ▁consequence -- ▁completed -- 不错 -- 在一个 -- ▁се -- fred -- 我喜欢 -- ▁employed -- 瑞 -- ▁Oh -- ▁banks -- ห -- 棒 -- ▁enormous -- 烧 -- ▁sympathy -- ▁Lage -- vet -- ▁Some -- ▁concern -- cré -- ங்கள் -- α -- faced -- richtet -- ▁factors -- اح -- 哭 -- ▁nada -- ▁Tor -- ▁philosophy -- ▁clouds -- レー -- ▁gesprochen -- ▁tight -- asta -- born -- 既 -- head -- indi -- ▁By -- ▁instinct -- ▁algo -- 幕 -- ゲーム -- 困难 -- rr -- 我这 -- ҡа -- ▁elements -- の中に -- lık -- ▁congress -- ▁你要 -- ▁album -- ▁London -- ▁relative -- typ -- cted -- 专业 -- ▁connect -- ▁restaurant -- lier -- ▁climate -- ▁goal -- ▁Gespräch -- 则 -- ▁mood -- ▁classes -- ▁introduced -- ▁gì -- üt -- ο -- ▁schwierig -- ▁anche -- лег -- ▁maid -- 持续 -- ава -- ▁König -- 振 -- tique -- dda -- ▁odd -- cord -- tit -- 试 -- dit -- ▁segment -- ņ -- 転 -- ▁conscience -- ▁retreat -- ▁По -- ▁jar -- 難 -- ▁earn -- ▁Por -- sión -- 我真的 -- 盗 -- それから -- ▁التي -- kro -- عة -- '!?' -- ▁version -- 施設 -- ▁Fin -- 那就是 -- 徒 -- 对我来说 -- ▁cave -- ▁medicine -- ▁application -- ции -- 约翰 -- ▁Bild -- ▁informed -- zio -- rant -- ▁gör -- 说你 -- ▁谢谢 -- 大量 -- ajn -- 腿 -- جا -- 傷 -- аж -- ▁previously -- pho -- ▁immediate -- 痛苦 -- 敬 -- 他们会 -- ▁witness -- ▁interpret -- 避難 -- gebracht -- じゃあ -- ▁benefits -- ▁morgen -- ▁reference -- ▁feed -- ▁chu -- 终于 -- mmel -- 年に -- 하고 -- ▁එ -- ▁anxiety -- ▁severe -- ▁via -- اش -- 移动 -- れて -- пы -- ẓ -- ▁discuss -- 到达 -- のように -- ▁但是我 -- ▁returning -- オー -- нес -- 捕 -- ▁recognize -- ▁Vielleicht -- ▁nord -- 取材 -- 怎么办 -- 打电话 -- ▁falsch -- ช -- ▁Mark -- gomba -- ▁cheap -- ишь -- 突 -- ▁recon -- 動き -- 好吗 -- 炎 -- ▁kit -- ▁Of -- ▁ease -- ▁yards -- рь -- ▁engagement -- だと思います -- oro -- 大丈夫 -- ubi -- ▁games -- ▁Musik -- となりました -- 状 -- 季 -- ものを -- ▁slide -- aza -- segu -- führen -- 注 -- さんと -- 他会 -- 想法 -- ▁hurried -- termin -- تي -- ▁mostly -- sun -- める -- ▁wheel -- kem -- 反对 -- ▁intend -- いって -- 知识 -- ▁amongst -- ún -- ▁countenance -- fite -- ワクチン -- 全然 -- ▁variety -- ▁thomas -- 形式 -- ▁بە -- ▁intelligent -- force -- 值得 -- acht -- jem -- 用户 -- ▁الش -- нага -- quin -- rri -- hle -- ▁rush -- тов -- 说什么 -- ▁అ -- овать -- ▁Sin -- ▁کنم -- anto -- 吓 -- いっぱい -- ▁partly -- ▁hinaus -- ▁guilty -- isse -- ▁fox -- stead -- 確 -- ▁rope -- 出場 -- ▁вос -- 面对 -- ▁assistance -- ▁gesch -- ▁Fo -- いつ -- கொண்ட -- tech -- 据 -- ▁Miss -- ▁tools -- lau -- 逃 -- 大臣 -- тив -- лов -- ▁которая -- ▁Ber -- なんで -- 显然 -- ▁solemn -- 楽しみ -- 辛 -- ▁geworden -- ald -- ▁eager -- ▁counter -- 我们现在 -- mana -- ▁consciousness -- iendo -- ▁为了 -- iba -- ▁너무 -- 胸 -- ▁També -- ▁scho -- ▁vent -- xon -- ▁candle -- ▁Ш -- ▁lion -- ▁combat -- 关心 -- ije -- ▁located -- ▁شود -- staat -- ▁resolution -- 検査 -- ▁august -- ▁disse -- 交通 -- گو -- ▁depend -- ▁Von -- かい -- ▁Gen -- 不安 -- はこの -- ▁你是 -- chu -- ▁Programm -- aku -- luc -- ▁joke -- مه -- lands -- эг -- ▁adult -- ▁Да -- が出 -- 成员 -- 姐姐 -- 照片 -- ▁Ap -- ▁consent -- rer -- ▁tief -- ▁rub -- 察 -- ып -- 全球 -- 族 -- 落ち -- ▁ließ -- ▁High -- feld -- tul -- cl -- 事实 -- 하 -- 今日は -- 响 -- rés -- ▁Ger -- рт -- ও -- ▁Herz -- 你别 -- ▁سال -- 的朋友 -- ▁neces -- ▁pitch -- gno -- ▁tai -- kie -- ▁notion -- ▁yu -- eks -- kora -- ▁victory -- hur -- ▁Bas -- agi -- のでしょうか -- 映画 -- 评论 -- کە -- ▁Pol -- どんどん -- ▁enable -- ▁marketing -- ▁número -- 摩 -- ▁reduce -- ▁cela -- වි -- ్ -- ▁cru -- byo -- ril -- ▁push -- ▁ເ -- yen -- ▁bre -- ▁flash -- やる -- ▁خو -- すぐ -- ▁improved -- 持ち -- まる -- ät -- had -- ря -- 糖 -- かもしれません -- 负 -- دم -- anyi -- baza -- ▁überhaupt -- 鸡 -- れた -- ▁rushed -- 回来了 -- оль -- ▁Una -- ▁obtain -- 사 -- ▁refuse -- 语言 -- fangen -- ▁Eu -- 選手が -- kka -- 魚 -- ▁wider -- 骑 -- 善 -- ▁eternal -- قر -- ▁trick -- ▁así -- ongo -- ▁worn -- ▁stores -- рос -- 制造 -- lied -- rica -- raf -- 十年 -- omo -- 、2 -- ▁smell -- rav -- ▁pensa -- ▁continent -- ▁stupid -- となった -- 接触 -- ▁werd -- ▁Para -- 闹 -- ▁stir -- ▁score -- 구 -- とても -- 者の -- ▁こちら -- 属于 -- çi -- том -- 説明 -- 受け -- ▁gest -- サン -- ului -- ▁slip -- 없 -- 増え -- ▁apple -- のかな -- 偏 -- 承认 -- ▁surrounded -- ▁Zukunft -- ▁valuable -- ▁führen -- 答案 -- ▁hätten -- teilen -- ▁einigen -- 孙 -- ▁rw -- handel -- ▁approached -- cis -- ▁exchange -- 、1 -- ▁internal -- ▁мал -- まり -- ラー -- ▁gegenüber -- 埃 -- lain -- ▁absurd -- 全体 -- ция -- ▁phil -- 上海 -- ▁associated -- ▁điều -- ▁cam -- ▁William -- ▁dont -- ▁পা -- шла -- 技 -- ここまで -- ▁abantu -- kna -- 章 -- hem -- 例如 -- ▁Dass -- ▁softly -- qa -- ▁Pra -- 不再 -- 抽 -- ▁họ -- sehen -- ▁sunt -- rada -- を見せ -- ▁நா -- lou -- ▁kindly -- رة -- уб -- 巨大的 -- 作り -- bling -- ▁fet -- ▁moreover -- quel -- ▁uniform -- laufen -- ▁stable -- ▁байсан -- ▁dal -- ▁clients -- wol -- だよ -- ismo -- コロナ -- 材料 -- ▁bitte -- ▁genius -- mā -- があって -- fat -- ▁escaped -- guard -- 男子 -- 在你 -- ▁beginnen -- ▁substance -- ▁bush -- 小心 -- 呆 -- ▁suggestion -- دان -- 跟他 -- ▁limited -- ーン -- ▁offen -- ▁unserem -- 伤害 -- cel -- ▁يمكن -- mate -- 独立 -- giye -- ▁mur -- ▁robot -- etti -- esc -- grund -- ▁Bra -- 负责 -- ▁situa -- 开心 -- ▁Don -- 羽 -- ▁dessen -- ▁plane -- ことで -- gü -- ▁куда -- ▁closer -- ▁precious -- 거든 -- овская -- است -- ▁convinced -- ▁bomb -- tà -- จ -- 種 -- ▁früher -- май -- ał -- ▁confess -- そこに -- ▁жа -- 因为我们 -- ▁phải -- вой -- кс -- ▁curiosity -- نو -- 図 -- 別 -- ▁десять -- tting -- йте -- ▁kiel -- ▁Meine -- できた -- ▁sap -- 大きく -- ▁addressed -- 康 -- ota -- சா -- نه -- kali -- тым -- ▁shouted -- ▁этим -- гә -- ▁сер -- gere -- 総 -- ▁우리 -- ▁concept -- here -- のために -- ▁unten -- ▁National -- sek -- ▁crea -- ▁hare -- ▁button -- なのか -- উ -- これまで -- 関東 -- quet -- 当他 -- 弟 -- ▁نو -- ▁நி -- 博士 -- stal -- 佐 -- amo -- ▁gal -- mé -- ár -- zing -- ▁zwanzig -- ▁nachdem -- بو -- していく -- ▁pressed -- ▁neza -- 有关 -- ▁dignity -- ▁meanwhile -- ▁Millionen -- ▁causes -- ▁poison -- を取り -- pir -- ▁arrive -- ▁mia -- ▁flood -- ory -- ▁thu -- 放弃 -- 早く -- ckt -- 的那个 -- anar -- 虚 -- ▁lights -- 雲 -- wart -- ▁같애 -- مو -- ▁doen -- ▁phrase -- そうですね -- 的一 -- ▁cum -- யை -- Co -- 込んで -- ▁tiu -- idos -- سب -- ▁今日は -- ▁musste -- 似 -- қ -- ▁flew -- ▁Mittel -- 给我们 -- ライ -- ▁bigger -- prov -- ▁Qui -- ▁hanging -- schrift -- してください -- ▁За -- 犯罪 -- ▁purchase -- ▁quarrel -- üs -- ▁seg -- ণ -- ▁federal -- ී -- 说我 -- ▁también -- ▁yari -- apa -- nja -- ▁succeed -- ▁hielt -- ▁recht -- Ma -- 正如 -- 焼き -- ▁besten -- fam -- 論 -- おります -- ุ -- くて -- tation -- 住宅 -- وه -- ▁mod -- ▁coal -- ▁italian -- ほ -- пан -- tine -- ▁però -- ▁render -- ▁South -- 欠 -- 广告 -- реш -- をする -- кий -- schuldig -- ▁programs -- рен -- ぼ -- hé -- ▁cancer -- ▁verk -- ük -- ▁miserable -- श -- azione -- ▁bunch -- ık -- ▁fierce -- fie -- ▁appropriate -- ▁healthy -- ▁subjects -- ▁kre -- qué -- ▁día -- ▁Ama -- ych -- ▁fatal -- 馆 -- kiri -- ▁لە -- 菲 -- 每一个 -- ились -- форм -- hoo -- вор -- vingt -- ▁assume -- 消息 -- ▁swift -- ▁سو -- elt -- ▁competitive -- ▁hasta -- ▁aquí -- 小时 -- 既然 -- させ -- gene -- stoff -- ▁opera -- ▁М -- shing -- lies -- 連続 -- voy -- ▁mamma -- めて -- unda -- ▁hint -- ▁offering -- 吴 -- ▁luck -- ▁Medi -- iu -- 賞 -- lte -- 一份 -- 国际 -- ▁crisis -- ▁creatures -- raum -- لك -- ▁Roedd -- lut -- ▁tremendous -- ▁Esta -- swa -- রে -- ために -- ρ -- ▁micro -- 发布 -- kov -- ▁monde -- ▁shoot -- ▁rage -- ín -- ன்ற -- ident -- ▁reflection -- ▁stern -- 部屋 -- 太多 -- ▁forgot -- 殺 -- ▁arthur -- 広 -- ▁zwar -- lina -- を使って -- ▁rob -- эй -- ▁destroyed -- idi -- ello -- ▁activities -- cole -- ▁nein -- ▁dell -- pada -- 여 -- ▁Ser -- ▁tells -- ▁painful -- ones -- 子供 -- ▁他说 -- ▁politics -- 还在 -- 观众 -- ▁Seine -- ines -- 记住 -- ▁branches -- 僕は -- 更加 -- wala -- ▁Nord -- satz -- ▁appointed -- ▁że -- きて -- რა -- uring -- 決 -- äng -- ▁sens -- tischen -- 表达 -- pia -- ▁acquisition -- ▁تم -- 疾病 -- ▁directed -- ▁bwa -- 持って -- 某种 -- ▁chap -- یر -- хан -- ▁keen -- はない -- ▁lover -- ▁nou -- 有一 -- ▁Sicherheit -- ▁hum -- ▁observe -- 岩 -- ▁accompanied -- ▁laughter -- ▁ஒ -- jor -- دە -- ▁Hel -- rā -- ▁whilst -- 時代 -- ▁waves -- 意味 -- ▁survey -- ид -- 作業 -- 伝え -- ▁Sprache -- schrei -- ▁distinct -- 沈 -- един -- يم -- வர் -- dzie -- 赵 -- ▁spin -- amba -- 雅 -- ▁دست -- 很多人 -- 北海道 -- ありがとうございました -- schließen -- ▁porta -- லா -- vic -- ▁tren -- hum -- ▁Eltern -- பெ -- 澳大利亚 -- なんですね -- ▁많이 -- ▁branch -- 咋 -- 商业 -- ▁throne -- ▁burden -- ▁martin -- ▁alors -- fertig -- ▁rela -- 情绪 -- 抓住 -- 留下 -- 因为你 -- ▁totally -- 并没有 -- ▁sector -- ▁launch -- ▁leaders -- ▁shouldn -- 众 -- ▁cái -- 形成 -- 寺 -- ▁decline -- ▁Thema -- ▁fifth -- 从未 -- ▁thoroughly -- ▁Prozess -- La -- ệ -- ▁Bla -- 一块 -- box -- will -- なんですけど -- 终 -- ▁sugar -- ří -- роб -- ▁» -- én -- ▁votre -- 撮影 -- ▁warning -- ▁hundreds -- ▁Это -- ▁divided -- からは -- 重要的 -- 我希望 -- ▁string -- 合い -- دن -- ▁fand -- ▁Politik -- dı -- ▁stated -- 充 -- 映像 -- 目标 -- سي -- ▁household -- ▁suis -- ण -- ▁hut -- ι -- 几天 -- ▁dollar -- 鸟 -- 病院 -- 在这儿 -- ís -- rid -- riye -- 我对 -- プレー -- ▁punt -- 戸 -- ▁City -- ologi -- صد -- ▁tear -- رد -- emos -- ணி -- turn -- ▁pea -- 设 -- ье -- 齐 -- からね -- 表现 -- 早上 -- уул -- 盖 -- ▁degrees -- 四个 -- ▁hurry -- 爆 -- ▁প -- ▁plej -- ▁forever -- ė -- пад -- ders -- ▁دی -- ▁remote -- ▁mount -- ▁privilege -- uj -- bata -- のこと -- ぜひ -- cket -- ▁hari -- ▁critic -- ▁Fer -- ▁hopes -- மான -- ▁applied -- かけ -- تون -- ▁kwam -- ▁cyangwa -- ▁Macht -- ▁lift -- 流れ -- gram -- 平台 -- 写真 -- 拒绝 -- гор -- ು -- ▁Gemeinschaft -- ников -- ▁regarding -- ▁reduced -- 生产 -- 頂 -- ▁joseph -- ▁Boden -- ▁shining -- pela -- ວ -- dacht -- 植物 -- ▁heel -- 학 -- これが -- ったら -- 是有 -- ▁Während -- ▁weary -- 大概 -- 坂 -- ▁völlig -- ▁años -- chy -- ▁день -- ▁wound -- えて -- ▁combination -- oy -- autres -- инская -- ван -- asse -- кол -- ▁States -- ▁эту -- دو -- ▁meu -- ▁sollen -- 出て -- 人口 -- ል -- 我们需要 -- ▁humble -- به -- ▁bang -- most -- 自我 -- inda -- ▁rolled -- 报道 -- 睡觉 -- 暖 -- ے -- ▁crazy -- ▁seriously -- 较 -- 니 -- 我只是 -- 虫 -- ▁remaining -- rra -- ▁Ten -- unter -- pr -- 入り -- ngo -- ▁punishment -- ▁episode -- ▁zeide -- kop -- ▁sank -- いきます -- ▁file -- ▁Durch -- ▁Selbst -- ▁Projekt -- ▁ring -- ▁prisoners -- ▁pes -- ▁Fu -- 絶 -- ால் -- 言い -- ▁народ -- cca -- ▁dad -- ▁hero -- ▁vos -- ▁Mus -- ▁helen -- ▁생각 -- ▁Schritt -- ていました -- shire -- adas -- ▁pricing -- ▁Entwicklung -- 子ども -- 的情况 -- dim -- 码 -- gur -- gging -- vul -- ▁pays -- ліся -- 夢 -- ▁holiday -- hus -- ▁remarks -- ▁Rolle -- ған -- ほとんど -- ිය -- '23' -- 专 -- ▁strongly -- ▁solutions -- tang -- ▁اما -- ake -- tara -- 比赛 -- lad -- 律师 -- ▁uw -- ап -- 団 -- bur -- ▁types -- 欧 -- ▁assist -- 海外 -- ▁california -- ▁pig -- ▁trap -- ▁gall -- ös -- dica -- gled -- ▁architect -- ▁Ph -- ▁Blick -- 自宅 -- ▁onze -- ▁我也 -- ▁Geist -- 把你 -- ▁wicked -- ▁wolf -- 結婚 -- 记得 -- ▁ああ -- ▁breaking -- şe -- 尝试 -- ound -- ▁views -- 每个人 -- ское -- তি -- ▁pool -- 過 -- ▁trat -- ▁attended -- عا -- ▁profound -- 大部分 -- 应该是 -- ▁humanity -- în -- mad -- ここは -- 調べ -- ▁loving -- 流行 -- ▁arose -- 高校 -- 智 -- あっ -- 不仅仅是 -- 国会 -- 最も -- てきた -- ▁sous -- ▁Но -- зд -- ▁movie -- camp -- lieb -- шу -- ▁kindness -- ς -- ▁我知道 -- gut -- ▁literature -- 斯特 -- tam -- ▁presentation -- ことし -- ▁designed -- わけです -- km -- ▁expenses -- oko -- 我们都 -- ▁George -- 優 -- 交流 -- 献 -- 失败 -- ひと -- ▁vy -- ▁border -- ▁pilot -- 集中 -- ▁tegen -- ም -- 基础 -- ▁inquired -- つか -- ▁assets -- ▁ibyo -- ▁slept -- ▁mismo -- ▁zien -- 登場 -- iḍ -- ▁interrupted -- ▁constitution -- ▁nodded -- archi -- ключ -- 还不 -- ▁هي -- ▁alas -- ▁merit -- 비 -- ▁начал -- ▁буду -- ▁Nur -- ▁thrust -- luci -- ▁الق -- ▁adventure -- ▁puede -- ▁debate -- пуст -- ▁paying -- 诗 -- mata -- four -- hari -- mě -- ▁enterprise -- については -- ▁Ei -- fit -- প্র -- সা -- ▁atmosphere -- ண்ட -- ▁இது -- 煮 -- ▁cottage -- アル -- ▁ஏ -- ▁cattle -- ில் -- arte -- ▁pole -- luk -- ▁secretary -- লি -- ▁leven -- 因为他们 -- stä -- 困 -- ▁Aquest -- 豪 -- 功能 -- ▁peer -- вол -- 两个人 -- ມ -- ▁earl -- 偷 -- ▁möchten -- ▁kuko -- ▁گ -- ost -- тен -- ▁прав -- ▁manager -- ▁пыта -- ▁Robert -- த்தை -- ject -- iten -- ғы -- 本当 -- 异 -- ▁faster -- ▁interior -- füg -- вя -- ▁Wert -- ▁cel -- frage -- مة -- baka -- 目の -- ▁Energie -- ▁leap -- muntu -- 的新 -- ▁margaret -- ▁weakness -- ▁steam -- ▁souls -- 정 -- ▁danke -- ▁Ма -- ▁eventually -- ché -- 我们就 -- 哥哥 -- ▁약간 -- 安排 -- lant -- 扔 -- ▁guests -- ско -- ▁click -- 頃 -- ▁Gruppe -- organiz -- ნ -- 水平 -- lop -- ▁tanto -- vý -- பி -- ▁imagin -- ▁Peter -- ▁rosa -- ▁Tat -- ▁bai -- 成了 -- uur -- gio -- ▁Ac -- haw -- が多い -- esse -- そうだ -- ▁کنند -- avoir -- ▁seus -- 国際 -- ា -- نىڭ -- 売 -- ▁spanish -- 宽 -- 聪明 -- 反应 -- ▁widow -- 不敢 -- ▁unit -- アメリカの -- ▁suc -- 質 -- ▁unhappy -- ▁flame -- 对吧 -- ▁tide -- ▁dijo -- ậ -- ▁shift -- 帕 -- 韓国 -- azi -- ▁déc -- 经验 -- 达到 -- ▁notes -- 랑 -- ▁fare -- 怒 -- ▁catholic -- 技術 -- 资源 -- ▁Nous -- bila -- ▁stared -- ▁tied -- quest -- 各位 -- ▁thirteen -- vano -- 对方 -- ağı -- ▁abge -- ssel -- 因为它 -- ▁veil -- ▁chat -- ▁또 -- establish -- 以外 -- ި -- raj -- மாக -- ▁auszu -- გ -- lance -- ▁anzu -- غير -- kara -- 答え -- 晓 -- மே -- ▁essential -- 当時 -- 번 -- nyuma -- ▁Stimme -- lage -- ै -- ört -- を持って -- ▁anderes -- 亿 -- ▁Sol -- игр -- 兴 -- リン -- த்தி -- wachsen -- ってこと -- ▁plu -- ▁partners -- ▁eggs -- ▁largely -- ▁hadn -- ▁enjoyed -- ው -- aid -- 상 -- ▁despite -- ▁Os -- 房间 -- ▁Union -- кр -- 五十 -- ▁distribution -- ▁pues -- 人々 -- 客户 -- ▁intellectual -- ▁cred -- ▁buildings -- 国王 -- ▁Show -- ios -- ▁baş -- ▁wholly -- ▁parent -- ▁neat -- лын -- ▁ehhe -- ▁braucht -- ▁stud -- 入れ -- ▁verloren -- ▁guest -- wyr -- ちゃう -- enti -- sak -- ران -- ▁kr -- аа -- 简 -- شا -- gegeben -- ▁mate -- 亲爱的 -- 增长 -- 意义 -- あり -- ▁đang -- ▁delighted -- 婚姻 -- trau -- ▁handle -- ▁مح -- ゲ -- 伟大的 -- مت -- ▁steady -- 健 -- ▁Cal -- ▁Bank -- ances -- ▁Tôi -- ▁physician -- his -- pren -- ambi -- ڭ -- laden -- ▁stayed -- などで -- ▁patience -- ▁utterly -- ▁오 -- ▁Dieser -- 牙 -- ▁primarily -- ▁Grunde -- ▁esper -- كون -- י -- ony -- ▁context -- kaj -- தா -- ▁sud -- là -- Le -- ▁іх -- ▁Mer -- ▁annual -- сил -- 中の -- ▁fro -- цу -- вали -- ▁contrast -- ▁Technologie -- 爷 -- ▁lernen -- 泰 -- burn -- 有一种 -- দি -- 禁 -- An -- 和他 -- uld -- ▁будут -- 幸 -- 史 -- coming -- ▁entwickelt -- ache -- 呼吸 -- hara -- ▁trump -- ▁hey -- post -- 子さん -- ▁beste -- asa -- ▁Zo -- füll -- 这么说 -- 挂 -- ▁arranged -- 悲 -- 一つ -- ics -- лек -- ▁coup -- 办法 -- மி -- があり -- 一边 -- ▁pink -- ▁расс -- 保证 -- ▁follows -- ▁scar -- ировать -- 御 -- ▁retail -- 另一 -- ダー -- эс -- 文件 -- ▁symbol -- جر -- 爸 -- 现场 -- 透 -- diri -- след -- teur -- σ -- というふうに -- 给了 -- ▁contained -- 放送 -- ddle -- ▁budget -- ▁"" -- өл -- ▁kamen -- ▁Met -- wag -- ▁کل -- ▁biggest -- ▁gross -- ▁feature -- Л -- fun -- 圆 -- ▁distinguished -- ▁studied -- kunda -- ▁dispose -- 人を -- ▁Hy -- 得到了 -- ▁Af -- Ar -- fus -- バス -- rai -- ▁obwohl -- innen -- ▁shoes -- eme -- そうなんです -- او -- kra -- ▁sensation -- mission -- ▁всегда -- raga -- ▁hoffe -- 心理 -- ▁ŝi -- 했 -- ▁properly -- ▁pala -- 那边 -- 大統領 -- ▁prophet -- ▁parliament -- нова -- tera -- fil -- というところ -- 就不 -- hou -- ▁consum -- ▁tomb -- ު -- uze -- ていく -- 羊 -- ▁lit -- 适合 -- ▁Gesellschaft -- としています -- ▁созда -- ▁desk -- ▁হ -- ▁አ -- rek -- ▁đến -- 带来 -- твор -- 题 -- год -- ▁russian -- に出 -- ▁Luft -- '22' -- dank -- 再说 -- 斗 -- వ -- ▁jedem -- ▁பா -- ▁knife -- 反正 -- 開発 -- ▁crying -- ▁moet -- sser -- ▁operation -- ▁confusion -- ರ -- に入って -- master -- 缩 -- ▁этих -- ▁continuing -- ▁rival -- ły -- ▁articles -- ▁кажется -- ▁remark -- ▁damage -- ご覧 -- nto -- ▁Google -- ▁strip -- 銀 -- お店 -- tse -- ▁iets -- ▁devoted -- 絵 -- ▁jump -- 园 -- 女士 -- 世界上 -- ▁log -- 丈夫 -- ▁traffic -- ▁所以我们 -- ünde -- ▁deu -- ▁abandon -- ▁tale -- 审 -- şa -- ▁bah -- ▁тот -- bble -- 寄 -- ▁tis -- ▁musical -- 开发 -- ▁deposit -- 阅读 -- two -- のような -- كن -- 项 -- 决 -- ▁num -- tiva -- 中に -- ▁چه -- ıyor -- ▁persönlich -- kta -- ён -- ▁Mc -- that -- ander -- ▁perceived -- 東京都 -- ▁Ter -- ▁hunting -- ▁companions -- ▁emotion -- cious -- 부 -- 升 -- さまざまな -- 记者 -- 绝 -- ್ -- ▁ends -- ▁الإ -- 细 -- ias -- thro -- ▁bor -- fei -- ▁Inter -- 的感觉 -- 任务 -- ▁surrounding -- ▁хочу -- ▁tar -- ▁mixed -- ▁Schüler -- ▁স -- さま -- ▁spending -- ▁Parlament -- see -- пор -- 一段 -- 我和 -- guru -- ▁beau -- еш -- аш -- ▁என்று -- zor -- ▁sisters -- вать -- ის -- bei -- ites -- ▁yours -- лось -- ▁друг -- ▁Just -- ▁expedition -- ▁utter -- ▁செ -- ▁transform -- ▁hollow -- lev -- ▁lonely -- ▁sonra -- క -- ▁zijne -- үү -- ▁erkennen -- ▁té -- ▁هر -- ▁komen -- ktion -- сло -- 利益 -- 真的是 -- ड -- tzen -- ▁mare -- late -- ▁shake -- ▁servi -- ▁homes -- しながら -- भ -- 法院 -- ▁multiple -- ▁Fri -- あまり -- ▁exception -- ▁reader -- 潮 -- ▁discussed -- 什么样的 -- ▁trop -- ▁две -- nä -- irwa -- ▁uko -- 塁 -- hing -- sack -- いただきます -- 肯 -- 盛り -- ological -- ▁Facebook -- ▁poco -- cles -- schauen -- 出し -- تن -- 她说 -- чит -- ▁spi -- zelf -- 沢 -- ▁helping -- খ -- ▁Dat -- 价格 -- 看到的 -- ▁деле -- ▁kap -- ▁accordingly -- ӹ -- ▁operate -- ▁wer -- 委员会 -- ▁meng -- ▁literally -- tari -- 左右 -- лом -- ▁bus -- ▁permanent -- 效 -- 四十 -- хий -- pol -- vous -- rè -- こうした -- ▁arise -- こっち -- ▁lại -- ্যা -- teri -- ▁driver -- 十五 -- ▁American -- соб -- ù -- ▁heap -- ▁barn -- nger -- ▁Cas -- すれば -- ▁rifle -- ▁Produkt -- ▁After -- ▁まず -- 中间 -- ▁stem -- ▁background -- stehen -- ▁Tage -- bij -- ▁schließlich -- ▁কি -- rte -- кай -- ▁writer -- 額 -- ▁duties -- ▁hungry -- ▁wegen -- ▁piano -- ▁pretend -- 運転 -- ▁sleeping -- mpa -- 大脑 -- iw -- 部门 -- ▁doctrine -- ▁define -- dian -- 美元 -- mmen -- 提醒 -- ▁efficient -- ▁続いては -- ו -- eo -- ▁plötzlich -- ສ -- ▁несколько -- きょうは -- denken -- дә -- ▁President -- ▁occasionally -- 不喜欢 -- ▁James -- ▁perd -- ▁eigen -- 今日の -- ▁nombre -- under -- 津 -- ▁estaba -- ▁бел -- ▁rod -- ▁mala -- ▁sovereign -- 今回は -- anno -- ▁понял -- مە -- ▁tiempo -- 平均 -- ▁initiatives -- ▁Tro -- ▁тре -- got -- ▁industrial -- uro -- ▁Weil -- ▁beast -- ▁spell -- ことに -- ▁conviction -- ▁sorts -- ▁sistema -- ▁visited -- lines -- ▁olma -- enz -- 寝 -- 伴 -- ▁《 -- 状态 -- ▁tele -- ▁quit -- ▁poder -- registr -- ▁你怎么 -- 将军 -- 战斗 -- leben -- 途 -- ্য -- 触 -- ▁absolut -- 朱 -- bis -- 懂 -- ▁cells -- 里边 -- stadt -- ▁kings -- はず -- ▁divi -- ▁bless -- ▁einge -- 不需要 -- ် -- ▁queer -- bir -- ▁свет -- ич -- alter -- çe -- 先月 -- ▁lawyer -- ▁кур -- now -- еж -- ▁formal -- ▁город -- ▁extended -- ▁poverty -- 許 -- буд -- 湿 -- bringen -- 贴 -- ▁từ -- ▁verlassen -- ▁Folge -- ▁lest -- 那天 -- ▁composed -- ▁innovation -- quen -- ▁вз -- ▁striking -- 锁 -- ▁fellows -- サー -- ▁Team -- ▁lieutenant -- ряд -- ▁loro -- ▁gefunden -- ▁Freunde -- ▁Minuten -- 地震 -- ▁これが -- ▁generous -- ▁толькі -- rib -- 経験 -- ヘ -- hap -- 家的 -- pid -- iente -- 丢 -- chel -- mod -- ▁sagten -- enge -- ▁exciting -- 되 -- 月に -- ▁spielen -- ▁destruction -- ▁すごい -- 接近 -- ович -- ▁stiff -- constru -- pur -- 想想 -- ▁Wochen -- 岸 -- tsi -- ▁premier -- 见过 -- ▁Non -- ▁possibility -- ▁responsible -- ší -- ▁expand -- স্ -- ị -- Be -- ▁strain -- ڵ -- ▁интерес -- ister -- dau -- ▁singular -- ▁location -- ▁prospect -- 変化 -- ▁suo -- ▁genannt -- ▁stress -- лд -- ubwo -- 検 -- るの -- бли -- жээ -- ▁Sein -- ▁cả -- 相手 -- ▁вторая -- ▁Morgen -- comb -- ▁troba -- вин -- igo -- 那么多 -- ▁должны -- いで -- ās -- ▁Dis -- ▁那我 -- 昨天 -- geld -- ▁acts -- ▁Trump -- ▁boats -- ジャ -- ▁eigene -- 隔 -- 输 -- іць -- лин -- ▁Schule -- ▁যা -- пре -- ▁association -- ▁trembling -- 猜 -- вая -- ரை -- loop -- ▁recall -- どうぞ -- buch -- '300' -- ▁gibi -- ▁stretched -- ட்டி -- ▁россии -- ▁нэг -- 5% -- ▁performed -- グループ -- ıl -- ▁proposal -- ▁semi -- 捜査 -- ▁sehe -- 隆 -- ▁accustomed -- したのは -- ▁schlecht -- 长大 -- ▁unusual -- ress -- 很快 -- ▁frequent -- activ -- gezogen -- ▁germany -- ▁ça -- bound -- ▁باش -- ▁Fla -- ifica -- ▁anni -- یو -- ▁brings -- ▁вельмі -- лог -- ▁individuals -- maz -- » -- 걸 -- ▁Ordnung -- лё -- 大阪 -- ▁یا -- ேன் -- erte -- 不断 -- தான் -- ▁ale -- кла -- ▁glanced -- jya -- pis -- 是不 -- aro -- ▁Yo -- 我们必须 -- sprech -- چی -- ▁nav -- graph -- ▁großer -- uten -- 温度 -- ▁Cre -- ▁modo -- ▁mewn -- ▁wearing -- figur -- uye -- ▁North -- chung -- ▁kay -- ▁european -- るのは -- ▁billion -- служ -- 細 -- ▁hunt -- ▁responsibility -- ▁ও -- ▁говорит -- ▁grateful -- 太阳 -- ▁fragen -- 抢 -- ▁অঁ -- ▁dice -- ▁riding -- ▁tard -- dition -- ファン -- ▁있어 -- ▁sports -- π -- ▁india -- ья -- বি -- cum -- 妻 -- 无论 -- 意外 -- produkt -- やっぱ -- 而是 -- ありません -- 症状 -- ▁Op -- bio -- ▁victim -- ▁wanna -- owa -- ▁Ak -- ▁самом -- ▁Glück -- rse -- سه -- 我们已经 -- rede -- sept -- 霍 -- ▁Gre -- dwa -- nant -- 仲 -- rack -- ▁thì -- 我将 -- ▁butter -- ▁hace -- ▁Š -- 特朗普 -- át -- bera -- ▁делать -- 力量 -- ▁yok -- ▁داد -- het -- gis -- ▁Leuten -- 다고 -- för -- ▁agent -- ป -- 監督 -- تح -- 誰 -- anc -- ▁mehrere -- 作为一个 -- ▁değil -- 瓶 -- ▁지금 -- 下午 -- ▁katika -- 同学 -- ▁سا -- ▁invited -- ▁spare -- ▁represented -- eld -- 印 -- 撞 -- ▁swept -- ▁wishes -- 之外 -- などが -- ▁maiden -- ▁الف -- ▁prize -- ase -- phone -- 問 -- خر -- ▁concluded -- ▁repair -- gos -- ню -- liz -- ее -- 有可能 -- ▁ак -- ▁neben -- 造成 -- ▁nennen -- ▁Cy -- ▁oak -- овский -- rif -- lern -- ezi -- ▁Gemeinde -- ▁guten -- ▁hid -- ▁poetry -- ▁mano -- ▁такая -- ▁plot -- ▁selling -- ▁gekommen -- ▁Maria -- ▁Min -- 导致 -- ີ -- gelegt -- 操 -- fod -- 就算 -- لب -- 家人 -- 墙 -- ところで -- 脑 -- ▁Komm -- 版 -- なの -- ▁yap -- ▁proposition -- eze -- ▁latin -- 喂 -- gebaut -- cinc -- politik -- ▁そこで -- aquesta -- ▁але -- gala -- ▁actor -- ggi -- тя -- არ -- unu -- 荷 -- ĩ -- ээр -- ▁sil -- ▁поселок -- ▁Pat -- 了一些 -- uren -- found -- 摇 -- ент -- ▁signed -- くなる -- ▁display -- 不一样 -- やつ -- 内部 -- ▁tema -- 演讲 -- ▁select -- ▁ashamed -- 決勝 -- 户 -- ▁elder -- 寒 -- jin -- 发生了 -- wyn -- स् -- 孩子们 -- ちゃ -- ▁rude -- ▁именно -- әй -- 生气 -- 販売 -- ▁yw -- ▁movements -- 好き -- ▁feared -- 实际 -- ▁dun -- ▁creation -- ▁pied -- 腕 -- point -- жил -- யி -- Bri -- ▁cad -- genda -- ▁kissed -- 标 -- ▁chest -- ▁cheeks -- 避 -- 冒 -- 宗 -- kwi -- ▁Tal -- ▁cycle -- ▁geschrieben -- られない -- lian -- 映 -- lebt -- 帰 -- ▁adopt -- たり -- kola -- ▁payment -- ான் -- ▁hol -- త -- ▁bible -- ▁achieve -- 意味着 -- hü -- пят -- ▁rail -- おい -- ▁действительно -- ▁Platz -- اط -- 卵 -- ▁materials -- رت -- ッと -- ware -- sses -- ▁disposition -- ▁glücklich -- tial -- fund -- ▁continu -- stimmt -- 話を -- kur -- ▁attached -- ▁mild -- ▁locked -- 染 -- フェ -- ▁recover -- ▁Qu -- 顾 -- 办公室 -- ▁sou -- kata -- hak -- 立て -- 桥 -- ள் -- лт -- バイ -- グラ -- ▁shout -- 一切都 -- 忍 -- ▁comments -- ▁United -- аться -- үүл -- ▁transition -- ▁manufacture -- 所以你 -- aine -- 習 -- Ge -- accord -- ▁przy -- ▁leurs -- ▁jsem -- ▁verb -- 也可以 -- 就要 -- 你去 -- ▁brush -- lov -- шта -- ▁jobs -- 份 -- ▁appreciate -- ガー -- 围 -- ▁maj -- emo -- ▁supported -- ▁abroad -- ▁unu -- ▁thấy -- ▁sc -- ้า -- ▁못 -- pes -- ▁Mag -- ின் -- ▁salut -- tatu -- ▁juga -- ් -- ох -- つまり -- 几年 -- ▁நான் -- ▁font -- ▁Kirche -- ▁knee -- работ -- ▁Zwei -- ▁distress -- ▁Bau -- 猪 -- wur -- hof -- ▁blessing -- ழ -- mera -- ▁heavily -- ▁الص -- cover -- 逆 -- 磨 -- 려 -- 签 -- 強く -- гра -- 含 -- ▁behavior -- وان -- ▁pine -- bewusst -- ▁neun -- ▁bones -- ▁それが -- ▁armed -- ▁quant -- нут -- 同志 -- るか -- ▁refuge -- 说过 -- ирован -- 播 -- 见到 -- いった -- ▁Bill -- ▁reserve -- ▁farmer -- roy -- 没有什么 -- ▁intimate -- شن -- சு -- ▁essentially -- ▁aquest -- ▁corre -- ▁sala -- ▁ändern -- 郎 -- んじゃないか -- ▁Tages -- ▁ここで -- ▁сама -- 厂 -- ▁хар -- 错了 -- ளி -- ▁june -- ▁competition -- ▁fois -- ilen -- リア -- 我不会 -- ▁ruth -- ▁opposed -- ▁penn -- ▁هستند -- 拖 -- ▁antwortete -- ▁jeune -- إ -- ▁repeat -- ▁greek -- 就说 -- ș -- '!」' -- ▁teachers -- ▁sy -- あなた -- 看来 -- isation -- ▁rya -- 一段时间 -- ▁belong -- obu -- ാ -- ▁traditional -- ▁painted -- ことも -- чь -- ▁Mrs -- сов -- ▁settlement -- いろいろ -- ▁کنید -- load -- ▁massive -- ▁zag -- ▁alternative -- dá -- aren -- メートル -- ▁retired -- ▁consult -- ▁feels -- njye -- 训练 -- ▁charming -- hop -- ▁尽管 -- wl -- ▁sole -- gad -- ▁karo -- nez -- tec -- 我告诉你 -- 国の -- jon -- ▁bio -- крас -- tali -- ▁việc -- ▁reasonable -- 制度 -- ▁kate -- bw -- юсь -- نش -- ▁schaffen -- 搭 -- ▁slipped -- 気温 -- tī -- ゴール -- ّ -- ▁adopted -- 更に -- para -- となっています -- ind -- ▁etc -- んでしょうか -- ▁scan -- ▁ambition -- iques -- ▁basket -- rau -- ▁bark -- 鞋 -- させる -- dora -- igu -- éc -- ían -- ▁supreme -- يف -- krat -- mund -- 卷 -- avo -- 暴力 -- ▁seldom -- hack -- urt -- ▁approaching -- 幼 -- др -- ▁murmured -- kni -- ▁goodness -- ▁Так -- zeug -- 合わせ -- Po -- 腰 -- ▁Val -- ▁consistent -- ▁rever -- ▁gap -- ▁gehe -- ▁dame -- witt -- ▁handelt -- ści -- dreh -- ▁pages -- يو -- 另外 -- ě -- nach -- ▁unfortunate -- headed -- 恨 -- path -- ましたね -- 主人 -- ▁совет -- rī -- ▁aren -- ять -- ▁depends -- flo -- miss -- ▁таки -- ▁zeigt -- ▁terre -- ▁commanded -- ▁noi -- bell -- ▁Tatsache -- cycl -- رك -- mani -- ் -- ▁muito -- duk -- lir -- ▁tidak -- ▁regiment -- izo -- ほか -- ▁clerk -- ▁vào -- ▁года -- 雄 -- ▁bullet -- tree -- ▁sempre -- hlen -- дэг -- erin -- rimo -- 银 -- ▁teams -- ▁foi -- ums -- ▁shortly -- ▁cure -- atge -- 恢复 -- ▁Hol -- づ -- ▁Test -- ▁drinking -- ▁released -- tics -- ▁eastern -- St -- ▁zaman -- 作用 -- ▁versus -- ense -- সে -- aught -- ▁жив -- 라고 -- 押 -- ▁reflected -- イギリス -- ▁Hund -- கை -- وع -- 交易 -- ▁blank -- ▁Situation -- ▁жизни -- ▁minor -- 大変 -- 으로 -- ▁obvious -- 环 -- 攻 -- ▁useless -- ▁blieb -- のほう -- ▁slaves -- 材 -- ▁également -- fal -- сын -- ▁tras -- овой -- ▁wherever -- рез -- ▁contest -- care -- ▁institution -- дав -- гло -- 的那 -- ▁contribution -- 这边 -- нне -- ▁administration -- 互联网 -- 了啊 -- ▁donde -- она -- ▁Demà -- ление -- ▁也许 -- ▁jour -- ▁বা -- ес -- 打算 -- ▁быў -- awa -- mere -- रा -- 我不是 -- platz -- 私も -- pè -- geven -- ▁ensure -- ▁importante -- 彼 -- ▁داشت -- 表情 -- тру -- ところが -- ▁vital -- bab -- 給 -- nio -- ▁nutzen -- ją -- 泡 -- 不得不 -- rend -- یان -- 柱 -- ▁glorious -- ensi -- 这事 -- ாக -- abu -- 有一天 -- ▁feast -- 동 -- ▁olan -- 把这个 -- ▁inhabitants -- キロ -- ließ -- 资金 -- 庄 -- ▁Tas -- area -- 気が -- gues -- يق -- шин -- 積 -- bug -- 練習 -- ▁stroke -- ▁Sy -- ▁või -- 狂 -- 迟 -- ▁Tot -- arse -- ▁plum -- 不应该 -- ▁handed -- ▁earnest -- 勤 -- 对此 -- 我来 -- 敌人 -- 佳 -- ▁acquired -- lak -- жал -- ▁fever -- ▁impulse -- 任何人 -- 南部 -- ▁dove -- ▁ihres -- 저 -- nega -- 前面 -- готов -- ▁newspaper -- ックス -- rait -- мар -- 碎 -- 老公 -- 所做的 -- ▁otro -- ▁difficulties -- 開催 -- ▁owner -- 批 -- bü -- aver -- дать -- ▁trace -- ▁gleichen -- தை -- weisen -- aɣ -- ▁coin -- شه -- 드 -- 例えば -- agon -- ▁print -- ▁treffen -- اً -- 乗り -- 法国 -- ذا -- ▁hombre -- 隐 -- 不足 -- ▁Spa -- kı -- ▁departure -- 的方法 -- 老婆 -- ▁хотел -- ▁creating -- nten -- 台風 -- 人も -- ▁وجود -- ▁Sk -- ates -- ▁tough -- ▁ўсё -- ▁unlike -- flu -- ▁zweite -- 冠 -- oba -- 以上の -- 一件 -- sell -- ova -- ▁accomplished -- ально -- てください -- 峰 -- pati -- 住在 -- ▁ignorant -- 事实上 -- ▁deeper -- ▁travers -- ▁venture -- 予定 -- らず -- 病人 -- يك -- হা -- ▁Wirtschaft -- 是由 -- ワン -- cola -- صل -- 妻子 -- ▁我在 -- ▁reputation -- ▁entfernt -- trieb -- ▁fiscal -- ▁combined -- การ -- ▁plainly -- ▁closing -- ▁og -- غر -- ▁eher -- 押し -- ▁فقط -- тры -- 多的 -- 要去 -- イメージ -- 欧洲 -- och -- ṣ -- ▁reckon -- ▁granted -- 際 -- ể -- ▁italy -- 熟 -- ļ -- 淡 -- ▁whisper -- лай -- ▁painting -- ▁poi -- ▁smoking -- ▁понимаю -- ёр -- krank -- ▁insist -- うまく -- ▁fairy -- 但他 -- アップ -- мест -- цен -- quis -- まさに -- tör -- ▁mono -- 試 -- 続 -- ▁orange -- キャ -- 你不能 -- お金 -- ▁Sohn -- гд -- 哪儿 -- 网站 -- 你怎么 -- amento -- icia -- 深刻 -- тр -- ▁mist -- تو -- ▁weder -- 以降 -- 乳 -- ▁attractive -- 漂亮 -- 广 -- ▁sue -- ▁咱们 -- にとって -- 追い -- ден -- ▁Cla -- ▁такие -- 始まり -- ках -- حق -- ▁Ali -- 内心 -- ▁jemals -- ▁suspect -- 次の -- ▁wollten -- ▁hunter -- ▁slope -- lee -- agenda -- ▁spre -- ká -- 供 -- ▁pond -- 你了 -- になり -- 还能 -- ▁risks -- ものが -- ▁Av -- юцца -- ▁Because -- ▁мой -- usi -- 叔 -- ▁seeking -- ▁momento -- ▁margins -- 近く -- ▁General -- ▁epi -- hö -- ▁compelled -- так -- тон -- mä -- ▁وأ -- 艺 -- ▁pound -- ์ -- ▁admiration -- ▁songs -- 行動 -- ▁dein -- 館 -- ▁ښه -- ▁abuse -- ▁Stück -- ▁pope -- ois -- ▁Umu -- كي -- ▁igihe -- になっています -- ấ -- ッド -- manda -- hush -- ▁interessant -- ▁hörte -- ▁bya -- ▁jean -- 的手 -- ▁infinite -- ▁entonces -- ают -- 感兴趣 -- ける -- 一体 -- foot -- дол -- ому -- эв -- chas -- ând -- rück -- zia -- ▁이런 -- 难道 -- ▁adapt -- ▁Kor -- 心配 -- ▁regions -- ▁eagerly -- ▁Mensch -- 一项 -- sab -- 殿 -- ▁Kol -- ▁communities -- ▁kaum -- odor -- わり -- ▁Kla -- 而言 -- ń -- ▁yard -- dine -- ино -- ▁lunch -- 武器 -- ▁我现在 -- ▁forehead -- ▁Bon -- ▁fame -- Ж -- ▁那是 -- ▁withdraw -- ▁mask -- ▁تع -- ▁dag -- liness -- 佩 -- 三年 -- ▁всем -- ▁aho -- レン -- 哪里 -- полит -- 냐 -- ▁idle -- ▁dealing -- bern -- 的信息 -- ▁روی -- ご紹介 -- ками -- geze -- eti -- has -- ▁Mary -- ▁planning -- сь -- 每次 -- ュ -- 控 -- 阶段 -- ▁Kunst -- iff -- لى -- liga -- ▁جو -- ▁remove -- 老人 -- ▁mister -- 準備 -- ▁islands -- ▁erreichen -- 多い -- ▁characters -- ▁Bis -- ▁вся -- 一致 -- 祖 -- stieg -- ▁mom -- ▁само -- geri -- boy -- ▁Rwanda -- ▁estat -- 印度 -- ▁client -- wacht -- 收入 -- ▁Mes -- bles -- jä -- ▁acting -- ▁infrastructure -- ▁predict -- ổ -- щи -- ロン -- cido -- grav -- ▁мог -- ▁burned -- ▁gebracht -- ▁shell -- ▁australia -- cult -- 金融 -- ▁steep -- ▁rang -- 出生 -- 假设 -- ▁مر -- ▁anirà -- сен -- ▁まあ -- 这是我 -- ▁되게 -- voj -- —— -- ▁organic -- छ -- 的影响 -- ▁gather -- 对话 -- 很重要 -- ât -- ffen -- dauer -- ват -- tons -- 跟着 -- 并不是 -- 今晚 -- ▁Sinn -- ▁nghĩ -- ▁Bericht -- ▁É -- cono -- lose -- 辞 -- こちらです -- ▁일 -- 爱情 -- だな -- 说明 -- ях -- ▁tag -- ▁اون -- ▁electric -- 昔 -- ▁commander -- 凡 -- கு -- ▁chin -- det -- 続け -- ▁fy -- 比如说 -- ▁thrill -- 一千 -- 证据 -- だったら -- ▁яны -- ▁causa -- ▁insult -- ▁fou -- час -- 实际上是 -- 莎 -- ▁Rück -- ▁vessels -- ▁junge -- ▁eens -- ▁inclined -- ▁opposition -- 計 -- ▁Forschung -- spec -- ▁unfortunately -- ▁towns -- ▁الر -- 提到 -- ▁shirt -- ▁сделать -- 执行 -- 野菜 -- 快速 -- hole -- ▁இரு -- isiert -- ▁ella -- ▁Richtung -- ▁wedding -- ▁Viele -- ▁leadership -- 義 -- 你觉得 -- 销 -- 逃げ -- ▁ali -- ▁institutions -- nā -- aven -- ▁billy -- ▁schrecklich -- licher -- ▁icyo -- ब -- ▁descend -- 答应 -- 判 -- eck -- ▁gihe -- 注意到 -- 情感 -- dha -- '35' -- ▁undertake -- ▁extrem -- 拼 -- ▁Unterschied -- won -- ▁equipment -- لم -- 多く -- år -- lässt -- ▁philosopher -- ▁uttered -- 毕业 -- 主任 -- 星期 -- 施 -- ▁sed -- маг -- 再见 -- ▁Yu -- 我跟 -- 长的 -- やった -- いか -- 发现了 -- くん -- ▁shared -- 租 -- ların -- ▁doubtless -- aires -- كل -- යි -- 가지고 -- ソン -- 的吗 -- ▁Einige -- ▁vrouw -- 不够 -- ▁intense -- fol -- ▁glow -- ▁permitted -- ▁pis -- quelle -- ёт -- 成长 -- طور -- lib -- 跟我说 -- 最後の -- 価格 -- 逼 -- ▁settle -- 结构 -- stände -- κ -- fallen -- ▁negro -- ▁♫ -- chin -- ▁лучше -- য়ে -- schein -- нул -- ▁While -- ike -- ▁tijd -- ▁học -- ्या -- ▁emotional -- 模 -- city -- zed -- ▁passat -- ▁avons -- 래 -- tah -- ▁человека -- 是一 -- говор -- ҡы -- ▁desde -- ▁deny -- ▁obligation -- ভ -- رق -- 異 -- stad -- ▁providing -- 专家 -- ▁Ag -- zak -- ▁Sand -- ▁lighted -- ▁baba -- hall -- ografi -- ▁nella -- stab -- ▁substantial -- иль -- கோ -- ▁vague -- 一方 -- ▁cease -- ▁Erfahrung -- 严重 -- λ -- 的眼睛 -- ▁ありがとうございます -- 去找 -- ▁historical -- олог -- 踏 -- ▁Name -- 意识 -- 何で -- 将来 -- 域 -- یس -- どういう -- したり -- gura -- ▁curve -- ▁Aufgabe -- ▁fence -- ▁dancing -- ▁flung -- ▁investigation -- folge -- ▁evolution -- ▁და -- ▁Мо -- گە -- ▁conserva -- нии -- ▁load -- ▁nhiều -- ▁parole -- 尊重 -- ',"' -- psy -- 効果 -- ▁egypt -- geht -- たちが -- ulu -- ús -- 表演 -- 候 -- そういった -- ▁speaker -- ▁East -- ▁utiliz -- 记忆 -- ▁wooden -- ▁beloved -- 一度 -- ▁allows -- ▁pursue -- keeper -- 環境 -- leh -- 胜 -- ▁phase -- 긴 -- 更好 -- 没想到 -- ím -- tě -- ▁lecture -- ▁응 -- 订 -- 犬 -- ▁vorbei -- ▁Mü -- ▁lately -- nosti -- ▁bod -- 一定会 -- programm -- ▁arme -- ▁irish -- ữ -- 恐惧 -- 생 -- idade -- 按照 -- 佛 -- ▁Gesetz -- ▁rabbit -- 钟 -- ▁wilde -- 国民 -- west -- ה -- 我々 -- 慢慢 -- 刑 -- 頼 -- tun -- 搜索 -- note -- ▁grandfather -- larını -- ▁decisions -- ▁murmur -- ▁terra -- ▁할 -- ▁explore -- ▁Ven -- していて -- கள -- ▁TED -- tivo -- 文字 -- メンバー -- bà -- 驚 -- ▁staring -- 電話 -- 满足 -- 支付 -- pac -- ▁cliff -- erson -- のため -- 穿过 -- 插 -- пал -- ▁trunk -- ▁league -- ▁acest -- ▁Tan -- orient -- cele -- ▁desperate -- ▁彼は -- tical -- ना -- ▁expensive -- ڕ -- 适 -- ▁stuck -- ▁Stunden -- ▁dared -- ▁Jahrhundert -- gres -- ஹ -- ▁cheerful -- かどうか -- oor -- 議員 -- 更新 -- 益 -- һы -- ▁Rest -- 分かって -- 创 -- ▁après -- ▁إن -- иде -- Q -- ông -- ▁obey -- しても -- iad -- tje -- nner -- zimmer -- ますよね -- ▁sistem -- ▁workers -- ▁거기 -- 员工 -- ▁spain -- ▁nad -- ▁rend -- ▁observation -- ▁llama -- ▁volumes -- 地下 -- 北朝鮮 -- ந -- gir -- ▁declare -- ▁upward -- 極 -- طر -- ▁deserve -- ▁klein -- ▁defence -- ▁increases -- ▁simp -- ▁tramp -- 台湾 -- 对他 -- bord -- ▁camera -- ancy -- ▁jacob -- ▁kwe -- ată -- 问题是 -- 実際に -- ▁Sche -- welt -- ▁Arten -- gla -- ▁Bürger -- የ -- ộ -- ▁Worte -- ever -- 梦想 -- bec -- ▁begged -- ▁wretched -- ▁hơn -- ▁хотя -- 些 -- ስ -- ант -- ▁sending -- 降り -- ▁gilt -- lando -- że -- ▁India -- ▁questa -- grün -- 手を -- qi -- ▁Mel -- ▁assure -- 这意味着 -- あって -- смотр -- iber -- ナー -- шка -- ця -- ▁entering -- ▁prze -- tak -- ▁hervor -- ages -- ▁offset -- اج -- ▁今日 -- ▁cũng -- ▁consumer -- zzi -- 신 -- ▁adding -- ▁virginia -- ▁capture -- ▁pistol -- ▁curl -- ▁accounts -- 律 -- ▁Zahl -- rut -- なん -- 紧张 -- ▁pursuit -- ▁Michael -- ası -- ▁Far -- ▁Berg -- itza -- stück -- mira -- ▁besonders -- ▁enhance -- fulness -- dhi -- யாக -- ▁چې -- ube -- 肩 -- ▁jews -- ▁أنه -- ▁ils -- ▁swear -- ▁erreicht -- ▁sentiment -- ▁reaching -- илась -- かり -- ▁cents -- 중 -- 让她 -- ▁volta -- ▁yell -- 今天的 -- ские -- ▁expansion -- ▁notre -- ▁torture -- ▁purposes -- 她们 -- ▁disgust -- ެ -- ▁aktiv -- ▁highlight -- yol -- ้ -- ▁pit -- 所以我们 -- 力を -- ▁magazine -- ▁America -- rance -- 它会 -- 崎 -- ▁saddle -- ▁pont -- 来た -- blau -- ક -- tama -- ვი -- ▁Richtig -- ▁depart -- dag -- ▁只要 -- ▁Trans -- lagen -- ▁кан -- になっている -- 思って -- 不起 -- ▁indulge -- polis -- 鳥 -- ▁четырнадцать -- ▁тэр -- ভা -- gabe -- ▁langsam -- በ -- ▁должен -- ▁leverage -- ▁bench -- 摆 -- ▁distinction -- / -- 大雨 -- 地上 -- ने -- куп -- ▁biết -- действ -- tore -- east -- ▁brook -- brach -- issa -- 해서 -- ▁lesen -- ▁Erde -- ▁bari -- ▁quelque -- say -- sinn -- ▁vend -- 階 -- rand -- نە -- ▁damals -- рак -- ▁recovered -- 過去 -- の大 -- ▁verd -- ники -- 运行 -- ▁begins -- дум -- ▁mbere -- 圧 -- ▁alice -- 范 -- ▁cutting -- ▁rescue -- бар -- 奶奶 -- ▁incredible -- 理论 -- ▁grain -- ▁habits -- なし -- ▁merry -- ▁جا -- ったり -- уме -- 现代 -- نس -- ▁whereas -- ▁cloth -- ▁havas -- ää -- 时期 -- 启 -- ▁gesture -- ▁belonged -- ▁Ко -- تە -- ▁случае -- jet -- 拿着 -- ▁journal -- ▁rien -- 暮らし -- 活躍 -- èrent -- 得多 -- 合わせて -- vuga -- ▁lodge -- 是他 -- ▁gingen -- தே -- ロシア軍 -- してきた -- يس -- ação -- ата -- 一方で -- ▁tat -- 観 -- 一名 -- ▁بد -- ▁irre -- ▁خیلی -- 過ぎ -- ▁sowohl -- 歌曲 -- nett -- ▁früh -- ▁Та -- ▁гэж -- 宋 -- 荒 -- 掌 -- kad -- ▁Reise -- ▁dread -- ▁fog -- 没错 -- bled -- うわ -- 积极 -- ▁Verbindung -- ▁sensible -- ▁mounted -- ▁interes -- mur -- 设备 -- 音楽 -- '2000' -- ▁никто -- rug -- ಾ -- We -- 承 -- ▁shadows -- ▁vin -- nung -- 被称为 -- ▁Weißt -- ▁arrow -- jal -- زه -- ▁misery -- 狼 -- lets -- 的机会 -- wig -- glich -- 遗 -- fehl -- ▁komm -- ▁なるほど -- 信任 -- ▁brachte -- iel -- ▁editor -- ▁Alter -- 他对 -- ости -- ▁gegeben -- над -- جي -- نم -- gard -- lja -- 傻 -- лав -- ť -- 、3 -- ▁padre -- 厳しい -- 我不能 -- んじゃない -- ▁observ -- उ -- ▁prepare -- 珠 -- tanga -- でございます -- ▁bowed -- ▁Super -- '27' -- iers -- ись -- ▁Sen -- 不如 -- ▁jumped -- ▁Gal -- ▁permet -- 仕 -- 很少 -- ރ -- 投げ -- 了这个 -- ▁troubled -- ▁sufficiently -- 我不想 -- hun -- ▁cars -- rzy -- ▁그래 -- 欢 -- gelijk -- erlei -- ▁whence -- рук -- și -- ▁Martin -- stelle -- ▁Van -- ▁باید -- 塩 -- ▁schl -- 采取 -- ング -- 让人 -- 为什么要 -- ▁lamb -- 진 -- ▁fired -- ▁Wissenschaft -- 沿 -- 多了 -- daki -- れない -- ▁señor -- dura -- zahl -- ▁zeer -- ▁external -- ▁كانت -- mour -- 失去 -- ▁Vereinigte -- ▁муж -- ર -- cchi -- فعل -- ▁schreiben -- ▁Deshalb -- ▁falls -- ▁disc -- ▁drum -- ▁нибудь -- ▁рэ -- 革命 -- ▁faut -- 離 -- みると -- ▁dalam -- ▁Eis -- ▁helpless -- bbi -- 闻 -- ▁голос -- 的脸 -- ▁schöne -- 电脑 -- ▁scorn -- 没什么 -- 正解 -- spann -- ▁Danke -- 飞机 -- ▁runs -- ▁includes -- assa -- ▁gedacht -- ▁fins -- verse -- aged -- enzi -- bé -- mento -- ▁Arbeits -- fang -- ▁straw -- ▁Schul -- 訪 -- ▁experiences -- ▁beam -- ▁rendered -- データ -- ▁lesson -- おり -- ▁verse -- ▁mirror -- زا -- ▁cheek -- カメラ -- ▁Gegen -- ял -- 部队 -- 穿着 -- ▁leads -- ત -- ▁technical -- ▁conceal -- ▁zeal -- ▁authorities -- ▁losing -- arri -- 我们是 -- ▁wagon -- ▁Bett -- ▁reports -- ▁weapons -- spel -- ▁kick -- ▁그게 -- ▁assumed -- ▁qualities -- あげ -- 魅力 -- ▁dwell -- マイ -- ▁peak -- 見せ -- ▁jug -- ▁endlich -- ▁tio -- 我没 -- ▁stretch -- À -- falls -- ្ -- пі -- nih -- ▁aufge -- 公開 -- аз -- lju -- گاه -- ▁eve -- 谈谈 -- მა -- ▁namens -- ▁করে -- ジェ -- وو -- aging -- tered -- вай -- ▁zit -- とこ -- ස් -- iah -- ▁discipline -- ര -- 미 -- Re -- bara -- ▁exposed -- شت -- ▁infant -- ▁Ä -- ▁email -- ▁owe -- 期间 -- ▁icy -- 一句话 -- 徐 -- ょ -- ▁yara -- ▁Ana -- ▁carbon -- 行了 -- eja -- あす -- ▁pile -- ▁planned -- kita -- ▁railway -- ▁знаете -- 一句 -- 製 -- üb -- 今夜 -- ▁ahora -- ▁naj -- ?」 -- dou -- şte -- 正是 -- ▁ultimately -- 沖縄 -- bahn -- vine -- 减少 -- ▁پس -- ▁Washington -- ▁considering -- ▁Era -- ▁persona -- nimmt -- 有时候 -- ▁bara -- 用的 -- ▁tomorrow -- ifa -- 他们是 -- 看了 -- を中心に -- front -- ayı -- ▁primary -- 的心 -- 过程 -- ▁spur -- ▁distribu -- 要么 -- уш -- ▁nk -- 戦争 -- fir -- ▁измен -- 案件 -- ▁neighborhood -- 意識 -- ▁drunk -- ▁よろしくお願いします -- 黑人 -- ▁tran -- ▁мир -- ▁extend -- ▁USA -- 神经 -- 时候 -- ▁그렇게 -- که -- ▁raw -- nus -- 学会 -- mpel -- impo -- 军队 -- ▁Gericht -- arra -- ▁winds -- ▁jungen -- ప -- ▁Lassen -- ▁деньги -- ▁sabe -- ▁mobile -- пло -- ති -- ▁cub -- illo -- ecek -- ▁こちらは -- ▁Gri -- ി -- ▁rằng -- ▁Mil -- piece -- ▁mucho -- 处于 -- ▁pier -- ▁aloud -- ▁Gold -- ద -- ▁Hilfe -- قي -- ▁americans -- geno -- ▁gates -- vio -- 早期 -- ▁separated -- ▁நீ -- ન -- 出す -- 最新 -- ▁mam -- illes -- ▁ведь -- ▁avant -- ▁заб -- уй -- ▁এই -- 更好的 -- key -- ▁kannst -- ▁quantity -- ▁свое -- ▁toujours -- ▁ages -- ു -- ませんでした -- ▁opinions -- ▁images -- Se -- 窗 -- setzung -- 开放 -- 就能 -- みて -- tritt -- 辺 -- range -- 運動 -- ▁wander -- вет -- 費 -- ▁haste -- 正式 -- ▁sexual -- ṭ -- ▁Gedanken -- ▁reli -- それに -- ▁100 -- ▁weird -- ದ -- 细胞 -- ▁همه -- ▁portrait -- ▁chill -- 生活中 -- чер -- 纽约 -- estra -- ▁sera -- 全く -- anz -- ▁слова -- ▁County -- もん -- ▁det -- وج -- ▁deed -- ▁claims -- ▁delightful -- ▁vroeg -- ▁яе -- ข -- 別の -- ▁тех -- 면은 -- ark -- ▁scattered -- ▁gazed -- rado -- гром -- वा -- Any -- обра -- 仙 -- ality -- ▁missed -- ▁prin -- 宣布 -- ▁flatter -- 都没 -- ▁essere -- ▁personally -- 子里 -- 後ろ -- 离婚 -- ▁magnificent -- ▁miracle -- ▁rolling -- ▁thread -- 述 -- ▁fuel -- ▁altar -- ▁قبل -- دى -- お母さん -- 行く -- ▁daughters -- өг -- ▁crash -- ະ -- ू -- ▁challenges -- его -- 哪个 -- 介 -- ▁rồi -- tron -- akt -- ▁ص -- undzwanzig -- ▁gens -- maid -- できます -- plaats -- ▁bosom -- ロシアの -- ▁mm -- ▁methods -- staan -- 兄 -- ection -- 握 -- ▁그때 -- ான -- كى -- せる -- بع -- colored -- ▁ĉe -- нда -- mbre -- ▁robe -- マスク -- ▁Mars -- ▁concert -- mov -- you -- ▁midnight -- ▁missing -- 分钟 -- ▁drag -- ার -- ▁joint -- nost -- つき -- ▁Ён -- ▁于是 -- sini -- ▁Jag -- ương -- 历 -- ables -- ▁restrain -- ▁africa -- ▁horizon -- 以至于 -- خت -- ▁reduction -- ▁совершенно -- ▁insisted -- 邀请 -- 欲 -- 坦 -- bru -- ▁Anfang -- ▁zeggen -- 우 -- ▁Feuer -- freund -- bwira -- 减 -- ண் -- ▁Afrika -- ▁außer -- 这么做 -- 宅 -- hearted -- legt -- 長い -- にお -- omen -- ▁trou -- ▁Brief -- ▁anna -- ▁vest -- ▁你就 -- ских -- ▁bestimmte -- ▁sia -- 练 -- ▁raising -- 竹 -- 规则 -- ▁ignorance -- cep -- dek -- ▁گفت -- ▁einzu -- 敗 -- ▁führte -- ▁хорош -- حل -- ▁이렇게 -- 成本 -- 撤 -- ▁consequences -- ▁factor -- 旁边 -- ▁patron -- ▁involve -- pas -- 风险 -- erie -- cap -- 宿 -- 够 -- ▁Ф -- 一生 -- られました -- ▁sink -- 建造 -- ▁valor -- ▁против -- ▁cock -- ▁نیست -- 年龄 -- ティー -- 严 -- izza -- ▁момент -- mäßig -- ▁这是一个 -- ▁province -- ▁convert -- tina -- cup -- tiques -- ▁breed -- 干吗 -- rb -- gefallen -- ▁paint -- ▁foe -- ulation -- 沃 -- ▁kugira -- igh -- っていうこと -- ▁அவ -- plic -- koze -- 亡 -- ▁prote -- pok -- ▁primera -- ▁Sun -- ▁Volk -- ▁entra -- ▁другой -- ▁aufzu -- емся -- ▁cards -- のよ -- куль -- 改善 -- ▁perché -- 执 -- ▁Dingen -- ▁mainly -- wohn -- ドル -- ▁cet -- ヒット -- ವ -- ▁folk -- onde -- このように -- 劲 -- 明らかに -- ▁trên -- থ -- 旗 -- 봐 -- ަ -- ▁மா -- ▁significantly -- ▁chase -- ▁مثل -- 振り -- 当初 -- 儿童 -- ▁nam -- 会議 -- 剑 -- ӓ -- ▁Richard -- 날 -- ▁absent -- რ -- луч -- 载 -- ▁هناك -- ▁appar -- せて -- ▁Band -- ▁我不 -- 後に -- oedd -- De -- ▁минут -- 没有任何 -- 距離 -- 竞争 -- ▁Ö -- ▁Fahr -- gaben -- ▁15 -- sert -- 危 -- ▁кого -- 本人 -- ά -- ▁Air -- ▁Kultur -- yal -- ▁lust -- 漫 -- ▁developing -- '26' -- ▁boots -- あとは -- stream -- ▁ບໍ່ -- 弾 -- dress -- ▁quelques -- ▁Bewegung -- ▁messenger -- жен -- ▁roads -- ų -- ▁menschen -- gender -- deck -- ▁molto -- mart -- 学家 -- ▁basic -- 也不会 -- ▁nag -- チャ -- を受けて -- ի -- 有的 -- ▁firmly -- 提高 -- ▁одно -- 団体 -- ender -- ▁Bezug -- kura -- wort -- ▁inclu -- لار -- 作家 -- 話題 -- 住民 -- bura -- çı -- ▁crowded -- diği -- ▁outcome -- 有效 -- volle -- ▁May -- َّ -- ▁honey -- 行って -- чет -- boot -- 分かる -- یی -- 家伙 -- boat -- wara -- stimmen -- 公平 -- 発見 -- ▁Вы -- 的情况下 -- ర -- ▁sana -- ▁ram -- ▁тысяча -- ▁especial -- ▁hastily -- されます -- ▁Vielen -- 和其他 -- 或者是 -- ▁hai -- ▁nearest -- ▁multitude -- kraft -- үүд -- minister -- ivi -- ▁rất -- ▁plays -- ▁clay -- 销售 -- ▁porte -- 周围 -- wechsel -- ууд -- ▁erzählen -- ▁ernst -- ▁оно -- ▁系 -- 市民 -- ▁leaning -- ▁overcome -- 长期 -- melt -- ▁Groß -- үр -- ▁innerhalb -- ▁scrap -- cita -- ▁returns -- ▁april -- 奈 -- gehalten -- 应用程序 -- dela -- ▁kri -- amp -- 滚 -- ▁grasp -- ▁cách -- 软 -- ▁corps -- elde -- ▁lincoln -- ▁lee -- 全て -- ▁continually -- ▁Rus -- ▁خوب -- 一步 -- 人と -- 一九 -- ▁đầu -- ▁lokal -- ▁молод -- に対し -- ege -- ▁disorder -- ▁implement -- 吐 -- 默 -- nick -- 足够 -- 者が -- ▁twin -- ▁между -- 餐 -- 下的 -- タイ -- iment -- 自分が -- ▁reveal -- ờ -- schlagen -- uki -- richten -- тельно -- 相关 -- ▁kadar -- ▁cosas -- ▁chinese -- ▁Paris -- ▁rebel -- 挑戦 -- ▁এক -- ▁humor -- ▁improving -- һа -- いただいて -- ваць -- ▁fühlen -- ▁cerca -- āk -- ▁ornament -- ▁Wahrheit -- 带到 -- 科技 -- 找到了 -- 真的很 -- euse -- ▁purple -- 聞き -- 外面 -- ▁deshalb -- ▁amid -- ▁Mac -- 疯狂 -- ления -- 颜色 -- ▁clau -- ுக்கு -- ▁continua -- 职业 -- ネット -- 張 -- کرد -- 浪 -- 的行为 -- kleid -- ல்ல -- ▁september -- ▁Schiff -- tava -- 软件 -- 遠 -- 也不是 -- ▁Este -- 思う -- ▁confirm -- tete -- になると -- 乌 -- istan -- どれ -- äre -- 皇上 -- ▁oath -- 愤怒 -- دل -- 朗 -- ▁apparent -- ồ -- ▁khác -- ▁shaking -- ▁acquainted -- ▁citizen -- stav -- ▁biz -- 陸 -- 得很 -- 权力 -- ▁lieben -- ▁fost -- ▁badly -- ▁King -- ▁mankind -- util -- ▁هیچ -- ҳ -- tele -- sucht -- 戻 -- Da -- ▁centuries -- ようです -- нар -- ▁urged -- чен -- matic -- ▁throwing -- ▁outlook -- ▁loves -- ▁religi -- を感じ -- OK -- gab -- ▁Nähe -- ▁issued -- zioni -- ▁đây -- iriza -- gesch -- 裁 -- aud -- ▁Universität -- さっき -- lika -- ▁studio -- рат -- 聴 -- чин -- 分からない -- ▁зада -- ▁afterward -- lerini -- ▁conta -- ましたが -- 逊 -- 트 -- ▁있는 -- ▁Tr -- ▁illness -- 見え -- ▁alter -- ▁sounded -- posta -- ▁Job -- ▁significa -- 下降 -- ▁третий -- nyo -- elen -- ▁کنیم -- avuga -- ▁poem -- ▁Sur -- 变成了 -- ख -- 再び -- sili -- 早就 -- نج -- greg -- 絶対 -- ▁First -- trac -- ▁photo -- 当年 -- greifen -- iĝas -- ▁wären -- ▁caso -- ode -- '45' -- 能不能 -- Me -- らしい -- ▁enthusiasm -- マー -- ▁bene -- 警戒 -- انه -- ừ -- krieg -- ř -- 爬 -- ▁شهر -- ▁preserve -- ▁Kur -- 震 -- ▁spear -- 浅 -- ▁bwo -- ▁moeten -- imba -- ▁comparison -- したこと -- ▁câ -- 食べて -- 胖 -- 拡大 -- ▁право -- ▁kw -- ▁الخ -- 蓝 -- 臣 -- 什 -- ▁recorded -- ▁rational -- ▁estimate -- 你知道吗 -- ▁thinks -- 見た -- ▁arrest -- ssy -- ▁trend -- 表面 -- eke -- ▁durant -- ▁contain -- ▁Dy -- ற்க -- ைய -- 一件事 -- 临 -- кә -- sicher -- 人都 -- ▁gathering -- ▁transaction -- coll -- ▁explo -- ▁maria -- ovan -- ▁当我 -- ног -- 什么事 -- ला -- 同事 -- ▁toch -- 議 -- ▁vorher -- 说是 -- ▁Wat -- ▁genuine -- リーグ -- ckte -- jahr -- ▁madam -- ध -- مون -- タイム -- ▁sig -- scribe -- 购买 -- premi -- Pa -- ▁হ্যাঁ -- ога -- 识 -- ▁Fern -- 日子 -- 斜 -- 분 -- ника -- ▁hook -- ania -- ▁schwa -- ▁Zeitpunkt -- ▁год -- ▁meadow -- ▁charity -- ▁نام -- ▁column -- ministr -- ▁Kraft -- ঁ -- 的钱 -- ▁revealed -- 宣 -- ▁fearful -- ▁melancholy -- ▁daher -- 机器 -- ▁первая -- まずは -- vesti -- 把自己 -- ▁ansehen -- ▁lugar -- ▁Geschäft -- 交给 -- ▁leaf -- зо -- 腹 -- 虎 -- 'No' -- ქ -- ▁compliment -- 但这 -- ▁trot -- ▁lands -- ▁Fuß -- 報告 -- ொ -- 巡 -- iš -- ▁manners -- جد -- 治療 -- 等待 -- خط -- ▁brow -- ▁mock -- овая -- tico -- 生き -- ▁wet -- 怎样 -- passen -- lur -- ▁Yuba -- シー -- 不在 -- embro -- ধ -- ▁zonder -- ន -- Ü -- ▁craft -- nji -- 档 -- فی -- য -- ▁misfortune -- kaba -- вес -- ക -- flow -- ▁Pero -- さんです -- アウト -- чым -- 过程中 -- ppel -- これで -- cce -- вае -- ▁alike -- 阻止 -- しましょう -- ▁blu -- 嘉 -- ▁senior -- ▁stellte -- version -- 药物 -- ▁然后我 -- 忘 -- вала -- ▁gloom -- 复杂 -- 的节目 -- ▁mejor -- ča -- wende -- 演员 -- ▁borne -- センター -- ▁спа -- ▁ebi -- ▁requires -- 杜 -- ▁پا -- ▁fac -- 医療 -- pher -- 第二个 -- ▁switch -- yne -- ▁theatre -- 作った -- 信号 -- 体验 -- лам -- 你需要 -- ▁sixth -- ▁abandoned -- ▁tipo -- 類 -- ▁noted -- 规 -- ▁initial -- 上去 -- شار -- ▁charged -- 宇 -- 돼 -- ▁ciudad -- 当たり -- 为你 -- ▁cares -- އ -- 活着 -- ▁encourage -- 門 -- tures -- 간 -- ▁Би -- ▁referred -- erde -- ▁leaned -- дом -- ▁Blut -- ▁шо -- 非常感谢 -- انت -- 画面 -- ▁marks -- ▁flock -- ะ -- 以下 -- ▁công -- ▁saß -- ▁originally -- ▁sowie -- kti -- ▁encouraged -- cm -- psi -- ▁жизнь -- ▁hunger -- ता -- 我今天 -- 忠 -- stel -- уп -- 自信 -- قى -- ▁volen -- acco -- ▁acu -- ▁яшчэ -- ▁而是 -- lation -- aks -- nish -- angan -- 芸 -- гад -- 할 -- ям -- ี -- ogni -- ▁hoping -- 約 -- 紙 -- 出版 -- さんも -- ▁Hat -- ▁likewise -- 치 -- ▁contempt -- ▁Seiten -- ▁свою -- 我我 -- ▁wanting -- ไ -- య -- anze -- こそ -- ▁operational -- вести -- سر -- ▁gaan -- کس -- maß -- 民族 -- 仅仅 -- 阿姨 -- فل -- ▁тысяч -- rò -- DNA -- 工程 -- ▁stout -- 毎日 -- ▁senses -- 研 -- dil -- ▁fuhr -- aca -- 担当 -- ▁говорить -- ▁dispute -- rgi -- ▁landscape -- tima -- ▁الذي -- сте -- ▁brick -- بول -- jer -- َا -- ▁examples -- 对我们 -- ▁Hin -- ▁großartig -- ▁gir -- ▁engineering -- ▁cau -- ▁monk -- mona -- ځ -- 上班 -- 作者 -- ▁má -- ▁الط -- зов -- 伝 -- ▁chỉ -- dern -- ▁provisions -- '28' -- ales -- ▁Bal -- 创建 -- atory -- ▁introduce -- ▁назад -- bart -- 好きな -- mother -- üz -- ▁engage -- гон -- лад -- ▁champion -- 子的 -- 食品 -- 見える -- SNS -- ▁inferior -- ▁gratitude -- 九州 -- ▁trained -- ▁mensen -- 可怕的 -- 闲 -- 走吧 -- stern -- view -- 玛 -- 开了 -- 単 -- ▁finance -- ▁Gebäude -- führung -- 是这样 -- の影響で -- すでに -- 的关系 -- ▁personas -- ▁bride -- ▁occasions -- 自分で -- ▁priests -- と同じ -- 搬 -- imiento -- сем -- ▁То -- 呗 -- iche -- used -- стаў -- ▁chicken -- ▁Straße -- 好处 -- 是非常 -- hom -- 公司的 -- away -- ▁temperature -- ▁sob -- ▁darling -- ▁knock -- tick -- 术 -- 甜 -- franc -- ▁гол -- ▁Quan -- based -- 不得 -- しっかりと -- ▁artificial -- sburg -- メディア -- 大きい -- නි -- 增 -- ▁आ -- られている -- өөр -- tät -- 很大 -- ▁todas -- 工作的 -- aş -- 听说 -- 所说的 -- vali -- schied -- ▁objective -- سو -- 区域 -- じゃなくて -- avait -- likuwa -- 鹿 -- ▁laut -- ではなく -- ▁monta -- ▁swell -- 主席 -- ▁anderer -- ▁ellos -- 是吗 -- ▁determine -- 的第一 -- ▁Familien -- ▁threatened -- のも -- 灰 -- 我的意思是 -- ▁شو -- ▁utmost -- miz -- ▁nacht -- ▁arts -- 束 -- ▁commit -- ▁backward -- ▁efficiency -- ▁surrender -- ebe -- とともに -- نده -- 通知 -- ەر -- 这些人 -- baha -- ▁sonst -- git -- vale -- ▁зам -- iness -- ▁Preis -- お伝え -- ▁imagined -- 内で -- ▁visual -- 의 -- ▁Bedeutung -- んだろう -- まった -- чат -- wang -- ▁probable -- 他也 -- ▁conclude -- ▁Ili -- 財 -- 設 -- वि -- ots -- dium -- eerd -- ▁employment -- 的女人 -- ຮ -- 梁 -- 変わって -- 民主 -- quent -- 十六 -- uge -- ▁retain -- ச்ச -- ▁monarch -- ▁receiving -- かん -- utse -- ▁dreißig -- ▁Anne -- ▁employ -- оз -- ▁attempted -- ▁july -- ▁nào -- tief -- すぐに -- ēja -- ▁draußen -- ▁könig -- 我们也 -- رج -- ▁detective -- kup -- ▁geç -- そのまま -- ぶり -- வர -- ▁childhood -- кал -- ▁ciutat -- ении -- ▁bloom -- かも -- ▁wilt -- koj -- ▁poured -- んの -- ▁hinzu -- 節 -- ager -- 附近 -- ▁femme -- 才是 -- cco -- ▁ramp -- によると -- buka -- ▁уг -- ▁eki -- ▁monument -- ▁contains -- 公众 -- öz -- ▁items -- Mo -- поль -- ▁kleiner -- 从来没有 -- が入って -- ▁instruments -- ▁thine -- ▁essen -- 侧 -- habit -- 桃 -- をお -- ▁suchen -- 敏 -- ▁Region -- shin -- تل -- ▁Tiu -- 尚 -- 葉 -- ators -- наход -- డ -- ▁могут -- zik -- ステ -- 态 -- wagen -- ▁recognition -- mez -- フィ -- ▁safely -- ▁Jack -- ija -- ▁телефон -- овка -- ▁commitment -- 跟你说 -- ▁wage -- зда -- සි -- тын -- 好不好 -- ▁мало -- ▁alleen -- ▁பு -- ▁hasn -- スの -- ってきた -- 悪い -- ▁relatively -- ▁Mur -- ▁Bru -- ▁relationships -- ▁rat -- るように -- ▁Doch -- ▁noon -- 同样的 -- ▁integr -- 简单的 -- ▁seal -- гляд -- ▁Uhr -- 我怎么 -- ▁dining -- ▁gebe -- culture -- 師 -- 他不 -- ▁kot -- ▁huis -- 帮你 -- 大家都 -- ▁solve -- fur -- ▁poll -- ▁jamais -- meri -- ▁cared -- bonne -- 思想 -- 数量 -- 一半 -- ▁furniture -- ▁territory -- ▁verbunden -- gaan -- Imana -- herr -- ▁estar -- ▁revis -- hale -- ▁Kü -- ▁lucky -- 账 -- ▁pursued -- の皆さん -- っていうのが -- ▁mondo -- 瞬間 -- スポーツ -- dě -- ▁ugly -- 秦 -- 資 -- ▁ولكن -- ▁gering -- пас -- 始めた -- ▁cries -- ありがとう -- 裂 -- ▁amor -- alis -- haber -- ë -- 巨大 -- гер -- たの -- kee -- وە -- ▁groot -- ▁प्र -- цев -- 新たに -- 谱 -- ары -- نفس -- ▁ваш -- ▁кры -- maal -- ▁mum -- iter -- ▁mig -- bá -- 盟 -- 向け -- ▁betty -- ▁никогда -- ▁кү -- гэ -- どの -- ブラ -- 北部 -- йн -- ▁peasant -- gren -- 很容易 -- 下さい -- ไม่ -- ▁Ek -- ▁Are -- friend -- ▁invisible -- evi -- ▁climb -- lek -- rika -- tua -- ▁terug -- эк -- ▁mijnheer -- ▁decir -- ▁Mill -- とおり -- ▁studi -- ▁shield -- 伸 -- assi -- ▁award -- 需 -- pira -- 禁止 -- ▁autor -- ▁contre -- ▁entend -- 给他们 -- ▁hugh -- '!"' -- ▁passa -- ▁erwähnt -- 公开 -- ▁zweiten -- iau -- ▁Ok -- mitten -- ৈ -- 喊 -- dle -- 来る -- inu -- ▁ئە -- ▁freely -- 汤 -- なんですよ -- ▁nuestro -- ▁couch -- ▁mistaken -- '400' -- ▁expecting -- 攻击 -- ▁landing -- 你对 -- 的就是 -- ▁größte -- ▁那就 -- 这对 -- 点击 -- ried -- ▁bowl -- 裏 -- და -- kah -- بط -- face -- lekt -- ▁urbo -- ▁solchen -- 距离 -- вели -- ▁drama -- をした -- chip -- اص -- mouth -- ▁statt -- antwort -- kho -- โ -- 她是 -- ▁literary -- ▁بیا -- fassen -- ▁michael -- ▁nights -- ▁jag -- 都可以 -- ▁Geschichten -- дын -- 出来的 -- yê -- 模型 -- ▁آیا -- ▁пятнадцать -- ▁belle -- ピー -- ▁Stra -- бит -- ▁merchant -- ▁russia -- 骂 -- ▁Amb -- 今は -- youtube -- 수 -- ▁grade -- ▁ɣer -- ც -- 撒 -- ▁pipeline -- 聚 -- ▁Möglichkeiten -- たのは -- ▁julia -- 容疑者は -- 微信 -- ▁얘기 -- くなって -- ▁umuntu -- sprung -- などに -- খা -- ▁vorstellen -- ▁decent -- 動か -- もいい -- 的力量 -- トン -- ▁acted -- ▁Personen -- 恐 -- 大型 -- ▁reproach -- エン -- ▁nhà -- ▁Heute -- に対する -- マーク -- ▁Street -- ▁toutes -- ▁hinein -- ▁двенадцать -- даа -- ▁ब -- ▁Ah -- ера -- ▁kama -- ▁hob -- ▁abzu -- 黑暗 -- ▁hated -- ▁steal -- ▁더 -- ▁yıl -- ▁事实上 -- volu -- ▁powder -- Ch -- klu -- 针 -- ং -- ▁Entscheidung -- ▁mail -- 话题 -- ▁otra -- rir -- ▁rhy -- ▁сразу -- 你可能 -- cija -- там -- dow -- 摸 -- rite -- ienne -- 感染者 -- play -- lick -- ▁denk -- ▁están -- 若い -- ▁verändert -- チャンス -- 红色 -- ▁bade -- ây -- mt -- nych -- 世代 -- ▁johnson -- ▁fears -- som -- 什么呢 -- 去做 -- ▁prompt -- 最終 -- ▁capabilities -- ுவ -- ▁Anti -- ▁harder -- 在那 -- ides -- ▁examination -- ▁invitation -- ▁Erfolg -- 小的 -- 定义 -- 测 -- ▁això -- 住了 -- 赫 -- ▁авто -- ▁apt -- ▁Roman -- wahr -- hard -- ▁irà -- ▁toute -- 会場 -- ▁spectacle -- 個人 -- 德国 -- حد -- 别的 -- けて -- ▁näher -- mpe -- 用意 -- ▁کی -- ▁bedroom -- ▁puc -- ▁nascut -- 一日 -- ▁30 -- ▁meantime -- ということは -- ▁Charles -- ▁shareholders -- 明白了 -- 국 -- 故 -- ыз -- තු -- 十一 -- usta -- ೆ -- ▁parla -- اخت -- ▁inches -- power -- 的这种 -- ずに -- berry -- 品牌 -- 引起 -- ▁historia -- ▁pret -- ▁fantastic -- 威胁 -- kru -- 当他们 -- ؤ -- esi -- ▁occupation -- rose -- ር -- ▁statue -- 決定 -- ясн -- ો -- ▁Ton -- ▁blij -- uɣ -- ogo -- ▁favorable -- 我从 -- ▁outline -- atur -- んじゃ -- ▁বি -- ▁conception -- ▁comun -- 大谷 -- меш -- 었 -- ▁session -- ▁fed -- 今まで -- ▁ridiculous -- 妹妹 -- бр -- ▁maig -- フランス -- ▁2017 -- ترین -- ▁глаза -- ▁её -- ▁Computer -- ▁vanished -- kauf -- ▁Unterstützung -- ▁gukora -- 做的事情 -- 业务 -- ▁schm -- 러 -- ▁gotten -- ▁pār -- ▁rece -- ▁zuerst -- கா -- 猎 -- ▁vergessen -- ▁weet -- ný -- ▁Japan -- ▁pointing -- ▁estos -- ▁unconscious -- だけど -- னா -- ▁permission -- هایی -- вел -- 一定是 -- 头发 -- ине -- 悔 -- ▁Zum -- ッシュ -- 杀了 -- 様子 -- ▁blush -- ▁sharply -- 做得 -- ▁befindet -- ▁cyf -- ▁football -- ▁alguna -- пов -- 泥 -- ghi -- 十八 -- ▁treball -- ▁inspired -- ▁pattern -- ▁crystal -- 効 -- ▁cultural -- ▁monster -- ▁Bücher -- ▁என்ன -- сел -- ▁pomp -- ▁これで -- 記 -- eyed -- mati -- トリ -- boo -- 庭 -- commerce -- pru -- ▁records -- 取得 -- culo -- ▁Mau -- ようと -- ▁Ban -- 特殊 -- ฉัน -- 采访 -- дра -- ош -- イベント -- 发出 -- ▁prayers -- ▁employees -- klo -- count -- ▁panel -- ▁crossing -- 擦 -- 这是我们 -- ▁Frank -- ▁kinda -- ghan -- reichen -- ▁shone -- có -- ▁tutti -- 真实 -- ▁avenue -- ちょうど -- kultur -- 在我的 -- ▁iyo -- ▁fetch -- essen -- ▁detect -- ▁England -- ▁село -- ▁난 -- ▁reaction -- 特定 -- 采 -- person -- 惊讶 -- ▁strangers -- ▁gemeinsam -- тыр -- ▁beard -- ▁gleiche -- ▁Africa -- 周り -- ▁сколько -- ▁steadily -- voca -- 两年 -- zira -- ▁startled -- ▁muttered -- 寄せ -- 你应该 -- 策 -- ▁jud -- 在他们 -- 闪 -- 개 -- ▁millor -- ▁vein -- に向けて -- 香港 -- 播放 -- ▁accurate -- 扬 -- 살 -- ▁Website -- ফ -- 覚 -- ▁whirl -- よし -- ope -- ລ -- 英雄 -- ▁我会 -- ▁gek -- фі -- 是怎么 -- ▁rap -- ますか -- ▁attacked -- ▁endure -- ▁tie -- يع -- rp -- rash -- ▁specifically -- ▁collected -- nahme -- uous -- න්න -- dru -- 稳定 -- oid -- と思った -- ▁каб -- how -- ▁以及 -- ▁anchor -- 行き -- ▁pia -- ingham -- ▁также -- 礼物 -- ▁Typ -- 理想 -- ▁lleva -- ないように -- 角色 -- uck -- ી -- ▁abstract -- ▁Steve -- Pro -- ▁secured -- ▁бес -- mist -- 生意 -- ▁consequently -- ▁vriend -- 的世界 -- ▁führt -- ໄ -- ▁railroad -- ▁ticket -- igis -- ▁Ji -- 道德 -- ▁disgrace -- 소 -- ▁compare -- 我必须 -- ▁wandering -- ▁knocked -- ▁tant -- liter -- ▁procure -- ▁oedd -- media -- ▁offensichtlich -- 都市 -- fed -- ▁続いて -- کار -- ▁resistance -- ▁ئى -- ▁menos -- ▁maken -- 空气 -- 제 -- stock -- 負け -- ▁disappointed -- fee -- 選手の -- ▁admire -- ่า -- ▁marie -- 立即 -- 質問 -- ▁directions -- eron -- ▁Jean -- ясь -- يات -- კ -- 汁 -- 兴奋 -- ▁egg -- كا -- ▁erinnern -- ▁Polizei -- ய் -- ▁È -- 吸引 -- iere -- ຍ -- ▁dip -- ▁starts -- ▁свой -- cir -- ক্ষ -- 兴趣 -- ्य -- fekt -- ▁Marc -- ▁coward -- 匹 -- ▁உள்ள -- ▁dalla -- とした -- ▁brutal -- ▁traf -- holen -- 肥 -- gian -- 鲜 -- 课程 -- 会儿 -- ▁resumed -- ຕ -- ▁территория -- schul -- ▁complet -- ▁sighed -- 限制 -- ▁elsewhere -- ança -- 质量 -- ノー -- ▁Versuch -- образ -- kwe -- ▁virus -- 天気 -- 筋 -- 的书 -- ▁timing -- 熟悉 -- 促 -- ▁дома -- 对了 -- ▁Damit -- 我给你 -- ▁Bel -- ối -- ▁Chance -- জা -- ルー -- 快点 -- これも -- anca -- ▁frau -- 周辺 -- ▁pierre -- 干嘛 -- ▁فکر -- 教堂 -- ▁確かに -- 香り -- 道理 -- agit -- 有多少 -- 指示 -- ம்ப -- ▁patch -- スーパー -- ▁tonight -- ▁Markt -- رم -- ▁Regel -- migrant -- miş -- sió -- 巧 -- kha -- Ha -- mination -- ▁astonishment -- ▁asia -- má -- kota -- дээ -- ▁Fehler -- ▁Dieses -- ▁persone -- cant -- ▁aquel -- 消防 -- ▁perfection -- cció -- rren -- 门口 -- fest -- ▁viz -- 粗 -- ▁nonsense -- schätz -- ができる -- 程序 -- ▁говорил -- ▁Clo -- siz -- ▁identify -- ós -- ▁omu -- 祝 -- 続き -- ▁род -- ock -- 表現 -- ▁slightest -- aĵo -- 豊 -- ▁пожалуйста -- ски -- ▁Lehrer -- ▁erfolgreich -- moor -- பு -- ▁players -- ▁vì -- ▁descended -- qual -- xo -- ▁hopeless -- ▁conducted -- 手术 -- ▁Ay -- ▁12 -- っちゃう -- 生活的 -- ▁dragged -- ▁بعض -- нет -- ▁inte -- мон -- ▁teu -- тө -- ▁liquid -- ▁hip -- find -- moni -- ▁State -- Е -- ▁shooting -- ▁legend -- 埋 -- ▁revenues -- ▁unglaublich -- abel -- слав -- ▁” -- 听起来 -- 所有人 -- ▁düşün -- 了他的 -- 残り -- fro -- ▁bend -- ▁wirst -- ▁akk -- ▁hitherto -- 成長 -- こうやって -- ▁dirty -- metri -- 分の -- ▁perceive -- ▁jur -- vra -- خا -- ▁năm -- 晴れ -- 酷 -- ▁poste -- лер -- lais -- ▁sav -- 认真 -- 毕竟 -- with -- ▁regional -- ▁scholar -- 苹果 -- 改めて -- 因素 -- டா -- кы -- ▁sembla -- zustellen -- ▁pupil -- ifying -- 缓 -- 手に -- 名前 -- ▁совсем -- 相談 -- ▁ал -- ▁kendi -- ▁promote -- ▁стороны -- 了我们 -- 发生的 -- прост -- ▁mateix -- ▁дума -- ково -- ▁Green -- 自动 -- lima -- もらう -- ели -- ▁departed -- ▁belonging -- ▁Star -- وز -- テーマ -- யின் -- ▁hesitated -- ▁Om -- 评 -- ▁Hoch -- 正确 -- 協力 -- ikan -- はどう -- ▁lane -- machen -- reba -- ▁ব -- 逮捕 -- 在美国 -- ▁гру -- osi -- '1000' -- 泉 -- ▁examined -- 方は -- ▁disco -- ▁Ale -- ▁terwijl -- ▁dig -- 避免 -- ▁leisure -- worm -- ▁depth -- 卢 -- ▁worried -- 做好 -- 出身 -- 生まれ -- ▁قرار -- 废 -- ám -- zzo -- culp -- ▁Gebiet -- ibya -- ач -- ▁scenes -- 王子 -- gelegen -- 基于 -- ▁partie -- lhe -- ▁belt -- রি -- änder -- ▁compassion -- ♪ -- 下了 -- ями -- ▁devotion -- ろう -- 他の -- ケット -- ▁monitor -- ▁häufig -- 検討 -- tö -- enta -- ▁sido -- 補 -- 聊天 -- 我一直 -- ▁гэтага -- ▁называ -- 蒸 -- ▁当你 -- shyi -- houden -- conc -- ▁device -- この日 -- 凉 -- ▁Del -- mica -- 剂 -- ドイツ -- 是要 -- 隣 -- ▁narrative -- ▁Medien -- ▁francis -- Р -- ▁beaucoup -- ▁whistle -- 她在 -- ▁kumu -- ▁droit -- 我们正在 -- nahm -- etta -- ▁fille -- Do -- ▁owned -- 通り -- もらって -- 写的 -- 疼 -- ל -- ām -- пра -- них -- gali -- shya -- ▁France -- ▁cord -- だし -- rab -- ▁estava -- ▁folgen -- 遺 -- 位于 -- ▁sä -- ▁Sport -- ▁kui -- 页 -- の方が -- nata -- ▁facing -- ▁பொ -- もない -- He -- ▁inventory -- 实验 -- uter -- raten -- Sa -- ▁drank -- قی -- 伺 -- ▁Barcelona -- ▁keeps -- ▁하고 -- ▁mult -- gni -- 금 -- ▁astonished -- ▁readily -- ▁unexpected -- ▁mug -- どうして -- ҙә -- 跡 -- еб -- ▁Hill -- 面临 -- onia -- ▁cinema -- čas -- 创业 -- ▁зап -- rücken -- ▁silly -- ▁facility -- ▁除了 -- 用于 -- ▁Monsieur -- ばかり -- ▁collect -- ▁انجام -- ▁gifts -- ▁doctors -- ▁emotions -- ▁republican -- ▁maintained -- ▁snake -- ▁سي -- 身份 -- ▁ней -- ▁models -- ▁gracious -- ibwa -- leigh -- بت -- ▁meines -- 警察は -- stall -- ▁percentage -- خوا -- ▁crop -- ▁ainsi -- 忘了 -- cide -- ▁killing -- ▁tool -- 的好 -- teria -- ▁mutual -- 剩 -- ▁wreck -- ▁chiefly -- ▁values -- ▁strengthen -- ▁cómo -- 같 -- 的能力 -- ▁wunderbar -- steigen -- ▁heir -- ▁2018 -- кат -- zī -- ▁அது -- ▁கூ -- breite -- ▁guter -- ▁duck -- 相对 -- 承诺 -- 叔叔 -- ▁bana -- 使う -- زار -- 组成 -- lö -- としても -- kap -- 操作 -- 物质 -- Ba -- 入って -- halte -- ▁tau -- ▁weapon -- ▁байгаа -- rok -- ▁graduate -- 心情 -- ブル -- ▁höher -- leu -- するため -- ▁vai -- ころ -- 五年 -- ▁landed -- 闭 -- ▁след -- ▁selected -- 放心 -- 秘 -- 等着 -- nol -- gling -- ▁对于 -- ▁lend -- ▁povas -- 券 -- ▁sources -- ▁Kampf -- はある -- ▁Gro -- ▁jemanden -- 要做 -- ▁peaceful -- як -- 规定 -- dolph -- 追求 -- univers -- 添加 -- ▁pump -- バン -- 特徴 -- 多年 -- easing -- 枝 -- ▁Louis -- ▁Rob -- 改革 -- 一本 -- ▁climbed -- ▁bueno -- ▁analysis -- важ -- シン -- ▁roger -- sein -- ▁riesige -- organ -- ▁plat -- ▁seventh -- imper -- ика -- ニー -- ▁breeze -- ▁slavery -- モン -- ▁Seg -- cru -- 这个时候 -- zte -- nici -- ▁grandmother -- 这是一种 -- 最後に -- 厉害 -- ề -- ▁usted -- ▁split -- 的儿子 -- 速度 -- gers -- ▁heavens -- شان -- ▁planta -- 奇怪 -- ▁Sed -- ▁yüz -- дай -- ▁saturday -- うれしい -- 奇怪的 -- 联邦 -- جو -- ydi -- ▁cyn -- ▁зах -- üste -- agne -- мол -- ায় -- ▁bwe -- бира -- toria -- 尖 -- 好多 -- undu -- ▁urban -- гч -- ыч -- 穴 -- ▁hiding -- ▁loan -- ແ -- ▁kant -- ▁complain -- ▁apa -- ▁точно -- 抜け -- 建物 -- ▁Win -- يب -- 재 -- 政府は -- ▁Professor -- ▁naked -- 期間 -- ▁essay -- 翔 -- ▁propose -- ▁circumstance -- めた -- 不见 -- tour -- 使われ -- гар -- 我妈 -- ▁zuvor -- 坚 -- mik -- 财 -- ▁museum -- ▁건 -- ▁engineer -- 日から -- uß -- ▁solar -- nın -- ▁gesamte -- ▁后来 -- となって -- 写了 -- ▁agreeable -- ▁canoe -- ▁rug -- ▁Hor -- جان -- 什么呀 -- ▁marble -- meister -- ەت -- ▁dorothy -- ▁confused -- ноў -- лат -- ffi -- née -- 否则 -- Applause -- ண்டு -- ▁complicated -- ▁guerra -- キー -- 你不是 -- ▁最后 -- class -- ▁swiftly -- lton -- 滴 -- ▁vollständig -- ▁будем -- ▁gleam -- ▁finest -- ザー -- ▁fiel -- ▁gusa -- ▁motive -- 時の -- ▁circ -- timo -- ▁こんにちは -- rated -- هی -- ect -- ▁moins -- ▁rested -- fau -- dden -- elijke -- 鼓 -- ough -- kub -- ▁quart -- ຫ -- 菌 -- skri -- まれ -- ▁Juli -- جه -- ▁dorm -- ▁selfish -- 混乱 -- ▁佢 -- なんですか -- ▁examine -- ▁insurance -- гай -- 一开始 -- ▁disturb -- cción -- 政権 -- 伏 -- 征 -- ▁Foto -- ▁stati -- 讯 -- xed -- ▁chemical -- ром -- ships -- ligen -- ▁halb -- ▁introduction -- ▁дальше -- ▁dish -- 联合 -- posa -- 积 -- 基因 -- ይ -- 商店 -- 粒 -- 不去 -- ▁Fran -- 彼此 -- ▁nieder -- ▁mache -- 都要 -- три -- 気になる -- ▁основ -- ▁achieved -- ▁نظر -- 込む -- زم -- 高的 -- Di -- 使い -- 某些 -- ▁Joe -- пам -- ▁cloak -- 投入 -- ▁captured -- 週 -- 就这样 -- сс -- 所谓的 -- ▁arī -- ▁spoil -- nuncia -- ▁ɣef -- word -- ▁materially -- ▁thực -- ▁öffentlichen -- ▁яв -- gum -- ▁ئۇ -- ▁quote -- ▁indicated -- ▁stor -- tare -- ▁kaufen -- ▁google -- ▁unterstützen -- 对自己 -- ▁wichtige -- ▁recovery -- mensch -- ▁Ehe -- ▁lessons -- neɣ -- 던 -- 怎么回事 -- octubre -- 頑張って -- أكثر -- ▁testing -- އި -- ști -- dır -- ▁byose -- ▁polite -- рова -- imana -- ▁exhausted -- ▁rivers -- を行う -- 帝国 -- oval -- ▁例えば -- ▁Rom -- 这不 -- ▁Yn -- ▁patent -- 動画 -- рас -- ▁mole -- 不必 -- cura -- ▁anh -- ▁überall -- 美国人 -- ▁disappointment -- ▁soup -- ktu -- ▁transformation -- ▁Verhalten -- 後半 -- ▁байдаг -- 合う -- ▁Sil -- ぜ -- 扎 -- trud -- ży -- ▁shepherd -- ▁возможно -- レス -- cier -- ▁sunshine -- ▁Telefon -- 愉快 -- ▁havia -- aşı -- のだ -- 进行了 -- 农 -- ▁continuous -- ▁públic -- ▁poz -- ▁давай -- 满意 -- 悲伤 -- lma -- ▁curse -- reb -- 空気 -- قال -- ▁player -- 安定 -- maker -- 的那样 -- ▁ntabwo -- ▁способ -- heben -- ▁hecho -- wide -- Ho -- then -- ありました -- ▁pendant -- ▁咁 -- 但它 -- 能量 -- ▁Himmel -- 十九 -- 有些人 -- 年的 -- ▁свои -- ▁practically -- ость -- ▁deserted -- 说他 -- ▁buying -- ▁thorn -- ▁holds -- 信仰 -- lings -- ▁glimpse -- ▁CA -- ▁Kal -- slav -- ҙа -- 思います -- 何も -- ँ -- regen -- ッチ -- druk -- قص -- ▁preferred -- 续 -- بة -- ▁мин -- fälle -- ▁travail -- ▁他是 -- ழு -- ▁matt -- ít -- eği -- 勝ち -- মি -- ▁ваше -- するのは -- ෝ -- 出した -- ▁bite -- 黄色 -- مال -- ▁preparing -- ▁há -- ử -- digit -- ▁World -- かせ -- ieron -- 答 -- 遇 -- カル -- ファ -- بن -- 화 -- ▁priv -- kaza -- ▁giờ -- ப்பட்ட -- ▁bé -- ▁چند -- kut -- ▁darf -- ▁دوست -- 具有 -- fes -- еть -- ▁Cette -- konstru -- ▁thứ -- ▁jako -- ছিল -- organisation -- ▁Essen -- ▁surprising -- 渴望 -- 资 -- 浦 -- isieren -- ▁байв -- ▁Ideen -- స -- ▁größer -- besitz -- bour -- ән -- werfen -- ▁Ebene -- dah -- 美丽 -- 监 -- ドラマ -- じゃん -- ▁калі -- 独自 -- 時期 -- ▁cose -- ▁چیزی -- ▁joining -- ▁confession -- 天天 -- ▁processes -- 보 -- ▁比如说 -- 也就是 -- ーム -- 是我的 -- ▁Stil -- スピード -- 少年 -- ▁fühlte -- 予 -- vig -- ики -- ▁nap -- ▁angels -- ▁schedule -- rán -- ▁boston -- ▁oude -- まま -- душ -- 腾 -- ху -- 咖啡 -- валі -- ▁лес -- 刷 -- ▁suspected -- ▁inquiry -- ▁amusement -- ordnung -- ▁Klasse -- 食べる -- 我记得 -- 连接 -- فق -- ▁precisely -- ープ -- ▁왜 -- ▁Thomas -- 場合は -- schlag -- னர் -- ▁instructions -- turi -- ▁passieren -- ▁medium -- 姓 -- ▁укра -- にする -- wasser -- ▁cigar -- ▁pessoas -- ▁thirst -- ▁gö -- がこの -- ▁norman -- geni -- 拜 -- rina -- اک -- 出现了 -- 纯 -- ffin -- 忘れ -- 戦い -- 效果 -- こういった -- kõ -- ▁مق -- ▁روز -- 妙 -- ▁jones -- ▁During -- 碰 -- 这条 -- っちゃ -- рон -- pack -- gina -- が起き -- ▁sins -- gelassen -- prä -- ▁Wand -- istes -- plat -- ▁telephone -- conf -- 桌 -- ▁shine -- 不知 -- جل -- ▁Red -- ▁pearl -- ▁prec -- 家の -- ▁Süd -- ▁într -- 牧 -- agu -- お話 -- ▁sym -- 意見 -- case -- ▁2016 -- ▁tenía -- ▁Netz -- lusion -- ▁sola -- なくなって -- 克斯 -- 习 -- енно -- ▁lucy -- 日間 -- 단 -- መ -- 肺 -- Sch -- 文章 -- ▁festival -- нае -- дам -- ppy -- ▁glaubt -- ило -- 漏 -- सा -- は何 -- rico -- 吃了 -- ▁première -- 移動 -- ▁River -- 穷 -- ▁sensitive -- 今週 -- ▁provides -- нуть -- 今度は -- 获 -- ▁attract -- ▁durante -- 桑 -- ▁கு -- を作って -- volv -- ື -- ▁armen -- 現 -- abwe -- 세 -- ých -- 隊 -- chet -- ▁euro -- kula -- ▁hoofd -- ▁visitor -- ▁nooit -- ятся -- にした -- ▁August -- 每年 -- ▁هست -- ▁colors -- ▁buri -- ▁definitiv -- ▁Wu -- かない -- eno -- গে -- ▁لكن -- egi -- ▁своей -- ▁Jordi -- pfen -- ▁solicit -- ▁goods -- ▁composition -- gine -- 第二天 -- までの -- ▁intellect -- ▁vow -- 现在是 -- ▁frown -- ▁furnished -- ▁обе -- য়া -- 收到 -- ▁sicherlich -- ▁setzte -- ▁harsh -- 専門家 -- ▁Тэр -- 社長 -- 的一切 -- ハー -- 迅速 -- hend -- られています -- 毁 -- ന -- 順 -- ▁lunga -- 最初の -- anta -- ▁expectation -- ▁أي -- ью -- ▁дээр -- ▁মা -- udo -- ▁jail -- 计算 -- ▁나도 -- お父さん -- fä -- '*' -- ▁Studenten -- ▁Gut -- ▁你可以 -- 合同 -- рус -- zam -- rul -- 帅 -- ▁Why -- ▁moderate -- 块钱 -- හි -- alia -- ▁timid -- ▁cigarette -- 没关系 -- ologist -- rufen -- legi -- دید -- ▁முடி -- 敷 -- 方も -- 刺激 -- 误 -- ▁fortunate -- ▁crow -- kehr -- ーション -- ▁nut -- 你认为 -- frei -- ▁mình -- ▁existed -- 烈 -- lij -- agost -- ▁partnership -- ู -- ▁ده -- ▁così -- ▁hebt -- fire -- ▁país -- druck -- Ә -- ▁demon -- ▁improvements -- 这样一个 -- ▁jealous -- 化学 -- 連絡 -- 医学 -- huit -- ▁transfer -- گیر -- ▁favourite -- 强烈 -- お伝えします -- 卫生 -- ▁jerusalem -- ঘ -- ارت -- 化的 -- ▁parallel -- ções -- 概念 -- 我们知道 -- anu -- したと -- ▁我不知道 -- 候補 -- 在他的 -- iens -- 적 -- مى -- ▁Jud -- に戻 -- ▁Gleich -- ▁dynamic -- ▁arrested -- 母親 -- ▁establishment -- 何を -- ▁père -- ▁Regi -- لف -- 科学家 -- ▁xwe -- 갔 -- ▁Fan -- ▁television -- bach -- zes -- 数学 -- கே -- ってくる -- ớ -- ▁граждан -- 下一个 -- ▁стран -- loj -- ▁是啊 -- ▁masters -- лез -- ▁какая -- オープン -- ▁option -- ັ -- ▁identity -- ▁submit -- ▁jusqu -- 抑え -- gefühl -- ▁medio -- bira -- 我应该 -- 勝利 -- ĝis -- ▁handkerchief -- 夫妻 -- 孩子的 -- ▁vue -- ▁sober -- 阵 -- ▁lightly -- clos -- ▁laten -- chie -- şti -- 那个人 -- informa -- rough -- ▁links -- ▁distinguish -- tego -- ▁civilization -- ▁jaar -- ▁drugs -- ▁convenient -- いると -- ನ -- ▁например -- dock -- ▁disturbed -- würdig -- ▁deutlich -- hri -- destin -- 免费 -- zina -- ▁revenge -- zogen -- чка -- 瀬 -- ▁concealed -- rwanda -- ▁باز -- fahr -- ilo -- 한테 -- 奶 -- いるんです -- аба -- 得点 -- institu -- нан -- ▁hedge -- ▁Every -- 違い -- ▁Ly -- ▁بس -- свя -- 你这个 -- ▁dressing -- 猛 -- 俗 -- ச்சி -- ▁Ang -- 问我 -- ▁بزرگ -- ▁chapel -- ходит -- ▁kiu -- ений -- 我跟你说 -- 堡 -- utter -- 躲 -- ▁ໄປ -- ▁fabric -- ▁frankly -- を出 -- 漁 -- 队长 -- ▁هل -- 的歌曲 -- 쫌 -- baar -- 还有一个 -- ▁boast -- ▁Pf -- ▁bunu -- ▁Kas -- сол -- rock -- 元気 -- お願い -- ▁Santa -- imento -- 抜 -- ▁чувств -- ණ -- 書いて -- ▁dwelling -- 聞いた -- ▁Laufe -- brechen -- stol -- 也在 -- раж -- 给她 -- ▁arrangement -- ▁Са -- zat -- jung -- '29' -- minded -- ▁vivid -- ▁18 -- 走到 -- 去看 -- ▁weren -- うち -- ▁Mir -- 背后 -- abilir -- ホームラン -- ures -- 上がる -- nischen -- bridge -- lara -- hound -- ▁technologies -- ▁accompany -- დ -- tempe -- ▁cream -- ▁anticipated -- même -- лей -- ▁Linie -- が行われ -- ▁Pres -- 言った -- past -- ruf -- ▁trait -- uche -- 모 -- ▁scotland -- ▁struggling -- ▁vậy -- posit -- 患 -- ミサイル -- ▁preserved -- ▁зачем -- ▁defeat -- avu -- ▁aby -- ▁pint -- iji -- leute -- known -- 済 -- サービス -- ▁ёсць -- 実際 -- 的国家 -- ▁são -- ▁copper -- 宾 -- ▁Partei -- ziel -- ▁illustration -- ими -- politi -- ハン -- ▁US -- bry -- ▁verge -- öd -- 法官 -- itud -- 番の -- 差不多 -- 很有 -- ▁jury -- ▁Pas -- 知道了 -- ▁объ -- edifici -- 雨の -- 类似 -- ▁stamp -- stimul -- 我们应该 -- ▁monte -- ީ -- 称之为 -- 细节 -- ote -- ▁номер -- ライン -- 日中 -- 赌 -- ctive -- 页面 -- gion -- ▁creative -- 始 -- ▁Venim -- ▁beings -- schloss -- ▁influ -- 它在 -- ▁гэтым -- 传播 -- 子どもたち -- ▁Vous -- mış -- ▁sino -- fach -- ▁Stelle -- 対象 -- 个月 -- big -- ▁autumn -- chron -- ▁давайте -- ▁eaten -- ▁crept -- цэ -- 値 -- ▁defense -- 激しい -- ▁echo -- nelle -- ▁owing -- ▁Black -- ▁moest -- ▁behalf -- ▁происходит -- impa -- ▁minimum -- niz -- ▁investiga -- 着急 -- ▁october -- られます -- ▁virgin -- ▁lean -- ළ -- ▁ответ -- えた -- ▁звони -- いけ -- 享受 -- äch -- 你们的 -- onge -- ▁Hände -- trat -- ▁outward -- 这里的 -- ▁notwithstanding -- ▁volunteer -- ▁Smith -- чная -- 去吧 -- 湾 -- 帯 -- きている -- вез -- 制限 -- maya -- どうですか -- ▁clothing -- 性格 -- ▁Baby -- bbing -- වා -- 花了 -- аю -- ▁entwickeln -- ▁approval -- ▁irrit -- 他没有 -- ▁Alles -- ▁associate -- ▁kenne -- ▁bolt -- 永远不会 -- lug -- ▁perfekt -- gué -- nutz -- 想知道 -- ▁bestimmten -- ▁nail -- ビー -- ыми -- ▁hatred -- glia -- 保存 -- ▁answers -- ▁hefyd -- 不懂 -- 催 -- aeth -- ▁math -- 的一种 -- ounce -- eco -- қа -- ĝa -- regel -- うん -- ▁betrachten -- பா -- nyama -- 起き -- 玛丽 -- ▁Fort -- 願 -- ▁Chúng -- wald -- moto -- ▁sustain -- 명 -- ▁founded -- ▁bringt -- 工资 -- undi -- Emp -- ▁isso -- ▁pris -- と一緒に -- eaux -- ủ -- aĵoj -- ても -- 海洋 -- ▁passes -- otto -- ▁Gesundheit -- կ -- 先週 -- unga -- зал -- ▁immortal -- ▁covering -- ▁wash -- ích -- bula -- казать -- wak -- issen -- 担 -- 泽 -- nico -- ▁hyn -- ▁react -- ▁мор -- mol -- ▁definite -- ▁decrease -- ▁scarce -- ▁beating -- print -- 強化 -- ▁Wind -- egu -- ▁справ -- леп -- gga -- ▁nhưng -- ▁poc -- 是最 -- ங்கள -- ▁compete -- かかる -- ▁territori -- hana -- 続く -- ground -- 経 -- 就是我 -- 買 -- وری -- 邦 -- ミリ -- ▁Gib -- nă -- ▁segui -- 种族 -- gung -- ▁formerly -- ▁gün -- ents -- யும் -- кие -- ▁Kindern -- ▁farewell -- ▁cotton -- пон -- ▁mechanical -- ▁enabled -- थ -- wesen -- ▁prejudice -- 과 -- ▁Organisation -- کان -- ▁beasts -- 敌 -- ▁breathing -- ▁đề -- ▁dues -- ▁grandes -- ▁letting -- wegen -- ▁provision -- ▁fishing -- ▁ongoing -- ŭ -- 地位 -- ▁그러 -- 和平 -- ▁länger -- ▁canada -- 过的 -- ▁alma -- ▁Pal -- cular -- வெ -- ▁elegant -- 司令 -- かね -- ▁interessiert -- ▁feu -- ▁violet -- маш -- ▁Landes -- ▁gazing -- gestalt -- 一个小 -- нат -- klar -- ló -- ▁gallant -- pä -- ▁tutto -- ▁În -- kore -- 正确的 -- lever -- ▁restrict -- ▁Lösung -- ▁applications -- ▁witch -- ительно -- yong -- 会在 -- تج -- 彼女 -- stärk -- たちは -- гре -- ▁Spi -- ▁tribes -- η -- six -- sitz -- komen -- rê -- ▁geboren -- ▁niets -- ▁prominent -- けどね -- 诉 -- 添 -- 发生了什么 -- tamente -- ▁unver -- 韩 -- ỗ -- ▁viņa -- heure -- ያ -- 兹 -- るんだ -- 巨 -- дж -- ඉ -- ři -- ▁upstairs -- ▁entertain -- цию -- ▁indicate -- kab -- ▁rarely -- 株 -- ▁imperial -- pression -- дем -- 应用 -- 形で -- crib -- ▁replace -- ▁beaten -- 阴 -- ▁আছে -- 平时 -- 立刻 -- 一群 -- ▁Außerdem -- джа -- ▁seltsam -- ▁ته -- 유 -- いわゆる -- দা -- ▁dimension -- ▁Bob -- 岁的 -- 思い出 -- open -- 孤独 -- ▁disaster -- களில் -- baba -- ▁touching -- をかけ -- ▁tribe -- kati -- 航空 -- ▁Nation -- ▁maxim -- 留在 -- 방 -- となり -- 手が -- ▁ähnlich -- ēt -- ▁strict -- いきたい -- により -- гән -- ▁wives -- ▁политик -- クラ -- どちら -- ▁Herausforderung -- 这一切 -- ▁sailed -- lash -- ▁hanno -- тка -- 月の -- ▁Vorstellung -- sible -- участ -- 倾 -- namen -- हरू -- 込まれ -- daw -- 揚げ -- っていく -- nsen -- ▁collar -- ނ -- hill -- ▁petite -- alität -- ▁grab -- ▁Kam -- ▁egal -- 绿 -- 事业 -- ores -- ▁bewegen -- besch -- ▁Titel -- 了她 -- きょうの -- 这两个 -- 危険 -- labor -- ▁funds -- 十三 -- 갈 -- ▁jaw -- ▁senator -- ▁doorway -- ationen -- ્ -- зар -- litz -- dó -- ▁определ -- ▁あれ -- ▁accent -- yana -- ▁wrath -- Li -- ▁moses -- arna -- ▁Hay -- ええ -- ▁interfere -- ▁Text -- ▁можна -- 臭 -- なんですけれども -- embra -- zó -- лич -- 描 -- 发表 -- ぁ -- itor -- ▁cheese -- ▁stato -- 돈 -- ▁Mitarbeiter -- ▁label -- কার -- ▁spun -- ▁propos -- ▁speaks -- 在家 -- 赞 -- ór -- ▁finds -- 市で -- 眠 -- ነ -- flor -- ニア -- ▁мяне -- ▁اگر -- ▁operator -- tention -- ▁definition -- 見事 -- вра -- ▁büyük -- tribut -- порт -- 非常非常 -- вяз -- rov -- ▁walter -- oti -- ▁marched -- ▁restored -- ells -- ▁trug -- 好啊 -- onda -- ▁riches -- ▁Hoffnung -- 太太 -- ுடன் -- lob -- ▁belongs -- ▁hans -- 非常重要 -- ▁présent -- 分子 -- 某个 -- 讨厌 -- ▁attracted -- しまう -- ▁encounter -- nnes -- zzle -- レイ -- ▁attain -- ▁вами -- ▁mutter -- 开车 -- 바 -- ▁funeral -- щу -- اره -- ▁shiver -- 创新 -- ▁стал -- treiben -- 保险 -- ▁lightning -- ▁complaint -- ▁african -- 重大 -- 你跟 -- ▁같은 -- چى -- 对他们 -- ▁quel -- ▁sama -- ▁обо -- 遊 -- aves -- ▁manufacturing -- 汗 -- 教会 -- 做一个 -- ▁wid -- мент -- ▁november -- ▁месяц -- ▁elbow -- ▁tank -- ほぼ -- лем -- ति -- NHK -- кин -- ▁Bilder -- ▁zeker -- стве -- 一个非常 -- ▁curt -- ტ -- ▁asset -- 破坏 -- anye -- ▁differences -- ▁нашей -- clin -- ウクライナの -- 行われた -- ▁Shi -- dors -- ▁democratic -- ▁Obwohl -- صف -- هر -- ▁feeble -- leş -- 这种情况 -- ssin -- を受けた -- kai -- ▁robust -- ▁besondere -- ▁elected -- ▁Modell -- ▁seconds -- lauf -- ダイ -- ګ -- セット -- 時は -- Applaus -- 白人 -- ▁свобод -- 病毒 -- 损 -- ජ -- ▁Mat -- ▁executive -- ▁onto -- lag -- ▁важно -- ან -- ▁concerns -- ء -- ebbe -- ▁Tru -- ▁seed -- 推荐 -- ▁Staat -- 祭 -- ▁cleared -- მო -- eixen -- 让它 -- သ -- wiesen -- Ro -- train -- ▁acknowledge -- 取れ -- 風が -- 依然 -- ▁indifferent -- 人数 -- ▁generate -- ▁frost -- itaj -- ▁reminded -- ▁romance -- 隠 -- ▁ireland -- ▁Ха -- 最多 -- ▁layer -- 柳 -- 就有 -- ▁caution -- ▁bezeichnet -- ▁denied -- سە -- ▁profile -- 的位置 -- tato -- ▁politische -- ▁Dra -- 高度 -- ちゃった -- ▁Bay -- 成立 -- ▁stephen -- laş -- 変わり -- neb -- ält -- oza -- coloured -- рок -- ▁independence -- ▁traveller -- 接着 -- utu -- 许多人 -- ▁leather -- 这项 -- 进步 -- ▁exists -- kia -- 进一步 -- ړ -- ▁Char -- ▁English -- cional -- maakt -- ▁zá -- ▁wereld -- ▁дэ -- 他们都 -- ▁Sicht -- 出来了 -- وك -- ▁christians -- 種類 -- gone -- ▁говорят -- ▁danach -- ▁positions -- 问你 -- यो -- ▁daylight -- wall -- えない -- 不住 -- ▁echt -- 脳 -- 搜 -- ▁consists -- děl -- 人在 -- ▁Adam -- umva -- ▁formula -- anzi -- ▁тысячи -- ▁casual -- ины -- ▁eighth -- plica -- guer -- 世界的 -- ▁استفاده -- ▁German -- ▁بیشتر -- ▁Ŝi -- ează -- 反対 -- ▁determination -- 时刻 -- iller -- 히 -- 不愿意 -- ▁republic -- respon -- alen -- liste -- ▁outer -- ▁echte -- 对待 -- 私たち -- ▁которых -- って言って -- 你先 -- ่ -- ▁aveva -- nym -- acions -- ▁然后他 -- ▁democracy -- 填 -- ▁гэты -- ▁Bruder -- ▁characteristic -- ▁Kris -- ▁neuro -- politic -- ▁visitors -- ໂ -- ▁gale -- tır -- ▁protestant -- ▁befinden -- ▁одиннадцать -- ▁Schi -- いまして -- öhn -- 연 -- そういうこと -- arbeiten -- лас -- ▁porter -- 做到 -- cun -- нер -- nette -- atan -- ▁zweitausend -- ల -- ట -- öö -- ▁relevant -- 鼓励 -- 很棒 -- fford -- ▁dios -- ▁Tak -- 个小时 -- 我发现 -- ▁Ul -- rating -- ▁creek -- ▁aggressive -- ▁трэба -- それでも -- 手里 -- へと -- بح -- нік -- 一个问题 -- 公主 -- 见面 -- ▁saa -- 始め -- 崩 -- ivo -- Mi -- ▁extensive -- ▁спасибо -- ▁properties -- ▁Asia -- ▁Gran -- 序 -- 애 -- posing -- 发生的事情 -- 想起 -- 十七 -- ▁Anwendung -- лө -- ▁Member -- トー -- 孔 -- ▁наши -- ▁span -- ▁swung -- ▁perception -- हा -- ▁ox -- 劝 -- ▁laying -- ▁carpet -- wch -- vē -- はもう -- 赚 -- ▁Demo -- mala -- daten -- მე -- quar -- ▁تمام -- anima -- ▁radical -- ▁власти -- anı -- ▁Ils -- 証 -- '00' -- hub -- ало -- の姿 -- るのが -- раў -- 読 -- '%' -- ваў -- 监狱 -- すいません -- ▁execute -- bred -- ▁profess -- ▁Fenster -- 不上 -- exc -- ▁torment -- 互相 -- ▁unge -- 着我 -- ரிய -- の一 -- ▁sci -- 設置 -- versa -- ▁größten -- vê -- ▁graceful -- popul -- 夺 -- ಸ -- 採 -- とにかく -- name -- ▁Partner -- あるいは -- ▁nuestra -- ▁impressed -- ức -- 对不对 -- IT -- 方便 -- pek -- 一周 -- ਾ -- ම් -- ▁California -- ▁assembly -- ▁bran -- жда -- 可以在 -- ▁lei -- 在她 -- 有趣的 -- ▁divide -- 直播 -- nemen -- の話 -- 求め -- 彼の -- ▁trends -- ▁veröffentlicht -- илось -- 助け -- க்கப்பட்ட -- ▁دې -- ▁rapport -- ▁tones -- nego -- 怎么说 -- ົ -- 也很 -- grat -- träge -- ▁großartige -- ▁cape -- ▁successfully -- سى -- علم -- 撮 -- jah -- 安妮 -- ▁whit -- inin -- ▁Funk -- 他自己 -- ▁funding -- jär -- 女朋友 -- ホテル -- ▁poly -- ▁awkward -- iyorum -- wich -- lish -- ▁Jung -- cata -- جم -- ▁Then -- bby -- embe -- ▁Kein -- 防止 -- 访问 -- ▁blanket -- 鉄 -- ▁andrew -- ▁grounds -- ▁چا -- ▁Israel -- ▁pap -- 出てくる -- ▁convention -- றி -- えっ -- ▁Wieder -- 充满 -- ▁Australia -- fik -- аем -- ▁schlechte -- ▁Tier -- ▁febrer -- 屈 -- 肖 -- 課題 -- idas -- ▁milli -- ▁parish -- borough -- 進め -- ▁Zeug -- عب -- En -- ▁exceedingly -- 柔 -- 砂 -- 郑 -- ▁таксама -- leb -- 最低 -- 当て -- ▁japan -- 你把 -- ächtig -- sort -- ▁shudder -- ▁profitable -- 如果他们 -- ▁放一下 -- クロ -- ände -- 他们说 -- ▁Durant -- 很高兴 -- pare -- artig -- schlossen -- ▁ora -- ▁அந்த -- cà -- 掉了 -- fè -- ▁canal -- ▁administra -- ▁bears -- 出现在 -- ▁shriek -- ▁знал -- ebilir -- ▁schrieb -- contra -- ▁roar -- 間に -- 液 -- 相互 -- ▁package -- でお -- ▁Maar -- 식 -- けども -- ▁romantic -- ▁tales -- ▁gelernt -- ▁invent -- 大体 -- ▁anyhow -- を作る -- stoß -- ▁podcast -- ▁Пра -- ლი -- 奔 -- lp -- män -- кар -- mesi -- 的观点 -- gani -- Mail -- ▁mwa -- サッカー -- ▁alien -- tiu -- 是真的 -- 計画 -- りの -- 診 -- 医疗 -- 明确 -- ▁parece -- десят -- иш -- 哇 -- ▁meta -- CO -- lec -- ▁但是我们 -- argent -- 炸 -- 我先 -- ▁studying -- shaped -- 的样子 -- ▁anymore -- ▁attendant -- 可怕 -- ▁erfahren -- nade -- ▁zona -- ▁Dame -- ▁containing -- ▁Patienten -- ▁болон -- 統 -- ר -- ▁ჰო -- ▁соглас -- মে -- 目に -- ▁gyda -- ▁endeavour -- 那时 -- 発射 -- бур -- ▁cael -- จะ -- 言われて -- ▁meg -- 観光 -- ▁envelope -- ▁говорю -- ▁snap -- ▁truck -- 电子 -- ຊ -- ▁endeavor -- ▁stole -- ▁beheld -- 焼 -- 这也是 -- energie -- ▁acid -- ▁communicate -- ▁Хо -- 估计 -- 怎么会 -- зем -- මා -- ▁Australien -- fish -- 嫁 -- igheid -- odi -- 区别 -- нев -- liko -- tale -- ▁Camp -- 文学 -- krit -- hielt -- ▁tube -- ▁карт -- igne -- ді -- 我再 -- 的身体 -- obo -- 告诉我们 -- ▁dhateng -- ▁invention -- ări -- ▁அவர -- ▁Herrn -- าย -- ▁cunning -- folk -- をしている -- ▁Fra -- ▁ignor -- ▁Denken -- 付き -- ▁слуша -- 実験 -- patri -- ▁Ganz -- ▁kurze -- ▁saving -- 東北 -- 韦 -- るのか -- ▁baz -- ▁Freude -- ▁километр -- 責任 -- ▁restless -- ском -- ▁Ty -- ▁факт -- ▁whip -- 收集 -- となります -- スタン -- ▁folly -- ▁wool -- ▁uses -- મ -- ▁Unsere -- 全員 -- стат -- ▁regards -- ▁Flu -- El -- ▁recommend -- るような -- tering -- ству -- ీ -- cope -- 每天都 -- harmoni -- ▁کرده -- ▁appointment -- 下雨 -- 广泛 -- ehr -- für -- 向き -- cell -- юр -- വ -- 设置 -- 这只是 -- ▁erzählt -- publik -- ▁nämlich -- 经理 -- ▁senate -- ▁perpetual -- 的研究 -- 昼 -- ற்று -- ▁Grand -- 和我们 -- ものです -- まって -- hra -- ▁laura -- 可能性がある -- ▁Cho -- ▁mama -- ▁Cam -- chair -- ▁chart -- ▁опять -- ▁injury -- scheid -- ambo -- ▁gospel -- projekt -- cı -- ▁elephant -- ▁наверное -- nisse -- ▁dislike -- ▁stomach -- ▁amendment -- 応援 -- ▁barrier -- ▁upset -- 独特 -- 白色 -- ▁dedi -- 無理 -- ▁extract -- 時間が -- 小说 -- ▁pains -- 就是你 -- 観測 -- ▁所以说 -- 粘 -- 選手は -- yin -- ▁этому -- ▁lass -- 湯 -- 指挥 -- ▁illumin -- rush -- 進んで -- দের -- élé -- ▁helps -- fia -- ▁Bildung -- ▁Jeder -- 亏 -- 億円 -- ご覧ください -- gress -- ▁romans -- ▁Haben -- トラ -- 国家的 -- mato -- hut -- 支え -- ▁tudi -- ▁disappear -- ына -- ▁Gesundheits -- ▁ነው -- ▁Beziehung -- cam -- ▁Drei -- 扣 -- ▁celebrated -- ▁coisa -- ▁convey -- ▁aussehen -- weis -- ▁Hon -- 止め -- 碗 -- ▁acquisitions -- 关闭 -- ▁Ба -- 超级 -- ▁tables -- ໃ -- ▁ndetse -- 一面 -- ▁واقع -- ีย -- ibility -- 載 -- ilor -- 信じ -- وف -- раг -- grade -- 上の -- ▁Viņš -- ӧ -- 手段 -- бил -- ▁damp -- ▁Alex -- ▁taxes -- ▁chez -- ▁50 -- ▁zumindest -- がいい -- 盤 -- brau -- 歴史 -- kopf -- ▁wordt -- ▁ເອີ -- 두 -- 차 -- เป็น -- 茨 -- ▁cable -- ▁grows -- ▁constitute -- ▁یې -- ▁interessante -- てしまう -- 備 -- ▁despre -- ▁promo -- 回目 -- 那个时候 -- ▁imbere -- 探索 -- phon -- 途中 -- ▁machines -- ▁Handel -- ▁salvation -- ▁parted -- ▁punto -- алі -- ▁moja -- 壮 -- halb -- ▁corporate -- 者的 -- ▁flank -- 勇 -- ▁relieved -- ますよ -- ена -- drückt -- Н -- ▁churches -- めちゃくちゃ -- 自民党 -- 进了 -- 仁 -- ▁swim -- ▁loĝ -- ▁الآن -- hnen -- 也不能 -- ▁eben -- とっても -- ټ -- ▁getroffen -- ▁stake -- kou -- ▁Fisch -- schap -- 太好了 -- zwi -- ▁vive -- 如果他 -- 最重要的 -- γ -- ますが -- 軍事 -- ▁woe -- ウェ -- 息子 -- ▁Steuer -- 肯定是 -- ▁tay -- ▁boss -- граф -- rons -- lasse -- 灭 -- க்கும் -- lini -- 体験 -- ▁delivery -- ▁temptation -- 忘记 -- ウル -- 奴 -- ▁thành -- ▁په -- ▁writers -- ▁assistant -- ▁Tam -- кө -- 我爸 -- ▁boom -- чный -- だね -- اپ -- weil -- uwa -- ▁facilities -- ▁monkey -- 私たちは -- صور -- ▁тому -- સ -- 真相 -- 这就 -- 削 -- ▁Sim -- ▁squire -- ▁britain -- 败 -- ۰ -- しかった -- ちなみに -- ستان -- ▁trifle -- dist -- ▁options -- empat -- 敲 -- ▁Monat -- 会说 -- стой -- しようと -- ▁langen -- ப்பி -- ▁Az -- 焦 -- ますので -- ছ -- sters -- 糟糕 -- erei -- ▁subtle -- 胎 -- に行く -- ▁яна -- ▁времени -- スタジオ -- ▁сообщ -- 普遍 -- yim -- pē -- ▁sitzen -- プーチン大統領 -- 你没有 -- — -- ▁Monate -- ▁dive -- ▁Fre -- 各地 -- ▁bias -- ml -- ▁bị -- ▁gardens -- ▁ceremony -- ▁roots -- غل -- geschichte -- ▁Ĉi -- ▁minu -- ▁имеет -- 来年 -- iaeth -- 小さな -- 饿 -- ▁можа -- ▁Hall -- 帽子 -- کش -- ▁pense -- ▁Tisch -- эконом -- ufu -- の世界 -- ▁Leistung -- ▁steer -- сю -- hul -- ーク -- ですので -- 爷爷 -- вон -- ▁wax -- 违 -- дь -- 一个月 -- ▁isabel -- 向你 -- ె -- lari -- ▁peril -- メッセージ -- すぎ -- 것 -- ▁общем -- ▁Ken -- ▁natives -- 邪 -- ▁Anda -- nice -- 结合 -- 把她 -- chang -- кро -- ▁Kunden -- 首都 -- 地点 -- ▁launched -- ▁cran -- вен -- фер -- 開始 -- ப்பா -- ▁Dum -- 的意思 -- ▁dragon -- ▁silently -- なければ -- 荣 -- ▁Junge -- ▁searching -- 这将 -- ▁erklären -- ▁scratch -- ▁ehrlich -- emba -- ▁Liste -- 応 -- 까지 -- ▁fitted -- とする -- GAAP -- ▁limits -- რი -- を使った -- 배 -- ovi -- eight -- раш -- ▁marine -- ▁Tar -- ▁Many -- 壊 -- 년 -- ▁troubles -- ▁nuclear -- ▁lodging -- خص -- ▁termina -- 多分 -- Weiß -- 有所 -- acak -- wise -- prof -- num -- 英语 -- abana -- 胜利 -- cada -- autobús -- ▁residence -- ولا -- ▁zeg -- ▁Jim -- 抵 -- ▁Bö -- ▁Hauptstadt -- 京都 -- iling -- 我把 -- ▁appetite -- ▁oameni -- ▁cardinal -- häng -- 地元 -- ▁doubtful -- reiz -- リスク -- 来て -- 慌 -- ғ -- しょう -- ▁bother -- 算是 -- ▁reverse -- ▁dearest -- ของ -- ▁занима -- ▁giả -- 不像 -- ▁newspapers -- ▁boil -- のうち -- μ -- ▁мужчин -- 一声 -- ār -- ▁fury -- かわいい -- ầ -- api -- ố -- ở -- ▁Aufmerksamkeit -- shore -- 堆 -- ▁центр -- 議論 -- ได้ -- ですし -- 如今 -- ▁passions -- ▁limbs -- ▁producer -- verein -- ▁مج -- ▁glen -- ▁natur -- rade -- ▁verrückt -- 版本 -- 回転 -- lica -- ▁hinder -- ▁hastened -- ▁anticipate -- 大事な -- の問題 -- ▁zwölf -- 先に -- ▁그니까 -- ▁erstaunlich -- ▁assault -- 发生在 -- ▁vede -- ▁bust -- ▁binnen -- ▁lloc -- は今 -- tré -- といった -- court -- ▁exquisite -- wunde -- ның -- ▁Lee -- ▁bundle -- duct -- 高速 -- ▁nas -- mac -- ▁достаточно -- 体育 -- チャー -- さあ -- ▁desires -- ▁Geschäfts -- gana -- 辛苦 -- 略 -- 交谈 -- 的那种 -- bí -- レベル -- ▁brass -- 说得 -- 무 -- dala -- 歯 -- ▁shalt -- kuba -- スタ -- ▁взгляд -- 对象 -- ▁clinical -- 目を -- 殖 -- industrie -- 戈 -- 的主要 -- ▁Sel -- ԥ -- enne -- ▁ralph -- ▁resting -- ась -- aran -- body -- ▁esteem -- ▁hail -- ඩ -- ▁вместе -- 仔细 -- ▁rip -- ▁Aquesta -- ▁Welche -- Bo -- されていた -- ▁multe -- 锅 -- 否 -- ▁наша -- ▁export -- ▁vigorous -- ▁Phil -- мын -- ▁scandal -- 炮 -- カレー -- ▁Gla -- ▁بازی -- تان -- ▁prevented -- ▁tranquil -- ▁tobacco -- ▁thence -- 집 -- ▁tire -- ▁schwarze -- リング -- ▁embrace -- ▁schu -- ほら -- ▁rural -- ҙы -- ▁skirt -- ▁каждый -- るという -- ▁Bitte -- 仍 -- ຄ -- ▁wrap -- vara -- ەوە -- 者は -- воз -- нал -- ▁offers -- έ -- 恐怖 -- 安心 -- ▁geweest -- ▁dumb -- ▁municipal -- фон -- 上げて -- tē -- 小组 -- ▁Carl -- ▁golf -- ▁Position -- ▁después -- 绑 -- '2019' -- ▁scientists -- ▁但是你 -- 경 -- ▁دیگر -- ▁excess -- লো -- erweise -- pence -- ▁prey -- 把它们 -- قة -- そこで -- ▁fünfzig -- пле -- 微笑 -- ▁cabinet -- ▁accused -- muzi -- 確保 -- ▁решил -- ▁Büro -- 的最 -- كر -- ▁formation -- ▁princes -- ですけれども -- still -- әр -- ▁баш -- ▁entertainment -- ິ -- 奉 -- '800' -- ▁собственно -- 放下 -- ということを -- bird -- システム -- ток -- ▁Tochter -- 被告 -- ▁uncertain -- ▁нельзя -- ▁شخص -- ほん -- arma -- ▁insight -- ▁ruler -- ▁altijd -- ▁habla -- ären -- ▁Here -- zunehmen -- ▁passionate -- ▁nunca -- ▁typically -- 童 -- 와 -- ▁supplies -- räum -- 温暖 -- anche -- ▁lustig -- stop -- ▁ascend -- かし -- ▁Stunde -- ▁начина -- وار -- றை -- ර් -- ▁marquis -- ▁Quin -- 伙伴 -- ▁إذا -- ▁Pop -- 惠 -- кую -- のない -- anne -- していきます -- 友達 -- ▁retire -- 来源 -- almente -- frau -- ▁ўжо -- mates -- няя -- нич -- ▁seda -- 消失 -- ısı -- ▁wrapped -- வில் -- ▁política -- 行われ -- 見えて -- ▁mau -- lager -- ▁při -- 上来 -- lett -- ލ -- dang -- ▁bez -- енный -- 哲学 -- ены -- جز -- ▁barrel -- 相反 -- ▁neighbourhood -- パス -- zeichne -- esten -- メダル -- ▁Kosten -- ▁relativ -- коп -- ▁älter -- 编辑 -- الي -- gründe -- голов -- 体を -- ஷ -- 有机会 -- ▁nobles -- 这件事情 -- が発生 -- ということなんです -- 告诉他 -- 往往 -- ▁دارم -- ũ -- yah -- 五个 -- న -- ▁argue -- ශ -- ピン -- imos -- ▁trusted -- ▁прямо -- рог -- ▁depuis -- idades -- Ч -- ▁যে -- ではありません -- ていて -- 億 -- ▁unpleasant -- smith -- わない -- ▁latest -- рг -- んじゃないかな -- nische -- ▁pulling -- を持つ -- puesto -- 乘 -- 酒店 -- ▁такого -- ▁Gelegenheit -- rats -- ▁svoj -- ▁viva -- 这就是为什么 -- 杂 -- ▁مورد -- পর -- ▁pushing -- ▁depths -- しよう -- ヨ -- Ne -- gles -- ▁guards -- 均 -- ▁hadden -- ▁maison -- ▁sketch -- вых -- 宝宝 -- 弁 -- ▁surgeon -- ▁aŭ -- ▁siempre -- sea -- 除非 -- ▁далее -- quí -- 感觉到 -- capacit -- ▁advantages -- ▁chant -- umwa -- bä -- 森林 -- ▁foul -- مار -- 矿 -- 跨 -- ▁staying -- 热情 -- мысл -- ▁paw -- ▁Straßen -- ▁forecast -- ▁собира -- اری -- 互 -- obli -- енные -- ப்பட -- ▁fum -- ▁cá -- ▁distinctly -- ада -- wari -- 飲 -- 一部分 -- 市内 -- 怎么能 -- gge -- ▁عنوان -- 出演 -- ▁sterben -- ▁reproduc -- ▁register -- ▁Mitte -- tiga -- bron -- ▁Software -- ▁knights -- たちの -- ▁место -- ▁menschliche -- ising -- ▁repent -- ▁mechanism -- taka -- ▁haut -- 需求 -- ▁stopping -- ợ -- ▁breathe -- 濃 -- 不容易 -- stick -- sagen -- ▁guarantee -- 这些东西 -- 詰め -- 缝 -- ▁sabi -- 所在 -- ランナー -- ▁представи -- ▁является -- 特别是 -- شي -- Đ -- ▁després -- 辺り -- 也要 -- ▁образом -- 听着 -- ▁earnestly -- ▁Tim -- воль -- 就没有 -- ост -- ▁oleh -- 何が -- ▁donne -- فة -- trägt -- ▁brains -- 幸运 -- ▁deadly -- станов -- valu -- ürü -- いえ -- ▁skull -- gebiet -- Mar -- 敵 -- 攻め -- ▁spielt -- source -- baren -- ▁Bevölkerung -- 都能 -- ▁stirred -- ▁commonly -- ▁pang -- ▁Before -- 角度 -- ▁tener -- ▁winning -- ▁öffentliche -- 截 -- نة -- ▁parce -- dler -- させた -- уль -- ▁Größe -- ▁nei -- ▁conservative -- ▁туда -- というもの -- 用の -- ▁boxes -- ▁reception -- ▁Şi -- ▁timber -- ▁Druck -- 発生 -- мир -- 適 -- 弃 -- ▁Sud -- 解決 -- க்கி -- ▁baga -- からも -- وح -- ▁comprend -- 在你的 -- 工人 -- 划 -- ложен -- 原则 -- 史上 -- klä -- ե -- markt -- 荡 -- kari -- walt -- オン -- ▁neues -- ▁Ergebnisse -- ▁courts -- нг -- 버 -- shot -- ең -- ▁blew -- haltung -- ▁Herzen -- грамм -- ▁participate -- ▁competi -- ちょ -- 알 -- ▁gerek -- ▁президент -- ▁esti -- ண்ண -- 공 -- 교 -- ▁fatigue -- ▁fatto -- ▁aquella -- altra -- ▁blossom -- 恵 -- 鮮 -- 瑟 -- ▁jewel -- ▁Rock -- 帝 -- ось -- ▁remainder -- ▁راه -- 特別 -- ▁technique -- ▁pillow -- opa -- 많 -- ▁category -- ▁таким -- ませ -- ▁monday -- それぞれ -- pio -- läuft -- ▁zunächst -- ▁Second -- volg -- motiv -- ▁nerves -- ▁programme -- omu -- tious -- ▁Bell -- ▁augen -- дон -- 一把 -- инский -- ▁ஆஹ் -- ▁omdat -- ▁dutch -- سته -- ▁profitability -- affe -- ▁standards -- 付近 -- 俄罗斯 -- kreis -- ▁gelang -- овых -- кор -- ▁procession -- ơ -- 将其 -- 他有 -- 爱的 -- 很有趣 -- ▁Omu -- кія -- ▁summit -- ▁fünfzehn -- چه -- 生活在 -- コー -- 情况下 -- ▁gesamten -- 海岸 -- 非常好 -- 家长 -- écri -- ▁murderer -- ▁Он -- ▁مست -- ▁accelerate -- itas -- cía -- ▁diejenigen -- ▁contracts -- ▁commun -- 高中 -- hte -- ▁delivering -- たっぷり -- kala -- ▁popula -- 公园 -- ▁domain -- ▁journalist -- ▁repar -- crit -- ための -- ▁Auswirkungen -- ▁былі -- ▁Papier -- 所以他们 -- lē -- பார் -- 外交 -- ▁Bundes -- 我们家 -- そんなに -- ▁stolen -- 低い -- 附 -- zaba -- иа -- ▁egyptian -- ା -- 달 -- 脏 -- ▁uwo -- lă -- 会不会 -- ▁Web -- ▁olduğu -- дор -- regul -- 時点で -- 必ず -- ță -- wissenschaftlich -- ▁scripture -- mper -- を示 -- ▁alterna -- kke -- حر -- shuri -- ▁format -- amerikanische -- ння -- ▁serving -- ▁doll -- ▁resemble -- ▁slain -- 走进 -- 美丽的 -- 展開 -- ▁wilderness -- ▁creo -- kind -- ▁Stein -- ▁mussten -- gramm -- ▁абсолютно -- ని -- film -- 不好意思 -- ▁sailor -- 我看到 -- 笑声 -- 嘅 -- 火车 -- 便宜 -- gid -- うまい -- 也就是说 -- 中継 -- ▁cats -- ango -- wehr -- чил -- ▁flashed -- 小孩 -- 으면 -- ▁occupy -- 不对 -- ▁victims -- rink -- ▁shan -- ▁dife -- ▁должно -- あんまり -- чай -- ▁وقتی -- 谈话 -- 珍 -- 庁 -- コース -- rechte -- ▁компани -- 后的 -- ▁fem -- ▁utili -- struktur -- 付出 -- mount -- ▁humour -- ții -- ▁respectable -- を迎え -- бри -- ▁бог -- myaka -- mast -- ▁accomplish -- оро -- 什么意思 -- ▁allowing -- ▁streams -- 扫 -- mming -- ▁Pferd -- ▁aya -- ގެ -- ▁Canada -- chief -- ▁erhielt -- ▁scared -- ▁burnt -- ▁gloomy -- ▁выбор -- lha -- ▁さて -- нулся -- ▁Link -- ımı -- ベル -- ிருந்த -- 仪 -- 睡眠 -- ▁God -- ▁Vorteil -- ▁Stellen -- ístic -- を作り -- ▁Reich -- 重点 -- 氷 -- つい -- лийн -- 早速 -- ▁số -- ▁стол -- ▁Haar -- ゾ -- 説 -- ▁equity -- ▁grove -- ▁زندگی -- お客さん -- 选举 -- 妮 -- फ -- ывать -- 開かれ -- kamer -- хай -- ▁adjusted -- парт -- ▁insanlar -- 垃圾 -- ան -- だが -- 您可以 -- mena -- ▁suitable -- ދ -- fähig -- bikorwa -- 上升 -- ▁needle -- ▁hawk -- มี -- ベスト -- ▁prend -- ▁clima -- poko -- 地元の -- ▁jos -- قابل -- ▁prudent -- 什么是 -- ▁agony -- ▁inevitable -- losen -- ▁таких -- ▁wages -- ▁otros -- date -- 双方 -- 诊 -- ▁cluster -- 桂 -- 杉 -- インド -- ▁meaningful -- iet -- ▁fruits -- 継 -- ▁status -- 的男人 -- ▁trage -- ▁polly -- zehn -- でしたが -- ▁самое -- amour -- 和她 -- ufer -- ▁transparent -- rier -- tero -- スク -- を入れ -- ▁offence -- ▁இருந்த -- ライブ -- ▁washed -- ▁obscure -- esso -- 規模 -- ▁resident -- ▁resolve -- ▁betrachtet -- ▁foarte -- 幻 -- 正好 -- ▁damn -- zugehen -- 那儿 -- ஓ -- წ -- tian -- 層 -- ▁assembled -- 中国人 -- ▁chairs -- 夸 -- ▁сур -- 解除 -- ▁Dit -- 終わり -- To -- ▁menyang -- tanz -- ▁officials -- ▁libro -- ▁Glauben -- ibu -- ▁prim -- гы -- ▁Most -- 构建 -- ▁entweder -- ▁bauen -- 是关于 -- 動物 -- ▁Mund -- ambu -- かけて -- rop -- ▁generations -- ▁Joan -- ▁dash -- ▁masses -- ▁mögen -- بات -- oud -- 込んだ -- ▁brows -- 演奏 -- 一気に -- 防衛 -- cula -- ▁Interesse -- еры -- 方針 -- 和他的 -- mog -- ຈ -- 輝 -- ▁disguise -- ▁varia -- ▁leaped -- नि -- ▁leer -- шь -- zieren -- ļa -- ına -- rique -- 彼女は -- ளை -- 雑 -- amendement -- 这本书 -- ▁confined -- 不久 -- 将在 -- ▁nephew -- imit -- бан -- 缘 -- gado -- 我们今天 -- ereza -- 墓 -- ▁domina -- 买了 -- 体制 -- 稳 -- صر -- 一万 -- 競 -- 浴 -- 的结果 -- 時から -- पा -- ▁hopefully -- ▁còn -- 什么都 -- ▁poe -- ▁fastened -- ▁brands -- ▁ấy -- 烂 -- ▁florence -- ▁legislation -- gari -- ▁высо -- barra -- ▁Plu -- aciones -- dna -- 一首 -- 賀 -- ▁december -- ▁valid -- cine -- ▁erinnert -- pole -- familie -- 琳 -- strat -- ▁humans -- gā -- ▁kinder -- ▁scri -- ampl -- ▁blast -- 琴 -- 曹 -- ▁dispar -- 绿色 -- 挣 -- ▁продолжа -- кру -- ▁steamer -- ▁arguments -- ▁toda -- を超える -- ▁kullan -- tli -- ▁Zustand -- ▁suspicious -- 脉 -- ▁obstacle -- 競技 -- 椅子 -- ▁Maß -- ▁temporary -- 的任何 -- ▁persuaded -- 如果你想 -- 逐 -- ▁cambia -- ウン -- ό -- ▁abbiamo -- ▁vary -- ▁понятно -- ぐらいの -- ものの -- 辈 -- ▁commenced -- ▁Schrei -- ligt -- 主题 -- 都知道 -- schule -- ▁separa -- web -- ▁Kaj -- 飞行 -- thon -- ▁nnyo -- ump -- ▁Service -- ▁irgendeine -- eus -- 件事 -- 这么大 -- 的老 -- ▁protected -- ▁effectively -- 分かります -- dür -- 主要是 -- кус -- ▁enorme -- ष -- エネルギー -- ▁sunset -- нэ -- wah -- ▁призна -- кино -- ▁deinen -- ▁costume -- くない -- کو -- ▁homo -- ▁کردن -- tò -- ума -- もありました -- いきましょう -- ▁seats -- ▁Dort -- ▁mars -- ▁supporting -- ▁replaced -- ▁hammer -- ▁Two -- ▁interven -- sley -- ▁машин -- 把这 -- ▁genauso -- مۇ -- нская -- ▁furnish -- ▁units -- 的爱 -- ▁strangely -- 먹 -- steuer -- 受伤 -- 関係者 -- 是这样的 -- 失去了 -- ▁اینجا -- 分け -- ທ -- ▁globe -- 市場 -- 播客 -- иг -- 资本 -- ▁contents -- hanga -- zicht -- ▁großes -- 还会 -- ▁jove -- кер -- ▁saints -- 丰富 -- ▁Vol -- ▁fazer -- ▁mou -- دون -- ▁Ntabwo -- ▁Pass -- ▁fires -- ▁devices -- ▁tienen -- нымі -- ▁mademoiselle -- ガス -- taba -- ▁achter -- 鬼子 -- 还真 -- 買い -- ▁rays -- ▁Cent -- ▁buryo -- ▁cual -- ▁amigo -- ▁murdered -- んでいる -- ▁vulgar -- elte -- ▁seas -- ▁либо -- пуска -- ▁aceste -- 申请 -- そば -- ▁Brit -- ▁bitten -- 的历史 -- ▁Natürlich -- ▁Texas -- 炭 -- ▁Schwester -- ▁блок -- ▁neighbors -- ாள் -- 一時 -- ▁двух -- rita -- ▁effet -- ▁часть -- מ -- ▁speziell -- ▁групп -- われ -- 亲自 -- جی -- ashobora -- ▁armies -- tuk -- ▁succession -- 上昇 -- ▁Minister -- 一些人 -- ৃ -- 究 -- ▁wing -- いう -- 的呀 -- anthrop -- の一部 -- ▁fountain -- 兼 -- ▁minut -- りとか -- 初の -- 把他们 -- ว่า -- ▁Design -- ▁familia -- 神秘 -- lui -- ▁testimony -- 教えて -- ▁abruptly -- ▁Une -- ▁decidi -- riet -- 类型的 -- ▁meetings -- 받 -- 월 -- рай -- space -- iadau -- ▁pall -- ▁antwoordde -- 職員 -- مز -- каў -- think -- ▁insbesondere -- ▁solitary -- ヨーロッパ -- ▁responded -- 中国的 -- ▁puzzled -- 逆に -- ▁Mul -- 赢得 -- గ -- сөн -- 不是我 -- ▁sauce -- ついて -- ▁diferente -- life -- 民主党 -- ▁pronounced -- までに -- 公民 -- ▁hohe -- ▁diverse -- ▁namely -- ▁weigh -- pian -- 这张 -- ▁thereby -- வீ -- ▁tragedy -- が出て -- ▁但是他 -- 谷歌 -- іцца -- ök -- nika -- ▁chứ -- 剪 -- ▁offices -- 你们俩 -- ▁channels -- zette -- sozi -- ▁twi -- 公園 -- gize -- rata -- 養 -- ▁scott -- ▁grip -- ▁longing -- ▁texas -- ▁diamond -- 事業 -- 这场 -- ▁Kä -- bou -- 想过 -- ுள்ள -- 一遍 -- 尝 -- schutz -- ▁clara -- ▁уу -- вяр -- 善良 -- ▁memories -- üyor -- ▁producing -- ▁sadly -- ▁wink -- 生存 -- 现在的 -- 协议 -- ▁scent -- ىنى -- hine -- ▁veces -- ▁pří -- ▁Ng -- 购 -- ▁Werk -- ▁cog -- 行政 -- ワールドカップ -- ▁Schmerz -- ▁milit -- liği -- ▁neglect -- pier -- 黑色 -- ▁என் -- ▁functions -- ▁harvest -- 시간 -- ▁floating -- が今 -- ▁metro -- lingen -- яць -- ▁partially -- ▁indication -- ▁Rei -- スタッフ -- ▁Sub -- 予報 -- ▁guilt -- gesehen -- 的学生 -- ▁sergeant -- mari -- ады -- Wa -- 平等 -- 房间里 -- 않 -- ▁documents -- ▁cavalry -- ▁பல -- fashioned -- ▁sets -- бой -- ▁nehme -- த்தின் -- ▁پیش -- क् -- 广播 -- ае -- 动作 -- ▁integration -- 石头 -- ▁результат -- ▁amas -- ▁brig -- দে -- 饼 -- ▁fiction -- 題 -- ▁кстати -- ▁shu -- ▁பிர -- しまって -- flex -- eorang -- made -- рал -- shop -- 領 -- scheiden -- ĉa -- 旁 -- 舍 -- ї -- 不是说 -- truc -- schiff -- ▁Scott -- ія -- ▁roses -- ▁但是在 -- 胆 -- ▁Ра -- داری -- 我们想 -- Ab -- ▁trabajo -- に関する -- ▁defect -- ▁Gil -- ერ -- ▁wandered -- 会談 -- ckle -- 勝負 -- Au -- meli -- ▁bose -- 飲み -- šo -- 植 -- ▁애들 -- 所说 -- vian -- ▁لقد -- 作って -- ▁satisfy -- ffle -- ▁Arzt -- ▁wann -- ▁deeds -- ▁myth -- ▁Nummer -- ▁criticism -- ▁Kro -- 故意 -- 单位 -- ▁맞아 -- ستا -- ▁guardian -- ▁indignation -- Ver -- ▁recollection -- 会見 -- ▁whoever -- break -- 気温が -- সি -- ▁gleichzeitig -- 陛下 -- ▁delicious -- 开始了 -- 读者 -- beeld -- 起了 -- ▁illegal -- 地面 -- ▁yeni -- ▁enjoyment -- ▁outrage -- 并在 -- ▁flee -- 屏幕 -- больш -- ▁interact -- ▁momentum -- ▁hano -- ▁inspiration -- liches -- ලා -- iser -- ▁glasses -- 加上 -- 暑 -- орон -- 耐 -- ▁dramatic -- ▁равно -- hla -- gó -- 协 -- 障碍 -- 倉 -- ▁sunk -- ▁шестнадцать -- ▁tendency -- ▁Island -- するなど -- 预测 -- よい -- ▁unbedingt -- ▁bleibt -- ▁шмат -- ▁disp -- angira -- arca -- ▁crimes -- onne -- ▁loyal -- ▁apostle -- ▁betray -- оны -- ▁inward -- ilia -- 烦 -- 的日子 -- ▁사람 -- lg -- 見る -- rinner -- 沉默 -- ▁seize -- ஞ்ச -- iler -- ▁правильно -- なあ -- ▁بسیار -- 媳妇 -- ▁говоря -- 主意 -- 물 -- ▁ruhig -- ▁Turn -- 不出 -- сом -- ▁Nel -- 紫 -- unddreißig -- を務め -- unta -- ▁Autor -- ▁diana -- ▁alexander -- ▁telegraph -- ▁ساخت -- нен -- ▁amen -- 焦虑 -- ▁Artikel -- аар -- حة -- ▁seves -- ▁пост -- һә -- 天下 -- Un -- 明显 -- ▁لدي -- лаг -- ▁Rand -- ▁personality -- hart -- abandi -- っていました -- zek -- ▁arrangements -- بد -- ▁sermon -- が多く -- 的照片 -- ▁ruined -- ahu -- なと -- 智慧 -- ัง -- ▁теле -- tou -- ▁geheel -- ению -- ▁своих -- ▁virtues -- ▁widely -- ▁mingled -- ▁Kir -- 我们没有 -- ccio -- ▁Club -- 我们不 -- езд -- してた -- ▁rider -- teilung -- كو -- 一片 -- ▁женщин -- سان -- 重复 -- 生日 -- ▁approved -- 绕 -- 機能 -- ishi -- ograph -- 讲述 -- 危机 -- 広がって -- 获得了 -- رە -- 意见 -- 妇 -- ▁loaded -- cation -- いいですか -- ▁fran -- услов -- ▁pastor -- 统 -- 提供了 -- 再開 -- ▁puff -- ն -- 障害 -- ▁financi -- 给大家 -- kund -- ▁tune -- arro -- ▁없어 -- ▁levi -- lade -- 今も -- ▁yea -- ▁serpent -- ▁endless -- いいですね -- いき -- ▁Where -- ▁Beste -- riz -- 离开了 -- 径 -- ränk -- ному -- 伸び -- ▁Fähigkeit -- ▁Schlaf -- ▁duchess -- 你和 -- ▁لأن -- 就这么 -- ▁executed -- ▁heels -- ▁chicago -- 성 -- ▁vader -- zahlen -- ▁periods -- called -- just -- ▁тринадцать -- さい -- dron -- 改变了 -- रि -- ▁vera -- ▁sharing -- inta -- ▁Feld -- 負 -- ▁ihe -- кров -- dog -- ▁чт -- pool -- ▁dreamed -- ▁heilig -- ▁slender -- 在家里 -- ▁uncon -- മ -- ▁그리고 -- ▁Kandi -- Union -- 英里 -- ▁chances -- ryo -- 场景 -- 遥 -- 链接 -- 移民 -- 十四 -- ▁sac -- fact -- ▁selten -- ▁Arab -- 谈到 -- ▁feather -- ▁inch -- 尽可能 -- 都被 -- 日常 -- ▁attorney -- human -- ▁helpful -- 劳动 -- 经营 -- ▁mă -- ▁Cro -- ▁languages -- ▁Esperanto -- лев -- ▁sustainable -- タン -- 生産 -- 纵 -- うちの -- ▁promotion -- lateral -- stamm -- making -- 華 -- ▁risen -- geist -- ▁vehicle -- 大量的 -- сна -- ▁careless -- ваю -- 村さん -- 一刻 -- 育て -- ▁Ча -- 取り組み -- ▁passengers -- 雇 -- း -- ▁chimney -- ▁엄청 -- ▁abundant -- ใน -- 调整 -- 場で -- moc -- ▁sao -- ▁Generation -- 男女 -- ▁provin -- ▁funktionieren -- ▁limp -- ▁calmly -- gesellschaft -- ▁Ram -- ▁quello -- ▁tv -- ▁agents -- 、4 -- あら -- 和他们 -- ▁беларус -- ▁Bezirk -- どっち -- ▁villages -- ▁intervals -- ▁cooking -- ▁printed -- ▁revelation -- ▁Gene -- 也就 -- ǧ -- 今シーズン -- 女王 -- ▁mwen -- 我们对 -- стер -- 上で -- 链 -- ▁politique -- ▁sunlight -- ▁differently -- god -- 보고 -- 暑さ -- 对她 -- ▁dost -- 图像 -- ▁poden -- igno -- çu -- ▁holes -- かれ -- 多久 -- ▁consumers -- ▁sweat -- bac -- 喝酒 -- ▁کم -- ▁movies -- ▁одной -- τ -- テン -- arian -- ▁verdad -- قول -- 司机 -- 承担 -- ▁exceed -- низ -- 今日も -- 措施 -- ▁clan -- uso -- ▁Last -- 回应 -- ▁nowhere -- ência -- ▁islam -- ɣa -- gende -- بان -- 報 -- quir -- ▁Lehr -- Ц -- ▁nerve -- ▁january -- 批判 -- 很大的 -- 男朋友 -- 通信 -- کت -- 栏 -- いきました -- ▁путин -- 町の -- 混合 -- ▁absorbed -- wami -- もともと -- èn -- 有趣 -- ▁hinunter -- state -- ▁fathers -- ▁sweep -- 情報を -- ▁alcohol -- bonye -- ggy -- රි -- fitting -- isierung -- aq -- ▁exposure -- 紹介 -- iker -- indu -- ▁friday -- цыя -- brü -- ▁faculty -- ▁convict -- ▁tad -- 誰か -- نظر -- 新型コロナ -- 업 -- ို -- 遺体 -- ▁addressing -- 什么的 -- たって -- ▁veu -- ▁presents -- ▁depression -- ハイ -- ▁Suche -- 财产 -- ▁Ту -- 前半 -- ▁joan -- を引き -- стрел -- 田中 -- ▁user -- ▁constitu -- ▁Publikum -- ▁Tour -- ەکە -- 機関 -- ▁muốn -- овал -- ▁moonlight -- ▁welke -- まだまだ -- ▁которой -- ▁participa -- 彻底 -- ▁discussions -- ▁году -- idée -- 醉 -- 出して -- ▁Nachrichten -- fordert -- ▁proces -- 高さ -- ▁Esto -- 예 -- 切って -- ▁Inhalt -- ▁fortunately -- ево -- ndre -- ▁قو -- arı -- 你都 -- فه -- 披露 -- market -- ▁сами -- tano -- 了一下 -- 平衡 -- '150' -- gekommen -- 多大 -- ተ -- ▁lieber -- zas -- ▁demands -- 多少钱 -- べき -- 飛び -- шә -- ▁stare -- 他们有 -- abantu -- 하지 -- ▁hı -- 魂 -- ▁supplied -- 豚 -- шен -- ▁preparation -- bing -- ▁heavenly -- 規 -- ▁nhất -- selt -- ▁გა -- ▁gig -- ▁можем -- 銃 -- ضا -- ▁raus -- ▁Ergebnis -- ▁forests -- ▁erstellen -- ▁Fle -- ஸ -- ▁behaviour -- 年轻的 -- lder -- энд -- тел -- யான -- ▁Please -- ▁travelling -- 多么 -- volution -- 더라고 -- ▁größere -- を変え -- ▁procedure -- 遭 -- ▁Material -- ▁campus -- を行って -- 級 -- руу -- roch -- ▁Mä -- 現在の -- 你已经 -- чын -- ▁erwartet -- ▁requirements -- 就不会 -- 専門 -- médi -- 转向 -- Lachen -- 未来的 -- ▁commune -- ▁Fluss -- 孝 -- tega -- ▁Zimmer -- 我认为这 -- ▁Cra -- レース -- 状况 -- ▁جدا -- 一大 -- 不是你 -- зор -- ▁choses -- ▁Tie -- ▁representative -- ▁pent -- ▁knot -- 有点像 -- െ -- ▁slim -- ▁Sho -- っか -- чных -- 法案 -- ța -- ▁barbari -- ▁Sto -- ▁promptly -- камі -- изм -- oog -- ▁verme -- ▁adorn -- やめ -- ▁commence -- ▁Hör -- schritt -- emt -- ところに -- ▁vz -- ▁тип -- 债 -- леч -- がん -- ▁добра -- abend -- excel -- ▁aceast -- のもの -- 你真的 -- ▁invented -- 矛盾 -- ▁neutral -- と思うんですけど -- erna -- rf -- zima -- 规模 -- ワー -- 喺 -- ▁currency -- ▁eagle -- lom -- magn -- ▁claimed -- ▁pockets -- 점 -- etto -- 的目标 -- ▁হয় -- ▁blade -- ▁laŭ -- евская -- 重要な -- dī -- ▁кабинет -- ▁zéro -- ▁francs -- 大多数人 -- вил -- ▁identified -- 你可 -- ▁logic -- 你给我 -- تس -- axe -- ▁achievement -- ▁contribute -- ▁Ober -- 反応 -- 宝贝 -- もあり -- ▁itu -- 基地 -- ▁admiral -- nydd -- shyira -- 中学 -- drin -- teen -- こんなに -- رات -- 脸上 -- ში -- ▁colleagues -- 同情 -- ▁random -- 覆 -- 挤 -- 声が -- ▁bewegt -- 结束了 -- 安静 -- 영 -- ▁weiteren -- ▁okul -- ▁начальник -- erfolg -- ▁grava -- ▁pove -- ▁Pod -- 的数据 -- ▁typical -- クリ -- schaffen -- 也好 -- ▁wrought -- জন -- kommt -- だったり -- dust -- terra -- 講 -- ▁bushes -- ▁muß -- ユ -- ▁хэл -- ▁waist -- 我一 -- 跌 -- 工业 -- ▁dave -- ئو -- 回头 -- ▁Radio -- '600' -- ▁confirmed -- ということが -- 外国 -- 来讲 -- ža -- chal -- ▁mouse -- 仲間 -- ▁alert -- ላ -- ▁Council -- 肌 -- ▁beginnt -- 铺 -- ▁Day -- ▁hired -- 全国の -- だい -- 伟 -- ук -- ▁condemned -- いよいよ -- ▁stap -- ▁música -- ithi -- ▁conform -- performing -- ▁incredibly -- ▁cresc -- ▁lingvo -- 扭 -- 胃 -- ▁thumb -- ▁honestly -- isk -- ffel -- ▁specimen -- glass -- はこちら -- ▁spark -- munt -- 西方 -- ▁grupo -- 你不会 -- ▁söyle -- histoire -- વ -- 随便 -- rama -- ಕ -- なきゃいけない -- ▁circuit -- の声 -- ▁Rue -- 练习 -- ▁prayed -- 更大的 -- 納 -- برا -- ほかの -- 회 -- ▁entdeckt -- ▁команд -- фор -- 这也 -- ▁nasıl -- nehmer -- 相关的 -- 原谅 -- рыв -- 送到 -- ▁deutsche -- IS -- ▁purse -- 上有 -- ▁soziale -- ▁rhe -- 代码 -- ует -- 輪 -- ▁Hallo -- 比我 -- iest -- かかって -- ▁tid -- posició -- ▁daring -- してくれ -- sprach -- 東部 -- 毎 -- ▁agency -- poj -- 知って -- gamba -- ▁carr -- 指导 -- ▁yeux -- 飛 -- ▁followers -- 贾 -- ▁obedience -- ▁spät -- ▁mischief -- 報道 -- 川さん -- action -- 迎 -- ▁resort -- ▁deals -- ▁warned -- 摔 -- 丑 -- ▁Einzel -- லாம் -- ほどの -- ▁mob -- ああ -- もんね -- jed -- 하면 -- precia -- 百万 -- ▁represents -- российск -- ▁entitled -- ▁derived -- ▁lace -- ▁resource -- ▁certainty -- ▁gott -- 又是 -- ▁gallop -- ジュ -- iwa -- 電気 -- 这就是我 -- руч -- ▁dolan -- npr -- Il -- ▁coarse -- ▁процесс -- みます -- ▁tenderness -- ▁charges -- 野さん -- ▁emerge -- umber -- 喊道 -- 检 -- ▁satu -- ▁sahen -- є -- ▁notwendig -- தோ -- ▁flames -- 士兵 -- ▁Seele -- خبر -- ▁Nhưng -- ▁från -- ▁کښې -- ▁아니야 -- ▁affectionate -- ▁curtain -- ▁detailed -- やら -- 我叫 -- 一系列 -- ▁пара -- oce -- ▁exempl -- 范围 -- がいる -- sions -- ▁artists -- ària -- 凭 -- ▁divorce -- ▁хоёр -- ▁corridor -- ▁lofty -- 最高気温 -- roma -- 陷入 -- 開け -- ▁nivel -- 集团 -- waka -- ב -- ▁Feind -- 损失 -- ▁орган -- mite -- polo -- 内の -- ▁Zugang -- 使って -- ▁fein -- ▁numéro -- ▁allí -- ற்ப -- ▁pressing -- afrika -- ষ -- dores -- 可以看到 -- ▁roughly -- ▁стара -- 技能 -- ▁savings -- ▁farmers -- ▁theater -- glück -- magnet -- ▁când -- ▁barely -- ▁briefly -- вялі -- போது -- ôn -- 児 -- احت -- と呼ばれる -- cloth -- ▁aka -- 和一个 -- ▁painter -- ▁challenging -- 初めての -- ▁borrow -- 完美 -- ▁pillar -- ί -- ரோ -- ▁Frei -- 军事 -- ▁advertising -- ▁solitude -- ことができる -- やってる -- 力が -- ▁bargain -- のではないか -- 不少 -- ジャンプ -- ბა -- ビル -- жо -- ▁sees -- يح -- ▁normalerweise -- bih -- ▁před -- ▁telefon -- ▁injured -- ▁marsh -- uburyo -- ▁правда -- 就把 -- ▁газ -- 瞧 -- ▁moves -- के -- ▁writes -- ▁advocate -- なんですよね -- ▁sebagai -- ▁wherefore -- ▁hoop -- maga -- ▁sphere -- 来月 -- guin -- 咬 -- ▁underlying -- ▁olduğunu -- にいる -- 主动 -- ▁plusieurs -- みんなで -- ً -- nwa -- 燃 -- lijke -- 私人 -- ▁Studie -- 例子 -- ূ -- 牢 -- ▁happily -- 따 -- ciò -- ▁идет -- ▁парти -- を入れて -- ▁ranks -- īt -- ctic -- 就是这样 -- ▁blows -- 有用 -- ▁colon -- 吵 -- 找你 -- ▁pensar -- кім -- 彼は -- 迹 -- ▁organized -- 柄 -- дог -- ▁countess -- niu -- liest -- ▁construct -- ో -- ▁newly -- ▁Kontrolle -- ▁சிற -- ▁nahe -- ▁тү -- стей -- 指摘 -- ▁announcement -- ▁tenant -- ▁mexico -- おはようございます -- vuit -- 突破 -- ▁видел -- terie -- ▁energ -- houd -- 봤 -- ▁harbor -- տ -- ▁verlieren -- avaient -- aquest -- ▁Dal -- 优势 -- ▁deja -- ember -- 讨 -- 竟然 -- ▁slecht -- initiative -- ehrt -- るんです -- ativ -- ▁Studien -- letter -- 观点 -- 到底是 -- ▁stond -- ▁penetrate -- ▁dividend -- ▁investors -- 警方 -- ▁иван -- 面白い -- っちゃった -- ▁বল -- ▁revolver -- ateur -- руш -- misch -- ▁vengeance -- シュ -- quatre -- ▁wheat -- shaw -- ▁nawe -- trop -- cret -- があると -- 指出 -- рә -- ▁simon -- 创作 -- ▁thither -- ивать -- ▁beschäftigt -- ▁brethren -- igita -- ▁Nie -- 这个词 -- ▁Brown -- قط -- ribu -- ▁bitterly -- ▁sofa -- ▁component -- ▁ventured -- これだけ -- bora -- 很久 -- 았 -- ▁Religion -- 缺乏 -- ▁Pin -- 咱俩 -- ▁panic -- 很明显 -- zorg -- 的父亲 -- ▁survive -- 一辈子 -- ▁gravely -- ▁Tagen -- ▁counted -- ▁positively -- 召 -- дым -- ූ -- ▁dacă -- 関連 -- ினார் -- 沿着 -- ▁bisher -- はありません -- だろ -- ▁elf -- ް -- 共产党 -- ▁clutch -- anten -- 咲 -- ▁casi -- یل -- ▁conversion -- 知道的 -- ▁warten -- ьте -- ▁پای -- feuer -- 瓜 -- ▁بۆ -- ▁tenir -- ▁Ну -- 不明白 -- ▁napoleon -- の映像 -- 两种 -- 自从 -- 幸せ -- hib -- jwe -- ▁podemos -- ▁pirate -- ▁bedeuten -- лова -- 我得 -- 切れ -- orden -- つ目 -- ▁weeping -- をつけて -- ছি -- 衰 -- ▁интересно -- ▁tradu -- ▁сме -- 互动 -- ស -- 행 -- がい -- ▁versuchte -- 恒 -- 르 -- ▁Anzahl -- 彼ら -- ▁practices -- ▁мед -- menti -- ▁weiterhin -- ▁restore -- ologia -- ▁computers -- ▁algun -- 用来 -- 干净 -- school -- аза -- ▁vivo -- ▁Grundlage -- ukan -- なくても -- ▁estado -- ▁attempts -- ▁Ĉu -- ▁sample -- bund -- ▁analog -- ▁celle -- ▁salva -- ▁providence -- すばらしい -- ▁House -- ▁trim -- ▁erkannt -- ▁rushing -- 旋 -- ゼ -- ▁bulk -- はおよそ -- 世界中 -- ▁findet -- cultura -- زو -- ▁instances -- зан -- ගේ -- であり -- енных -- ▁santa -- ▁jewish -- gele -- ▁gusta -- ▁condemn -- '5000' -- 司法 -- führer -- ▁sais -- үл -- 東京オリンピック -- に入り -- 诚 -- ධ -- ▁nouvelle -- ▁invite -- ovat -- ▁treaty -- ▁navy -- urteil -- minate -- іх -- 襲 -- ▁mexican -- ggle -- اي -- ▁germans -- ▁aqui -- 在我们的 -- ▁canvas -- ▁selection -- ijo -- 送り -- ▁blaze -- lığı -- ▁gesund -- gora -- ▁آب -- ▁Who -- 知り -- nız -- ▁ôl -- ▁suck -- ▁displayed -- えば -- ▁undoubtedly -- 的过程 -- طة -- ▁Así -- ▁warrant -- ▁ursprünglich -- ▁کردم -- пен -- 婴儿 -- 蛇 -- ▁هغه -- ▁illustrate -- 事実 -- ▁bureau -- fata -- なか -- ▁Richter -- mbwa -- 费用 -- 那就 -- ▁Teile -- ▁Daniel -- ▁nên -- ▁Ад -- ▁deploy -- ký -- Č -- 純 -- ▁entscheiden -- ▁چیز -- ▁Reaktion -- ▁можете -- währ -- アイ -- က -- ▁acquire -- лив -- ▁caesar -- 有事 -- ské -- ▁doth -- ▁tête -- 蓝色 -- ▁conversations -- ▁wept -- 入れる -- ▁politischen -- ▁jerk -- ▁elaborate -- 然后你 -- ▁весь -- ▁ladder -- に行って -- 分开 -- ▁advancing -- macht -- ▁které -- 電力 -- Wi -- дыр -- ▁hamwe -- とう -- ▁lasted -- タイミング -- ▁afite -- 报纸 -- 事態 -- ▁Ker -- 漂 -- ▁employer -- ▁discourse -- ▁cannon -- ▁Kommission -- yat -- shim -- ▁которое -- valo -- даў -- istoj -- breng -- ▁prevail -- ニング -- ▁julie -- nine -- ljen -- вым -- ▁pension -- 縮 -- ▁сум -- ▁kleines -- ▁publish -- lden -- ▁alex -- ▁niece -- 閉 -- に来て -- ▁simplicity -- もらった -- 吃的 -- ▁idol -- ester -- ਰ -- はね -- ээс -- 针对 -- 阳光 -- たく -- 書き -- ▁brood -- ୍ -- が続く -- craft -- 专门 -- 調整 -- んですけども -- 批评 -- ▁dependent -- 沟通 -- 全面 -- 两千 -- 掌握 -- ▁других -- kere -- 으니까 -- 基金 -- iska -- ▁kang -- empresa -- ▁daniel -- ▁четыреста -- 着你 -- 반 -- utilitza -- 会被 -- ▁riu -- 主張 -- نية -- philosoph -- ▁munsi -- ▁помог -- طل -- ▁measured -- 稍微 -- ▁وقت -- 第四 -- ▁flows -- ▁hogy -- 都很 -- ▁Act -- までは -- 朋友们 -- ▁trials -- ▁schlug -- 符合 -- 目標 -- ▁shower -- シーン -- チョ -- нные -- 分手 -- ▁kent -- ެއް -- ින් -- ▁владимир -- ▁Angelegenheit -- ▁ascertain -- ▁gaat -- ▁الث -- oja -- ▁birthday -- 続いては -- ▁robin -- 緊張 -- ▁Fol -- ▁сделал -- ▁amused -- plex -- 刑事 -- 我还是 -- 储 -- ▁Zahlen -- やす -- ▁frozen -- ごろ -- このまま -- ▁sailors -- ▁önce -- lite -- ▁eerste -- 补充 -- 走向 -- ▁». -- 現地 -- 愚蠢 -- Lo -- gă -- artagnan -- ▁suite -- іў -- 有两个 -- 机器人 -- ▁relate -- ▁fisher -- 财富 -- ▁vanity -- 尊 -- 凶 -- ɛa -- 谋 -- umba -- きています -- ▁Wild -- ▁magistrate -- ▁مرد -- Ich -- مب -- appel -- 姿勢 -- 疲 -- પ -- yez -- 工程师 -- 乎 -- მი -- ▁exemple -- ▁Even -- ▁ample -- 混ぜ -- ▁Poli -- ▁Ari -- 皇帝 -- ▁schr -- ▁picking -- 庆 -- ▁quella -- يز -- 保護 -- 結局 -- блі -- ▁Cur -- 窗户 -- ическая -- মান -- '31' -- 你来 -- ▁семнадцать -- ▁scout -- ▁Lebensmittel -- 收听 -- Qu -- 上次 -- قوم -- கால -- جميع -- wür -- ▁Good -- 建设 -- 世界の -- δ -- ▁raison -- ▁Mike -- нный -- шо -- idio -- るため -- ვა -- fällt -- ▁declined -- geza -- 如果您 -- 大声 -- すべて -- いるのは -- 赢 -- ▁obeyed -- ▁depending -- ▁colony -- 側に -- стью -- ក -- 워 -- osten -- ▁flourish -- 是如此 -- を奪 -- ▁كنت -- ▁swing -- 脾气 -- ▁garments -- 前进 -- brid -- ▁Și -- ▁sarah -- 鼻 -- ▁Ny -- Ja -- ▁swallow -- ▁entreat -- pran -- ▁angesehen -- 警告 -- ▁experiments -- 坏了 -- 援 -- kunst -- ▁correspond -- ▁быстро -- 首相 -- ziert -- ですからね -- ▁judges -- ▁passe -- ▁frontier -- 玩儿 -- ▁байх -- の影響 -- gericht -- zeichen -- bari -- 两位 -- ▁colours -- 唯一的 -- 実現 -- 鳴 -- 寻求 -- 評価 -- ▁impre -- ▁aspects -- ▁zeigte -- ▁compte -- ▁secrets -- ması -- 句话 -- ifik -- ň -- 策略 -- ▁Henry -- 一口 -- ▁Бо -- ប -- ං -- ▁chính -- gier -- বার -- нию -- ケース -- ▁fanny -- ▁curs -- 烤 -- wedd -- bian -- ▁twist -- ▁mère -- ▁почти -- сим -- 日本は -- ▁idiot -- ▁hoog -- лиз -- ▁comprehend -- ▁Wald -- 可怜的 -- 引用 -- 统治 -- тик -- ▁들어 -- ▁lawn -- きっかけ -- práv -- らし -- なと思って -- ▁ceiling -- ijwe -- ▁그럼 -- ▁susan -- 側の -- のところ -- ▁проект -- だという -- 汇 -- ▁Freiheit -- 좋 -- ▁تت -- ▁trembled -- ▁Bil -- 祈祷 -- 樹 -- estima -- cze -- ▁goat -- ße -- ことです -- ▁sai -- 俊 -- ▁сюда -- ▁Rose -- ▁install -- 威尔 -- bett -- ▁Indian -- ▁luxury -- 聖 -- 芝 -- 投稿 -- ▁Dun -- ▁повер -- などと -- dec -- ▁emma -- ▁uncertainties -- lok -- っしゃ -- ▁signor -- 频道 -- 딱 -- ▁ئۆ -- ▁servir -- 復 -- 仅 -- ብ -- 委員会 -- agira -- ாய் -- 我们能 -- ▁ministers -- を加え -- 使用的 -- paga -- ▁urge -- ▁phenomena -- 翼 -- ahan -- 指導 -- bruch -- 标志 -- abord -- osos -- ▁essence -- ए -- atori -- ▁dried -- fica -- ▁ratio -- いますが -- ▁Lang -- 半年 -- 裁判 -- ▁drops -- ▁вось -- ▁Änderung -- 芬 -- ▁Beginn -- ▁emily -- ▁дур -- ▁investing -- ديد -- әк -- 운 -- ▁skills -- ▁potentially -- ▁herunter -- リード -- ▁revolt -- ▁soit -- ▁Bor -- メン -- 权利 -- ▁vertical -- ▁believing -- хі -- 自治体 -- ▁считаю -- 金メダル -- ▁groan -- ることができ -- 演出 -- களுக்கு -- үн -- rog -- kubwa -- веч -- ifer -- ▁emphasis -- 卓 -- getragen -- ▁ليس -- ▁pacific -- なくなる -- ▁bisa -- 扇 -- ▁Jen -- ▁страны -- ▁alarmed -- 署 -- ▁Sorgen -- 係 -- ▁كما -- ▁باشد -- ▁wheels -- 最後 -- 共和党 -- ▁tho -- ива -- 鼠 -- 半分 -- yum -- 分かりました -- ugi -- はその -- フレ -- ▁September -- ▁вечер -- と言って -- takse -- ▁voller -- šu -- éra -- 涉 -- banga -- ▁bass -- ▁Diskussion -- eres -- station -- ▁forming -- ▁attacks -- ▁renew -- ▁centro -- ggs -- ყ -- ▁diminish -- ▁faded -- ▁instruction -- ルド -- сал -- ▁wach -- ▁sozialen -- 的部分 -- 増加 -- 相似 -- 净 -- 泣 -- 在这种情况下 -- 味道 -- bourg -- を確認 -- 叫我 -- ▁steve -- 师父 -- kumi -- ▁Meer -- 一代 -- ▁Städte -- ▁erwarten -- 小子 -- ▁folded -- ▁Mut -- fähr -- اخ -- ▁sleeve -- ড -- ▁subsequent -- ▁bessere -- トロ -- rong -- ▁лично -- сту -- ест -- ▁weer -- ▁giới -- ▁назва -- ▁sara -- ▁acknowledged -- bier -- ▁Boston -- ▁مد -- 孤 -- 姨 -- ▁Risiko -- غان -- 犯人 -- ▁transmit -- ▁regularly -- ▁власть -- 做到这一点 -- 確かに -- спор -- ▁finde -- грам -- 可以说 -- ▁highway -- 非洲 -- ▁crush -- ▁tett -- 横浜 -- 月份 -- ▁gelesen -- なくなった -- ▁whale -- fällig -- ▁ripe -- ▁wherein -- 이랑 -- ダメ -- 勉強 -- ▁nang -- ▁Mitglied -- ▁famille -- 繰り返し -- カード -- 智能 -- dain -- ехал -- 罗马 -- 複 -- 訳 -- '99' -- 实在 -- 楽しい -- 이야 -- 発言 -- 命运 -- aktiv -- ▁dense -- ▁Up -- ▁reside -- 大家好 -- ▁dug -- ▁genetic -- 方の -- の間 -- ▁primitive -- ▁condu -- 听听 -- ▁dropping -- 進出 -- या -- まい -- тек -- ▁lowest -- ▁хүн -- ▁Kann -- ▁trova -- 妇女 -- шир -- ▁sandy -- ▁Això -- ▁которую -- ▁gossip -- ▁Ме -- 随时 -- ▁adventures -- ▁jsme -- 对手 -- 特征 -- ミス -- ▁repose -- ▁Gruppen -- ▁jackson -- ▁cage -- ▁Gewalt -- ▁Armee -- систем -- ▁rigid -- ంట -- ▁trink -- 大卫 -- မ -- ▁tumble -- сә -- 到现在 -- 我们如何 -- ▁summon -- ▁lên -- gesetz -- クション -- そこから -- サイ -- 관 -- ▁그랬 -- 帮忙 -- ▁lantern -- ▁Klein -- 果たして -- fusion -- hild -- wirtschaftliche -- 去世 -- цо -- present -- ▁users -- ▁pelo -- сид -- ▁sağ -- ▁Schuld -- 老爷 -- 出席 -- ▁license -- 臨 -- ину -- ▁neglected -- ▁Stu -- දි -- ▁maka -- ▁Zusammen -- ▁harp -- mill -- 是从 -- скай -- 彼得 -- 度过 -- schte -- 爽 -- 漫画 -- 杀死 -- 保留 -- عرف -- ▁emergency -- 他已经 -- ▁plead -- するという -- ▁destiny -- 解放 -- 午 -- まさか -- そんなこと -- 滞 -- pell -- ▁presume -- ތ -- ▁Chicago -- ический -- ▁crois -- ▁plastic -- linda -- ▁consist -- ▁jolly -- uke -- 董事会 -- يى -- ▁dedicated -- ຂ -- ▁проста -- 体の -- ფ -- 交代 -- いただく -- ▁genoeg -- 边缘 -- ▁ninth -- ▁flushed -- 他想 -- ▁impatient -- hst -- гын -- ▁agua -- ▁basin -- ▁prosperity -- 今朝 -- posto -- 罚 -- ▁lease -- ические -- ▁idee -- ▁shouting -- ▁soixante -- ▁oogen -- リスト -- ▁frog -- 两次 -- ونه -- 区の -- trouw -- ▁consisted -- 郊 -- ▁Ibi -- ▁Standard -- ▁partir -- 声明 -- čč -- ▁cordial -- ▁brute -- ▁rond -- ほしい -- 几个月 -- ▁denkt -- 消费 -- road -- kül -- ደ -- א -- ▁знаешь -- ▁ruins -- زان -- ▁segments -- lise -- あなたの -- 着他 -- 还得 -- 思った -- 俺は -- ▁incorpora -- ウィ -- ▁принима -- 其中一个 -- ▁induced -- ▁lively -- кән -- ▁recruit -- ▁viola -- 雨が -- ▁động -- ▁peep -- fter -- ▁Sommer -- 是很 -- を探 -- 让自己 -- ▁occasional -- лах -- ▁выход -- kud -- స్ -- ▁верх -- ▁nouveau -- ▁amerikanischen -- ▁ross -- ▁взял -- ▁questioned -- ▁Begriff -- ▁anfangen -- imwe -- вис -- ▁eby -- ▁irregular -- inya -- ▁April -- мах -- 物を -- hafte -- 男が -- ▁sites -- 事を -- ▁Jahres -- ▁realm -- 纹 -- ▁erinnere -- kosten -- 成熟 -- 仗 -- ِي -- 捨て -- մ -- ತ -- 입 -- はまだ -- ▁luego -- ▁dunkle -- 三百 -- ▁Pot -- کاری -- ▁deaf -- 物の -- 其实是 -- iam -- ▁impacted -- цый -- 生徒 -- ▁thankful -- melde -- '36' -- ▁situated -- 食材 -- barkeit -- рем -- 给你们 -- 为此 -- 他妈 -- ču -- 冲突 -- ▁confessed -- альный -- 墨 -- ▁친구 -- 固定 -- 主义者 -- ▁spy -- 驾驶 -- ises -- ▁exit -- lep -- しまった -- ர்கள் -- ▁discern -- ▁preparations -- 群体 -- ▁menschlichen -- zieht -- ▁institute -- 其他的 -- ▁neighbor -- gte -- 他们可以 -- hängen -- гаар -- رک -- zier -- 呐 -- পা -- ▁jewels -- 誰も -- jj -- ▁terme -- жив -- 眉 -- ansah -- 带来了 -- iumenge -- handlung -- 电台 -- 少ない -- ▁Farbe -- 浪费 -- ▁Jugend -- ▁чуть -- 行為 -- ард -- neuf -- ガン -- lch -- mö -- ukuri -- ▁gewinnen -- 得了 -- remo -- 弥 -- ▁tại -- ▁Mai -- 当局 -- link -- 黄金 -- тели -- 的家庭 -- ▁suburb -- ▁captive -- ▁summoned -- 堪 -- 葬 -- 不说 -- ▁bump -- ▁camel -- まとめ -- ▁checked -- 一回 -- ത -- イル -- ▁ebenfalls -- gust -- gic -- ▁luna -- ▁austria -- ▁exhibit -- ög -- ▁francisco -- únic -- seven -- オミクロン株 -- 过去了 -- 石油 -- racy -- 飯 -- ▁Wil -- ▁lado -- ▁flies -- беж -- ỏ -- ▁شب -- idir -- ▁variation -- 聞く -- ▁doit -- 平静 -- ▁Hälfte -- ▁aujourd -- woman -- ▁мои -- ▁stran -- ▁convince -- ▁prendre -- lī -- ▁geschickt -- ▁perfume -- 头上 -- ▁конце -- 里克 -- ▁turk -- ▁divert -- 没人 -- حي -- 郭 -- ▁benutzt -- ですかね -- nier -- Rh -- 适应 -- ▁trebuie -- ▁сай -- 前から -- ▁pledge -- が必要です -- 冷静 -- ▁fist -- 咯 -- ▁Gefahr -- 懸念 -- ▁брат -- 予選 -- cock -- つけて -- fond -- ▁кому -- ▁cô -- 为自己 -- ▁täglich -- チェック -- 强大 -- ела -- さが -- uzu -- 拉斯 -- ▁banda -- 遍 -- ▁Länder -- ັນ -- களின் -- ▁guessed -- ソース -- hoff -- 掛け -- 在哪儿 -- වෙ -- 拔 -- ▁threshold -- ▁advised -- ▁Behandlung -- тора -- ▁chaque -- ▁varied -- kay -- カン -- lā -- ▁jerry -- kunft -- ип -- ▁publication -- ▁Gründe -- 艺术家 -- لە -- ▁Vergangenheit -- 冇 -- 深い -- ốc -- ▁pueden -- ▁sentiments -- 西日本 -- ▁readers -- ▁Element -- ▁төр -- ▁gebruik -- lisa -- ▁factory -- ▁kau -- ▁Mitglieder -- 将是 -- ▁вдруг -- 工場 -- 风格 -- ации -- ▁interna -- ▁recalled -- ▁scream -- twitter -- 解説 -- xes -- 専 -- ▁Stern -- ▁няма -- ▁visitar -- ▁owners -- 0,000 -- ▁gefragt -- さすが -- ▁خواهم -- ▁shoe -- ▁dashed -- ▁zelfs -- bola -- ӑ -- ▁Schlüssel -- ວ່າ -- ĝe -- 高级 -- ▁persuade -- думал -- ということですね -- ▁celui -- 聞 -- री -- 他人 -- ▁Ini -- নের -- ▁pře -- ▁estan -- ▁recognised -- 伟大 -- からです -- 知道你 -- ▁reeds -- கின்றன -- 陣 -- zugeben -- ▁downward -- 総理 -- ▁plen -- 商量 -- 杆 -- ▁nosotros -- ▁vater -- ▁Ва -- ▁Ell -- 唱歌 -- ▁права -- 学者 -- ▁recollect -- ▁representation -- ▁Gefängnis -- િ -- ▁Erinnerung -- 他被 -- ▁арт -- ẽ -- ać -- ▁moss -- luft -- 置いて -- ▁Akt -- سف -- 心脏 -- ▁babies -- tekereza -- 食事 -- කා -- торы -- блюд -- のみ -- 分から -- رى -- ▁drain -- aidd -- ▁Abantu -- ģi -- 行った -- 詳しい -- ▁opge -- ▁deiner -- メニュー -- mula -- 得意 -- ▁struggled -- 窓 -- 偶 -- ▁Besuch -- ங்கு -- ▁enfants -- ▁Bern -- ▁perish -- 千葉県 -- ▁від -- 困惑 -- ▁آخر -- ▁Fue -- க்கா -- できて -- kond -- ▁სა -- ▁christianity -- くれ -- ▁nka -- ڪ -- ▁segon -- lique -- 强大的 -- っぱ -- ▁gains -- 那时候 -- 카 -- '&' -- ▁rechts -- TV -- 日本代表 -- 他们没有 -- lice -- ▁наших -- ▁Beruf -- 兆 -- лес -- ▁shrink -- ▁Albert -- ayi -- ▁forbid -- ▁miteinander -- 奸 -- 靴 -- uloj -- 州的 -- ▁ashes -- クト -- дов -- ▁refresh -- тат -- ▁freundlich -- lista -- ▁rings -- ▁fancied -- aktion -- ▁diseases -- ▁bekam -- 東京の -- ▁quien -- 上下 -- 我又 -- しょ -- ▁Як -- ▁biblioteca -- ▁jemandem -- 事物 -- ckey -- суд -- ▁overhead -- どうも -- جمع -- ▁Parti -- ▁pill -- قدم -- ▁Insel -- るから -- ▁sobald -- ▁Kap -- උ -- ▁aga -- ▁என்ற -- ▁Ни -- いている -- 险 -- ▁Berlin -- ▁victoria -- rato -- simil -- сек -- ▁categories -- ▁Quelle -- ▁Lake -- seb -- dama -- ▁восемнадцать -- antoj -- が高い -- ▁лишь -- ▁año -- bring -- ▁그렇 -- нні -- ▁дня -- ற் -- 当時の -- ▁renewed -- corn -- ▁goals -- 小学 -- 两天 -- ▁Gesetze -- ▁estamos -- どうやって -- ▁livre -- 案子 -- landa -- провод -- ម -- 別に -- ▁красно -- 七十 -- ごはん -- атор -- ▁yonder -- 听众 -- acre -- ▁uncomfortable -- sätze -- ▁programa -- bê -- ▁observations -- ▁muse -- кли -- 大幅 -- 他把 -- ▁beef -- ঠ -- ▁dialogue -- ▁marvel -- 请你 -- ▁awakened -- ▁Iran -- automat -- ▁чалавек -- வில்லை -- 实施 -- ▁contributed -- ▁richtige -- 它们的 -- みました -- ▁сказала -- ▁кем -- ▁escrit -- ▁hierher -- 他现在 -- ▁indifference -- யே -- 亡くなった -- 方面的 -- 数は -- 川の -- ಮ -- ▁Objekt -- シーズン -- ▁teatre -- 制定 -- 钢 -- ▁Ressourcen -- 箭 -- ▁augment -- 担任 -- 丰 -- ▁escort -- iris -- 月から -- ница -- ▁wenige -- пут -- ız -- ▁footsteps -- ▁Umwelt -- شى -- ▁mixture -- 呼びかけ -- 南方 -- ▁erg -- 岸田総理 -- ି -- cem -- ▁tests -- неш -- mura -- gré -- ▁менее -- há -- ▁pepper -- ங்கி -- 代の -- ▁разговор -- yamba -- 等你 -- ▁indignant -- 했어 -- ▁энэ -- ▁contented -- ▁speci -- ▁Staats -- ție -- その時 -- ුව -- ▁alliance -- 上学 -- おっ -- 前線 -- చ -- ▁schönen -- 分かった -- ация -- 緑 -- 勇敢 -- ▁thoughtful -- жан -- ▁trouve -- сно -- ▁Rechts -- ର -- ▁february -- 一辆 -- 举行 -- ères -- ▁minha -- toxic -- 牵 -- 释放 -- ▁gallery -- кажу -- ▁bestand -- ▁fils -- ▁Charakter -- ▁Sinne -- sache -- ▁Gast -- 在这些 -- ▁sper -- ヌ -- ái -- ▁Wood -- 六十 -- ▁simul -- しかない -- 仮 -- 医師 -- ▁Florida -- ▁distributed -- ▁flour -- oxid -- ன்ன -- の部分 -- 出る -- ▁saat -- ▁giá -- ▁reporter -- 就没 -- ▁amy -- ▁profund -- ▁International -- ▁framework -- ვე -- zir -- ложил -- 加速 -- しまいました -- ▁Ты -- lion -- 伪 -- 杀人 -- 准确 -- 値上げ -- ▁Organ -- することで -- ▁funciona -- нак -- どうしても -- 夕方 -- ▁вс -- 为我们 -- ▁gezeigt -- ponent -- ワクチン接種 -- ▁velvet -- ▁attraction -- と思いますね -- 巻 -- 購入 -- ▁Spaß -- ▁här -- ▁Baum -- 必要な -- ▁instruct -- ▁lordship -- 知らない -- ▁arbeitet -- 稍 -- 怖い -- ▁Ehre -- 실 -- 覆盖 -- ▁ладно -- ▁absorb -- ▁tread -- 踏み -- cate -- 誘 -- 空港 -- ▁patriot -- িয়া -- trust -- ▁Beth -- ▁transactions -- ▁tạo -- firma -- ▁Gö -- 实践 -- teg -- とり -- ▁claro -- もので -- かというと -- 打了 -- 我需要 -- ▁admired -- ▁bronze -- duction -- Bu -- ▁одного -- yla -- Ş -- 的女儿 -- جن -- ▁стала -- ▁conceived -- цей -- ▁akan -- biologi -- ▁palabra -- ▁stolz -- デン -- wärts -- ▁jsou -- ▁twilight -- ▁Brazil -- ▁verbracht -- reka -- ▁понимаете -- つける -- ppi -- ▁calcul -- general -- ▁igual -- ▁wealthy -- usia -- оо -- ▁harmony -- ▁Code -- 協 -- ▁принят -- 强调 -- пала -- ▁symptoms -- ▁trading -- ▁chef -- ▁answering -- 降低 -- 著 -- ▁expedi -- 这个地方 -- ▁swimming -- ▁froh -- ▁roused -- 車が -- フォ -- ▁chatter -- brun -- Univers -- ▁earliest -- hita -- ▁max -- ▁awoke -- 農 -- ladi -- ▁scor -- 垂 -- 教练 -- vollen -- ▁уверен -- 儿啊 -- pfel -- Ko -- ▁bate -- 慎 -- 夫婦 -- ▁tunnel -- ▁visto -- あん -- ▁uncertainty -- 有限 -- ▁conquer -- ▁decades -- ▁Lü -- ▁Mach -- ▁Sehen -- чыць -- 差し -- ▁warriors -- なさい -- 四年 -- под -- illon -- 狠 -- 感激 -- vik -- ▁decade -- ▁lime -- 的确 -- ▁Elizabeth -- 선 -- ボー -- ▁plunged -- 实验室 -- ▁Nachricht -- ühr -- 泊 -- ▁Viņa -- ▁managing -- ▁seul -- heden -- ▁Höhe -- ▁robber -- ▁testament -- bereich -- medic -- ipun -- トラック -- cott -- antic -- ބ -- ▁собой -- 发挥 -- мін -- ▁Mond -- ▁carro -- どうした -- aco -- ていきます -- ▁Després -- 凝 -- 计算机 -- ▁Podcast -- ▁получа -- ▁fais -- ▁mould -- ▁полу -- паль -- 想像 -- ▁Schutz -- step -- 相比 -- いち -- けん -- ną -- బ -- ーター -- ▁principi -- 二零 -- mail -- ▁hire -- ▁legte -- ▁degli -- ▁плохо -- کا -- 会長 -- ランキング -- хүү -- 盐 -- ▁limb -- ▁mineral -- 最喜欢的 -- 取った -- ▁proven -- mack -- ▁Themen -- ▁democrat -- 才会 -- 通報 -- new -- ▁satan -- ▁yaptı -- ▁jene -- koll -- შ -- ▁retro -- ▁عم -- '2015' -- 払 -- ▁Ces -- ▁innocence -- 間違い -- ▁array -- ▁yid -- ▁déjà -- ▁şekilde -- 始まった -- あなたは -- ▁electro -- 邮 -- 文明 -- 入院 -- داد -- 当她 -- ▁upright -- ▁jours -- ポン -- ▁Cel -- すこと -- ▁ekonomi -- ▁suicide -- きっと -- كت -- ▁corruption -- ▁tue -- ▁Karte -- 危機 -- мас -- ▁الل -- っこ -- ▁apprehension -- 磁 -- worthy -- ▁constrain -- lwa -- ▁jacket -- problem -- ▁anxiously -- ▁hohen -- ▁কর -- angi -- ▁subscribe -- ▁проблема -- ▁цяпер -- 篇 -- 好看 -- ▁lösen -- ▁parson -- গা -- ש -- 廊 -- 天然 -- ▁своего -- 联盟 -- üü -- ▁cob -- 赖 -- ▁Sä -- ▁rattle -- тин -- おく -- ޭ -- 华盛顿 -- messen -- ▁göster -- ▁muchos -- зон -- 拆 -- ▁tracks -- 不确定 -- ▁المن -- ランド -- ▁niba -- ไป -- ▁resulted -- 这个国家 -- もあった -- leta -- ▁multaj -- ▁classic -- 梨 -- ކު -- empre -- վ -- ▁matthew -- ▁strategies -- ▁Rad -- セン -- ねぇ -- 屋さん -- 旨 -- ▁amazement -- ږ -- ▁같이 -- mbang -- ▁Max -- 曜 -- ▁terribly -- schütt -- ▁адзін -- と発表しました -- ▁Gottes -- 拿到 -- 構 -- クイズ -- ▁hideous -- ▁مهم -- ▁каза -- 타 -- tzt -- ▁çalış -- 来吧 -- 平和 -- ▁twe -- ▁mule -- クリーム -- 成绩 -- ▁vrij -- というのも -- ▁weißen -- ▁cathedral -- ▁viņš -- ▁pobre -- 构 -- てくれ -- issement -- শি -- ▁tenth -- ▁pretended -- 朵 -- дт -- ▁thief -- ▁planted -- ▁persist -- 喷 -- ▁долго -- ▁zufällig -- ddu -- 的精神 -- たった -- анд -- 钻 -- 郡 -- ▁завтра -- ▁eminent -- ▁losses -- ▁drie -- 棋 -- annya -- 楚 -- ▁причин -- ▁flick -- ▁bekommt -- ▁pode -- ▁unterstützt -- ▁Tiere -- 的内容 -- が出る -- ▁какое -- ▁Ball -- するために -- ▁mwaka -- 回目の -- ▁visits -- hne -- ▁australian -- ▁oldest -- ▁variable -- ssystem -- ▁rely -- ▁стоит -- 客人 -- altro -- 亡くな -- ▁dispers -- 被害者 -- bber -- ▁Kerl -- 裤 -- 等我 -- ▁Mikro -- ▁Barr -- овый -- ▁occup -- ች -- くり -- 我确实 -- ையும் -- ▁situas -- 洁 -- finanz -- ▁gewe -- 徳 -- داخل -- ▁threatening -- 失望 -- ▁Beweise -- ろうと -- ▁holl -- 准备好 -- ▁bells -- 啲 -- ▁shakespeare -- 拳 -- скую -- kasi -- 推动 -- ▁Schlag -- ým -- ▁oncle -- ▁dorthin -- ▁assert -- ಲ -- 培训 -- ▁unwilling -- 位の -- ▁bills -- ▁drivers -- ▁instru -- 弟弟 -- 各国 -- tip -- ▁avail -- kade -- 瞎 -- 公子 -- 历史上 -- エリア -- ▁tierra -- ▁старо -- 皆 -- ▁headquarters -- 翻译 -- 組織 -- ▁Feder -- ood -- экс -- ▁videos -- 为我 -- ception -- 官员 -- 審 -- ▁자기 -- ▁Kollegen -- imbu -- nywa -- ▁raven -- ▁sultan -- ffy -- guha -- 阻 -- шым -- рек -- ▁Chan -- 夏天 -- 対戦 -- ▁derzeit -- けば -- 自分たち -- ▁einzigen -- '2020' -- 籍 -- ▁pluck -- ▁Allgemeinen -- ▁Einfluss -- 为什么不 -- ▁environmental -- сць -- ▁separation -- siniz -- ▁Fal -- 娶 -- ▁මේ -- ▁induce -- ▁ebenso -- ▁donner -- ▁снова -- orde -- 打席 -- 概 -- 收拾 -- ▁Finger -- ▁Schwarz -- やすく -- ▁linen -- ▁filling -- 贡献 -- 震惊 -- ▁Präsidenten -- ▁proceeding -- 地图 -- champ -- issabte -- ▁быць -- 带走 -- зав -- ▁kämpfen -- 捜索 -- ▁policies -- 演技 -- лап -- 思いました -- ▁egy -- ▁плат -- 分配 -- 驱 -- 耳朵 -- 降る -- ▁sally -- ▁gotta -- 氏は -- どういうこと -- عتقد -- 繁 -- バッター -- ▁decree -- をかけて -- ▁deinem -- ▁beggar -- ジョン -- tino -- ▁gehören -- hwa -- 授 -- łu -- ▁strongest -- ▁recommendation -- ▁nchi -- zil -- 了个 -- ▁prepara -- 电子邮件 -- 知事 -- ▁trabaja -- arak -- 覚えて -- 前回 -- ▁habitual -- cky -- 耶 -- ▁செய்த -- cina -- łem -- ▁pencil -- ▁ĝin -- そもそも -- 였 -- ▁triumphant -- tiği -- ▁visiting -- ▁recording -- 变得更 -- 牺牲 -- ▁hesitation -- ▁erschien -- 千万 -- kende -- rrington -- ùng -- ▁conquest -- ▁openly -- ▁sali -- ▁herauszufinden -- ▁особенно -- бод -- せい -- ▁sulla -- ņu -- 弯 -- ▁tug -- ▁européenne -- ▁gewisse -- čin -- ением -- てた -- ▁promises -- дат -- ırı -- ▁buiten -- ızı -- ▁inflict -- mädchen -- ▁ermöglicht -- ▁maintenance -- ▁curiously -- خواه -- ▁hình -- ▁третья -- ▁кир -- 战略 -- лон -- ▁rocky -- 来週 -- straße -- 问他 -- ▁mächtig -- 炉 -- 纪念 -- ́ -- ホントに -- antwoord -- 完成了 -- コーナー -- ▁musician -- ▁Chinese -- キュ -- 信心 -- ▁mansion -- 奏 -- ąc -- 娱乐 -- ▁extension -- ▁decay -- ▁arbeitete -- ▁dood -- 很好的 -- やん -- ▁hoy -- 근 -- ▁anguish -- 僕が -- が見 -- ▁electricity -- espera -- ▁cove -- ▁feathers -- lif -- 说的话 -- なります -- ▁hilft -- entes -- 有问题 -- ▁reuni -- 安慰 -- ирует -- diplom -- ję -- deki -- anja -- 找不到 -- цвет -- brand -- 闘 -- 有着 -- 居民 -- නා -- したもの -- troph -- ▁purely -- ▁troop -- ずつ -- рост -- ▁nicholas -- шей -- ▁moeder -- ショ -- ▁Sonnen -- ▁aucun -- してくれる -- 物語 -- 乾 -- முறை -- ▁landlord -- ▁interval -- 一套 -- unternehmen -- 怨 -- 宏 -- 部长 -- ▁менән -- ▁lagi -- ▁historian -- ්‍ර -- ▁erect -- ▁waved -- кнул -- ▁plains -- мал -- rce -- tuvo -- 残って -- 泳 -- 图书馆 -- ▁inclination -- kamp -- ▁такі -- 出发 -- にくい -- ▁verde -- 盯着 -- ▁jimmy -- ▁messages -- ▁liebt -- 点儿 -- ▁lifting -- пры -- ▁productivity -- پل -- креп -- ▁witnesses -- яз -- るんですけど -- 师傅 -- année -- ▁Mehr -- ▁equivalent -- ▁regi -- ën -- زي -- てくれる -- 突き -- ▁wütend -- ▁translation -- 回忆 -- ▁هنا -- 導 -- ▁partit -- ▁maintenant -- cela -- ▁außerhalb -- のことを -- ▁turkey -- ▁які -- 有任何 -- ▁disciples -- 終 -- なと思います -- 梯 -- kole -- ▁Künstler -- ▁konzentrieren -- ▁crimson -- енко -- 私たちの -- ▁Sonne -- 符 -- ▁garrison -- യ -- ▁furious -- 金属 -- 出于 -- ssé -- ▁durchgeführt -- ▁victor -- dele -- ▁packed -- 漂亮的 -- ▁madre -- aggio -- үүр -- ついた -- 在外面 -- 长得 -- ▁cần -- ▁blowing -- දු -- ▁Mari -- ▁strictly -- ющих -- lessness -- ▁Prä -- ajo -- 资料 -- ▁Lord -- くれて -- 肚子 -- ▁wounds -- ▁nếu -- チーズ -- carna -- ホール -- 들이 -- ску -- だんだん -- 克里斯 -- ▁бүр -- ▁demonstrate -- haga -- 寻 -- 追加 -- рей -- 头脑 -- 立つ -- 芳 -- जा -- ▁Oku -- 西部 -- 期望 -- ▁saber -- れている -- 柏 -- ▁девятнадцать -- 거 -- инг -- うちに -- ▁nhận -- ▁sommes -- なのに -- ▁betrayed -- Ç -- つもり -- るんですよ -- त् -- ▁herein -- りたい -- nium -- 人気の -- 现象 -- 抬 -- 的公司 -- ნა -- hali -- ▁admirable -- 髪 -- 这里有 -- ▁ultimate -- ▁devas -- つけた -- 募 -- ▁warmth -- ▁reject -- 贸易 -- 警視庁 -- 簡単に -- 感受 -- ▁organizations -- ▁realmente -- ▁schwarzen -- ▁Glo -- '75' -- ▁unjust -- 居然 -- 的例子 -- ▁Jungen -- ▁Què -- ования -- ▁retra -- 一些东西 -- ishwa -- ▁dingen -- ▁nime -- ▁què -- цов -- 取って -- komeza -- 躺在 -- ▁gravity -- ▁Таму -- ▁englishman -- ▁artistic -- ▁housing -- 在于 -- ▁allan -- 温柔 -- amerika -- 的时刻 -- fahrt -- ▁schätze -- ▁Opfer -- 伦敦 -- ▁greeted -- ▁ranch -- ▁tú -- ▁exile -- 小时候 -- 董 -- ▁illusion -- ▁Finanz -- ▁willst -- ▁Come -- ▁geheim -- ▁weep -- ▁Waffen -- bó -- vā -- 昏 -- ▁underneath -- dığı -- ▁Jane -- ▁вопросы -- ▁dopo -- 杰克 -- 主義 -- gesprochen -- ▁groote -- ▁история -- 受け入れ -- 負担 -- ▁масс -- awo -- ▁cứ -- ▁advise -- 涨 -- 笑顔 -- plu -- ▁আর -- 兽 -- ▁stroll -- 哪些 -- ▁conceive -- なった -- ▁nachdenken -- ▁precede -- 先輩 -- graben -- ▁Einer -- ▁Boot -- バック -- ілі -- дова -- скі -- 无论是 -- eira -- ▁comedy -- 你得 -- ▁Però -- 入れて -- роў -- ▁narra -- ography -- 味が -- 帰って -- 拍摄 -- 评估 -- ▁inquire -- 类型 -- گان -- ▁bestehen -- ▁nacional -- ▁fremd -- 天空 -- ▁opponent -- gebildet -- ものは -- escent -- ▁blown -- ▁unterschiedlich -- ▁substitute -- 我只 -- ▁withdrew -- ▁Kri -- 込め -- ▁From -- ▁explosion -- fragen -- ▁exclude -- 女性が -- papier -- ▁heiße -- ▁praktisch -- ▁mga -- ▁foster -- 滋 -- ▁Earth -- ▁troviĝas -- 教室 -- 到时候 -- けが -- ▁frightful -- ▁nationale -- 在那个 -- ланд -- ▁firing -- ора -- たん -- 存在的 -- 镜 -- trakt -- 術 -- اث -- ▁那我们 -- ▁scarlet -- ▁exhaust -- хар -- ▁circum -- ▁ancora -- 皮肤 -- 替え -- 充满了 -- づけ -- 放心吧 -- 你看看 -- ▁ажил -- ▁yourselves -- 串 -- 做一些 -- ▁enlighten -- تاب -- ▁vierzig -- 统计 -- ▁harris -- kanye -- ثر -- 申 -- ▁moan -- ▁impressive -- ▁Tele -- кур -- цыі -- 导演 -- 你说的 -- いなかった -- ставить -- ▁blend -- ▁wretch -- ▁descent -- seid -- ▁stages -- 剤 -- ▁정도 -- 我知道你 -- ▁Holz -- ▁boven -- ルール -- ▁هە -- ▁adjust -- 続けて -- 海上 -- ▁Argument -- chau -- 勇气 -- 洪 -- 見ると -- ▁motionless -- が必要 -- ▁Schulen -- ▁Spitze -- ▁tenia -- 明け -- 遅 -- 投手 -- chain -- 跟踪 -- ▁Zeiten -- ▁mọi -- 待って -- haupt -- daj -- 的妻子 -- ▁urgent -- tack -- ▁publi -- 桶 -- 盆 -- 夹 -- ▁crushed -- これまでに -- ▁oriental -- てくる -- ▁reverence -- 在过去的 -- ▁heroes -- arlo -- ▁toilet -- しゃべ -- クラス -- ünü -- paro -- することが -- mela -- ▁jealousy -- fant -- 挡 -- ▁significance -- 系列 -- 灾 -- ▁gym -- завод -- 気に -- ▁tipp -- ▁barbara -- ▁Actualment -- ▁Today -- 態 -- ющие -- ▁discussing -- 能源 -- ▁granda -- ▁спросил -- onic -- ือ -- ▁Neben -- さない -- アー -- ▁아이 -- ▁hizo -- いたします -- 外国人 -- มา -- klop -- 反映 -- wirken -- すと -- フォー -- ьян -- そのあと -- ▁кара -- ▁jeff -- 死者 -- ሰ -- ▁violently -- 読み -- giving -- ▁하나 -- чик -- 之下 -- 回り -- 조 -- တ -- umbi -- ▁convent -- ▁altered -- 成为一个 -- ▁conven -- 으 -- ▁affirm -- ▁المح -- ▁Kern -- angka -- ஃப -- 听见 -- 的经历 -- 燕 -- 赔 -- 」「 -- ▁pav -- ▁starke -- ▁tiger -- 且 -- 的发展 -- pois -- ▁busca -- らが -- ыт -- ความ -- ologische -- ▁другие -- の上に -- ▁comrades -- ゅう -- ত্র -- 充分 -- tez -- ▁petition -- 人群 -- руб -- tafel -- 到来 -- ▁sailing -- ఇ -- ▁милли -- 超え -- ▁Hü -- ▁четвёртый -- 取决于 -- yobozi -- لق -- 写作 -- strahl -- るために -- ▁edition -- ▁possibilities -- 社交 -- ▁attribute -- ▁enjoying -- サイド -- ured -- 手指 -- 叛 -- istische -- ▁tự -- 法庭 -- ▁бизнес -- 开玩笑 -- ▁academic -- ▁позвол -- 贷款 -- 为他 -- ▁Vall -- 比例 -- princip -- ەی -- ▁increasingly -- 爆炸 -- ▁heartily -- ▁japanese -- êr -- 巻き -- enfant -- ından -- ▁collabora -- undvierzig -- 尘 -- ▁whither -- 不怕 -- ką -- mēr -- ▁그러면 -- ▁diversos -- ▁medal -- ifies -- стары -- valent -- ▁ungefähr -- 쪽 -- ▁dagegen -- 高齢者 -- ▁তিনি -- ড় -- 記念 -- larda -- 态度 -- ▁leisten -- ▁связан -- ▁assez -- ▁stove -- 白い -- ებ -- 痴 -- ▁mới -- 殺害 -- 創 -- ▁align -- 特别的 -- ildi -- ▁Karriere -- ▁laat -- richtung -- 真っ -- adores -- 疫情 -- といえば -- 맞 -- ▁proceedings -- 不一定 -- ▁throng -- дает -- 美国的 -- ▁genom -- 企 -- 泪 -- ▁greeks -- ▁compound -- ▁reporting -- escola -- どおり -- ▁butler -- ▁groupe -- ట్ -- дад -- めっちゃ -- 年前に -- three -- ҵ -- 闷 -- 詳しく -- 著名的 -- ▁envy -- 一眼 -- もらえ -- ▁punish -- يرة -- 骄傲 -- デザイン -- ▁menjadi -- 悩 -- を得 -- দু -- 進む -- 好事 -- 一座 -- ▁cargo -- 你再 -- 聞こえ -- 작 -- ▁ваши -- でしたね -- ▁platforms -- ▁clair -- るんですね -- ▁personne -- 现在我们 -- において -- ▁madness -- 본 -- ▁Wesentlichen -- ▁konuş -- ▁откуда -- tius -- енная -- вит -- يج -- ▁shops -- zep -- ží -- ▁Botschaft -- ▁devant -- ▁abraham -- ▁respective -- 马克 -- شو -- здоров -- ▁motives -- ības -- ▁encouraging -- 辣 -- 還 -- ▁möglicherweise -- ▁Realität -- 国外 -- 尼亚 -- larında -- 挺好的 -- ▁거지 -- ▁Ding -- exist -- 再生 -- ހ -- 揭 -- 高橋 -- gression -- ▁zusätzliche -- ▁karşı -- 做的是 -- ▁beobachtet -- õi -- ▁Genau -- үүн -- ▁anim -- 徹底 -- キン -- 下げ -- ▁şu -- 失敗 -- ▁Hab -- பட -- ▁Quel -- rono -- ▁Cer -- ▁تلك -- の動き -- 感覚 -- 続ける -- mania -- bala -- 给自己 -- લ -- ▁Strom -- ▁Што -- 精彩 -- ▁jew -- ▁Entscheidungen -- ▁customs -- ▁dismay -- 大学的 -- 视为 -- なお -- ஐ -- ▁lachen -- ドラ -- ото -- ▁porch -- 寄り -- ▁consul -- ▁dusk -- 全世界 -- ▁diverses -- ພ -- ▁excellence -- 她会 -- رن -- ▁concentra -- 議会 -- ▁Over -- ழ் -- 我们看到 -- ▁mach -- ▁Regen -- 万一 -- ▁Пер -- すべき -- ▁Frieden -- ▁шаг -- oph -- ▁viene -- 若者 -- ▁hostile -- 拿走 -- 注意力 -- į -- spiegel -- ていない -- 中国の -- dige -- 万美元 -- 发明 -- dorf -- ▁россия -- tesse -- зве -- шло -- ▁скоро -- ▁dentro -- ▁ngày -- してきました -- ▁metge -- ▁echter -- 聚集 -- 劫 -- ٹ -- ▁Führung -- ɛe -- ▁villain -- ▁deceived -- ▁eenige -- 的变化 -- つつ -- sieg -- ▁traurig -- ▁membres -- ận -- もう一度 -- 站起来 -- ありがとうございます -- tòria -- ▁trente -- ▁Imp -- čen -- ▁protested -- 试着 -- ▁welfare -- 福岡 -- ▁oui -- гр -- 病気 -- 某人 -- roning -- 中には -- ▁encountered -- 浩 -- 真实的 -- ▁vile -- ▁battery -- 提升 -- ου -- ира -- 摘 -- ▁Amerikaner -- ր -- ▁ambassador -- に入る -- ▁بش -- 这个故事 -- ▁tengo -- ▁fragments -- 舌 -- タイプ -- ิน -- ▁relatives -- 提前 -- ▁secretly -- 晴 -- 我们俩 -- rührt -- ▁Center -- ▁martyr -- 邻居 -- ▁süß -- ▁exceptional -- ほうがいい -- 魏 -- 嫁给 -- 床上 -- 这真的 -- ダンス -- park -- ▁eigenes -- ▁naught -- ▁yapı -- 道歉 -- ▁catching -- 这份 -- ▁verstanden -- 透明 -- тся -- 的生命 -- ▁wichtiger -- 沮丧 -- '65' -- ▁montre -- ▁tarafından -- 依赖 -- ▁aufgrund -- ホーム -- ▁swarm -- 全力 -- 終わ -- ▁earthly -- 捉え -- ပ -- ▁expanding -- 懒 -- ▁Uganda -- 辆 -- ▁morris -- 唉 -- 有钱 -- gero -- ▁només -- 孟 -- ▁Nó -- ▁cơ -- できるよう -- ▁haunt -- かって -- しまいます -- ▁satisfactory -- 你为什么 -- 差异 -- てきました -- ▁unmöglich -- ▁давно -- ▁Wohn -- 做过 -- 厨房 -- ışı -- 到这里 -- ▁compensation -- ▁teh -- ▁aroused -- kulu -- cava -- ▁verses -- ▁каким -- ▁deliberately -- ▁zullen -- 爱你 -- lje -- ▁carl -- ▁계속 -- 消费者 -- 日本で -- schluss -- lıyor -- 広島 -- ▁أنا -- 常见 -- ▁Joseph -- ▁muscles -- ▁tarde -- 向上 -- ▁проблем -- ัน -- ▁cao -- 瞬间 -- onym -- バラ -- ▁Journal -- 緊急 -- ▁Winter -- ▁моя -- 更有 -- ▁بخش -- 的房子 -- ceea -- mişti -- ライト -- ▁calculated -- ▁général -- 茂 -- 심 -- ▁cuatro -- 生まれた -- ▁travelled -- 成就 -- かつて -- ▁joc -- ▁parting -- ▁hört -- ▁sống -- stup -- meze -- щен -- ▁адна -- ским -- ▁attending -- ▁crest -- 把握 -- ▁cellar -- ▁الناس -- beck -- 男性が -- 好吃 -- னு -- ▁justified -- ້າ -- рв -- 动力 -- ▁Straf -- どのように -- लाई -- ▁woke -- ▁fascinating -- صح -- ▁vrai -- に住む -- cite -- ▁Fest -- 狱 -- ▁tumult -- かく -- けない -- ්‍ය -- ▁дух -- ▁holland -- 仇 -- ▁inspector -- ▁Dol -- 大小 -- 誉 -- ▁Jahrzehnt -- みましょう -- ▁Gall -- ▁hiện -- 停下来 -- 居住 -- wandel -- мел -- މ -- 悠 -- ▁slaughter -- 肝 -- の前に -- 粉丝 -- ▁swamp -- を集め -- ▁befand -- ▁пятьсот -- ▁Edward -- 加油 -- ▁femmes -- geschlagen -- ▁wilson -- ▁failing -- ▁Früh -- ▁manuscript -- めの -- ▁000 -- 情报 -- quadr -- ▁observing -- ถ -- ▁tommy -- 看过 -- するよう -- ▁twas -- ▁Labor -- ▁jahre -- ▁cruelty -- ▁flowing -- писа -- ▁Other -- ▁trenta -- ▁corrupt -- 如果说 -- 厅 -- 계 -- igihugu -- ▁ກະ -- ▁causing -- шча -- 少爷 -- ▁severely -- ▁dünya -- leiter -- ティング -- အ -- yel -- ических -- ▁nineteenth -- ማ -- 成功的 -- 的看法 -- ▁Traum -- ▁Gui -- ▁edit -- ▁exterior -- 思维 -- held -- 色の -- ▁sincere -- لىق -- ▁sever -- ▁considerably -- 有一点 -- logi -- ▁också -- 团体 -- ходят -- ▁colonies -- berries -- kunde -- ▁oldu -- determin -- ▁poets -- 与此同时 -- 貴 -- ▁incremental -- bereit -- ▁lowered -- ໍ -- 激动 -- ▁Gas -- 富士 -- зер -- ▁Sar -- なるほど -- ▁cooper -- قب -- 轻松 -- ographic -- ▁uneasy -- ▁ancestors -- ște -- core -- ▁colli -- ▁okw -- ının -- 損 -- 経営 -- 変わる -- modul -- valuation -- 说的是 -- தன் -- 状態で -- bû -- ▁مخ -- lò -- ▁должна -- ▁confine -- насці -- ▁devour -- ▁shaft -- ▁purchased -- mwi -- 物种 -- 僕の -- 찮 -- 阿尔 -- ▁paradise -- ▁glare -- альная -- евич -- ▁rejected -- ▁стать -- シェ -- ▁Glas -- 艰难 -- ▁lily -- ▁flora -- 之一是 -- ▁aliaj -- ▁starb -- 働き -- ▁Seit -- '.000' -- ▁Zweck -- ▁Fähigkeiten -- 災害 -- なこと -- 迈 -- ▁commissioner -- フリー -- 피 -- ▁verändern -- 冒险 -- adel -- ▁begonnen -- 小学校 -- 后果 -- '32' -- ubuzima -- 的身份 -- ▁allah -- ▁screw -- 早い -- ▁Strateg -- ách -- ▁fram -- igte -- ▁заяв -- ▁dritte -- പ -- ▁iemand -- хә -- 两人 -- рым -- jja -- ▁vot -- われて -- ▁nuevo -- ▁erklärt -- せず -- އް -- ▁zufrieden -- 歩いて -- ▁declaration -- AI -- 的文章 -- ▁مردم -- おう -- technologie -- ▁книг -- rani -- 保守 -- ▁confer -- ▁questi -- affi -- ▁mijne -- ▁hither -- 这些事情 -- ▁twentieth -- ▁White -- ▁hue -- jih -- garde -- დე -- ▁greeting -- ebwa -- ▁Sachen -- ▁gladly -- 稿 -- ▁encuentra -- ウイルス -- خی -- سة -- ▁sour -- ▁equi -- ▁tempest -- ▁провер -- rava -- द् -- 伙 -- تها -- ▁psycho -- ▁blocks -- ▁Öffentlichkeit -- 暂时 -- ▁shopping -- 他要 -- ▁disagreeable -- ▁dominion -- 井さん -- வாக -- ▁marketplace -- ▁compromise -- 浜 -- いただきたい -- 作る -- 위 -- YouTube -- ziehung -- ▁terrorist -- 随后 -- ▁seltsame -- 血液 -- وش -- ▁tragic -- ▁danced -- ▁excessive -- мыш -- fari -- sail -- ็ -- 是一名 -- ▁gaf -- ▁invested -- 深入 -- 奴隶 -- ੀ -- ▁destined -- ▁böse -- 夕 -- ается -- 人士 -- ▁gulf -- そうで -- 很快就 -- ▁eldest -- ▁Angeles -- 従 -- வின் -- 我非常 -- prüf -- 車の -- 纪 -- ▁placing -- 営業 -- ▁lovers -- ▁tornar -- leistung -- 東海 -- 苦し -- kuza -- ▁然后呢 -- vuze -- 虐待 -- فن -- trans -- ▁membre -- したということです -- maschine -- ▁Ash -- laba -- ▁Stre -- そうか -- ையில் -- 恐怕 -- ▁footprint -- ▁gush -- kiza -- گیری -- 公式 -- ▁Ruhe -- ▁imperfect -- ▁posted -- prop -- 的目的 -- ▁prospects -- ▁Version -- このような -- ކ -- ո -- கிற -- ▁arrange -- ▁мяс -- ▁transportation -- 装置 -- ▁Dü -- itel -- ļu -- คุณ -- 你喜欢 -- ▁basa -- vro -- ▁নাই -- ▁Euro -- praw -- ▁militar -- ▁Fel -- теп -- ▁twisted -- 筹 -- ▁fosse -- ▁юу -- ▁Fred -- ▁harbour -- slov -- pov -- ▁கட -- ອງ -- 你没 -- лэг -- ▁недо -- ▁wishing -- 上げる -- 扱 -- ▁retorted -- 疑い -- ▁އެ -- ivity -- Ra -- cado -- 不管是 -- 无论如何 -- 即将 -- ▁aange -- ாத -- ▁lifetime -- вання -- 哎 -- kräfte -- irira -- ▁defeated -- დი -- ▁llega -- ▁слово -- ▁آل -- ▁Kurs -- ▁lebte -- ▁Med -- گرد -- 制裁 -- 다가 -- 歇 -- ▁broader -- quant -- ▁slate -- ▁запад -- を終え -- ▁crawl -- алт -- нула -- ▁рыб -- ▁verstehe -- зм -- 严重的 -- ▁mereka -- 要不然 -- ありまして -- ▁Central -- ▁amazon -- ▁دارند -- ниц -- ▁mater -- ▁regulatory -- ▁Verfügung -- 丘 -- 已经被 -- ▁offerings -- ▁Tio -- லே -- 一路 -- ёл -- ర్ -- ▁gevoel -- お天気 -- ▁chorus -- ▁shallow -- 祥 -- ▁дерев -- 的其他 -- amaga -- ▁trata -- іст -- Reg -- ▁Monaten -- ▁schwach -- ▁Bio -- rew -- ▁cinco -- ▁Vertrauen -- オンライン -- 辩论 -- 说到 -- ▁dön -- 宣言 -- ってきました -- ▁roi -- ないか -- 下载 -- 这将是 -- ω -- ▁phenomenon -- اغ -- 売り -- кас -- ▁foam -- ▁tako -- ▁trumpet -- kür -- 野球 -- 行われる -- 旦 -- ķ -- ▁platja -- خانه -- 打电话给 -- ▁bloody -- かける -- ▁attentive -- ▁reckless -- 倒是 -- のほうが -- ▁publicly -- 教师 -- пля -- 護 -- 不相信 -- 山口 -- ▁gefährlich -- ▁johnny -- ▁punct -- فهم -- 形象 -- ▁lump -- 神奇 -- 不是吗 -- 赚钱 -- 有意义 -- জি -- ▁йо -- ▁bonds -- 겠 -- 糟糕的 -- ▁shaken -- ປ -- estudi -- ▁prose -- ▁chains -- 伝わ -- cac -- ▁wist -- قت -- ▁spectator -- 庫 -- ▁comparatively -- ▁zulk -- ▁notable -- ▁Пры -- cida -- ▁sustained -- volk -- ▁сторон -- ▁Kongress -- いたのは -- ần -- ▁pow -- ▁waving -- ▁breathed -- 供应 -- ▁höchst -- ▁получил -- ▁juda -- 僕も -- ▁Manchmal -- ▁banner -- үз -- ▁corpse -- 心中 -- ▁einiger -- 确实是 -- bericht -- ▁Orte -- ▁Angel -- 服装 -- 柴 -- ▁Аднак -- 三天 -- ▁Umgebung -- ▁Flor -- ▁corte -- ▁migra -- ▁expanded -- ▁positioned -- 始まる -- ▁تش -- ▁Бу -- 线索 -- чал -- ▁Big -- 的父母 -- 融 -- ▁philadelphia -- ▁concrete -- ▁hacia -- いるので -- ▁niemals -- gyn -- ▁schneller -- ▁compris -- ることで -- 有一次 -- 凤 -- ▁tribunal -- ▁engineers -- таб -- drücke -- ▁voran -- ▁dumm -- 싶 -- вшись -- ▁anstatt -- ront -- なんとか -- garten -- 恐らく -- коло -- '34' -- 等于 -- acqua -- 觉得自己 -- ▁manier -- ▁voz -- ことが分かりました -- だけでなく -- ▁بالا -- ▁большой -- 的第一个 -- 누 -- 整体 -- яў -- 这个世界 -- ▁dishes -- たくさんの -- ▁över -- ▁shocked -- 经历了 -- 栄 -- ▁pleasing -- ابت -- 物理 -- koresha -- ▁ojos -- ▁Parliament -- いらっしゃる -- பதி -- 一杯 -- 標 -- 难以 -- ▁dien -- ▁buena -- ▁якія -- の間に -- ▁naval -- ▁teori -- 责 -- ▁plato -- өрө -- kera -- ▁searched -- ▁remembering -- ▁ceva -- ▁interpretation -- ▁месте -- ▁deemed -- ▁positiv -- azioni -- ▁exhibition -- ▁davant -- ▁dome -- 少女 -- geschäft -- 难过 -- sanga -- ▁loudly -- ▁sinner -- werp -- 马上就 -- rima -- ▁থেকে -- 玻璃 -- رح -- ▁begannen -- ▁cherish -- ▁bail -- ่อ -- ▁Ara -- потреб -- ආ -- ເ -- 보다 -- preis -- ▁McC -- ▁creep -- ▁behandelt -- フル -- ▁fees -- اك -- 打破 -- ستر -- лены -- ▁drowned -- 卑 -- ▁unabhängig -- ৰি -- きれい -- ▁mô -- 知道我 -- treffen -- ▁People -- 你今天 -- 还可以 -- 最初に -- 新型コロナウイルス -- ▁announce -- ▁ocup -- ▁решение -- 请求 -- issant -- trek -- ▁bout -- ▁Great -- 自ら -- ▁نوع -- ▁ribbon -- おいしそう -- ペン -- ▁ibintu -- ziri -- нский -- るんですか -- ▁திரு -- ancia -- ▁exploit -- 厳 -- ▁contemplate -- كە -- 工厂 -- foc -- ▁inquiries -- ▁observer -- ▁entry -- cora -- িত -- ивает -- ҙе -- hield -- equip -- を与え -- 相同的 -- ▁practic -- ▁smallest -- 年度 -- ▁unity -- 値段 -- 就像我 -- ৰা -- 一篇 -- ▁reducing -- ▁مص -- ▁wrist -- 小さい -- 遇到了 -- ▁injustice -- ච -- 就是我们 -- ▁gasped -- 之中 -- ▁zouden -- home -- 它们是 -- ▁مختلف -- 蔵 -- ▁Madame -- ▁manche -- 婆 -- intel -- ようになった -- ▁দেখ -- ▁controlled -- ▁fazla -- ▁coral -- remos -- ▁bending -- 瞒 -- おっしゃって -- ▁Não -- ▁provinces -- ▁peng -- ▁мала -- 你可以看到 -- ▁florida -- ▁Estas -- ▁disclose -- 说服 -- 错过 -- 浸 -- 認 -- ត -- ▁flexibility -- ▁entertained -- 実施 -- ▁diamonds -- あんた -- 这首歌 -- ▁frac -- 生きて -- '46' -- ግ -- の名前 -- ▁thorough -- ▁multipli -- ким -- ▁dahin -- 尸体 -- ▁seeds -- 遅れ -- asso -- boj -- bě -- grand -- ▁Mini -- 因为她 -- යක් -- 仔 -- 岳 -- ▁Lass -- liku -- ием -- 花园 -- ▁besoin -- ▁anos -- 诸 -- ▁oogenblik -- ニューヨーク -- ▁può -- ▁British -- 提到的 -- इ -- 出口 -- ▁legacy -- ▁fraud -- ▁corporation -- 見えます -- ัก -- 歌手 -- بخ -- ј -- 藤さん -- ▁있었 -- 找我 -- ▁Hinter -- 並 -- ▁vraiment -- ▁bann -- வ் -- টে -- デビュー -- ▁consolation -- 欣赏 -- 変わった -- 摆脱 -- 我当时 -- 这句话 -- ▁loans -- ▁verkaufen -- 飾 -- ▁Sex -- 飲食店 -- валь -- ▁alexandr -- ▁нормально -- 所谓 -- ▁вещи -- 余り -- υ -- ▁drill -- ▁preceding -- 斗争 -- 我们从 -- ▁Stand -- 的母亲 -- länder -- imiz -- 一些事情 -- ▁zweifel -- ▁quanto -- ▁salon -- 穆 -- ▁misschien -- ▁Motor -- ▁prev -- qü -- ebla -- 指定 -- szcz -- ▁ambitious -- 面包 -- uganda -- 雾 -- 営 -- بور -- рин -- ▁tribu -- 元素 -- ▁alongside -- 哀 -- 했는데 -- ▁negli -- ▁أنها -- 第五 -- ▁Rede -- ▁Nova -- ซ -- 始めて -- ▁fuck -- にとっては -- 问问 -- ▁tenemos -- 狭 -- το -- 人たちが -- ▁kya -- ▁Ing -- ▁हो -- こうして -- obten -- ▁العالم -- 我才 -- ▁antaŭ -- ▁yielded -- ▁treu -- 说说 -- ында -- slag -- ▁bella -- ▁руки -- 편 -- 劇 -- ▁krijg -- '700' -- 输入 -- ▁erzählte -- ▁quasi -- ▁hommes -- 何度も -- lý -- 逐渐 -- ▁банк -- ▁komt -- 咩 -- насць -- ▁dürfen -- ▁прад -- ▁இட -- ங்களை -- noma -- რე -- かれた -- ыць -- 邪恶 -- ▁ĉiuj -- 怎么做 -- 地域の -- ▁cough -- ▁многие -- 膜 -- دام -- ▁calculation -- ▁студ -- 农民 -- に向かって -- ▁machinery -- fühl -- ▁jonge -- 这就是我们 -- 活用 -- 长时间 -- Ө -- モデル -- ▁mandat -- ▁neighbours -- 狙 -- వా -- рот -- ▁clue -- ▁mentre -- алга -- شون -- 这样的人 -- ▁fanden -- ▁weekend -- ▁heroic -- ▁Kamera -- ▁recommended -- ▁Komp -- ▁geschlossen -- ▁Hintergrund -- ▁normally -- ▁viu -- 感染拡大 -- ▁كۆ -- eqq -- 代理 -- ▁زمان -- بدأ -- alde -- ▁түүний -- ▁elector -- 看一下 -- ▁thor -- لند -- ▁побед -- うえで -- 竜 -- ▁проблемы -- ▁стране -- aggi -- چە -- ▁selle -- ストレート -- Ү -- 燃料 -- ▁constructed -- ▁henri -- stricken -- ▁прошло -- ▁misma -- шке -- рош -- èl -- ▁ehemalige -- 亿美元 -- orna -- тая -- న్న -- ということになります -- 青年 -- gezeichnet -- ረ -- Ingenieur -- ショット -- ▁tricks -- 我可 -- ßen -- ▁glowing -- 노 -- ▁hymn -- ▁olive -- ▁towers -- 莲 -- sponsor -- 自体 -- энне -- фо -- ▁feeding -- ▁nueva -- 下一 -- ▁کردند -- makers -- biro -- 合法 -- 在线 -- andra -- ▁spraw -- 再来 -- პ -- 培养 -- 乔治 -- いただきました -- ▁знает -- ▁mason -- gence -- umbu -- どころ -- ▁داشته -- போ -- ▁downstairs -- ▁بم -- 出た -- 是一个非常 -- ▁judged -- ល -- muka -- ▁ashore -- ▁Ausbildung -- opera -- hour -- بوو -- 祸 -- ▁collapse -- 的角色 -- 2% -- 挨 -- ŵ -- 脂 -- vallen -- 急に -- ▁campo -- fili -- ბ -- тары -- mien -- ศ -- ▁intercourse -- ผ -- ▁Rahmen -- пита -- ▁gast -- 好奇 -- 轨 -- 乐队 -- ование -- 没有办法 -- 脑子 -- ▁traveling -- ural -- 笑话 -- ▁polític -- どこに -- 这些是 -- 면서 -- ▁Wy -- ически -- 话说 -- jó -- 過ごし -- ической -- 鈴木 -- に入れ -- jährige -- kurs -- ▁formidable -- ▁pinch -- ▁assigned -- ▁Können -- ▁verdienen -- уют -- werte -- ▁fluid -- ▁پێ -- брос -- ▁avoided -- чих -- ▁memiliki -- バランス -- ▁kell -- ▁Anem -- ▁richtigen -- сси -- ▁amazed -- برد -- بال -- ▁Quant -- ▁могли -- вест -- ▁supplement -- ▁Werkzeug -- 暴露 -- unch -- ▁terrace -- voor -- 戏剧 -- 大好き -- ète -- 姜 -- ▁어떻게 -- ▁Figur -- raba -- ▁sina -- 最佳 -- 廷 -- 八年 -- ▁Rücken -- 大夫 -- lustra -- ▁flush -- ▁difícil -- ▁rejoined -- ▁Oni -- رز -- ▁reinforce -- 女的 -- ▁patterns -- ありますね -- avais -- ▁ceux -- çar -- 膨 -- ▁triste -- 場面 -- ちゃって -- луу -- шиг -- கூட -- 成分 -- ▁senza -- ▁опас -- ▁negoci -- flamm -- wirtschaft -- もそう -- 五百 -- 标签 -- ▁Auge -- woord -- を守る -- 坑 -- アジア -- ▁것도 -- ▁vaccin -- 隐藏 -- ▁côté -- теля -- 复杂的 -- bö -- ▁shells -- 크 -- 履 -- それだけ -- prise -- control -- zwei -- ▁parlament -- Italia -- 邓 -- ▁alto -- ▁chuck -- していない -- ならない -- ▁yaşa -- ให้ -- альна -- шёл -- ▁Obama -- ▁Road -- ▁exclamation -- ▁tới -- شكل -- 给予 -- 有利 -- 現実 -- 跟我们 -- 世界各地 -- astro -- ▁More -- ▁Vergleich -- だということです -- 晃 -- 爆发 -- 父親 -- elimina -- ▁completion -- ▁kostenlos -- ▁wussten -- 年以上 -- 这么多年 -- たかった -- ▁acute -- таў -- ▁conquered -- ▁benshi -- ▁Sau -- ▁torch -- ▁мире -- ▁maintaining -- ▁spider -- child -- ▁baker -- ▁тийм -- 鍋 -- ▁dasselbe -- ▁Best -- ▁offend -- ▁язык -- ▁insects -- 踢 -- ਸ -- ئی -- لَ -- ▁agitation -- Alb -- ▁Bord -- ▁göre -- ▁Quer -- ▁attach -- ▁sinking -- 这可能 -- 呼び -- 朕 -- 彭 -- ▁reluctant -- ியா -- zukommen -- ике -- ▁좋아 -- 国防 -- 掘 -- ▁Museum -- ▁saba -- ▁Zug -- ▁mußte -- лена -- ▁لن -- ▁độ -- 老鼠 -- ▁öffnen -- ▁vorne -- ▁batter -- できません -- Vi -- 资格 -- ▁hazard -- gata -- ▁nancy -- ▁гос -- ▁economi -- 太平洋 -- んじゃないですか -- ▁выгляд -- ▁الأمر -- ▁marvellous -- 西班牙 -- ходить -- ▁Party -- ▁stack -- دىن -- 但我们 -- ▁muchas -- ▁ҡу -- čí -- ▁halbe -- 葡萄 -- ▁Pil -- ▁dwelt -- ▁havis -- ▁adoption -- ▁différent -- 各种各样的 -- 당 -- 会社の -- gebrochen -- ség -- 的消息 -- 勢い -- ின -- ▁participation -- ▁fühlt -- 灵魂 -- 叹 -- дея -- 指控 -- ▁möglichen -- schlaf -- icio -- lili -- ▁aufgenommen -- 各地で -- ▁logical -- 目が -- ▁котором -- ▁competitors -- 待ち -- 配合 -- ▁لأ -- ▁adjustment -- 足球 -- ▁muti -- ▁germ -- ▁이거 -- の情報 -- labora -- っち -- 古代 -- пат -- ▁cai -- 自杀 -- 打击 -- ▁charlie -- лага -- くれた -- ▁север -- kenntnis -- 可爱 -- 公里 -- 看起来像 -- ▁virtual -- ▁guitar -- streit -- gawa -- ▁Such -- 1% -- ▁weiße -- ▁ivan -- ▁خلال -- ▁Wohl -- ▁leise -- ansi -- 逻辑 -- 하게 -- ▁oxford -- ште -- ▁revel -- ▁sahip -- bintu -- ▁tien -- ▁trauma -- ▁trước -- ▁honourable -- ▁probability -- Est -- ▁Mak -- gereza -- 矢 -- ▁lớn -- 回復 -- ▁brisk -- rende -- プレ -- emis -- 我开始 -- ▁potent -- 客气 -- 几次 -- 还记得 -- това -- ▁mevrouw -- ▁eighteenth -- ывает -- ▁fing -- wohl -- こちらは -- 是对的 -- iện -- jana -- 得更 -- 连续 -- ▁süre -- ائل -- தாக -- 在里面 -- 走り -- ▁ardent -- 的事儿 -- buk -- ▁chuyện -- wuchs -- زى -- ▁allgemeine -- 肠 -- 吻 -- 抱歉 -- 得太 -- ゼロ -- 这个东西 -- ▁March -- 听说过 -- ▁زمین -- ▁fragment -- ▁بودند -- 舒服 -- ジャー -- öpfe -- ▁dieselbe -- 要請 -- ▁reasoning -- modell -- لات -- xxam -- 斯坦 -- 的天气 -- ▁خل -- ▁cùng -- introdu -- 有名 -- Й -- 稀 -- meni -- ▁Proto -- 这是你 -- vocation -- 大丈夫です -- ▁плане -- なもの -- ▁Erfahrungen -- しましたが -- 賃 -- ▁welcher -- ▁riep -- ▁legisla -- けた -- ▁мной -- hong -- ▁você -- ▁baseball -- ▁slap -- objet -- ▁Nda -- ▁شيء -- ಯ -- ijas -- vēl -- ĝo -- mada -- ▁mystic -- EC -- 課 -- ▁experts -- 杂志 -- 昭和 -- 因为这 -- ▁yose -- ▁preference -- ▁Flug -- 簡単 -- ▁impatience -- 쓰 -- プレゼント -- หน -- ▁ولی -- ▁slay -- ▁så -- 今後の -- ▁числе -- ▁ຢູ່ -- ▁хотите -- ▁никаких -- ▁நட -- lette -- mong -- していると -- ▁več -- ▁dismissed -- ▁Wissenschaftler -- ▁liquor -- ▁pursuing -- を目指す -- glaub -- бро -- ▁buff -- 下班 -- ▁ilk -- ▁Untersuchung -- ▁Tradition -- ▁linked -- ▁knit -- ▁successor -- linie -- ▁Matt -- ▁количество -- ▁French -- センチ -- நேர -- ário -- ▁insect -- aigua -- qq -- アフリカ -- ރު -- キング -- の一つ -- ▁converted -- ▁vault -- wain -- schel -- samkeit -- ỉ -- ▁personnes -- ▁staircase -- 咨询 -- ▁slumber -- ▁Со -- corr -- schicht -- ▁clasped -- sigur -- ▁concur -- 姉 -- ▁hẽe -- ▁pueblo -- ▁Cat -- 任何事情 -- ▁جهان -- 去哪儿 -- нных -- marin -- kaya -- ▁Todes -- ләр -- ▁Gan -- ੇ -- ▁routine -- 竞选 -- 如果是 -- 生病 -- ▁punished -- ▁libre -- قات -- ▁bamb -- ▁demonstration -- ▁retained -- ▁nhìn -- ▁엄마 -- ▁Worten -- kapa -- ල් -- ▁siege -- ▁üç -- を伝え -- 女生 -- ▁schützen -- ▁família -- 严格 -- ▁singer -- 青春 -- ▁Besitz -- ▁poems -- しております -- 考试 -- わら -- 女の子 -- バル -- ▁Merc -- ▁scope -- なきゃ -- 不是一个 -- ▁loyalty -- 躺 -- 研究所 -- ▁juffrouw -- 英尺 -- ▁verkauft -- груз -- ▁jongen -- 贝尔 -- ▁أع -- ▁pai -- 读书 -- 现在已经 -- 问道 -- 很长 -- щих -- esca -- ckel -- ▁thanked -- ▁Produktion -- ▁Milliarden -- 子供たち -- ▁bodily -- gada -- 鉄道 -- گل -- 显 -- ▁Both -- ▁carrier -- fér -- aime -- 的许多 -- arrêt -- profit -- ▁breathless -- いたら -- 妖 -- が一番 -- ▁verbessern -- 瘦 -- ▁mall -- ないので -- ▁traces -- ▁timp -- 后悔 -- téri -- 向前 -- یز -- 範囲 -- ▁dealt -- 乖 -- ▁desirable -- 去看看 -- 考える -- ▁erster -- лик -- ▁рассказыва -- サイト -- ıldı -- клон -- 即使是 -- ▁Home -- ngingo -- 際に -- ▁abode -- してます -- ▁всю -- ▁près -- 興味 -- 街道 -- wè -- ški -- ▁precaution -- 芽 -- ▁원래 -- 解决方案 -- ▁이러 -- 届け -- ▁collective -- ▁pious -- kina -- ▁Struktur -- tata -- 든 -- ▁trotzdem -- AR -- ▁offensive -- おき -- Tech -- ▁Ал -- 最后一个 -- ▁Dorf -- ▁Deutschland -- ちゃんの -- してほしい -- ▁streng -- வும் -- ▁horrid -- ▁Kontakt -- ▁molly -- 牧师 -- sprache -- ▁Haushalt -- 昌 -- ▁Fünf -- ▁regain -- ▁Ländern -- 考えた -- 一起去 -- ህ -- ▁terrified -- ▁learnt -- ▁witnessed -- ▁trov -- ▁keiner -- ▁Beziehungen -- 把我们 -- زل -- ▁amafaranga -- 起来了 -- ▁franchise -- ▁abundance -- ▁atlantic -- ▁airport -- كس -- せない -- kong -- ▁conclu -- 的态度 -- 的音乐 -- ▁Sind -- 蜂 -- ▁nữa -- たんですけど -- 回报 -- ுடைய -- ▁domini -- ▁shillings -- ▁encara -- ▁entgegen -- ţă -- виз -- ▁обще -- ަށް -- ▁Verwaltung -- ▁شروع -- ▁Aktivität -- 癌症 -- yandi -- ▁seulement -- 得好 -- esprit -- yaga -- 想办法 -- ▁Francisco -- の予想 -- ▁Wein -- 晶 -- ït -- تنا -- ▁serie -- ▁characteristics -- ▁mesmo -- ▁Schulter -- 阔 -- ▁کے -- laki -- nood -- 的状态 -- sett -- フト -- ▁Virginia -- メーカー -- ▁acum -- ▁Vila -- muş -- кана -- カラ -- ▁tract -- ▁шар -- fordern -- スマホ -- 季節 -- ▁داده -- ново -- 減少 -- 任何东西 -- ▁части -- ები -- යේ -- へん -- ▁consolid -- 惩罚 -- ▁Krebs -- ▁pregunta -- ▁дараа -- ▁barri -- ▁кроме -- ▁поле -- 受欢迎 -- коў -- lux -- 柜 -- iek -- 店舗 -- itari -- 参考 -- भा -- ▁договор -- ▁recess -- atura -- 识别 -- ▁bieten -- ▁என -- 換 -- ▁Fortschritt -- ▁trotz -- ▁youngest -- कार -- 对对对 -- க்கிற -- 跑了 -- 予約 -- 颗 -- ▁lawyers -- ▁своим -- ▁Nya -- 嫂子 -- ▁mining -- ▁submitted -- ▁кил -- ▁guided -- 女性の -- 안 -- 迁 -- ทํา -- ▁bắt -- ওয়া -- 温泉 -- नी -- ▁bike -- ▁tossed -- ஸ்ட -- ▁Brand -- ▁ثم -- ▁Ти -- 纠 -- ▁சரி -- 었어 -- ▁emerged -- ▁versuche -- これまでの -- 包含 -- ▁offended -- ▁già -- ▁passer -- 您说 -- 锦 -- klin -- ▁rechten -- 地球上 -- тара -- ▁machten -- 下次 -- ▁privat -- 疾 -- ను -- ▁slice -- தற்கு -- ▁destination -- てしまった -- дали -- 你可能会 -- ▁comprehensive -- ワイ -- 数が -- τα -- amiento -- рать -- ▁Theorie -- らせ -- Music -- ▁columns -- ▁зрения -- 坊 -- ▁incapable -- 내 -- 一根 -- ▁Jun -- ▁guerre -- ▁prudence -- ▁spielte -- жим -- kiwa -- කි -- ▁relax -- ifiziert -- ▁Slide -- ▁errand -- ▁drawer -- 年生 -- 落とし -- てない -- ▁reserved -- ▁мира -- 惹 -- 鶏 -- ▁suffice -- ▁premium -- ▁handful -- été -- ▁олон -- であれば -- party -- ▁истории -- 看待 -- ▁работы -- ▁اینکه -- ▁borders -- 最大の -- енным -- 終了 -- čno -- ▁winding -- 加拿大 -- あんな -- ▁Johnson -- ってください -- beera -- ▁dreaming -- ▁tropical -- 方案 -- ویل -- ▁georgia -- සා -- ▁있고 -- ▁amidst -- 扯 -- เขา -- ▁emerging -- ▁Roger -- ▁projet -- ستی -- ▁Gel -- ▁drap -- ▁spit -- hund -- мак -- 议员 -- 际 -- zusetzen -- ピッチャー -- 意大利 -- விட -- رض -- ▁rép -- ▁хө -- ▁Long -- 带来的 -- ▁слож -- 扮演 -- нк -- ▁அறி -- ▁converse -- 超越 -- 引き続き -- JR -- 大手 -- fowl -- pata -- ▁goddess -- 妃 -- ▁commend -- ディー -- рис -- ▁Hotel -- ラスト -- ním -- rän -- gah -- 多个 -- 教え -- 佐藤 -- ▁boldly -- 悩み -- ▁которого -- 自転車 -- ちゃんが -- 核心 -- vacu -- ▁resent -- ▁último -- 的大脑 -- 发言 -- cule -- ▁wählen -- ― -- 辱 -- 강 -- ruka -- 傾向 -- еду -- ▁reicht -- ▁répondit -- дин -- 绳 -- 雕 -- 你知道我 -- 工作人员 -- ▁boiling -- ▁моск -- 顺利 -- ▁polic -- terior -- ▁sect -- 荣誉 -- хэн -- わせ -- irdi -- itatea -- ▁draft -- 的衣服 -- تور -- 3% -- 堵 -- யோ -- ාව -- να -- raub -- 悟 -- 侯 -- ▁entschieden -- ▁Zeichen -- 感謝 -- ▁Planeten -- ▁fueron -- 就知道 -- ▁loi -- iteit -- ▁gestern -- ▁otras -- ▁Öl -- ▁neighbour -- ▁standpoint -- сар -- 完全に -- 不舒服 -- VTR -- ▁spaniards -- ▁Sozial -- ▁dirt -- ▁hwn -- 颜 -- 晨 -- abanya -- рий -- ▁chiar -- 斤 -- ▁getötet -- ▁unnecessary -- bizi -- brew -- ▁پار -- Plattform -- ▁gewonnen -- 規制 -- 发送 -- を使う -- ▁priority -- ▁Geheimnis -- ▁suspended -- 同時に -- geteilt -- ▁willingly -- ▁seien -- ▁Unser -- 不动 -- ▁Fund -- AS -- ▁nama -- ކަ -- 感动 -- ţii -- american -- 你们都 -- ▁justify -- ▁steward -- ▁Kim -- 舅 -- мур -- 袭击 -- اشت -- ▁реально -- 正直 -- 没问题 -- līdz -- 最後は -- 阶 -- 남 -- ▁bản -- ▁이게 -- ▁இரண்டு -- 歴 -- ▁нэр -- ▁Wol -- ▁clung -- 大使 -- ▁Flo -- ▁Industrie -- udge -- ▁massa -- ▁此外 -- ▁clergy -- のもと -- 免疫 -- ▁работает -- 相撲 -- ▁থাক -- ▁candidate -- かなと思います -- 跟大家 -- ordre -- hala -- ▁canadian -- 小朋友 -- aña -- ▁coordina -- teeka -- plin -- といって -- 抗议 -- 羞 -- ង -- ▁spreading -- ▁sadece -- ▁einzelne -- 的任务 -- ▁Tā -- ▁sinh -- ▁allies -- ▁behave -- ▁wildly -- ▁generated -- パラリンピック -- 这段 -- 明星 -- سبب -- 時間を -- ▁strand -- presi -- 준 -- 抱怨 -- 首脳 -- ▁Market -- ▁Harris -- ▁Unit -- atrice -- boden -- 清晰 -- ماذا -- 大学の -- ţe -- விட்ட -- ▁innovative -- ▁database -- 肯定会 -- ▁capa -- ▁actua -- morph -- ▁einzelnen -- bali -- ▁juan -- いだ -- 忍受 -- ▁creator -- ▁Denk -- urwa -- ս -- ▁artillery -- މަ -- ▁توسط -- ▁gilbert -- んや -- stürzt -- ▁telah -- あい -- ▁situé -- 笔记 -- ってくれ -- ضحك -- ▁anthony -- wissenschaft -- しゃ -- ▁tante -- 一点点 -- ▁большая -- menya -- ӗ -- ရ -- 规划 -- ▁vilaĝo -- 合って -- ▁preacher -- ▁ноль -- ▁verder -- 从事 -- ▁spreche -- ▁potatoes -- ▁corpo -- था -- ▁faz -- ਨ -- ▁geliebt -- 放松 -- 的产品 -- ▁Angriff -- ▁thật -- ▁irgendwo -- curi -- 高校生 -- ▁petr -- ▁Their -- проч -- ニュー -- ▁spared -- ފ -- 这个节目 -- 戒 -- ▁Nachde -- 千葉 -- ibyo -- τη -- 就好 -- ▁fortnight -- 周末 -- 見ていきます -- 我想知道 -- хам -- ▁consumption -- ▁আৰু -- ▁sympathetic -- ▁Konzept -- んだよね -- ▁Geräusch -- んだって -- ▁subsequently -- ▁Russia -- ▁کسی -- ことがある -- ▁afforded -- ự -- まえ -- pfa -- flug -- ▁queste -- ▁progressive -- 似的 -- mita -- кет -- ▁sentir -- 桌子 -- ▁хочет -- ▁Rasse -- ▁Fällen -- anın -- があるんです -- 築 -- рван -- と共に -- ▁Dick -- マジ -- 此时 -- ▁Spo -- ▁bonnet -- ҥ -- āju -- 扩大 -- 这两 -- 体重 -- ෙන් -- шил -- مَ -- 也能 -- tiere -- 但在 -- 唤 -- ▁çocuk -- ▁heutigen -- 冬天 -- ▁Put -- 彼らは -- ▁guarded -- ▁نشان -- 向我 -- قام -- stained -- ▁estoy -- 靠近 -- ▁protein -- ப்பட்டது -- 争论 -- ați -- ่น -- ▁buchstäblich -- ▁усё -- ▁Lor -- тура -- ▁pensi -- まん -- وض -- ▁evangeli -- 是非 -- полага -- 原始 -- عي -- ிலும் -- мян -- 不信 -- afi -- ድ -- 拓 -- ふだん -- 消失了 -- ▁يتم -- ▁amusing -- ▁punch -- ▁när -- 听到了 -- 资产 -- ▁Kath -- 哭了 -- ▁tremble -- ▁leiden -- ánh -- 有助于 -- ▁prosper -- itse -- ▁عليه -- рев -- சை -- ▁Haut -- ▁внимание -- 详细 -- ▁있잖아 -- 投資 -- ▁garanti -- град -- ▁가서 -- ▁другом -- ごと -- 新鲜 -- ▁faintly -- ▁Amazon -- ▁Ан -- 耀 -- ▁Erklärung -- IC -- 反而 -- quarter -- ▁来一首 -- 性别 -- 罩 -- ▁charlotte -- ▁attained -- ▁детей -- ▁profond -- ▁نیز -- ▁Яны -- 但是如果 -- ▁Männern -- ▁поскольку -- 配置 -- gespielt -- ▁eran -- ▁Fur -- ▁algunos -- ▁unua -- ▁отношения -- 菊 -- 姐妹 -- 選手権 -- 护理 -- ▁strive -- wright -- 誓 -- ▁halted -- Argent -- ▁поводу -- ▁morir -- ▁Gewinn -- ▁seguir -- ▁requested -- '37' -- ▁Alice -- 我跟你 -- ▁schlimm -- ▁генерал -- 挖 -- χ -- ▁кооператив -- 蓄 -- 自動車 -- ▁merchants -- ▁그래도 -- autor -- ▁Те -- ▁wichtigsten -- 考虑到 -- нә -- ▁Ray -- 埼玉県 -- ź -- 咪 -- ▁удар -- 広がり -- 叫什么 -- 或许 -- ûn -- ▁November -- geworfen -- ধা -- ▁assuming -- ▁Außen -- ▁Debatte -- ▁nhân -- 利亚 -- ▁muslim -- гээ -- Michel -- ▁serait -- 山さん -- ன்று -- bris -- ▁telegram -- 笨 -- 陶 -- عرض -- '198' -- 調べています -- 会发生什么 -- ▁smash -- ▁петр -- 盲 -- ෂ -- ▁вроде -- ▁sólo -- ▁Times -- 信用 -- 술 -- 파 -- 訪問 -- ▁mı -- komst -- ඳ -- ▁александр -- ▁happier -- 毫无 -- ▁Roma -- ▁kalt -- niveau -- қә -- kurikira -- 終わった -- твар -- poro -- аваць -- 你就是 -- ▁deserved -- īja -- '33' -- ¡ -- 陰 -- ▁speculation -- 警察官 -- 大きさ -- 八十 -- visa -- ▁rey -- 十万 -- seks -- 也得 -- 去年の -- ▁Andrew -- 我刚才 -- 这可能是 -- tausch -- 继 -- ▁conspicuous -- ▁remembrance -- gebung -- ▁скажу -- 旅游 -- ▁jedno -- schreiben -- 相处 -- ▁respectful -- ▁plague -- すべての -- 不幸 -- чна -- ென் -- kuta -- ▁vehicles -- stell -- 每周 -- 之处 -- 给您 -- ацион -- ▁Anna -- わけですね -- म् -- ▁tempted -- おととい -- ▁جای -- 而已 -- 赤ちゃん -- covid -- page -- ระ -- ▁fig -- ッツ -- 年前の -- ▁theories -- 究竟 -- − -- wanga -- prost -- ▁pony -- ▁heures -- ▁samuel -- seitig -- 就跟 -- ▁дуу -- どうなる -- かかり -- 整天 -- もう一つ -- 倾向于 -- 溪 -- ▁prevailed -- ▁یاد -- ▁climbing -- пот -- ▁sõ -- führt -- чо -- ▁investigate -- sobola -- jski -- 忧 -- दि -- ▁mike -- ▁Song -- wish -- ▁Tä -- 形状 -- စ -- asyon -- ▁roast -- haired -- ▁vais -- 記者 -- тим -- ▁luke -- ඒ -- ặ -- ▁confederate -- 올 -- ▁masa -- credi -- ەکان -- Work -- udio -- ▁disagree -- 向他 -- 傘 -- kämpft -- ▁довольно -- Смех -- ▁vraag -- drag -- ▁proto -- ▁sûr -- 的建议 -- ▁seeming -- حمل -- 耍 -- ▁whereupon -- ▁carries -- 抵抗 -- の結果 -- 陵 -- ▁Zwischen -- 매 -- 菅 -- 博物馆 -- 六个 -- werken -- すぎる -- ▁darunter -- ▁intervention -- を示しました -- ▁implementation -- 共有 -- cji -- ▁embargo -- 줄 -- ▁negotiations -- ▁torrent -- rilla -- 都已经 -- 更重要 -- 水分 -- డు -- ▁شوند -- ▁null -- خارج -- ▁usage -- をしていた -- 扶 -- 문 -- 산 -- 列表 -- ▁suited -- улы -- ▁выступ -- それも -- 袖 -- 次は -- 始めました -- ▁approximately -- を続けて -- 这座 -- ێن -- ▁compass -- ций -- ▁quaranta -- ▁tym -- ▁bibli -- مات -- ▁بىر -- klad -- ировал -- 你不要 -- ▁необходимо -- ▁promising -- ▁Meilen -- lege -- loge -- ▁figured -- 申し -- ときは -- ▁equality -- 之类的 -- ▁erhob -- ケーキ -- 認識 -- ▁reconcile -- ▁yabo -- ▁debat -- コード -- haya -- 那我就 -- 惨 -- 昆 -- ▁слишком -- お互い -- 交渉 -- ▁Daher -- ▁plea -- ▁habia -- 会让 -- чны -- 孕 -- 笑了 -- 喜马拉雅 -- 訓練 -- ▁говорили -- ▁места -- 編 -- рма -- 組み -- 就开始 -- त्र -- ▁تخ -- вший -- ▁Grenzen -- 我以为 -- 注册 -- 伝統 -- ரே -- ▁Sendung -- ▁souvent -- 绝望 -- ▁gesicht -- гьы -- かけた -- ▁franz -- 砸 -- ▁ఆఁ -- ▁pauvre -- ▁rejoice -- 本周 -- lamp -- נ -- ▁cuộc -- ▁donald -- 行きます -- 这是一个非常 -- тав -- 上がった -- 就是一个 -- istischen -- ή -- кина -- に行った -- ▁Nick -- నా -- ▁clearing -- ▁tinha -- 에는 -- タル -- 乃 -- zeichnung -- ▁товарищество -- 桜 -- 卒業 -- يه -- ▁luz -- 왔 -- ▁qo -- ladı -- baum -- 完美的 -- 疗 -- いるという -- ▁verdient -- 오 -- ▁слыш -- ище -- ▁tact -- middel -- 迎えた -- 玲 -- お二人 -- ▁curtains -- alimenta -- ▁tooth -- のですが -- ▁foresee -- Risas -- àtic -- コメント -- 产业 -- ▁Lager -- gewalt -- んでしょう -- حص -- ▁fühle -- ▁respected -- 宣传 -- 行吗 -- たこと -- चा -- bürger -- ▁alchemist -- ▁Jones -- чака -- ▁шест -- ľ -- 俱乐部 -- ▁денег -- 繰り -- karte -- 黎 -- 比你 -- ▁shrill -- піс -- ▁accordance -- තා -- ▁بشكل -- 营销 -- ▁halo -- ▁washing -- ▁heath -- ワーク -- ▁mature -- ▁Wohnung -- ▁representatives -- information -- ھا -- material -- ▁rosy -- ▁regulate -- ▁cinquanta -- ▁veteran -- dov -- 只需要 -- ▁hull -- ▁但是他们 -- 跟她 -- 产生了 -- 時には -- 一颗 -- ▁riot -- 这并不 -- ▁pagan -- ▁veux -- ▁evolu -- luck -- ▁será -- ▁übrig -- ▁resta -- 负担 -- ▁başka -- ▁пример -- ▁parle -- ন্ত -- estro -- ▁Regeln -- vió -- 尿 -- ුණ -- 素晴らしい -- ▁தொ -- pí -- phra -- ▁efter -- 糸 -- ု -- 楽しめる -- ▁persian -- ▁Fil -- ▁возник -- 了下来 -- ▁willkommen -- 饱 -- 糟 -- 畑 -- ▁gigantic -- ▁buffalo -- ▁meditation -- ユー -- ▁solemnly -- よろしくお願いします -- ▁explica -- 溜 -- ਦ -- ▁wünschte -- 備え -- lige -- ubwi -- виду -- 我不认为 -- очка -- خان -- ancien -- ▁supposing -- ▁gloves -- ▁lahko -- ▁работу -- 访 -- sional -- 所以我想 -- ከ -- ገ -- และ -- シリーズ -- てくれた -- ▁смог -- ▁Lied -- の方に -- ▁confront -- ▁சில -- ▁parler -- ▁agnes -- 坎 -- 撕 -- ▁medizinische -- 少数 -- Man -- 正义 -- 微博 -- ıcı -- ▁jungle -- طب -- ▁vicar -- ▁Grad -- ▁thereof -- 像你 -- lach -- '38' -- ▁Verständnis -- ▁энерг -- ギャ -- ▁blog -- 一个新的 -- ▁samo -- IP -- ▁junior -- ▁kümmern -- ▁commis -- burger -- 機会 -- ▁хол -- ブリ -- ▁توان -- อง -- 沼 -- ▁calendar -- ▁angefangen -- ▁கொ -- 这时 -- 敏感 -- ▁tlie -- というのを -- ▁fürchte -- excursió -- ራ -- ツアー -- 天堂 -- ▁oficial -- 達成 -- bouw -- ▁forbidden -- 全ての -- 価値 -- ▁bruce -- ジー -- 胶 -- ▁Lernen -- 我有一个 -- 野党 -- обр -- あさって -- いるのか -- ▁nützlich -- ▁partial -- ▁tempt -- يون -- シュート -- ▁dachten -- 平安 -- ▁ruled -- ▁integrated -- 新型コロナの -- ▁grind -- vina -- ▁сильно -- ▁месца -- んだから -- 可以用 -- ▁dernier -- сет -- cato -- ▁голову -- raient -- ▁ayuda -- くなった -- 開幕 -- baye -- ▁гри -- 所以它 -- 及时 -- プラス -- ნი -- 驾 -- ▁mortgage -- ▁awesome -- 怀孕 -- ▁нават -- дела -- ▁float -- ▁Revolution -- 一看 -- 違います -- ▁садовое -- 槽 -- ▁invasion -- ▁особо -- ▁splash -- 相手の -- عاد -- ▁dla -- 国連 -- ▁contend -- ▁bubble -- ਹ -- 只会 -- ▁tính -- ▁martha -- ▁چرا -- 你不知道 -- risti -- ▁хто -- の天気 -- paka -- ▁المت -- 建て -- коммерческое -- ▁tersebut -- 細胞 -- ▁snapped -- حدود -- 进化 -- natured -- 围绕 -- toren -- 臓 -- 稼 -- 我们认为 -- 新型コロナウイルスの -- ▁adequate -- 监控 -- ▁precipita -- ▁lorsqu -- venue -- 股票 -- ったこと -- ▁inspire -- ▁verließ -- ▁Га -- ▁sensor -- 空中 -- ठ -- ਕ -- ▁Aspekt -- ▁intens -- শা -- 見つかった -- ▁remedy -- みたいに -- ったのは -- ▁greatness -- ▁comunica -- гул -- ఆ -- かさ -- っていうか -- 楽しんで -- 立法 -- ▁müsste -- licit -- BC -- ▁دهد -- ▁Ansicht -- ▁sozusagen -- ▁awhile -- த்துக் -- ▁Apple -- ▁obliga -- ▁dolor -- іль -- ுள்ளது -- ▁Vari -- 批准 -- ▁components -- ▁Latin -- ▁rebellion -- 预算 -- ▁genial -- ক্ত -- 爆発 -- ▁Mannes -- tawa -- ▁சொல்ல -- 炒 -- ▁thursday -- මු -- гур -- ▁gasp -- ▁focusing -- ▁June -- 拿出 -- ▁Bald -- ▁естественно -- ▁настоящ -- 棍 -- 記憶 -- ▁chariot -- ▁comrade -- ▁лицо -- ▁rachel -- メント -- 九点 -- ▁altri -- 有更多的 -- ▁nuit -- 㗎 -- エル -- ▁resolute -- ensemble -- চি -- 就得 -- 的项目 -- ருக்கு -- ▁nannte -- ̣ -- ▁Verantwortung -- 所以这是 -- 将会 -- ▁lemon -- gänge -- 涉及 -- ョ -- kili -- eṭṭ -- ▁Antrag -- ▁blanche -- されていました -- ▁Gru -- 戻って -- ▁تنها -- ことによって -- ▁Town -- ▁leider -- mali -- ▁yep -- 你妈 -- 塗 -- 梅雨 -- ▁добро -- 的速度 -- ▁которым -- 芸人 -- 選手たち -- kord -- bald -- ▁Bol -- plant -- agh -- 伸ばし -- кала -- 我们不能 -- 欣 -- ▁preach -- ▁breit -- ▁இருக்க -- ▁செய்ய -- ▁pilgrim -- ▁voix -- ▁alguns -- ▁veya -- 请问 -- заў -- どこか -- ического -- ती -- rauch -- 的概念 -- PR -- щие -- ranye -- ▁één -- ▁fé -- 政治家 -- drop -- 取消 -- とみられる -- ▁accomplishment -- ▁vegeta -- ▁camin -- アプリ -- ▁assumptions -- mütig -- ailleurs -- ▁Во -- wadde -- prozess -- ▁resulting -- жды -- こん -- открыт -- асці -- ފަ -- ensor -- zaam -- ▁actively -- ksa -- ▁Ці -- juk -- эш -- körper -- インタビュー -- 来来来 -- yama -- чным -- issait -- ▁uncommon -- ▁despatch -- 但他们 -- ▁klas -- ▁Valley -- ▁часто -- ▁tế -- 奪 -- ▁Open -- န -- ▁façon -- なんでしょうか -- ▁gag -- ▁Start -- ▁отдел -- 说法 -- ▁добры -- いこう -- grä -- ▁louise -- ▁gewisser -- reiche -- 崩れ -- ▁fulfilled -- 措置 -- 这话 -- ▁gedaan -- いたい -- ▁wail -- diye -- 近づ -- ▁тобой -- ▁sheriff -- 限定 -- 校长 -- 運営 -- ▁gyfer -- adju -- そうですよね -- 柯 -- ▁occurrence -- ട -- 这一次 -- ▁folgte -- 过得 -- 的专辑 -- 夜晚 -- 事務所 -- 惜 -- ▁aunque -- 等到 -- ボールを -- 夏の -- ▁falta -- ▁frühen -- ▁daraus -- ▁saith -- ▁Mira -- ▁sanft -- 尴尬 -- んですかね -- ▁religiöse -- ▁nennt -- дель -- ▁شک -- ▁childish -- ▁мнение -- ▁stalk -- ▁خوش -- Һ -- ▁bởi -- 見込みです -- ▁kişi -- ▁acaba -- ▁Live -- ruff -- ▁approve -- ေ -- 賛 -- züge -- রু -- 工夫 -- 铜 -- ▁همچنین -- 형 -- ▁reflecting -- 入れた -- 也不知道 -- 醒来 -- related -- аас -- ▁filter -- ▁sunny -- ▁cuenta -- 蛮 -- 熬 -- ▁catherine -- ▁respekt -- 尽快 -- ▁vertraut -- ▁cautious -- 겠다 -- kami -- ▁États -- ▁warrior -- ▁circular -- ▁orang -- チェ -- ▁specially -- قان -- ▁doom -- 裔 -- ▁kubi -- ▁raid -- わず -- 你又 -- ▁erklärte -- われた -- hurst -- ▁strait -- 弄清楚 -- ▁класс -- 它可以 -- ありますか -- 拐 -- 체 -- バイデン大統領 -- 揺れ -- gibt -- reise -- いただいた -- ▁dump -- ▁meek -- ▁hayi -- proof -- fassung -- ▁Stock -- 坡 -- 煤 -- 遗憾 -- ▁Experiment -- トマト -- 协会 -- ▁contribu -- 东北 -- ▁aynı -- sız -- ▁geschaffen -- ▁secondary -- ▁pitt -- auto -- гуля -- mies -- lohn -- 離れた -- сот -- 所有人都 -- スペイン -- 維持 -- ▁Tema -- ▁আমি -- 日まで -- 銀行 -- 整理 -- 原子 -- 殿下 -- вернул -- ▁goede -- ▁relates -- 近くの -- ▁клуб -- ▁douglas -- 仪式 -- ▁paz -- ▁implica -- কি -- korera -- 试试 -- ▁translated -- ▁тое -- 单独 -- ியது -- ▁algorithm -- 몇 -- ▁случай -- ▁anterior -- 俳優 -- ▁comic -- ▁candidates -- もうちょっと -- 一緒 -- ość -- ▁nước -- ▁thay -- ▁policeman -- 足を -- 測 -- ▁combine -- ார்கள் -- ▁Pour -- ▁gaining -- 更容易 -- ▁bloß -- ▁Punkte -- જ -- ▁chocolate -- ည -- 労働 -- それぞれの -- ▁robbed -- ▁fourteenth -- 专辑 -- 物価 -- 北方 -- یده -- ▁commanding -- বু -- ▁joyous -- ▁drehte -- ▁товарищ -- ▁eingesetzt -- ▁sullen -- 五千 -- 姑 -- ▁девушк -- 我以前 -- ▁elderly -- を取って -- けさ -- 日目 -- 织 -- ▁elektr -- ▁hearty -- ▁trigger -- トル -- ▁waarom -- ▁zač -- หล -- ▁schaute -- ▁starve -- erade -- ▁yapma -- ▁precise -- ▁kinderen -- ▁حول -- rolle -- ▁productive -- мова -- ▁bằng -- 酬 -- ▁შე -- ulin -- ▁regulations -- 直後 -- ▁насколько -- 祝福 -- 结论 -- ▁Kanada -- ▁philosophical -- ▁slash -- dynami -- 他是一个 -- くなります -- ▁shelf -- '95' -- ますけど -- ▁deprived -- ▁stray -- 出门 -- 小屋 -- そうそう -- вался -- ▁mujer -- ու -- 泄 -- ▁моей -- 窃 -- ▁überrascht -- ▁diğer -- ▁حتى -- ▁loin -- 雨雲が -- ▁importantly -- ▁fiery -- ▁contradict -- ▁Яна -- ▁balloon -- ając -- ▁einfacher -- ▁bestowed -- 島の -- город -- ▁moyen -- 浪漫 -- ▁தலை -- ▁fortress -- ▁lebih -- schild -- nimi -- coli -- というような -- ▁sprak -- ▁fright -- ▁benutzen -- 吞 -- ▁Schwierigkeiten -- ▁estão -- ▁vide -- ▁frederick -- 延長 -- 的城市 -- ināt -- 貌 -- ▁Hey -- 雰囲気 -- ▁aggr -- ▁wiederholt -- າຍ -- ▁musket -- ▁swan -- TO -- ▁Gang -- cala -- ێک -- look -- ▁الْ -- 社員 -- ▁wales -- ▁problème -- こちらも -- zusehen -- ▁پو -- sichtig -- ▁electronic -- гээр -- 把你的 -- ▁server -- ▁exertion -- 屏 -- ല -- ▁ejemplo -- ▁invariably -- fugi -- 外部 -- gruppe -- mord -- 為 -- ந்தி -- ▁señora -- двига -- ▁exert -- 諸 -- ▁كبير -- ▁feedback -- ▁Terra -- 大切な -- ющий -- そこまで -- чар -- ▁Var -- 食べた -- ▁glancing -- 薪 -- 还有什么 -- ▁compact -- 审查 -- 原さん -- ▁хоть -- ▁أحد -- mén -- 絶対に -- ▁merge -- ってきて -- ▁swallowed -- ▁Wachstum -- ▁Technik -- مدينة -- ▁fossil -- ▁organiza -- 把这些 -- 引っ -- を見つけ -- 阁 -- てほしい -- нө -- ▁impart -- いますね -- ▁numero -- あふれ -- 立場 -- kutu -- ▁correspondence -- 增加了 -- ▁ragged -- А -- ▁hindi -- ▁dyn -- ▁successive -- がこちら -- ▁verdammt -- 严肃 -- ▁barren -- ▁prairie -- లు -- ▁Ora -- ▁понять -- ▁vamos -- ▁conventional -- に参加 -- ▁vegetables -- ▁стали -- ▁تغییر -- 希腊 -- ▁kelkaj -- 算了 -- '48' -- ацыі -- ▁kitty -- 踊 -- ▁Wahrscheinlich -- meza -- ▁swore -- ▁cheerfully -- zego -- ▁storage -- تك -- ▁bezahlt -- muz -- 五月 -- jol -- дей -- oğu -- icamente -- ▁hinauf -- син -- ▁prova -- ▁letzter -- ▁temperament -- ▁rencontre -- ▁influenced -- ラーメン -- ▁некалькі -- ▁parlour -- ▁Mariya -- fläche -- ▁Meister -- 提出了 -- を求め -- 有意思 -- няў -- ▁polar -- ▁Verwendung -- ▁стен -- ەم -- 的作品 -- ▁verstand -- 所以如果你 -- ▁mieux -- ▁요즘 -- ▁diversity -- бак -- 恐れ -- 案例 -- 洲 -- ▁tamam -- ▁salary -- ▁возможность -- 它将 -- kret -- 氧 -- 龍 -- ▁industries -- chá -- ▁Vier -- ▁swinging -- ▁bacon -- пись -- ▁edith -- 诶 -- ັດ -- ▁знаком -- фу -- ою -- ừng -- ▁impress -- 立って -- ões -- хад -- 锐 -- ▁resemblance -- 罢 -- 拯救 -- 我也是 -- ▁tightly -- けがを -- лева -- 货币 -- ▁beautifully -- యి -- ▁Histori -- ▁Harry -- 訴え -- 集団 -- даль -- 短信 -- 可以通过 -- лаш -- 苗 -- ▁summary -- 프 -- ▁первых -- 企画 -- oxy -- っつ -- ▁celebra -- 准备好了 -- ▁обрат -- 大胆 -- tuig -- θ -- ▁mabel -- бла -- метр -- 50% -- ▁fugitive -- ▁babe -- だよね -- 名单 -- ▁haunted -- 做到了 -- lerde -- white -- ▁technische -- 意味で -- 脂肪 -- ▁dissolve -- zze -- ▁일단 -- ▁loath -- ▁intensity -- 提案 -- 提交 -- ▁steckt -- 耶稣 -- ▁orbit -- ▁русски -- ▁fiercely -- 年後 -- 只是一个 -- Ex -- ▁sakj -- 查看 -- ▁آر -- ▁Ost -- ▁stump -- ▁enthalten -- ▁bitterness -- 会合 -- 他又 -- ▁hesitate -- 神奈川県 -- 键 -- كار -- 鹰 -- ▁درباره -- жиг -- ▁cabeza -- lada -- ▁bidding -- тыш -- ▁cautiously -- 主播 -- Gelächter -- ▁erlaubt -- ▁reconciliation -- 崩溃 -- وارد -- pion -- ▁fapt -- 協議 -- ▁gemeinsame -- 키 -- ▁دارید -- ▁Qual -- 東日本 -- 三千 -- ▁میں -- ▁venus -- ▁undertaking -- 所以我认为 -- 克拉 -- ▁câu -- われる -- гэр -- aurait -- ▁никак -- かわい -- 别说 -- hilfe -- ▁writ -- beug -- ▁sombre -- ptic -- 如果有 -- NG -- limi -- 的事实 -- ▁cảm -- rott -- ▁район -- ▁desolate -- ▁picturesque -- বো -- 晕 -- ذهب -- ることができる -- ▁weinig -- ▁siya -- ▁stain -- 惑 -- ▁pourquoi -- ▁строительный -- ▁doğru -- ▁Institution -- 送给 -- ▁Indien -- 干啥 -- design -- ゆっくり -- 近い -- ▁Sicher -- ▁раньше -- 용 -- ▁effektiv -- NATO -- ▁incentive -- ▁assisted -- 什么东西 -- ▁stirring -- ▁corresponding -- हि -- 复制 -- 窝 -- ▁Füße -- ▁tất -- ències -- ▁Ati -- 钥匙 -- ▁mysteries -- ▁bietet -- ▁gegenseitig -- ▁எழு -- ▁tej -- 庆祝 -- เล -- ▁நகர -- るもの -- மீ -- نز -- sinde -- サル -- になってる -- 上空 -- 言われた -- ▁Julia -- ۋا -- ▁grundlegende -- ▁comte -- pida -- ▁speedily -- 我们希望 -- respect -- 普通の -- ▁thoughtfully -- ▁Är -- 宜 -- sorge -- ▁betrifft -- ▁dụng -- ար -- 你如何 -- 地址 -- ▁يكون -- лета -- 都说 -- 赏 -- 強調 -- ▁Sab -- лос -- tijd -- ▁bezahlen -- ▁Serie -- イタリア -- ▁flexible -- ▁isolated -- ▁angrily -- ゲスト -- 被认为是 -- 人工 -- tauchen -- ▁точки -- 張り -- ▁Right -- borg -- ligi -- about -- 匠 -- さんから -- ▁passive -- ▁delayed -- かす -- ダン -- জে -- 想着 -- ▁vacant -- 宴 -- ▁congregation -- 分かり -- خور -- ▁juice -- ستخدم -- るべき -- 子どもの -- ▁poble -- 三振 -- けれど -- 緩和 -- ▁pigeon -- сны -- ▁большое -- ▁Westen -- әһе -- сни -- ▁ensuite -- ▁agencies -- ▁remorse -- ▁смотрите -- الات -- 工事 -- 터 -- ▁отвеча -- igkeiten -- ▁Universitat -- bwiye -- という感じ -- 통 -- ▁identific -- 男性は -- 冻 -- ▁quá -- 日曜日 -- ▁সেই -- ミン -- ído -- ▁parcel -- ▁êtes -- ▁ringing -- 癌 -- ▁baixa -- ▁благо -- するか -- 组合 -- ▁predomin -- reisen -- hnung -- ▁கரு -- 贪 -- ▁Häuser -- ▁nowadays -- ▁Victoria -- ثلاث -- imecres -- ▁ошиб -- 保健 -- ▁goose -- ▁nieuwe -- ▁consented -- 匪 -- ▁geloof -- ▁Würde -- ▁pup -- 集まって -- ▁parade -- これらの -- 周围的 -- 美好的 -- bildung -- ▁plank -- ▁blink -- ▁behalten -- ▁сказали -- ▁каких -- ▁දෙ -- 佑 -- 呂 -- ▁bestimmt -- ▁بده -- ţa -- 但她 -- 寿 -- ▁ўз -- iera -- ▁shrewd -- ▁рядом -- меж -- 毎年 -- ▁persistent -- ▁addict -- ▁mogelijk -- ▁Christian -- ▁disconnect -- ▁dadurch -- gisha -- ▁politicians -- ▁audio -- 让人们 -- ▁Harvard -- ▁Niemand -- fí -- ড়া -- ▁digest -- 同一个 -- 契約 -- ▁corona -- kku -- 広い -- 以色列 -- ▁Kreuz -- 陪伴 -- ゃ -- ▁Gü -- ▁uitge -- ▁seasonal -- ▁sanction -- Th -- යා -- vär -- 幻想 -- ▁Kate -- 麦克 -- 榜 -- ▁exchanged -- ▁verfolgt -- メジャー -- ▁jardin -- ▁Kritik -- ▁Islam -- 心态 -- 侵 -- ▁console -- ▁الان -- ▁fulfil -- 多数 -- fiel -- ▁voraus -- conscious -- sohn -- 부터 -- 時半 -- ▁canon -- ▁zahlreiche -- 盒子 -- মু -- länge -- pila -- ▁линия -- 偶然 -- ▁whatsoever -- 转变 -- ▁eleventh -- 暗示 -- 心理学 -- ▁albert -- 表现出 -- 蜜 -- ▁pennsylvania -- 새 -- らん -- たくない -- tev -- плы -- 扑 -- ▁taun -- 手中 -- ▁onward -- імі -- 空間 -- ▁thời -- ▁евро -- ▁tuesday -- ▁scotch -- ▁смысле -- しているということです -- ▁redeem -- čni -- 評 -- лык -- ▁Divendres -- ประ -- ▁tested -- ▁passar -- 偶尔 -- ▁Group -- ▁знаем -- 二十四 -- 想定 -- ▁Satz -- 淘 -- 摧毁 -- ▁dapat -- ▁helmet -- ▁historic -- 特定的 -- ▁youthful -- ▁relieve -- ▁chris -- ▁argued -- 十几 -- ▁eerst -- ▁документ -- ▁poate -- мор -- 退休 -- 你有没有 -- 帰り -- ▁මෙ -- হু -- 鎖 -- 長く -- ▁deliberate -- казаць -- 違 -- ▁shed -- ographie -- 舒 -- ▁jaun -- ▁wanneer -- ▁ببین -- 燃烧 -- taking -- ▁Schau -- 发现自己 -- 出てきた -- comm -- وجه -- ▁contro -- ▁angenehm -- চ্ছ -- ▁awaiting -- عَ -- ▁watu -- ▁overwhelming -- 宠 -- ▁peuvent -- ▁erlebt -- が好き -- 仕事を -- 体系 -- vidi -- ▁relating -- ▁sweetness -- ▁rhai -- ▁круг -- カリ -- ▁هستم -- ▁disput -- 発達 -- schnitt -- ▁Bü -- ▁recognise -- ▁tracta -- 只是为了 -- 通過 -- ではなくて -- 始まって -- ▁discharge -- 不出来 -- ▁inventor -- ▁bog -- ▁français -- 贤 -- 锻炼 -- びっくり -- аваны -- 公正 -- ゅ -- ▁страна -- 安装 -- ▁kwenye -- ніка -- urage -- 在网上 -- ▁drown -- 年ぶりの -- terri -- zellen -- ת -- セル -- いかがですか -- 授業 -- ▁morgan -- ▁miller -- ほうが -- ▁neuer -- 论文 -- ▁wunder -- ▁Fach -- ▁skies -- 标题 -- ▁Sitz -- zional -- خواهی -- 見てみましょう -- ▁transformed -- 没办法 -- ▁melted -- ▁encontrar -- ▁genre -- 擅长 -- ▁Middle -- 说实话 -- ática -- ności -- グル -- ▁cultivated -- ▁pioneer -- 基準 -- 生态 -- ▁இல்ல -- ▁neden -- スープ -- ▁Questo -- ▁pry -- 食感 -- ▁Wall -- ▁regulation -- 锋 -- 我认为这是 -- 近くに -- gemeen -- ▁hospitality -- ▁erected -- ▁Have -- ▁interaction -- greif -- ಂ -- ▁tissue -- ▁таго -- ▁элек -- 不要再 -- ▁Brun -- ▁gill -- っちゃって -- what -- 変え -- ▁adapted -- 铃 -- マンション -- جار -- ▁frighten -- ▁Gw -- ▁Top -- ▁juist -- ▁Jeff -- ▁wrth -- ▁frisch -- 好听 -- ▁penalty -- ▁څه -- ▁marion -- ▁Front -- ▁Arch -- ▁dicho -- ော -- ▁optimistic -- ▁Zusammenhang -- әл -- 铁路 -- ▁accounting -- ▁vocal -- оби -- ▁representing -- ▁cancel -- ĕ -- 转移 -- రి -- 七年 -- ▁kubera -- 饮食 -- ▁unfold -- 无聊 -- ▁Stephen -- ▁bestow -- ▁регион -- ▁terrific -- 监管 -- 場所に -- وک -- ▁matin -- ▁conveyed -- ▁склада -- ペース -- ▁adhere -- ついに -- And -- ▁underground -- tuvi -- ▁apenas -- ▁allowance -- ▁противо -- Rires -- ▁нашего -- ▁نیاز -- ▁begon -- ▁harold -- ことから -- 定期 -- 返し -- ベース -- ▁кост -- 测量 -- ▁deceive -- ダウン -- 部署 -- 应对 -- 找个 -- 命名 -- ▁bucket -- ▁traitor -- ඇ -- ʻ -- ވަ -- gá -- ▁அமை -- ▁Zweifel -- овым -- 殺人 -- 落下 -- ▁Tell -- ▁стало -- 跪 -- ▁Lieblings -- ▁earthquake -- రు -- рик -- 処 -- ▁pavement -- 我真的很 -- 離れ -- ▁mora -- 開いて -- 十个 -- ww -- indre -- eerde -- 次に -- 否定 -- ▁violin -- ▁numa -- ドリ -- 加州 -- ましたけど -- ▁моему -- vēr -- ▁enfin -- いける -- ▁plunder -- grado -- ジャン -- ▁podía -- били -- ▁mourn -- ▁circula -- ▁screamed -- ▁eternity -- ▁privi -- ほう -- ▁되는 -- 正面 -- ▁üle -- ombra -- ▁வரு -- pane -- åg -- ▁entlang -- 团长 -- 驻 -- マル -- 残る -- ných -- 思いを -- ▁Jackson -- ҭ -- も多い -- ▁එක -- を行い -- achtig -- 的证据 -- ▁geschehen -- 慮 -- ▁gentil -- ▁найти -- わし -- 分裂 -- impi -- 悦 -- ▁định -- 弁護士 -- 陽性 -- zubringen -- 早点 -- ▁autonom -- 手術 -- 種目 -- 我说的 -- ޮ -- 审判 -- 年纪 -- ▁其实我 -- ▁gris -- ▁показал -- ▁tourist -- быт -- 机场 -- ▁interrupt -- 守り -- 筋肉 -- ▁manière -- ユニ -- 作戦 -- ▁proced -- 響 -- ▁morality -- ▁Wunder -- igeze -- ▁awfully -- ▁gesti -- ▁Allerdings -- ▁학교 -- ▁dwarf -- 上市 -- ▁futbol -- кен -- ▁construir -- 疯 -- 大雪 -- ▁physics -- ▁beteiligt -- オーストラリア -- ▁hearth -- эння -- ▁cavern -- бат -- евский -- 路线 -- іі -- ▁Donc -- ና -- ▁appreciation -- ▁trousers -- 基础设施 -- ▁gewissen -- 城镇 -- 你看到 -- ▁организаци -- 悬 -- 抹 -- ▁hinzufügen -- ▁brillant -- ▁Donald -- ご飯 -- ▁dominant -- рах -- 伙计 -- meɣ -- ▁benim -- 鉴 -- выше -- 郁 -- 捷 -- クリスマス -- ▁ມັນ -- ▁اسم -- その中で -- 看不见 -- ывают -- らせて -- 饮 -- йын -- かぶ -- 掌声 -- ори -- ▁puzzle -- ្រ -- 队伍 -- ▁carved -- ది -- ▁admission -- слуш -- 鼻子 -- ouvri -- pta -- ▁yani -- ▁extending -- ப்படுகிறது -- தில் -- 官方 -- шчы -- ▁пойм -- 皆さんに -- रे -- ▁minim -- ▁forgetting -- rseits -- طي -- 日々 -- unterschiedliche -- teko -- bewegung -- ▁coffin -- ▁Information -- 挥 -- いきたいと思います -- ▁arribar -- kubernetes -- ▁nachzudenken -- '55' -- 狙い -- '3000' -- ▁ultra -- лым -- 業者 -- ▁تحت -- ▁menace -- ▁Instrument -- いかない -- ▁Boy -- گا -- ▁Gehen -- ەیە -- ▁capability -- 양 -- dział -- වේ -- 经典 -- の仕事 -- abri -- 都不知道 -- 的家人 -- луг -- 游泳 -- ▁owl -- 仍然是 -- ▁attachment -- 今から -- ▁Apo -- ▁наступ -- Oh -- 所以当 -- ▁тихо -- ▁casting -- 然后在 -- 常に -- ▁laatste -- weza -- тир -- マス -- ▁bộ -- ▁luther -- ▁عام -- ▁скажем -- ▁меньше -- 溶 -- ▁делает -- ▁Hinsicht -- ▁ambient -- ▁бя -- 一号 -- illion -- ▁Zweiten -- ajja -- ▁подобн -- ▁sylvia -- 縁 -- ごめん -- ▁trở -- ▁crude -- すみません -- fanya -- 灾难 -- นี้ -- ▁dritten -- ▁transferred -- ▁freight -- ▁chemin -- ▁milieu -- 他认为 -- を発表 -- ▁cruise -- ▁deepest -- нап -- леш -- ▁Ecke -- ▁Kreis -- 要不要 -- öß -- ▁Minute -- ▁процент -- 广州 -- ▁sublime -- ▁получается -- ▁Brad -- 然后是 -- ▁allgemein -- 农村 -- ▁болно -- ▁Eigenschaft -- 比較 -- ▁grandi -- drängt -- ۋ -- ▁அதிக -- ▁Cri -- 場所で -- سك -- ▁çek -- щий -- 纽 -- 冯 -- ▁живот -- ▁مې -- 便利 -- krimin -- 当然是 -- ▁kicked -- MS -- 友好 -- ▁Krankenhaus -- ▁Trotz -- じゃないか -- 成果 -- 剩下的 -- ▁Vision -- ▁verdade -- ▁pê -- ▁Түүний -- ▁پیدا -- '=' -- ▁пусть -- ▁Privat -- マネ -- ▁Quar -- 物体 -- ▁ນີ້ -- ませんか -- 单词 -- 触れ -- 山上 -- ママ -- koloni -- bogen -- ▁đổi -- ▁Tanzania -- 在我看来 -- 太陽 -- нец -- 生长 -- ▁Dev -- ▁scrutin -- نَ -- ▁девятьсот -- llah -- の裏 -- trum -- に加え -- ▁fulfill -- ▁regardless -- ▁surpass -- ▁வந்த -- ▁seixanta -- ▁inflation -- ▁augenblick -- орд -- ▁infinitely -- ▁ufite -- 时光 -- ▁Lauf -- 精力 -- ēr -- が確認され -- மெ -- හා -- ▁பேச -- schmerz -- unterricht -- reɣ -- 创造了 -- ▁veure -- ▁sechzig -- steller -- ▁retour -- ▁untersucht -- に入った -- 方がいい -- ▁constitutional -- 号码 -- ▁educational -- มัน -- ▁Those -- ▁Quando -- ▁herbert -- 以便 -- ▁années -- ▁acres -- 帆 -- ▁maître -- ▁langer -- 罗斯 -- ▁syria -- office -- ▁nebo -- ▁контрол -- ▁everyday -- ▁ähnliche -- ▁diferents -- නවා -- 密码 -- ▁Blue -- ▁broadcast -- žu -- дают -- أن -- pik -- 月亮 -- stimmung -- ▁Krä -- ▁satellite -- ▁weltweit -- ▁figli -- ▁tailor -- くれる -- 腐 -- ሽ -- の写真 -- ▁كه -- 変更 -- ▁negroes -- ▁همین -- ▁Acht -- strom -- مەن -- 勾 -- 妨 -- 一夜 -- 働いて -- ▁lachte -- ▁persisted -- perto -- larga -- படி -- ▁Wirkung -- ▁gezicht -- ▁فرا -- geladen -- овые -- vana -- ▁bemerkte -- ▁beliebt -- ▁гаражно -- 싸 -- ないといけない -- ▁provoca -- ▁Ausdruck -- 两者 -- ▁canvi -- ▁complexion -- гран -- ▁vedere -- DA -- ӡ -- häuser -- とかも -- 留下来 -- ▁چون -- Atlanti -- schwer -- 姿を -- 死去 -- ▁bewildered -- ▁refrain -- ▁verfügbar -- ▁dije -- ▁praying -- ▁fuera -- 代价 -- ▁Selle -- হে -- ▁hyd -- 全身 -- يين -- ▁немного -- ▁أخرى -- ▁Qualität -- 护士 -- 年齢 -- ▁tension -- Prince -- ième -- шет -- 谦 -- ẩ -- ucu -- ▁ними -- ছা -- ▁Ky -- 知道他 -- 蔡 -- 拦 -- instagram -- ovitch -- ▁orphan -- телей -- ▁hablar -- ▁subsist -- ▁grape -- アナ -- давать -- фан -- ▁välja -- を使い -- 汽 -- 另一种 -- нікі -- 排除 -- ▁scientist -- ভি -- лыг -- ▁tribute -- таш -- ▁lind -- 低気圧 -- ▁ohio -- ▁universit -- 简直 -- zaj -- ▁Letzte -- țe -- abaye -- ▁nke -- 週末 -- 仏 -- 主持人 -- ▁먹고 -- ▁recherch -- ▁wohin -- ▁pulse -- ▁lazy -- ▁impatiently -- ▁invalid -- ىدى -- を巡って -- 富有 -- ▁identical -- 霸 -- 刊 -- responsabil -- 違反 -- ▁futuro -- ▁داریم -- ителей -- ▁Zeitung -- سون -- 置き -- ▁pete -- 基督教 -- щения -- 時代の -- 上げた -- ▁военкомат -- 赤い -- 安全保障 -- ▁descri -- ▁Cle -- ▁Kapitän -- ▁regelmäßig -- ▁verfolgen -- 脅 -- 高騰 -- ▁Einrichtung -- itarian -- 大规模 -- 是个好 -- âr -- ▁Brust -- ▁herausfinden -- ▁privacy -- ▁важны -- ▁Out -- mitglied -- ▁dedicat -- 廃 -- ▁signature -- ▁பகுதி -- ▁arriva -- ▁quiero -- この時間 -- abba -- ▁Nehmen -- ▁enlarge -- ாங்க -- ▁Lady -- 趁 -- ▁greece -- ▁surgery -- ▁dunkel -- dokument -- ▁quiere -- ってしまう -- 雨が降り -- ▁hause -- ▁discretion -- 的风险 -- ほんとに -- ▁Universum -- ▁Foo -- kê -- ▁Pala -- ▁exclusive -- крат -- ▁assumption -- ▁sev -- を持ち -- ▁exhibited -- ▁такую -- ▁hỏi -- ▁produziert -- ▁jersey -- ▁Schönheit -- 额外的 -- ▁Vorstand -- ▁sotto -- ▁eagerness -- funa -- ▁unseen -- ▁jumping -- ▁legitimate -- ▁physically -- ▁hafi -- ▁poetic -- iyordu -- 唱的歌 -- 崇 -- ▁rubbed -- ▁humility -- 启动 -- ▁accessible -- ▁hoarse -- ▁nơi -- ▁bois -- үй -- حب -- cari -- ▁Fleisch -- ▁Для -- singa -- 犹豫 -- ▁Bedingungen -- ▁englische -- ▁sneer -- を挙げ -- ▁sentimental -- 运营 -- ▁jaroj -- 覧 -- 我一直在 -- 潘 -- ▁ingredient -- 真ん中 -- ▁Alexander -- ▁brigade -- ▁oxygen -- 相同 -- 过度 -- 校园 -- 何だ -- ключа -- شە -- تُ -- ▁Rang -- 远离 -- 相次いで -- ▁byinshi -- ▁tätig -- umugore -- ▁dictate -- ▁nhau -- ția -- 船长 -- ▁năng -- 侠 -- 誤 -- となっている -- 但是如果你 -- ▁hyper -- 该怎么办 -- 大学生 -- ればいい -- 这很 -- тоў -- ság -- ▁fifteenth -- ▁đâu -- 길 -- ▁известно -- ▁glacier -- einig -- сво -- 那一刻 -- に乗って -- ẻ -- 罐 -- ▁arriving -- ▁který -- ▁закры -- べる -- 革 -- ▁retirement -- ▁marching -- ှ -- ▁annoyed -- ▁üblich -- yerek -- говарива -- kampf -- දා -- 提议 -- ▁Western -- なぁ -- ▁kubona -- ▁کجا -- gezi -- 疏 -- 进展 -- ▁города -- ▁hurriedly -- ▁kiuj -- 年ぶりに -- ▁appearing -- NA -- ▁elfu -- 鸡蛋 -- 涛 -- ▁bernard -- ▁manual -- бед -- ▁banc -- 美しい -- schneiden -- لعب -- ▁Maßnahmen -- ▁superstition -- speicher -- ▁embark -- 観客 -- koko -- ▁manipula -- お話を -- ▁joyful -- হি -- ▁incessant -- ▁courtesy -- ҳа -- ▁fain -- imbi -- '[' -- 为他们 -- ▁determina -- 本部 -- 民間 -- もらいたい -- 裸 -- أت -- 做了什么 -- лыш -- kiye -- bleib -- ▁şeyler -- 売れ -- ▁Germany -- 我很高兴 -- ありますよね -- 呵 -- ▁вокруг -- 专注于 -- ▁sequence -- 予算 -- ▁indirect -- ▁bilden -- lässig -- 合适 -- ຽ -- ჩ -- You -- 所属 -- ▁tries -- ▁speeches -- カット -- ▁trivial -- ▁posterior -- 見通し -- ▁rhan -- оруж -- 去过 -- ҩ -- ▁monstrous -- 遊び -- ▁hàng -- ▁союз -- 都不会 -- 見られます -- ▁ernsthaft -- ▁Tatsächlich -- ▁мозг -- しん -- beho -- horse -- ▁breach -- ファイ -- ▁když -- ▁muscle -- ▁comparable -- ▁grasped -- 誕生 -- ▁Nta -- ▁zyn -- ▁Они -- 有几个 -- 碑 -- Ю -- ▁Firefox -- ▁carolina -- 控え -- ່າ -- 布莱 -- gruppen -- 澤 -- ▁круп -- 働く -- نق -- 볼 -- ▁yake -- ▁tiek -- 冠军 -- পে -- baho -- ▁Streit -- 晋 -- ▁Brü -- ▁направлен -- 维尔 -- fär -- presa -- についても -- ▁tõ -- ▁administrative -- ▁communicated -- ubah -- реп -- க்கிறது -- 老大 -- 選ばれ -- ▁благодар -- ▁desperately -- corre -- šķ -- ▁sweeping -- 怎么可能 -- ggie -- ▁recur -- ▁உட -- ▁floated -- 推出 -- прэ -- 在上面 -- 織 -- ◆ -- ▁twelfth -- 腺 -- 女孩子 -- ▁counting -- ▁hurrying -- 如果没有 -- ▁Abschluss -- ▁stealing -- ▁Deck -- 稲 -- ▁Bevor -- कि -- みてください -- ▁کمی -- ▁Verkehr -- ▁Martí -- ▁assess -- 逮捕された -- ▁حرف -- gekomen -- 天才 -- 类似的 -- ▁Online -- ď -- ▁እንደ -- 订阅 -- 渋谷 -- ▁už -- サイズ -- 支配 -- чку -- ▁advertise -- ▁wanjye -- urile -- 丧 -- ▁aussieht -- ▁общественн -- ▁Like -- ▁kirk -- ▁tennis -- ▁журналист -- ▁сторону -- ▁دنیا -- 온 -- လ -- ▁главное -- ▁fiz -- funktion -- lå -- ▁fotografi -- шат -- 対策を -- かれて -- 缠 -- ወ -- ▁вполне -- ▁Flugzeug -- ▁trường -- grond -- ▁echoed -- ▁phát -- だいぶ -- ▁Sara -- ▁conversa -- ▁stimme -- ▁Quina -- 指数 -- 祖父 -- wahl -- ▁klug -- righteous -- рап -- ▁mujeres -- 的痛苦 -- 六年 -- 全都 -- ▁clasp -- 浏览 -- топ -- ▁horizontal -- 坚定 -- ▁wengi -- ▁bored -- 局长 -- ▁travaille -- த்திற்கு -- fluss -- 岗 -- 現状 -- ▁但是当 -- ▁Operation -- فور -- ▁junto -- 你到底 -- ▁convenience -- 抑郁 -- ▁survived -- ▁образова -- 公寓 -- लि -- ▁mesure -- ització -- パラ -- ▁mourning -- ▁dart -- ▁Grün -- ސ -- ਿ -- ▁wednesday -- 外出 -- ▁hasty -- 完整的 -- ▁compre -- வரை -- 议会 -- ఏ -- 會 -- ▁farklı -- kracht -- 你可以在 -- カップ -- 无数 -- ▁Gute -- гийг -- ▁llarg -- ▁elevated -- ▁elsie -- ▁Kommunikation -- あたり -- impine -- 特殊的 -- ழி -- тере -- ▁そのため -- нием -- ▁armor -- ▁Weiter -- 在中国 -- ško -- É -- යට -- ▁thyself -- 沸 -- ▁achtzehn -- ▁extinct -- 太多了 -- ▁dresses -- ▁Prime -- ▁carrera -- ுகிறது -- 不认识 -- ▁expenditure -- ▁innumerable -- 気象庁 -- 公安 -- grown -- 不开 -- ▁infantry -- ▁abide -- に合わせて -- '39' -- 疲れ -- ▁schuld -- スキー -- ▁jog -- وضع -- ▁européen -- ▁seria -- 合格 -- いら -- ာ -- 伐 -- ▁உம்ம் -- రా -- 无关 -- ▁diffus -- দিন -- 的语言 -- ▁Sarah -- 书中 -- storm -- 受害者 -- 仕組み -- ▁banquet -- 早餐 -- кос -- 亿元 -- 10% -- 供給 -- アイデア -- технолог -- ▁diwujudke -- ่ง -- ▁energetic -- ▁bunny -- 从来不 -- burgh -- ிருக்கிற -- ▁glittering -- 嘘 -- 8% -- 留言 -- 二十五 -- CD -- さえ -- ▁geändert -- ▁увидел -- ▁roedd -- 你这么 -- BA -- ▁spray -- ことができます -- 有能力 -- alina -- ▁disposal -- ▁système -- ▁dreary -- ▁quarante -- ▁بأن -- ▁vient -- 第三个 -- ▁vacation -- ▁Ohne -- 币 -- 倡 -- ▁unnatural -- 결 -- 少なくとも -- ▁Another -- みんなが -- ▁fuss -- ▁خواهد -- ▁patro -- ▁personage -- ▁жыв -- ▁ddim -- альным -- ▁scheinen -- ▁probabil -- ▁Bewusstsein -- ▁Militär -- 裙 -- ▁কথা -- ▁Sagte -- ▁whe -- pola -- ▁missus -- 我觉得我 -- ▁quaint -- viel -- ▁telescope -- 涵 -- ▁тупик -- 在某种程度上 -- 言うと -- 传递 -- 的灵魂 -- दा -- ▁töten -- 事务 -- ▁demonstrated -- 教训 -- maro -- ▁figura -- しろ -- 痕 -- ▁предлага -- ▁metrics -- ண்டி -- ▁Iyo -- を前に -- 4% -- ▁marian -- hagen -- ▁ради -- цеп -- ▁слушай -- ▁демократ -- ▁ситуация -- ▁Drogen -- ▁dose -- افت -- ▁اول -- ▁suppress -- bril -- ▁beschlossen -- 涂 -- 謎 -- ಪ -- badde -- ▁있는데 -- ▁drunken -- ▁seule -- ▁afge -- 囲 -- 爸妈 -- 棚 -- 峡 -- ▁bacteria -- ▁erscheinen -- が続き -- ț -- قار -- хоз -- 紧急 -- 好朋友 -- рада -- ▁examining -- 同性恋 -- 韩国 -- 很高 -- ▁спец -- ヘル -- ере -- 一歩 -- batu -- ▁automobile -- 執 -- を含む -- ▁gerecht -- ▁welcomed -- ▁agricultural -- っていうのを -- ▁tudo -- 相信我 -- 喜欢你 -- ▁woorden -- 彻 -- তু -- ارات -- 这都是 -- 模糊 -- 逆転 -- ダブル -- ▁мае -- ショー -- ▁dirigi -- 检测 -- 哪怕 -- 我父亲 -- ▁eric -- із -- ▁parc -- dodd -- 饰 -- រ -- ▁December -- 겠지 -- ▁yali -- ▁gordon -- ▁Stamm -- बा -- ▁ikintu -- مین -- ச்சு -- 美好 -- ▁interrog -- Aplausos -- EM -- 警報 -- ▁Treffen -- ▁Tau -- ▁rive -- を食べ -- ▁sử -- ▁останови -- ▁oliver -- onian -- ▁Ez -- stuk -- 逛 -- ▁внутри -- ▁decisive -- ▁unglücklich -- の様子 -- 広がる -- 这个项目 -- ▁Klima -- ▁primero -- jang -- ▁Betrieb -- ▁sealed -- ▁insane -- ۔ -- ▁gewoon -- 为您 -- ▁tenderly -- ▁самый -- ▁oppose -- ▁ответил -- eremoni -- саб -- ▁correctly -- FIL -- าน -- ▁어디 -- ▁realidad -- behörde -- gerufen -- уха -- 房子里 -- ▁sujet -- ▁classroom -- ▁hübsch -- ▁sekolah -- ▁گروه -- ▁Gli -- 足以 -- ▁Carolina -- yorum -- ▁epidemi -- áz -- liwa -- ボン -- ▁feminine -- ▁które -- ▁primo -- ▁verdi -- кот -- ▁graham -- mele -- 你们两个 -- िक -- 感受到 -- 无人 -- 될 -- ▁knelt -- ▁tìm -- ▁hebrew -- ▁Meter -- กล -- ▁clothed -- 使える -- 陽 -- amazi -- Kanal -- ▁бага -- 心灵 -- 逸 -- ▁klingt -- ▁видео -- лоб -- 撤退 -- 景色 -- nect -- ▁vorsichtig -- ಗ -- ▁bachelor -- ▁хочешь -- ▁شرکت -- 見ていきましょう -- もあって -- 6% -- ▁Mah -- ▁Су -- லோ -- வேண்டும் -- 浓 -- ▁carpenter -- ▁shrub -- ▁nourish -- 始める -- ようになって -- しまして -- ▁awareness -- 闯 -- ▁невозможно -- ▁나오 -- boro -- ▁strife -- ▁dismiss -- 综合 -- িয়ে -- witz -- حدث -- pür -- 图片 -- 놀 -- 鍵 -- ▁subdued -- spoonful -- ▁Finally -- 看不到 -- 运动员 -- کات -- ▁rector -- 的角度 -- ▁faculties -- 麺 -- 円安 -- 緊急事態宣言 -- ▁molecule -- ▁plough -- ▁вчера -- ▁tiến -- Pierre -- مند -- 市では -- ▁Ми -- bika -- ▁obstinate -- ▁saviour -- 庞 -- pflicht -- 大海 -- ▁habitat -- 这是我的 -- urira -- 識 -- ですとか -- hani -- ▁candid -- 屁 -- ▁ممکن -- ▁এবং -- ▁ລະ -- tsinda -- شته -- 农业 -- 不同意 -- ▁Februar -- లో -- ிலிருந்து -- 太子 -- kleri -- ▁яму -- ▁draught -- 前提 -- ▁envia -- ▁também -- ▁crust -- ▁Калі -- ▁Verfahren -- ▁manifestation -- ▁verbringen -- ▁честно -- 做饭 -- 今天晚上 -- ▁видите -- kò -- ▁marshal -- ▁Bäume -- ▁astonishing -- ▁conjecture -- ▁embarrassment -- 畅 -- 眼泪 -- koli -- альные -- ▁concentrated -- 岩石 -- ười -- ▁amiable -- ▁hiyo -- ধ্য -- 自行车 -- ▁societies -- 舰 -- ▁አዎ -- ▁realise -- ▁pouvoir -- mico -- に移 -- 就行了 -- 合适的 -- ▁setanta -- fenster -- ▁dismal -- ▁Wunsch -- ▁wolves -- lil -- 建設 -- ▁rwose -- annu -- ▁aircraft -- イチ -- 拥抱 -- 電車 -- ▁sixteenth -- ▁Kurz -- Episode -- ▁فیلم -- ību -- 並んで -- 三点 -- cò -- ▁yella -- знача -- ▁حا -- この辺り -- альных -- いくと -- ▁Album -- ▁radiant -- ▁nossa -- 层面 -- хим -- ▁diversaj -- ▁imitate -- 谋杀 -- ▁resentment -- ▁shark -- 总结 -- 進化 -- 运作 -- ▁assertion -- ູ -- ▁Praxis -- にあります -- ▁confidential -- uğu -- wego -- ▁Ро -- ▁embraced -- nutri -- 与其 -- ▁buzz -- ▁camino -- يط -- 视觉 -- achtet -- 良い -- ▁скорее -- 珀 -- っていうふうに -- 继承 -- 你刚才 -- ▁صورت -- ▁países -- имся -- 是一样的 -- тэн -- ▁гэтай -- ▁находится -- ▁voilà -- ▁startling -- 我想要 -- 维持 -- ▁tray -- රු -- ▁повтор -- 的主题 -- contin -- 的人来说 -- ▁demanda -- 旧統一教会 -- ▁inspection -- 先ほどの -- ▁Senat -- ▁breadth -- sehn -- ального -- 明明 -- ▁respira -- جنوب -- 落在 -- 耻 -- 試験 -- ▁explaining -- 确 -- ▁perdu -- ▁gorgeous -- 陌生人 -- ▁Absicht -- ولد -- 遇见 -- шан -- 高級 -- ▁parlor -- хлоп -- ษ -- ▁Dijous -- ▁schlafen -- 改造 -- ▁miriam -- ▁Té -- ▁shipping -- そこは -- äck -- ステージ -- 十分钟 -- 太郎 -- ▁pasture -- ワード -- ▁nicely -- 増えて -- ▁beobachten -- 网上 -- ▁fröhlich -- ▁އަ -- தொடர் -- モー -- льны -- ▁стоял -- дзень -- ▁газет -- 名为 -- を認め -- 但这是 -- 决心 -- origine -- 느 -- Gelach -- foje -- ▁charter -- 这些问题 -- ▁vinden -- ▁Nieder -- yumba -- பர -- が出た -- ▁everlasting -- ▁trouver -- zí -- 成年人 -- ▁keer -- ▁Anwalt -- kaka -- ▁nosso -- ▁asserted -- овали -- AD -- 接到 -- କ -- ĥ -- 疫苗 -- 这一切都 -- 理性 -- ▁polished -- ▁flavor -- смотрел -- 産業 -- 你爸 -- ▁பய -- 逗 -- ▁Unión -- ▁rumor -- そうですか -- 我就不 -- ▁attributed -- ツー -- kları -- ▁passenger -- ▁bliss -- 喽 -- ሁ -- ▁verheiratet -- ▁mindestens -- ▁پنج -- ▁highness -- verfahren -- تَ -- 利润 -- ▁funkci -- ▁readiness -- ▁escala -- ▁канал -- ▁система -- ராக -- 抛 -- ▁Demokratie -- いただきたいと思います -- arbre -- 在此 -- ▁vind -- 我们有一个 -- ▁واحد -- ▁gosh -- 拨 -- ▁depressed -- ṛṛ -- ▁unlock -- の前で -- 俺が -- ▁거의 -- 小麦 -- ▁whereby -- ▁tint -- mizi -- ▁stretching -- 趋势 -- 名古屋 -- ภ -- ấu -- ▁putea -- 试验 -- ▁clergyman -- 劣 -- équipe -- খে -- 決まり -- ший -- ▁motiva -- ▁Atem -- ▁ئەم -- 遮 -- 천 -- 煙 -- ▁Bildschirm -- パパ -- 回到了 -- ▁await -- ▁voted -- 构成 -- 滅 -- ▁Hari -- ▁righteousness -- ▁женщина -- 白天 -- ▁gerald -- 旋转 -- 我想说 -- ▁surf -- 酱 -- ▁Tief -- দ্ -- ▁உள்ளது -- 尸 -- ứng -- boek -- brook -- ▁Erwachsene -- 激励 -- щик -- ▁acceptable -- ▁món -- ▁enthusiastic -- ▁upside -- ่ว -- umuryango -- 収穫 -- 欺负 -- ▁engaging -- ▁Reform -- ▁chop -- үнд -- 的需求 -- 很简单 -- loch -- ▁EBITDA -- ނު -- 龄 -- ▁Spring -- ▁logo -- ▁engel -- ▁fry -- 私たちが -- ▁stammt -- 焦点 -- ▁Mexico -- ▁kerja -- 都内の -- For -- 大厅 -- ▁noranta -- einheit -- ちゃんは -- 我们开始 -- ▁Option -- ▁사람이 -- 足够的 -- んだね -- SA -- ई -- ▁gewöhnlich -- 炒め -- ▁squeeze -- 技巧 -- ▁tyrant -- ▁کمک -- ▁animated -- ▁coverage -- 獲得 -- ▁кап -- ▁Schrift -- ауы -- 見えない -- ▁그치 -- カフェ -- が流れ -- 亲密 -- ▁purity -- 等一下 -- 就好了 -- ▁foremost -- ▁niedrige -- కు -- halen -- ட்டை -- zünd -- ▁olur -- ▁eliminate -- pez -- ▁xem -- 重视 -- ▁konzentriert -- ▁extinguish -- ▁cursed -- ▁louder -- ▁disdain -- strich -- の中から -- フライ -- Krista -- ▁الأول -- ▁plantation -- ▁eindeutig -- ▁einzigartig -- 弦 -- 訪れた -- рю -- 盒 -- ▁hauptsächlich -- ▁Тэрээр -- 保障 -- ▁সং -- ▁Norden -- ▁stamped -- ехать -- verkehr -- wszy -- ▁pleaded -- 忌 -- 熱中症 -- empi -- арга -- 一分钟 -- ▁kadın -- адзе -- 我妈妈 -- živ -- 袭 -- ▁меч -- ▁квартал -- ▁Garten -- ▁frantic -- ▁Hij -- ▁iraq -- がついて -- ▁ئې -- 凌 -- ▁squirrel -- ▁denomina -- ▁imposed -- цэн -- 他们已经 -- ▁Theater -- ▁yiwen -- ▁Pap -- 央 -- ▁tüm -- ▁depended -- 亦 -- ▁gerçek -- ▁berühmte -- hize -- ▁Veränderungen -- ▁unworthy -- feind -- дох -- Instagram -- ▁Benutzer -- ▁dernière -- ▁Biz -- ▁زیر -- ießen -- ▁attempting -- ▁процентов -- が見つか -- 接受了 -- ▁связи -- ▁слышал -- 你有什么 -- யூ -- ცი -- نے -- ▁nearby -- 踩 -- ▁nhw -- ▁درست -- شعر -- ▁waiter -- 容器 -- серьезн -- 前後 -- schijn -- ӧр -- environ -- ▁tiuj -- 壳 -- ▁افراد -- ▁Muster -- 会发生 -- ▁아무 -- ली -- से -- はどんな -- eeuw -- сидел -- 娃 -- 睁 -- sammlung -- குறி -- ▁shit -- пыт -- 营养 -- просил -- रो -- chè -- ▁complained -- ▁Szene -- оф -- ▁imitation -- цам -- runner -- 保罗 -- ▁بدون -- ▁Mol -- 痛み -- iĝo -- ▁tackle -- скіх -- ▁mehreren -- vance -- ▁öğren -- 本质上 -- ボード -- 隔离 -- ▁encouragement -- 政党 -- ▁үйл -- 文本 -- konna -- weiß -- 辜 -- 担忧 -- third -- อน -- бач -- ▁devote -- おいしく -- ▁January -- ▁consumed -- ▁pyramid -- ▁verursacht -- ▁banking -- コロナ禍で -- 決まって -- ▁realised -- ▁Syn -- 向こう -- 轩 -- ▁международн -- ▁orchestra -- 账户 -- ▁أيضا -- ▁привет -- ▁digo -- ▁мере -- ▁reaches -- ▁nhiên -- ▁aktuelle -- stow -- あそこ -- 况 -- 紀 -- ǧǧ -- ▁retten -- ▁stability -- ▁mož -- ▁يُ -- ▁waking -- ▁Cada -- 됐 -- 车站 -- 你想要 -- 並み -- ەڵ -- ▁collaboration -- 歳で -- 더라 -- ਤ -- ▁skeleton -- ▁Church -- ▁duration -- clav -- ▁другое -- ▁frère -- ▁Institute -- ▁quina -- இன் -- rijk -- 最新的歌 -- 我刚刚 -- актив -- ▁phần -- ▁wandte -- ▁Power -- ▁région -- ▁வந்து -- ▁cierto -- 基本上是 -- ▁Back -- が生まれ -- ▁whispering -- ▁страх -- ▁copies -- ▁rouge -- ▁убийств -- ▁eloquent -- ▁Hong -- ▁kuva -- ющим -- Net -- 晚了 -- ▁nostra -- 我们一起 -- 然后他们 -- движ -- 的反应 -- 这样的话 -- 考え方 -- 舒适 -- あるんですけど -- லில் -- 意味着什么 -- locat -- ▁boiled -- 不明 -- ▁fashionable -- ▁proprietor -- 複数の -- 框架 -- ▁beantworten -- ▁segundo -- 導入 -- альной -- おなか -- ▁cinquante -- 札 -- ▁guinea -- ▁gabriel -- 的作用 -- 買って -- わかる -- ▁geschah -- aquell -- ▁fino -- درا -- সু -- ▁Händen -- kamera -- ▁expertise -- ▁scenario -- ▁حيث -- 次々と -- 連携 -- 打って -- 我心里 -- 嫂 -- を出して -- 诈 -- 太棒了 -- を目指し -- 扩展 -- ▁concentration -- 修复 -- ▁boca -- fay -- 机制 -- లే -- ▁дверь -- 底下 -- 侦 -- 栗 -- ▁Interview -- ▁agitated -- 沃尔 -- みる -- ▁curios -- āka -- ▁solely -- хгүй -- 발 -- ▁Gedicht -- ▁klicken -- 到处 -- 不管你 -- 提示 -- 覚え -- zah -- ▁ayrı -- 捡 -- ▁warfare -- ▁colonial -- ▁аан -- ▁superintendent -- ▁放一首 -- 一顿 -- 这些都是 -- ▁répond -- 小学生 -- でもいい -- 가지구 -- ▁lawrence -- ایت -- legung -- sexual -- 詰ま -- アリ -- 敦 -- 验 -- மைய -- してしまう -- 谨慎 -- ▁difficile -- ▁конкрет -- ▁describing -- jährigen -- ▁bastante -- 诚实 -- ▁exercised -- furi -- ▁facile -- ี่ -- ▁celebrate -- Risate -- 金曜日 -- ▁Mission -- ▁спас -- umunsi -- 对他的 -- zelve -- 星星 -- ▁erano -- ▁Osten -- ▁gael -- 慧 -- ▁ප්‍ර -- 朋友圈 -- ▁tusschen -- yita -- 今度 -- 周年 -- 聚会 -- дні -- 漠 -- 耗 -- 毫无疑问 -- 轰 -- ▁скажите -- ▁sandwich -- ▁chambre -- ▁traveled -- ▁decidedly -- ▁حالا -- ▁despise -- nesi -- ŝa -- ▁Schauen -- 水果 -- ▁herald -- 婚礼 -- ▁overwhelmed -- ▁heathen -- 一堆 -- netz -- ▁mississippi -- 土曜日 -- ▁internacional -- あすの -- hydr -- 跳舞 -- ▁enthält -- ▁reel -- 按钮 -- 有效的 -- mayı -- ▁resigned -- ▁quantities -- ▁submission -- ваецца -- ▁stärker -- 倒れ -- estructura -- ▁Gegensatz -- ▁llibre -- 走过 -- ▁reminder -- وں -- щение -- Wow -- ▁içinde -- 还想 -- ▁contrived -- ▁ignore -- 我也不 -- 져 -- ▁gregory -- ▁hejuru -- ▁korea -- ▁realiza -- 娘娘 -- ▁cooked -- ▁Stimmen -- ▁satisf -- 脆弱 -- ▁vaguely -- 顶部 -- 误会 -- 無料 -- 受到了 -- 的时候呢 -- 把手 -- ▁subsidi -- ▁necesita -- 假装 -- ▁persecu -- ▁dintre -- ▁endured -- lender -- étais -- ▁litter -- 愧 -- なのです -- 我们发现 -- ▁Tamen -- ▁hopeful -- check -- 声称 -- 意义上 -- 僕ら -- 各个 -- ▁vertrauen -- පා -- ▁khu -- ▁pathetic -- 不清楚 -- 側は -- 一个很好的 -- 六月 -- kker -- ▁hả -- ▁harness -- ▁vanish -- geblieben -- 塚 -- ▁orchard -- 争议 -- තර -- 的核心 -- ▁bland -- ▁heftig -- ▁terrorism -- 并非 -- நிலை -- 中午 -- 衆 -- ▁arnold -- 貨 -- ▁gehabt -- 7% -- فكر -- 演唱的歌 -- 分布 -- 戦闘 -- ▁spake -- ▁negativ -- ▁kimwe -- 畏 -- 眼前 -- ▁بۇ -- ▁sorgen -- 圣经 -- 只要你 -- ▁flowed -- 当成 -- ▁önemli -- ▁zurückkehren -- 砲 -- ▁Soldaten -- はっきり -- energia -- 言われ -- が大きく -- ▁plein -- éré -- 彼女の -- ▁kasuta -- 战士 -- ▁repeating -- invest -- ▁virtuous -- ▁laboratory -- ネタ -- руп -- ად -- 贼 -- 殴 -- ▁буй -- ▁இர -- Video -- ىلى -- fydd -- 几乎没有 -- 山田 -- гуль -- ▁Pel -- 任命 -- ▁discontent -- ▁ຊິ -- ▁winner -- 可爱的 -- ▁verbreitet -- 星球 -- ▁ааа -- 耐心 -- ▁overtake -- 災 -- ▁подумал -- ▁hände -- 打扰 -- வெளி -- ▁wonderfully -- ▁staatliche -- 的房间 -- に来た -- ▁nursing -- ▁dunia -- 笼 -- ▁chưa -- ▁Verlust -- Domin -- kommst -- монт -- 逃跑 -- 估 -- 你还是 -- ▁stepping -- 驱动 -- ▁сначала -- しばらく -- 衝撃 -- ▁blake -- ▁Frankreich -- ▁exploration -- と思うんですが -- ▁clinic -- 違って -- 寒さ -- ▁какую -- ▁soort -- meid -- ▁slack -- ▁күр -- ց -- ▁Ozean -- ić -- 退出 -- ▁historically -- ▁punika -- 画像 -- ▁weighed -- 本地 -- ấp -- 济 -- ▁pouvait -- ヒント -- 레 -- ▁vuitanta -- ▁verantwortlich -- ▁neunzehn -- hampton -- alist -- ▁склад -- 時ごろ -- Comp -- '47' -- ▁Cafodd -- amategeko -- ▁mnie -- ওঁ -- ▁öffnete -- デー -- あなたが -- ▁enorm -- 明治 -- 今大会 -- '`' -- ▁archbishop -- ▁иногда -- ▁прежде -- ▁göz -- ▁entrar -- ▁знать -- числ -- 奇妙 -- ▁kuvuga -- ▁grub -- ▁rubber -- 坐着 -- に関しては -- ▁preaching -- işle -- ▁psychological -- ▁survivor -- ▁Oberfläche -- 这个想法 -- 脖子 -- 观看 -- ▁Verstand -- ▁кож -- ▁нужны -- ▁diff -- integra -- ▁Hinweis -- ▁maakte -- 我希望你 -- 循环 -- ▁Simon -- 中止 -- ▁crucial -- ▁праца -- ▁thông -- дук -- ▁ownership -- ந்தார் -- ▁Paar -- ▁carta -- 大変な -- ▁hayat -- ់ -- ▁ситуации -- 欺骗 -- ▁regime -- まるで -- مُ -- وص -- 一个女人 -- 資金 -- ം -- ▁kompliziert -- ▁Geburt -- 衝突 -- ▁Play -- ▁Ärzte -- ▁snatched -- خنده -- īgi -- vè -- ▁küçük -- ▁navig -- 両親 -- تحدث -- ▁attire -- ▁Pause -- 連れて -- ▁Einsatz -- kî -- ▁Free -- 认识到 -- லு -- 扩 -- 男生 -- 仓 -- ▁Laura -- ▁magnitude -- ацыя -- torial -- ▁tercer -- 岸田 -- テスト -- بى -- état -- ▁máy -- schläge -- 激烈 -- ▁같은데 -- ▁kep -- 这就像 -- পি -- φ -- 肩膀 -- ▁psychology -- ▁wünschen -- ▁wiped -- を求める -- ظهر -- ▁streak -- ▁Aktion -- لې -- ▁vấn -- ▁owed -- ▁assessment -- ▁solomon -- 魔法 -- ▁digging -- ▁Kleidung -- ▁волн -- піса -- 직 -- ښ -- 叠 -- 垫 -- ▁provoke -- ▁disturbance -- 范围内 -- 教学 -- ▁труб -- ▁Deutsch -- ێت -- ▁করা -- ▁Englisch -- fluent -- ▁какого -- 陪你 -- sulta -- ▁applause -- ▁тэгээд -- ას -- ▁mmhm -- ▁rascal -- тәр -- ▁honesty -- ▁Phase -- Risos -- ▁постоянно -- 申請 -- ັກ -- ▁hängt -- ▁affecting -- ▁Veränderung -- ▁опыт -- હ -- ▁اليوم -- ▁друж -- 碰到 -- ▁Bühne -- ▁порядк -- ҭа -- 新聞 -- ▁Stimm -- ▁Süden -- مام -- 演説 -- 世界上最 -- leitung -- 遣 -- 北日本 -- 감 -- 碳 -- ▁collecting -- っぽ -- ができて -- やりたい -- ▁vardı -- ▁reap -- 背中 -- ▁Farb -- 焼け -- ないよ -- 摄 -- 하다 -- 외 -- ▁appealed -- ッキー -- ▁prick -- 上手 -- お届け -- kono -- ▁мэдэ -- 顾问 -- 很清楚 -- 斑 -- ▁интернет -- 刃 -- һын -- ▁نور -- awal -- ▁flashing -- ▁Since -- 大师 -- ▁macro -- เก -- ▁unconsciously -- ▁passé -- ▁dreaded -- ძ -- ▁cependant -- 초 -- ▁Там -- ▁бело -- ▁personnel -- 犯行 -- ▁priorities -- шев -- ▁grote -- neuron -- ▁treating -- âme -- ▁Bach -- 有许多 -- සු -- ▁Pic -- ▁Ereignisse -- 感染対策 -- ▁discoveries -- spoiled -- lith -- 喝了 -- ታ -- ▁Geschlecht -- ▁excursion -- 保険 -- ▁fonction -- 場に -- maktadır -- ▁judicial -- 安倍元総理 -- ▁Sobald -- lardan -- кажет -- ディング -- ▁harmless -- 这么一个 -- ▁ministry -- ▁ຫັ້ນ -- ▁cotxe -- 嘉宾 -- を取る -- ىسى -- lomb -- という話 -- ▁siaj -- ambul -- ▁referring -- 小小的 -- ▁utterance -- 角落 -- ▁kehrte -- パリ -- 捐 -- ▁provincial -- 想出 -- ▁benefici -- ▁Aku -- ▁исслед -- ▁Kong -- ıp -- 激情 -- 周期 -- ▁Ruf -- 坐下 -- ▁ewig -- ▁African -- ▁çünkü -- ▁academy -- ▁Maybe -- 无限 -- čči -- ▁connu -- 这孩子 -- ▁banker -- 村上 -- ▁authentic -- 寂 -- 郷 -- ▁kết -- ヴィ -- ▁luncheon -- ▁알아 -- 冷凍 -- ▁resume -- андр -- ▁refined -- clus -- 这样的一个 -- ாளர் -- 鲍 -- ▁nobility -- ▁Ул -- ໍາ -- を重ね -- ▁嗯嗯 -- 談 -- ▁awaited -- فَ -- ▁Aussage -- ღ -- ▁vermute -- 涌 -- హ -- 月曜日 -- ▁tốt -- esque -- ▁جدید -- 選んだ -- ▁Wann -- 身后 -- アイス -- カ月 -- ▁beschreiben -- 诱 -- ▁chwarae -- 附近的 -- inclou -- 什么样 -- 請 -- කු -- ल् -- ▁initially -- 期节目 -- ▁roaring -- ▁Ар -- ▁другим -- ▁oven -- 必须要 -- 20% -- ▁saloon -- ▁врач -- せん -- ▁lewis -- ▁vicious -- ▁Zentrum -- ▁brazil -- 的权利 -- 美味 -- 不许 -- ▁பயன்படுத்த -- ▁вульф -- ▁видимо -- 先発 -- きれいに -- ▁ужас -- ▁obtaining -- ▁Aufnahme -- ▁podría -- ▁sadness -- 拿出来 -- 必要がある -- лыҡ -- 作业 -- 采用 -- ▁vya -- ▁feat -- ▁Although -- なければならない -- 大規模な -- 推进 -- 我只想 -- ▁durum -- 还有其他 -- どうする -- œuvre -- ▁eloquence -- ▁бөгөөд -- 栋 -- 鏡 -- būt -- günstig -- 开会 -- ▁Grab -- ▁அவர்கள் -- ロシアが -- voja -- ▁felicit -- ▁attendance -- 否认 -- ぇ -- ლა -- わずか -- ▁hunted -- ようやく -- 爵士 -- ހަ -- 然而 -- ▁mournful -- 長期 -- wamu -- 期限 -- 询问 -- ▁установ -- ▁rainbow -- 騒 -- ▁diligent -- ▁vergangen -- ▁asylum -- ▁yanjye -- koht -- ▁comfortably -- gerät -- 凶手 -- ▁armour -- pari -- ▁dignified -- ▁cuerpo -- ▁Prinzip -- associa -- つま -- ▁excite -- ▁matches -- ▁brauche -- ▁كې -- ddling -- ▁baggage -- ▁outstanding -- 秒钟 -- ▁vierzehn -- 克服 -- ▁blazing -- பின் -- 下がって -- ▁руку -- jící -- わたし -- න්නේ -- ▁consegui -- 他们正在 -- ▁qualified -- ▁tradi -- 统一 -- 人が死亡 -- buah -- ▁защит -- ▁donkey -- 新幹線 -- 欲しい -- クル -- ifuza -- miento -- ▁lumber -- jye -- ▁meteor -- ▁gradual -- களும் -- ▁crowned -- quisition -- ショート -- 糊 -- ही -- チャレンジ -- னும் -- ▁एक -- ▁sydney -- ▁Taylor -- 克莱 -- 拿起 -- リーダー -- 兔子 -- 其他地方 -- ▁Graf -- ▁ужо -- ël -- өнгө -- ▁fünfundzwanzig -- ▁estimated -- 一趟 -- ▁quoted -- த்தா -- spruch -- 激しく -- ▁Был -- čil -- トラブル -- пустил -- ▁seventeenth -- ▁thirteenth -- ▁compelling -- ▁seemingly -- ▁نگاه -- 更好地 -- ▁bunk -- のまま -- nev -- 借り -- ▁кре -- krist -- 七月 -- ▁Atom -- spezifisch -- 一直是 -- Orient -- йтесь -- ▁meilleur -- '120' -- ▁habt -- ▁liking -- ▁legislature -- どのような -- 一块儿 -- いくつか -- ▁romp -- ▁trench -- ▁сильн -- 凑 -- 鸣 -- 登録 -- ▁frail -- 获取 -- ▁Main -- いること -- 広く -- プリン -- 親子 -- 段階 -- 豆腐 -- 很长时间 -- ▁Castell -- 真理 -- ▁треб -- ▁endeavoured -- Institut -- 萌 -- Infrastruktur -- 堀 -- 诉讼 -- ▁прекрасно -- ってほしい -- キャン -- 徐々に -- ▁يجب -- ▁vall -- ზ -- eisen -- ▁Gewicht -- ▁العمل -- ▁contemporary -- 戦略 -- ▁wesentlich -- కి -- 予定です -- っけ -- ▁bello -- ▁socialist -- ということなんですね -- ▁cement -- ▁그걸 -- ▁shifting -- ▁Sup -- ▁дене -- ▁governed -- schäm -- ▁jurisdiction -- ▁giorno -- ▁triple -- funk -- ▁sneak -- 院长 -- 食料 -- чныя -- vira -- ▁spoon -- сця -- ▁silenci -- 出售 -- 几十年 -- geordnet -- ▁Philosophie -- ▁congratulate -- リズム -- ▁scheen -- ▁пятый -- ▁tidings -- ▁podem -- 北陸 -- 大姐 -- ▁hệ -- ▁Lind -- accus -- иров -- 另 -- 付いて -- ▁vegades -- ▁কৰি -- ▁inherent -- räumen -- ▁Vorschlag -- ▁Dabei -- ッジ -- ▁Interessen -- 得很好 -- неп -- ▁keel -- 一阵 -- ▁treasury -- ▁sculpture -- ▁vật -- ▁Beach -- できなかった -- ちょっと待って -- 巨人 -- ▁Verein -- 乗せ -- ▁Ple -- 冲动 -- 休み -- syll -- ත්ත -- ോ -- ▁غیر -- ロック -- чки -- 回答说 -- うまみ -- ලි -- thorpe -- 其中一些 -- をつか -- ▁outdoor -- に向けた -- ▁amuse -- К -- ▁bantu -- uwen -- 辅 -- lulu -- নী -- ativa -- 網 -- 詹姆斯 -- 懂得 -- 太空 -- 四处 -- いずれも -- ▁Vertrag -- ▁verbinden -- 脊 -- ఎ -- ▁обычно -- ▁dispatch -- 切った -- と指摘 -- ▁komplett -- 火事 -- ▁migration -- kintu -- 働 -- 札幌 -- ▁касается -- 告诉他们 -- ▁ingenious -- だとか -- عادة -- 金钱 -- ضع -- 般的 -- ▁fling -- 正如你 -- ▁durchführen -- コーヒー -- スケート -- 的意思是 -- 很多事情 -- ▁crisp -- ▁grunt -- ▁kutoka -- ES -- 爵 -- ▁dự -- ▁catastrophe -- ▁tưởng -- ▁disregard -- ▁gezegd -- ▁Kredit -- 強さ -- ▁بودم -- OS -- beruf -- ▁handling -- ▁pesca -- 根本不 -- ▁Champ -- ▁девят -- 晒 -- ▁evaluate -- ▁Dewi -- ▁ответствен -- щего -- 认知 -- ovna -- ▁paragraph -- 決めて -- ▁roared -- ▁Quindi -- 毫不 -- 름 -- ▁Sitzung -- கிறது -- ▁willow -- 欢迎来到 -- 船上 -- 维护 -- ▁tanta -- ▁Europäischen -- ▁Molt -- শ্ -- tiene -- 種類の -- を超えて -- ▁terminal -- ▁consulted -- ▁portal -- алды -- ▁المع -- assassinat -- 証明 -- 标记 -- يار -- 一起工作 -- ▁ئەو -- ▁Pflanzen -- ▁embarrassed -- kawa -- ▁serene -- ▁streaming -- ▁jason -- ▁stride -- ▁лиш -- 多次 -- භ -- ▁almighty -- ▁hurricane -- ▁Science -- ▁سره -- fashe -- quadra -- 常常 -- 国民の -- ▁dạ -- põ -- ▁discount -- を出す -- 到目前为止 -- fähigkeit -- 谈判 -- スパイ -- ▁patiently -- ▁lautet -- ▁болох -- 惊人的 -- fleur -- ▁prosperous -- 委屈 -- ică -- ▁Brian -- 两百 -- ▁ভাল -- ▁brandy -- 实在是 -- àng -- ▁produit -- палі -- 客厅 -- を示す -- ▁gezwungen -- исто -- stairs -- ▁lapse -- 镜头 -- 般 -- ▁Està -- operative -- ▁Veranstaltung -- 二人 -- දී -- ▁moll -- ▁courteous -- رَ -- ▁Oberst -- 谁呀 -- 車両 -- анг -- ▁série -- ▁behandeln -- பட்ட -- とかそういう -- лок -- ▁کړ -- ▁Austr -- 看起来很 -- 酒吧 -- ▁বলে -- пок -- インターネット -- 天皇 -- ▁estaban -- зур -- 极端 -- ▁distrust -- بری -- 去哪里 -- ▁сельсовет -- ▁نحن -- ▁erhöht -- ▁mặt -- 軒 -- ▁Abendessen -- ▁accusation -- 领导人 -- льная -- ▁görün -- 年生の -- 伊藤 -- 支払 -- 肌肉 -- ▁zitten -- したうえで -- chimp -- 恋爱 -- ▁ег -- ▁зелен -- 动机 -- ▁Konflikt -- 군 -- ▁sabbath -- '".""' -- ▁kapit -- セント -- ▁polish -- ▁simultaneously -- की -- ▁kugeza -- 相当于 -- ▁годы -- علوم -- итесь -- ▁expressing -- іла -- 美女 -- umugabo -- قطع -- ▁schickte -- ▁реша -- ▁Fälle -- ெய் -- migr -- 己 -- ální -- ▁людям -- ▁некоторые -- バーディー -- fungu -- ▁executing -- بحث -- schieben -- 引发 -- 质疑 -- ▁Gründen -- grenzen -- ▁persecution -- ▁Zitat -- 土砂災害 -- ▁besorgt -- ▁unfair -- 到这儿 -- 인데 -- عات -- ▁ребята -- ouvre -- 第二次 -- рыс -- ших -- ▁тус -- しまい -- 思われ -- 鹅 -- ▁Katze -- ▁strengthened -- kamu -- ▁Royal -- ombro -- ▁folgt -- ▁destaca -- ▁همان -- خورد -- 倦 -- スポット -- rechnung -- ▁inheritance -- ىدۇ -- ▁பிற -- ▁Kevin -- ▁behaved -- 数百 -- 明显的 -- roving -- ▁наконец -- 稚 -- 구나 -- 犹太人 -- 确认 -- ▁தீ -- لِ -- 二十年 -- 为何 -- ходил -- жат -- märk -- ұ -- ▁الوقت -- ▁depois -- ▁цар -- ▁despised -- 商人 -- ొ -- ▁besuchen -- 詐欺 -- スタイル -- ▁überzeugt -- ここの -- wili -- ▁Life -- 特别好 -- ▁ziet -- ラム -- を続ける -- rinda -- 호 -- kanya -- ▁chairman -- 木さん -- トイレ -- крыва -- ▁stooped -- ▁Schatten -- ▁kuwi -- 一本书 -- ebene -- вец -- ▁занят -- ▁garment -- ▁Danach -- ▁ăn -- ▁Как -- が続いています -- 遂 -- क्ष -- ▁acceptance -- ▁körperlich -- 義務 -- 该怎么 -- ائي -- ▁krista -- ителя -- ымі -- ▁Neuro -- ▁semble -- を進めて -- 見られる -- 遭受 -- ▁Einheit -- ▁ditch -- ▁Sydney -- ▁üzerinde -- 葛 -- ▁российской -- ▁шестьсот -- ▁advertisement -- ▁lucruri -- 伯特 -- 小林 -- ▁bamu -- հ -- ▁Pakistan -- ▁hành -- わからない -- ▁historische -- kiem -- ▁nghe -- かつ -- 约会 -- もらえる -- tsiooni -- ▁preached -- 울 -- 胳膊 -- ▁exaggerate -- ▁subscription -- ▁sworn -- ▁evolved -- 认可 -- verhalten -- ▁hạ -- нде -- ▁путина -- ▁accumulate -- いくら -- ▁Dž -- 先頭 -- ▁berlin -- 僅か -- ▁Knie -- 数据库 -- ▁жест -- ▁زیادی -- ▁envoy -- ▁самого -- väg -- 录音 -- جعل -- タイトル -- ▁protecting -- brian -- 緩 -- 勘 -- もしかしたら -- ▁shrugged -- willig -- ▁иә -- නය -- 三个月 -- 時代に -- 音频 -- 来看看 -- මි -- ▁vicinity -- ▁choosing -- ▁வழி -- 奇迹 -- ▁Schreiben -- лээ -- croft -- ▁kontrol -- бот -- ▁izmanto -- ▁좋은 -- пуск -- parent -- ▁container -- 疯了 -- 尼斯 -- 確認された -- ▁thicket -- ▁верн -- ▁dankbar -- 并将 -- 大陆 -- ▁comercial -- ▁vorhanden -- jev -- 对面 -- ▁tiefer -- ▁cama -- 不能再 -- だと思う -- 則 -- 鸭 -- ▁soutenir -- 幺 -- ▁Schlacht -- ▁chaos -- ▁meisje -- を行った -- ▁conjunt -- ▁Ansatz -- 皇后 -- 环境中 -- 님 -- 世紀 -- も含めて -- '98' -- ობ -- त्य -- ▁derecho -- ▁davis -- ▁Шу -- お酒 -- ▁verhindern -- ▁komunumo -- ▁mochte -- こだわり -- 设施 -- 天使 -- ▁schade -- позиц -- 9% -- пай -- ▁richmond -- ▁посмотрел -- eusement -- meester -- ỹ -- োৱা -- 久しぶり -- 候选人 -- ங்களில் -- ন্দ -- ▁Zusammenarbeit -- 少しずつ -- ▁Tausende -- 东方 -- いただき -- aquestes -- ▁gefällt -- гада -- 薇 -- ▁mathematics -- ▁처음 -- lago -- amara -- zentrum -- ▁forgiveness -- ▁Each -- ▁அதன் -- ▁Deci -- 他にも -- ▁mirth -- 建立了 -- Ɣ -- сор -- ▁Wörter -- Bahn -- ▁bajo -- ▁carne -- 可怜 -- thought -- größe -- ガラス -- ▁screaming -- ▁ändert -- 培 -- 给了我 -- અ -- ▁thôi -- ▁indicator -- ▁alfred -- ▁کنی -- ▁gezien -- جلس -- ▁disciplined -- ▁housekeeper -- 体操 -- 还挺 -- ▁submarine -- いきなり -- كرة -- ▁erneut -- ▁Medizin -- 资助 -- vå -- ▁lucru -- ▁разные -- ▁oars -- ливо -- 可惜 -- ▁Oxford -- Kampagne -- ▁generosity -- ▁무슨 -- ญ -- 縦 -- 偽 -- ível -- パワー -- ▁moviment -- 尽量 -- ▁universitat -- ME -- ễ -- ▁нравится -- ▁понимаешь -- ▁böyle -- 学术 -- こんにちは -- ▁kvar -- 摊 -- 棵 -- ▁hereafter -- Franc -- ▁prussia -- ஷ் -- 天哪 -- ▁Hügel -- 最新の -- ▁Korea -- ▁мөн -- ▁হয়ে -- ▁kaiser -- ático -- ▁mooi -- 晩 -- ึ -- ▁cambio -- holm -- ственно -- ▁implied -- ▁év -- 我个人 -- ▁jenny -- 就是因为 -- Ĉ -- を通じて -- ▁değiş -- ▁borrowed -- 是否有 -- ▁Tout -- ▁festgestellt -- きょうも -- ▁تک -- 短暂 -- ▁franklin -- ▁piled -- 还是要 -- 自主 -- یەک -- ▁contempor -- 狩 -- 불 -- نظام -- 亲戚 -- 活跃 -- 真心 -- 会让你 -- ▁کشور -- ování -- ▁stesso -- бег -- 临时 -- 八点 -- いろいろな -- घ -- 螺 -- க்கை -- ▁consultation -- ▁Wut -- ▁Personal -- ▁quedar -- ▁こうした中 -- ▁Ку -- ▁prolonged -- ▁folgenden -- ▁temporal -- ▁bleef -- ăng -- バター -- ▁Saya -- ▁detected -- ▁Про -- ▁translate -- 信念 -- асць -- ないんです -- ▁کوچک -- 両方 -- ▁contrari -- ▁அத -- ோம் -- お肉 -- ņa -- ▁Einstellung -- したいと思います -- ▁встреча -- wyl -- 侵攻 -- 我刚 -- ۱ -- 房地产 -- ষ্ট -- ▁ஆனால் -- 收藏 -- مثل -- ▁Philip -- ▁reliable -- ▁conspiracy -- ▁indispensable -- 日本海側 -- の歴史 -- ▁কোন -- ▁superiority -- 子弹 -- 的意见 -- ▁conqueror -- 帖 -- 迎え -- ▁одоо -- 優しい -- ическое -- wyth -- ▁одну -- wirkung -- ▁financing -- ▁ascended -- كتب -- 八月 -- ▁zoals -- ヶ -- ▁கட்ட -- ▁petty -- ▁cricket -- すぎて -- 得起 -- cross -- 加强 -- crypt -- ▁jünger -- ▁ຫວາ -- ▁considér -- ▁Studio -- вд -- 另外一个 -- ▁kennedy -- ▁castell -- าม -- ▁abrupt -- ▁buli -- identifi -- ▁disadvantage -- ▁නො -- ▁arasında -- ража -- ▁хотят -- ▁apron -- ▁damned -- 不在乎 -- ▁horace -- 帮助我们 -- communica -- жин -- 貸 -- たちに -- ▁complement -- ▁والم -- джи -- ▁Rick -- கிறார் -- ▁maximum -- อา -- ▁ҡара -- ▁lebendig -- ▁счита -- 毫 -- ▁mechanic -- ෑ -- ナンバー -- 餐厅 -- 援助 -- ▁khá -- ▁creu -- apport -- ▁continual -- 了多少 -- ところです -- 但我认为 -- ▁Villa -- ▁reagieren -- ▁нічога -- 筒 -- 贫困 -- ▁puerta -- ▁pathway -- 效率 -- 津波 -- ▁Europ -- ▁бесп -- ▁счет -- 对抗 -- 生物学 -- writer -- 認め -- ▁extravagant -- ▁umbrella -- ▁jullie -- ▁distressed -- ▁precisa -- 称为 -- ▁honorable -- ూ -- 伊斯兰 -- 尊敬 -- ▁clinging -- ▁бала -- льных -- pā -- ▁civilized -- 出てきて -- BI -- ▁apparatus -- ▁затем -- にわたって -- 道具 -- ▁Grenze -- ▁велико -- печат -- ▁babi -- ▁blunt -- ▁محل -- 漆 -- ছো -- ▁vegetable -- regierung -- かき -- ▁ocasi -- ▁lacking -- 颤抖 -- ▁thereupon -- 另一方面 -- 最後まで -- düğü -- 七点 -- basha -- bikora -- 共享 -- 存储 -- ▁clark -- 是什么意思 -- ▁schoon -- ▁Nahrung -- ▁Elektro -- ▁yapıyor -- ことば -- kibi -- ▁Tony -- hér -- 粮 -- 起床 -- :“ -- Râsete -- 萧 -- ハウス -- partei -- 分别 -- ▁principalment -- 戴着 -- ▁پرو -- occupa -- 部落 -- ▁favourable -- ▁expose -- 売り上げ -- ▁Marie -- 怪我 -- ▁практически -- ▁별로 -- 偷偷 -- ▁complexity -- eût -- vamo -- ▁automatic -- mysl -- ремен -- dimensional -- прям -- ▁Beweis -- 犠牲 -- нең -- anomena -- строй -- ▁طريق -- の間で -- ▁ethel -- 締め -- 只有一个 -- 分散 -- ▁alright -- プラ -- ▁approaches -- ြ -- 汪 -- овского -- человеческ -- ượ -- 発売 -- ▁quindi -- คน -- ▁diplomat -- ▁mulher -- 人才 -- ▁scold -- 灰色 -- 寸 -- 叙 -- ▁covenant -- ▁Mind -- ▁Four -- 气候 -- ▁kennt -- сер -- ▁pew -- guye -- валася -- ▁instructed -- ▁இல்லை -- 地看着 -- 国葬 -- ▁газар -- 掩 -- 筆 -- 艾伦 -- 飛ば -- ID -- ▁substitu -- tracht -- 名称 -- だと思って -- ▁mientras -- 相手に -- ▁Jason -- appropri -- ▁höre -- 捜 -- ▁தனது -- ▁مشکل -- بند -- 犹太 -- ジョ -- ▁Dienste -- 武装 -- ydı -- ▁இருந்தது -- ▁праз -- gemacht -- ▁feder -- 炊 -- 合理的 -- leuchtet -- ▁Bereit -- ▁taylor -- そうと -- ивают -- 惊喜 -- 知道吗 -- ▁constance -- あげる -- ворот -- 台上 -- plau -- 剥 -- 古老的 -- 也知道 -- ▁strategi -- ▁amateur -- ▁mettre -- 日军 -- んでしょうね -- ゥ -- ▁orleans -- 说出来 -- 眼里 -- ▁blunder -- あいつ -- 一个小时 -- ▁moist -- ▁teatr -- 以一种 -- ▁разве -- 欺 -- ▁vernünftig -- 疼痛 -- রের -- ▁Kohle -- géni -- ▁oyun -- ▁healing -- brä -- father -- 王国 -- 伸出 -- 就不能 -- 火山 -- ▁пару -- 最后一次 -- ▁Kö -- 巾 -- abaturage -- ▁defiance -- ▁москвы -- 観光客 -- 够了 -- ▁olw -- ▁açık -- ▁primi -- czas -- ▁المس -- ▁blev -- ▁sauber -- ▁voting -- ▁complicat -- ณ -- ▁través -- ▁optimize -- ▁melodi -- ▁lavoro -- ▁подожд -- ▁войны -- するのが -- ▁diminu -- と呼ばれ -- ▁самых -- ▁bijna -- ▁bildet -- つながり -- 棉 -- روس -- 始终 -- ▁yacht -- ▁packet -- šā -- しているんです -- ▁Wid -- ▁hose -- istisch -- ▁prezent -- ▁missionary -- ▁commonplace -- 駆け -- プロジェクト -- ▁circus -- クラブ -- ▁customary -- ▁exclusively -- 鑑 -- 枠 -- 吵架 -- ▁peine -- 一起来 -- 時まで -- いいね -- ▁mathematical -- 珍しい -- ▁иначе -- ▁depriv -- ▁venice -- ▁sitzt -- 留给 -- ▁Court -- ▁zooals -- ぷ -- ▁versteckt -- ▁stata -- ▁billig -- TA -- shima -- 树林 -- ▁iawn -- ▁plac -- ১ -- ▁memorial -- 在做什么 -- ▁thường -- ▁ladyship -- world -- 危険な -- ▁До -- の中でも -- ▁mostrar -- 昨晚 -- ▁appreciated -- ▁جنگ -- ▁bluff -- 庙 -- ▁emphasize -- ▁renown -- 沟 -- 陸上 -- 一点也不 -- lê -- сия -- 椅 -- œ -- 函 -- ▁admiring -- ▁sacrament -- 财务 -- 节奏 -- 礼貌 -- 广场 -- ▁implore -- ицы -- マリ -- 这个事情 -- いいのか -- があるので -- 年级 -- kiko -- ▁exam -- っていない -- ▁diameter -- ▁Palm -- бә -- 起诉 -- ▁ہو -- 大好きな -- ▁cetera -- ▁पर -- もう少し -- 瘾 -- 涙 -- вания -- ▁overflow -- ▁ожида -- 临床 -- ▁сябе -- männer -- ▁contradiction -- 吊 -- ▁사람들 -- ▁ساعت -- ▁العديد -- ▁никакого -- 的思想 -- ▁obstant -- andika -- ▁legion -- ▁cultiv -- ▁arriba -- ▁przed -- võt -- 行う -- ય -- ▁allerdings -- ogene -- schalten -- demokrat -- ▁traced -- ▁считает -- ▁produc -- 春天 -- ▁burada -- 赶快 -- င် -- ં -- ゼレンスキー大統領 -- ▁случилось -- ▁состав -- Ҡ -- ▁bemerkt -- 原本 -- 現金 -- Gerät -- のようなもの -- енә -- ▁Pur -- ▁kreativ -- ▁behauptet -- ▁للم -- ▁новый -- ▁hardware -- свет -- ければ -- 贫 -- 誰が -- ▁marque -- ▁stuart -- を見ると -- ▁Menschheit -- 深深 -- очку -- ব্য -- ▁roam -- ▁kujya -- 二百 -- 行不行 -- 慣れ -- ▁savu -- 原発 -- ▁hakkında -- 规矩 -- ▁stubborn -- ▁полно -- ▁übrigens -- ▁offenbar -- ▁tipus -- ▁strained -- madı -- ドン -- 朝から -- ロボット -- ▁verletzt -- 的说法 -- ண்ட் -- 尤 -- 我听说 -- 救助 -- 体調 -- ▁cooperation -- 做了一个 -- ▁junger -- 一点儿 -- ▁dusty -- 开枪 -- ▁Angebot -- 珊 -- ▁Тэд -- 义务 -- නු -- interest -- 血管 -- ▁trouva -- වැ -- истов -- ▁ҡал -- ģ -- ▁vulnerable -- ▁receipt -- 洗濯 -- تعلم -- 厕所 -- ▁conductor -- ▁schreibt -- ▁Verbrechen -- ▁замечательн -- ▁adviser -- ▁hostess -- 挙 -- ע -- ▁cylinder -- ▁امروز -- ▁treason -- ▁Sever -- ıyla -- ▁Vogel -- ▁wertvoll -- 书记 -- 跃 -- ▁gravel -- ▁preliminary -- ▁bảo -- 証拠 -- ▁solved -- ▁будто -- わよ -- 果然 -- вацца -- ことになりました -- 媒 -- یں -- ▁accuracy -- ▁commodity -- ▁District -- بيع -- ĵ -- ▁implemented -- 三月 -- バレ -- ▁краін -- цией -- 能看到 -- 或其他 -- 嗨 -- അ -- ▁belangrijk -- 舟 -- 포 -- 償 -- ▁komplexe -- ▁basketball -- ▁Sekunden -- ▁noisy -- ▁interruption -- 说完 -- ケア -- illus -- ▁compliance -- ▁اتفاق -- ▁psalm -- ▁electrical -- ენ -- ▁vragen -- ▁shun -- 逮捕されました -- ▁severity -- 之内 -- 么 -- half -- 找出 -- ٍ -- ▁موقع -- ▁Signal -- 我问你 -- ▁pobl -- цяг -- 契 -- 贯 -- ▁făcut -- ▁Đây -- 阴影 -- 南京 -- ▁pouvez -- ▁Spieler -- евой -- kipe -- тап -- 花钱 -- ▁doktor -- ▁вперед -- ▁обязательно -- ▁صحبت -- iyoruz -- 製品 -- ஞ -- 抬起 -- 合意 -- ▁quả -- ▁coch -- ковский -- 儀 -- する方針 -- ▁fringe -- geschrieben -- が起きた -- 価 -- ▁государство -- buye -- ▁внутрен -- 疑いが持たれています -- ▁мама -- угл -- ாவது -- になれ -- ▁salad -- 什么都不 -- ▁ghastly -- 匆忙 -- 忽视 -- ▁universities -- ▁Handlung -- cull -- ▁maggie -- ▁Papa -- ̀ -- 旺 -- ▁zerstört -- ▁vapor -- ▁bafite -- 欲望 -- ▁sicherzustellen -- ▁Voll -- টো -- ▁материал -- ▁gemein -- ▁sorrowful -- 诗歌 -- ibindi -- 保安 -- ▁đấy -- 不管怎样 -- ▁automatically -- まっている -- ムー -- ▁Shu -- 怎么着 -- 苏联 -- ▁Jersey -- ▁произошло -- ▁Bạn -- ▁Viertel -- exclusi -- 售 -- 唯 -- 取代 -- ▁handeln -- ▁blur -- 相机 -- 种植 -- ▁hark -- 污 -- ▁псих -- ▁ritual -- ▁потеря -- 你放心 -- ▁rejoiced -- طلب -- ▁visage -- ぶつ -- operation -- ▁камен -- ▁conseil -- ▁liable -- 蚊 -- эргэ -- ▁यस -- работал -- üßt -- ランク -- ▁occhi -- ▁Мин -- ▁beendet -- ▁kitten -- ▁зуб -- ▁Kenya -- ▁ikibazo -- ▁أيضًا -- デジタル -- ▁abbey -- 会觉得 -- ично -- ிருக்க -- を通して -- 那不是 -- жыць -- 通行 -- ▁longue -- ▁Heimat -- ▁intrigue -- قدر -- бен -- ▁joven -- bücher -- 山本 -- ▁priorit -- 承受 -- 结束时 -- wezi -- ▁regal -- ▁emit -- ▁анти -- 判決 -- ኝ -- ▁eyebrows -- ▁bicycle -- ▁çıkar -- дина -- みそ -- பர் -- 争取 -- 个性 -- 五分钟 -- ก็ -- ▁смотри -- kontroll -- 밖에 -- ▁exalted -- 消え -- ▁gebeten -- ER -- ▁прибыть -- 弾道ミサイル -- ▁решения -- ▁அவள் -- 火星 -- 怖 -- 预期 -- 衡 -- störung -- усь -- グルメ -- ▁minority -- ▁neighbouring -- ▁Leidenschaft -- ▁oppressed -- 你会看到 -- gène -- ▁tutor -- 陷 -- ▁äußerst -- 嘞 -- ▁començar -- objekt -- ▁proverb -- கம் -- anstalt -- ▁holiness -- ▁шүү -- ▁государства -- ▁мус -- ▁pregunt -- 砍 -- ▁überzeugen -- ▁다른 -- слух -- ▁twig -- зад -- analyse -- そうした -- 战场 -- 网友 -- ლ -- Ḥ -- ▁njegov -- ▁repeatedly -- ▁اولین -- ▁любой -- ▁archer -- ▁اور -- 積み -- étude -- 我总是 -- ▁zweihundert -- ▁komis -- 抚 -- ごとに -- ▁resurrection -- 杠 -- ▁Mehrheit -- ▁squadron -- frica -- 合理 -- 農家 -- sensibil -- ទ -- ▁структур -- ▁бүтэ -- 引き上げ -- ▁Innen -- нікаў -- 加工 -- ▁производ -- 单身 -- 呈现 -- ▁Schnee -- ▁برنامه -- ▁gleaming -- 応え -- ▁creeping -- ▁ligne -- ▁працу -- ▁corri -- เส -- 現れ -- ▁перш -- очки -- ▁genutzt -- 皆様 -- 総裁 -- ▁robinson -- ▁часов -- нена -- ▁kettle -- 诗人 -- شاهد -- äß -- ▁muerte -- ▁fake -- ▁société -- ▁микрорайон -- 밥 -- ブラジル -- ▁desirous -- 一个男人 -- ▁spectrum -- springen -- 孙子 -- ▁सम -- りません -- 不太好 -- stāv -- ▁prediction -- したところ -- ▁coil -- ▁Fast -- ゴン -- コーチ -- ▁proclaimed -- ▁jugador -- ▁توانم -- ஊ -- 体内 -- ▁interference -- 四百 -- が増えて -- 打つ -- wickelt -- ▁Мне -- ▁kvin -- дро -- ▁crab -- ▁Literatur -- ▁shawl -- ▁outfit -- 倾听 -- 不良 -- ▁Chef -- zuhalten -- 普通に -- ▁そんな中 -- ▁groaned -- の方は -- 艇 -- ▁Petr -- ▁Wach -- bole -- еньки -- 难受 -- 発信 -- 及其 -- ▁scatter -- ▁drifted -- ▁rejoicing -- ▁друзья -- ▁karakter -- 是一件 -- assemble -- を進める -- でしょうね -- ▁Befehl -- 直前 -- జ -- 亚马逊 -- 社交媒体 -- miseks -- 设计师 -- ▁majoria -- 很可能 -- 也许是 -- испол -- 飘 -- ø -- أصبح -- ▁orthodox -- ▁thieves -- 鹿児島 -- 难以置信 -- 明天早上 -- jū -- национальн -- 热爱 -- ுகிறார் -- ▁piety -- あれは -- 农场 -- AC -- ▁مرا -- ▁eleanor -- ▁prêt -- ▁کتاب -- 大谷選手 -- 行事 -- ▁allusion -- ▁yavuze -- ▁trá -- ▁суу -- ▁gọi -- 雀 -- மோ -- 不然 -- かしら -- 优秀的 -- blé -- リアル -- gewinn -- 导致了 -- 辩 -- 旬 -- リオ -- iddwa -- ブランド -- 内閣 -- ▁وقد -- 册 -- ▁concession -- 選択 -- ▁Cambridge -- 込 -- لەر -- ▁ĉefe -- ▁dragging -- ▁sparkling -- ▁consistently -- 吹き -- ▁пакуль -- holz -- ドア -- 做得很好 -- attend -- ▁benjamin -- ▁shifted -- ▁Spur -- ваюць -- ▁hynny -- ▁elevation -- 軽く -- ▁trình -- ボタン -- ganya -- операци -- ▁رسید -- 又不是 -- ▁frenchman -- 看着我 -- ▁suppressed -- kijk -- ▁perquè -- ▁জন্য -- ▁remarkably -- aĝo -- ▁ernest -- 军官 -- ▁download -- mette -- ▁Microsoft -- 沖 -- 勧 -- archiv -- سرع -- 一支 -- ひとつ -- ▁цаг -- dessus -- 当前 -- 释 -- wendung -- されたのは -- 意志 -- に近い -- 这是什么 -- スペース -- ▁ruling -- كۈ -- genomen -- ▁malheur -- سلام -- ▁выборы -- 県内 -- ▁australische -- ▁untersuchen -- 鎌倉 -- 促进 -- ▁Geschenk -- 诊断 -- ▁jeanne -- waż -- ▁groom -- を受ける -- ▁lettre -- ▁adjacent -- 砖 -- 挟 -- эль -- ▁presque -- 远远 -- 地理 -- 的感受 -- ▁Eric -- читыва -- concili -- ▁basil -- 配信 -- ▁desenvolup -- 桐 -- 縫 -- 跑到 -- 同じように -- ▁freuen -- 諦め -- 雨雲 -- ▁selben -- لج -- 三次 -- 平方 -- ▁vaig -- ▁Social -- カナダ -- ▁москве -- 定位 -- すり -- ▁getrennt -- bbling -- ▁syr -- ▁integrity -- UN -- پە -- エース -- ▁Verbraucher -- 舎 -- ▁caracter -- 見てみますと -- விய -- 听过 -- 谁能 -- 深度 -- 术语 -- と思うので -- 消除 -- 撑 -- ▁şimdi -- ▁savoir -- 代わりに -- حصل -- ▁Medikamente -- やっと -- ຫຼ -- を獲得 -- ▁pitiful -- ▁легко -- ▁besiege -- 有趣的是 -- 集合 -- generation -- ▁publisher -- жым -- ಡ -- 穆斯林 -- ▁declaring -- ビジネス -- ▁elkaar -- ▁visibility -- 争い -- ▁scary -- 慢点 -- ▁leiten -- って言った -- 我也不知道 -- ড়ি -- ▁westward -- ▁repress -- ▁fehlt -- ृ -- ▁installed -- ▁сожалению -- ▁언니 -- 雇佣 -- ▁repos -- ▁парк -- ▁accuse -- سپ -- みたいな感じ -- 飛行 -- 阿里 -- ▁demonstra -- ▁ridicule -- ▁மிகவும் -- 脑袋 -- ▁Company -- চে -- ▁Senator -- AT -- ▁veranda -- 征服 -- 布里 -- يَ -- 丈 -- ▁சேர் -- 崇拜 -- ivamente -- ▁Water -- ▁glimmer -- していること -- II -- 衛 -- 喜剧 -- 手紙 -- ▁집에 -- ējā -- ▁Block -- ▁väl -- undneunzig -- 詞 -- ▁слов -- ▁Kalifornien -- ει -- haza -- 趣 -- ▁Basis -- ▁Cela -- قۇ -- 动议 -- 是多么 -- やろう -- ▁neighboring -- ▁Hast -- алда -- вание -- どこまで -- ▁lavora -- ▁erstellt -- ▁кеше -- ▁Perspektive -- ▁cualquier -- ▁chemistry -- ліз -- ▁inherited -- もち -- ▁surge -- 消費 -- ώ -- ▁erforderlich -- 須 -- ▁обнаруж -- ▁descending -- avons -- mbri -- ▁televisi -- ▁europäischen -- ▁Está -- ▁rocket -- druž -- ခ -- ▁맨날 -- 従業員 -- ▁среди -- غو -- 穿上 -- ▁phụ -- 任何一个 -- ぱ -- вших -- ▁wizard -- レシピ -- 谁知道 -- ▁batteries -- historie -- ▁laquelle -- ▁svět -- тыя -- 질 -- ▁hợp -- ▁tiếp -- ▁نزدیک -- スイーツ -- ▁vermeiden -- ▁striving -- ▁aufmerksam -- 上课 -- 機械 -- ▁empower -- 決して -- 开门 -- ▁Gerechtigkeit -- ▁힘들 -- 療養 -- ▁Three -- existent -- abhängig -- ▁чём -- ▁peggy -- пресс -- ވެ -- ▁systematic -- ▁než -- ▁simplement -- ▁verwirrt -- せっかく -- されてる -- 赞助 -- 预防 -- ▁två -- 赋予 -- ▁существует -- ▁utility -- ▁Wesen -- soever -- ▁Alors -- 業務 -- 爪 -- ▁beschrieben -- ▁supernatural -- ▁فإن -- ▁analyze -- ▁rezult -- ອນ -- 流动 -- ▁listeners -- ▁futur -- Liber -- 残疾 -- 厌 -- 험 -- PA -- 輸入 -- يص -- ▁automatisch -- 欧米 -- ▁Belgi -- 引导 -- わけですよね -- ▁영화 -- ▁skilful -- ▁называется -- ēl -- دۇ -- sparen -- 歌词 -- ▁Schließlich -- 芒 -- 分かんない -- ப்படுத்த -- ▁Republic -- 公表 -- ীয় -- 几分钟 -- 晚餐 -- 桌子上 -- schlüssel -- скія -- ▁Цяпер -- ▁музыка -- ▁Russland -- ▁найд -- ▁merciful -- 迹象 -- ▁printing -- ▁growled -- ▁речь -- 気分 -- 可能性があります -- ▁plunge -- ▁பெண் -- ▁melhor -- ání -- ▁Fä -- ▁transit -- ▁гэсэн -- ▁Gesamt -- ándose -- artisan -- ▁Clark -- кле -- What -- 一个巨大的 -- ▁Dreh -- raad -- 给出 -- ▁perished -- ▁overthrow -- ▁mantle -- rides -- studie -- 为什么会 -- ▁lingered -- 完整 -- ▁scroll -- 底部 -- ▁Treppe -- provi -- 前往 -- 福利 -- 钢琴 -- صنع -- ▁подход -- だったので -- 遗产 -- ▁infirm -- පු -- するのか -- ▁Geschwindigkeit -- ▁contemplation -- ▁loneliness -- 芯 -- 토 -- 据说 -- acca -- நா -- ▁koran -- ▁schimb -- ңә -- ▁Тут -- ▁plug -- ▁torre -- decorat -- preservation -- ސް -- ▁трудно -- を巡る -- ائية -- 黒い -- ▁Mario -- ▁handled -- ▁biological -- 场所 -- ▁تأ -- 哲 -- ▁brightness -- យ -- ▁October -- ▁adjoining -- ▁irgendwann -- 虹 -- ▁schafft -- 问一下 -- ▁ethics -- 微妙 -- 総合 -- reißen -- ▁показыва -- ▁sparkle -- ▁faci -- ▁Brasil -- marsch -- ▁entrepreneur -- ucci -- 出会い -- плеч -- 목 -- ▁Schauspieler -- ▁largo -- 评价 -- ▁sniff -- ▁recibi -- こんな感じ -- 村庄 -- губ -- ▁bölge -- ▁چطور -- ▁avenge -- 派遣 -- ▁đồng -- ▁новая -- ▁achtzig -- 齢 -- ▁practised -- 老百姓 -- ▁plaça -- があれば -- 座位 -- 安倍 -- 车辆 -- 良く -- ▁друга -- ▁дежур -- ौ -- 自動 -- ▁وهو -- ▁fué -- legation -- あした -- ▁pip -- 디 -- ▁intimacy -- ▁пункт -- ▁ecosystem -- 网站上 -- ложить -- 凭什么 -- ▁aldı -- ▁wambaye -- フィー -- 発電 -- ▁regent -- になってくる -- 飛行機 -- stunden -- ▁Emma -- 回事 -- 比尔 -- 颠 -- ▁Gouverneur -- ▁delicacy -- ▁обсужда -- 絞 -- ▁removal -- 歩く -- getrieben -- ▁basta -- ▁ясно -- ковская -- ▁sasa -- ベン -- 职位 -- 盈 -- ▁furchtbar -- 致力于 -- 繁荣 -- 整備 -- ▁übernehmen -- ▁අප -- われわれ -- 小型 -- 深夜 -- ▁Manche -- 児童 -- 仕掛け -- ▁একটি -- ▁Bush -- ҡан -- ▁alleged -- 走路 -- を紹介 -- ▁promet -- େ -- ▁دختر -- ホームページ -- 約束 -- யு -- を起こし -- larına -- prinz -- ▁بأ -- 奋 -- 四月 -- 你会发现 -- 福島 -- 墨西哥 -- ▁latitude -- ▁እን -- 我就想 -- ▁horseback -- ரெ -- рская -- っていきます -- 哟 -- ▁psychische -- ▁dainty -- ▁inquiring -- ▁başladı -- ▁خاص -- 하니까 -- 好听的 -- ▁chiama -- ▁knocking -- ▁carelessly -- 达成 -- ▁понят -- ▁precept -- േ -- 债务 -- ▁schlimmer -- 最重要的是 -- 姥 -- 枯 -- 見た目 -- 转身 -- ħ -- 破壊 -- ▁Wichtig -- 典型的 -- ▁lawful -- ▁caravan -- 来找我 -- ▁самым -- rühm -- 凍 -- 描いた -- ޅ -- 新規感染者 -- 依頼 -- 不算 -- ▁forsake -- 密切 -- schieß -- ▁semana -- kuti -- ীর -- ▁geschafft -- ▁président -- ▁socrates -- 頑張り -- ▁malice -- က် -- ▁Million -- ▁revolutionary -- моў -- ▁tavern -- 島さん -- чала -- ▁Sco -- څ -- ▁Griff -- の様子を -- ▁fantastisch -- ▁максим -- ▁verlangen -- ▁verdict -- キャンプ -- を抱え -- 時間帯 -- ▁너가 -- ื -- ペア -- ▁шоссе -- 男の子 -- ▁Muslim -- 抑 -- ▁Dazu -- моло -- 搁 -- 秩序 -- ▁Schluss -- берег -- ▁რომ -- ▁поднял -- ▁athlete -- 慢慢地 -- pharma -- ▁bobby -- entreprise -- すき -- ▁könne -- ▁realizing -- 交换 -- ▁metaphor -- ▁Investor -- ્ય -- ▁nadie -- たいと思います -- ▁stitch -- ▁dimly -- คร -- 即便 -- 一応 -- ▁pedra -- ▁interface -- ▁قىل -- ància -- 把它放在 -- アーティスト -- ▁wußte -- spitze -- 很喜欢 -- って思って -- 艘 -- კა -- を訴え -- ▁Umugabo -- ▁shattered -- garuka -- 回复 -- saison -- 友人 -- biza -- ▁resign -- ▁renewal -- ছেন -- を止め -- ▁Dach -- 半島 -- ▁removing -- 是什么样子 -- 有人说 -- ビア -- 会話 -- 学位 -- ▁racing -- 哨 -- ▁секрет -- ▁pubblic -- скры -- ▁아직 -- geschnitten -- angwa -- 价值观 -- czą -- 有这样的 -- ウム -- باب -- өс -- ホント -- ▁cynnwys -- ▁restructuring -- 共和国 -- 亚洲 -- ▁metod -- ▁نفر -- ▁thích -- ビール -- zieh -- 業界 -- dringen -- niedrig -- と見られる -- ▁qualche -- 失礼 -- ฟ -- Ž -- ▁зүйл -- ▁measurement -- фарм -- เร -- ਲ -- ▁гораздо -- 鹏 -- ▁ہے -- sabye -- īga -- ходзіць -- öffentlich -- 暑い -- ▁roland -- ▁tariff -- 皆さんも -- ▁我想听 -- న్ -- 練 -- 冤 -- 阿拉伯 -- 幻灯片 -- ▁massacre -- 봤어 -- ▁Beine -- سوف -- ▁kritisch -- ▁frock -- ▁разных -- ▁Mama -- സ -- 拾 -- 録 -- ▁Đó -- ▁Betracht -- 同伴 -- 使命 -- ▁consisting -- бло -- ▁daddy -- ▁matrimoni -- プログラム -- 明智 -- 真诚 -- ▁rotten -- ▁convertir -- ▁смерт -- 墙上 -- 服用 -- appelle -- ▁twain -- ▁Dunkelheit -- ▁Identität -- ▁pharaoh -- ▁structural -- 겨 -- ธ -- سط -- ▁будуць -- 多年来 -- やってみ -- ▁Arthur -- 发行 -- 童年 -- 忘记了 -- ▁whim -- æ -- ▁என்பது -- ▁quivering -- 先制 -- 依靠 -- 那天晚上 -- тычна -- 兔 -- kārt -- stift -- 感染者数 -- ▁алло -- ▁влия -- 嫌疑人 -- ▁olympi -- ▁помню -- ▁توانید -- ▁keenly -- ▁Pflege -- กับ -- ▁около -- 広げ -- bido -- ▁Später -- アナウンサー -- 린 -- ছিলেন -- ટ -- ▁supplier -- ▁geistige -- 解散 -- ▁нашем -- 深く -- わかった -- Direct -- писать -- ▁ўсе -- ▁stimulate -- 六点 -- 稽 -- おすすめ -- 拝 -- әү -- 埃及 -- ▁avea -- ▁quoth -- ▁принял -- simila -- ▁posible -- 추 -- ▁città -- 收获 -- ▁Pflicht -- ▁Sehr -- ▁constable -- gaciro -- 通道 -- ▁jasper -- 된 -- ۇن -- ▁Avenue -- ▁hurled -- ▁چهار -- ıdır -- ▁пасля -- сцю -- ▁falsehood -- 好消息 -- ▁Golf -- 斯顿 -- ▁boundary -- 恰 -- ৌ -- β -- ▁beberapa -- 銭 -- uɣal -- ▁حو -- ▁stripped -- ałem -- சூ -- ▁Kommentare -- ▁countless -- გი -- 下がり -- għ -- ▁있다 -- 祈 -- ▁obedient -- ▁precedent -- ▁dialect -- ště -- を目指して -- ▁charley -- веж -- に警戒 -- どうなって -- 玄 -- 얘 -- ગ -- ▁Innovation -- ▁venerable -- ▁Schaden -- గా -- ▁deployment -- ▁discharged -- ▁bribe -- ▁choked -- เด -- ницы -- ▁Бер -- ▁shareholder -- ▁irresistible -- 색 -- ▁ertragen -- ▁دانش -- 猜测 -- håll -- ▁skr -- ▁начала -- jú -- حاول -- ិ -- ▁شدند -- してくれた -- ▁kombin -- درس -- ▁cuanto -- ▁fakt -- ▁loaf -- 후 -- 予測 -- 治愈 -- 细菌 -- escence -- ▁Diana -- 辰 -- ▁ermöglichen -- ▁области -- ▁apprehend -- ▁sincerity -- ▁Marine -- ▁conduc -- ▁глаз -- मि -- 字母 -- 午前中 -- 不止 -- ▁atrodas -- ▁встрет -- ▁coneix -- リップ -- europäische -- träger -- 日期 -- ▁splendour -- 準決勝 -- ▁Kauf -- ▁equipped -- 伊朗 -- ▁Verfassung -- ▁racial -- ▁wistful -- يست -- اقتصاد -- ▁begrijp -- ▁überprüfen -- 挣扎 -- ▁вижу -- 聊聊 -- ▁greet -- 躁 -- ק -- 创伤 -- ▁ведаю -- 旅程 -- ▁llegar -- етесь -- ▁mbili -- 寒い -- ▁calor -- ▁conoce -- ▁worte -- undsiebzig -- ▁stumbled -- 剣 -- ▁займа -- 楼梯 -- 市长 -- 低下 -- ▁вспомни -- ▁holmes -- 未知 -- ことになります -- ډ -- 辨 -- ▁contemptuous -- '......' -- ▁darted -- zustand -- ▁грани -- ビデオ -- ▁soothe -- 짜 -- 创始人 -- ▁imprisonment -- ▁intensely -- 在乎 -- leɣ -- traction -- ificació -- fellow -- ంది -- foli -- 対決 -- بِ -- 长官 -- 머 -- ▁Ankaŭ -- 纯粹 -- ▁unmittelbar -- ▁Ursache -- овское -- ▁granite -- ▁avem -- 一生中 -- گەن -- анс -- ▁epic -- ▁virtually -- ▁tylko -- を防ぐ -- ▁podia -- ▁snatch -- 替代 -- 費用 -- 购物 -- 組み合わせ -- 長崎 -- ▁لذا -- 더 -- ▁واقعا -- ▁maior -- ▁ieder -- をはじめ -- 点钟 -- ელ -- ▁Kontext -- ▁Verbesserung -- サポート -- geleitet -- ތަ -- ▁wickedness -- ▁kugirango -- 装饰 -- ▁azul -- コロナ禍 -- 集体 -- ▁Null -- Europe -- 幹部 -- ▁Umfrage -- 澄 -- স্থা -- ▁cafe -- 展开 -- пак -- ▁приходит -- 携 -- 教えてくれ -- 晚安 -- 夫妇 -- εί -- 如果不是 -- 谈过 -- ▁controversy -- ▁nyingi -- ▁lần -- まとめて -- につながる -- ようになりました -- ▁beeinflusst -- ▁Italien -- ▁classical -- スリー -- bilidad -- нув -- ピーク -- ▁erleben -- と述べ -- ▁humid -- 海军 -- brennen -- ▁henceforth -- ▁گرفته -- 栄養 -- йшоў -- ▁famine -- 之所以 -- ▁improvis -- жә -- ▁المست -- ▁burial -- ів -- ешься -- 冷たい -- 实话 -- ▁Fou -- ▁przez -- ▁Mathematik -- ▁furnace -- ▁ອື -- 舞蹈 -- ▁Abteilung -- ḥem -- ▁Fair -- ▁avut -- ▁dringend -- ▁Lincoln -- ▁вариант -- ▁bemerkenswert -- 困扰 -- ంద -- ▁fertile -- 另一边 -- ▁sangat -- 基金会 -- 注文 -- між -- ▁Sagen -- 告诉她 -- ಹ -- ▁instinctively -- อย่าง -- 恳求 -- 製造 -- ▁gratify -- ぼく -- ▁grit -- ▁Anderson -- ▁turtle -- ▁unusually -- 赢了 -- 会导致 -- ▁Karl -- ▁Wetter -- gültig -- ▁römische -- 摄影 -- 吃完 -- ▁declara -- '250' -- 团结 -- 每当 -- 知ってる -- 酵 -- ▁Kapital -- 职业生涯 -- 重症化 -- вернуть -- ambaye -- 洪水 -- observa -- ွ -- スペシャル -- ▁equation -- 恭喜 -- ▁инде -- 宪法 -- ▁northwest -- ▁Müll -- ▁oyster -- ▁devons -- 几年前 -- ந்தது -- ▁Verteidigung -- ミー -- ▁Details -- ▁gewann -- 蛋糕 -- ▁Kleid -- つながって -- ▁combina -- 被迫 -- ▁geldi -- ▁confronted -- 僵 -- 季节 -- ▁그건 -- ▁soothing -- ത്ത -- ▁хэрэг -- 牛肉 -- ▁papel -- ▁Meeres -- ▁Fox -- ▁Darüber -- 偏见 -- メール -- お茶 -- 卡尔 -- MA -- Tool -- 扮 -- ▁crise -- ▁efficiencies -- ▁participants -- ▁refusal -- ▁알바 -- ņēm -- ▁여기 -- BM -- école -- ▁upgrade -- ▁superb -- ते -- 言わ -- ▁черт -- ▁господин -- ▁fireplace -- ▁Campus -- ▁Hollywood -- ▁experiencing -- 震度 -- ▁никого -- ▁системы -- 可靠 -- klima -- 帽 -- 誕生日 -- ▁видим -- ブルー -- 惯 -- ▁biology -- ▁annoyance -- गा -- 回去吧 -- に入れて -- vogel -- ▁современн -- ▁Wolf -- சோ -- 失踪 -- ▁spill -- 埃尔 -- 这让我 -- 大众 -- チュ -- ▁ignored -- 变得更加 -- ▁beforehand -- ై -- ▁anticipation -- ▁imprisoned -- 伴侣 -- トランプ -- ▁ilgili -- ▁பண்ண -- ▁maggior -- ▁hydro -- ▁unexpectedly -- ▁opportun -- ▁jî -- 肢 -- ባ -- 孫 -- ▁entscheidend -- ▁விளையாட -- ▁salud -- 英語 -- ▁смысл -- কো -- ▁fui -- ▁pike -- こんなこと -- 分野 -- 艳 -- ը -- ▁staggered -- ▁League -- னால் -- 不幸的是 -- Datei -- mdash -- ▁cedar -- 部隊 -- おうち -- ▁biraz -- 慰 -- 拥 -- Community -- ▁gouvernement -- 暮らす -- ▁drog -- ▁இசை -- 打印 -- ▁turkish -- 过程当中 -- ▁кел -- М -- 这是关于 -- ▁barber -- ▁kinh -- ▁bezeichnen -- 松本 -- ▁subordinate -- 嘲笑 -- まれた -- 包围 -- 非法 -- 買い物 -- Ɛ -- ▁pequeño -- 忽略 -- 猛烈 -- kundig -- ▁бич -- ▁stockings -- 終わって -- бежал -- 王爷 -- าร -- ▁அல்லது -- ▁moore -- 跟你们 -- ▁인제 -- ▁Kiel -- ▁lúc -- ▁apology -- ロシア側 -- ▁eĉ -- が出ています -- 措 -- 昂 -- ແລ້ວ -- ▁phantom -- ▁població -- 吉尔 -- わかって -- getreten -- ▁exceeding -- ▁Management -- ▁Şimdi -- 虚拟 -- 这段时间 -- ▁communion -- っきり -- 植え -- 这个过程 -- ુ -- お伝えしました -- ▁встреч -- ▁besuchte -- ৰে -- したのが -- が発表され -- 胀 -- ▁remnant -- したのです -- нис -- mıştır -- ▁شدن -- ▁colleague -- 抑制 -- 润 -- ▁президента -- 環 -- 伞 -- ▁tecnologia -- ▁последние -- ▁restoration -- あらゆる -- まいります -- ▁qualcosa -- fleck -- ▁بیمار -- ▁vegetation -- ▁distracted -- ▁hamlet -- თი -- schneid -- satisfied -- నే -- கொள்ள -- bwenge -- ▁எனக்கு -- 玫瑰 -- なければいけない -- だからこそ -- 継続 -- ▁aufgewachsen -- ▁explicit -- ული -- ▁nightmare -- komeje -- 书籍 -- 려고 -- burton -- bär -- ▁chama -- girl -- பிடி -- 深圳 -- ▁Küche -- 实力 -- govor -- 努 -- ▁собственн -- ▁або -- 俄 -- ▁affliction -- ▁chancellor -- ▁suivant -- ▁Beide -- 輸 -- 电池 -- стоян -- ▁babylon -- ▁Ça -- こともある -- ▁kız -- ▁scoundrel -- ▁vorbereitet -- ▁apologize -- 折磨 -- ▁pierced -- ساعد -- ▁protector -- ▁lydia -- ▁connais -- ▁actress -- 患有 -- ▁tromp -- ▁rejoin -- ▁Kenn -- ▁quién -- 蕾 -- 격 -- わかりました -- を含め -- 反馈 -- ▁grandeur -- ▁maud -- ▁Pfund -- 几周 -- 格雷 -- しません -- ivität -- ▁brace -- ▁trọng -- 루 -- tempo -- گذاری -- ▁পরি -- liegt -- ▁Bang -- 婷 -- ▁Vietnam -- ▁cœur -- ▁doppelt -- へえ -- 言ってる -- ▁już -- 收到了 -- 幽 -- ▁nötig -- ▁четвёртая -- 민 -- ים -- 介護 -- ▁людзі -- گران -- ங் -- 家具 -- 動いて -- ▁isaac -- ▁першы -- সব -- RO -- 坐下来 -- ▁Investition -- ▁verzweifelt -- ▁Maschinen -- ▁솔직히 -- origen -- だけではなく -- ▁خب -- 遭遇 -- ▁crave -- 更快 -- ▁effi -- 大爷 -- 黙 -- ▁Canadian -- ▁aufgeregt -- 绅士 -- pathie -- 布朗 -- ▁devient -- 返回 -- ▁ooit -- 优秀 -- ▁Protest -- ▁predecessor -- 預 -- 티 -- ▁Stärke -- ▁dirige -- ▁sáng -- ることができます -- ▁бывает -- ▁faisait -- يقة -- 所以如果 -- undfünfzig -- 尔顿 -- 彦 -- built -- ้น -- держать -- ▁хамт -- ▁prodig -- යෙන් -- ια -- 椒 -- ▁tyranny -- ▁않아 -- ▁evolve -- ▁proprio -- ▁없는 -- ▁bombard -- ▁Ohio -- ырға -- 역 -- gespräch -- ▁хамгийн -- ▁мистер -- 困難 -- ▁Thu -- ほかにも -- therapie -- ▁revolu -- バイク -- ▁finanzielle -- 辩护 -- ▁scrub -- ▁judging -- ▁freue -- ▁крем -- wash -- 来到这里 -- 逃走 -- ▁última -- ▁انسان -- ▁Lä -- ▁müde -- 加盟 -- ணை -- 西安 -- 土著 -- ▁ministre -- 役割 -- ▁geholfen -- ▁hết -- ▁Madrid -- ▁Stuhl -- 疑問 -- 昨天晚上 -- 我的朋友 -- 跑步 -- ▁баб -- corp -- گشت -- ▁knapp -- 要素 -- Restaurant -- ▁kürzlich -- ▁voluntary -- ▁член -- ▁angst -- ▁ubwa -- ▁wartete -- ▁inhabited -- 分ほど -- 汤姆 -- ▁трав -- と見られ -- 初め -- গ্র -- ตร -- ▁پسر -- ▁woher -- koop -- technolog -- stelling -- 巢 -- ▁Michigan -- ▁hamilton -- 浑 -- iPhone -- ▁gekauft -- ▁아닌 -- ▁девочк -- ▁министр -- озер -- ▁boundaries -- ▁exploring -- シャン -- фар -- ▁repel -- バンド -- ▁volont -- ▁позвони -- ▁employee -- ▁trobar -- ▁paddle -- 黛 -- ▁обраща -- ▁identi -- ▁Einkommen -- ▁radiation -- راض -- 动手 -- ▁chú -- stehenden -- 递 -- ▁mcc -- 收看 -- ▁Clinton -- ▁Vorsitzende -- 运输 -- '900' -- ▁sincerely -- ▁Küste -- matur -- 取る -- 던데 -- ▁specialist -- ケン -- 搬到 -- ▁voet -- zulassen -- ▁ankoraŭ -- ▁grinned -- ▁municipi -- ▁zweimal -- ▁үҙе -- 抗議 -- ▁gorge -- ▁имею -- ▁Weltkrieg -- ируют -- ▁Patri -- ▁settlers -- ▁بچه -- 傅 -- قليل -- દ -- ▁Dimarts -- ▁오늘 -- ▁공부 -- ▁Вось -- ▁crawled -- ▁suspend -- ▁daudz -- 申し上げ -- ▁durfte -- ▁brake -- チン -- ぽ -- ▁Master -- ▁certificate -- ▁страшно -- ▁statute -- ▁Kaiser -- ▁Beau -- 有名な -- ҟ -- ẹ -- ▁profi -- ▁popularity -- 饶 -- ▁repetition -- ▁sechzehn -- effizient -- 差距 -- ▁cobert -- 突出 -- 选手 -- ▁bleeding -- ▁рабіць -- فرد -- 做些什么 -- ▁patrol -- 升级 -- 九月 -- ▁однако -- 味わい -- 微信公众号 -- 끼 -- ▁얼마 -- ▁фильм -- ▁drilling -- ström -- ▁মই -- 話し合 -- ▁plateau -- ▁komuni -- 今天早上 -- ▁tumor -- stritten -- 折り -- 当たり前 -- 時刻 -- ▁inevitably -- ▁kontraŭ -- ▁liệu -- 巣 -- 迷惑 -- ▁fascinated -- ючы -- 発展 -- 解答 -- ▁Doktor -- 지만 -- ▁wolle -- ▁gerçekten -- hagi -- brett -- 寨 -- ▁انتخاب -- ▁battalion -- ▁Európ -- 岸田総理大臣 -- ▁средств -- 巴黎 -- 站着 -- 有很大的 -- 越多 -- ▁sigui -- ▁жар -- 认为这是 -- ▁Schön -- ってきます -- ▁natuurlijk -- église -- 贈 -- ރި -- ▁specio -- ▁yankee -- 言われる -- 報じ -- ▁autour -- ▁Estados -- 也是如此 -- сцен -- IM -- ▁Pont -- வர்கள் -- ▁Notiz -- 感知 -- 如果你愿意 -- ỡ -- ▁어떤 -- グリーン -- ▁специальн -- ▁2010 -- ▁delegate -- ▁Depression -- ▁wallace -- 你能不能 -- 神社 -- 赞成 -- ībā -- trekken -- ▁Stone -- ▁cielo -- 僧 -- ▁Haufen -- بەر -- ▁nasty -- ▁placid -- ▁abbot -- ▁имел -- 这么好 -- ▁erfordert -- ▁отец -- ▁bên -- ▁trifling -- ▁angemessen -- 慈善 -- ▁legislative -- كَ -- ṭṭ -- 針 -- ▁Verkauf -- ▁Ле -- 江戸 -- 嶋 -- ථ -- パフォーマンス -- 猩 -- ▁взять -- 尽く -- 辉 -- ▁медведев -- ▁transcend -- ங்களுக்கு -- 局面 -- ▁glove -- ▁приехал -- ▁violation -- 昨年 -- 脇 -- ▁Health -- ক্র -- 企业家 -- ҙар -- 住房 -- lendi -- ▁mound -- ▁gestorben -- ▁ungewöhnlich -- ▁mouvement -- ベー -- 無事 -- 防御 -- ▁elementary -- ▁kneeling -- を広げ -- öffne -- 七个 -- важа -- ▁Pul -- ▁далеко -- 在这一点上 -- ▁reconstruct -- ▁одном -- 废话 -- рина -- ▁opini -- 静岡県 -- ▁стане -- 指标 -- 狐狸 -- ד -- ▁Ariko -- ▁Global -- ▁pretence -- 轨道 -- ▁magnetic -- ▁gravit -- CM -- 楽しく -- ▁столько -- ▁refusing -- きちんと -- 污染 -- ▁demokratische -- ▁принципе -- 布拉 -- ▁Dennoch -- 确切 -- ▁ivory -- ▁Bauern -- ▁Zucker -- やろ -- ▁frente -- ▁сельск -- ▁petrol -- 影响力 -- 差点 -- 海底 -- antrag -- ▁Bundesstaat -- яўля -- ▁роман -- রো -- ▁probablement -- ▁siebzig -- ▁antonio -- guna -- キック -- ▁strove -- röst -- ないこと -- ▁hiç -- litten -- ▁начинает -- ▁Führer -- ▁introducing -- ▁miglior -- ですもんね -- ▁apollo -- ▁relaxed -- ▁Го -- sinzi -- kunga -- 手臂 -- ▁домой -- ▁glitter -- 老太太 -- ▁dodge -- ▁бюджет -- ▁Fakten -- گار -- activitat -- ▁parecía -- ▁cradle -- ▁дуб -- добав -- خوان -- ▁viņu -- prej -- 模仿 -- ▁bazı -- коммун -- 写道 -- ▁treachery -- ▁vị -- ▁Looking -- espècie -- ▁거기서 -- కా -- ના -- 性质 -- LA -- 毅 -- ▁праблем -- ▁exclaim -- ▁aufhören -- 异常 -- 到最后 -- ▁courtyard -- 勢力 -- ▁prophecy -- ▁recipe -- ▁doomed -- 优雅 -- 迈克尔 -- ▁Ды -- ▁furiously -- ▁sicherstellen -- 尾巴 -- tempered -- 这样的事情 -- ▁thức -- 抱着 -- ۋە -- ▁американск -- пэўн -- ▁hội -- ▁Jordan -- 人工智能 -- ▁trenches -- レーン -- ზე -- ▁bridle -- ▁suspense -- ▁Schriftsteller -- 匹配 -- ▁binding -- プリ -- ▁heutige -- 感動 -- ▁depict -- きれいな -- dolf -- ▁Direktor -- ▁benötigt -- 등 -- ▁missouri -- ▁paradox -- ▁warehouse -- ▁Johann -- forschung -- やったら -- いかに -- 发射 -- ▁compel -- ▁massachusetts -- ▁وهذا -- ▁conosc -- ▁entschlossen -- ▁gaunt -- 仕上げ -- 徴 -- ơi -- ▁дети -- ▁dikontrak -- ▁néixer -- ▁долларов -- 塑造 -- ▁uplift -- لىرى -- 教徒 -- 任何地方 -- ▁камер -- chamber -- ▁marilla -- ▁Stell -- ▁haughty -- ▁sledge -- ▁facilit -- ▁каш -- 百五十 -- 在那儿 -- sicherheit -- 案内 -- 久保 -- ັ້ນ -- වල -- ▁monastery -- ▁Überzeugung -- ▁crooked -- ▁эксперт -- ▁intolerable -- 掃除 -- ▁холод -- 弗雷 -- вшие -- ҟа -- فعال -- 我第一次 -- 大楼 -- kirche -- ព -- ▁ammunition -- ▁applaud -- давал -- ▁medicina -- ▁schooner -- ▁Christi -- ▁orienta -- 一体何 -- っぽい -- 顺便说一句 -- ▁ເດ -- ▁necessita -- 代替 -- 浸水 -- 服从 -- ▁ethical -- 苍 -- 言います -- ▁многих -- ▁وإ -- حاضر -- ▁говорите -- ▁emphatic -- 聞きました -- 困境 -- ▁سے -- 拠点 -- 不记得 -- いらっしゃい -- 有什么事 -- arrell -- 楠 -- ▁survival -- ▁өмнө -- 碰巧 -- lož -- 抜き -- ▁outbreak -- streich -- 任何其他 -- ▁держа -- ▁plaster -- 崔 -- ▁Если -- キャプテン -- 來 -- 皿 -- ▁хотелось -- 步骤 -- ▁черн -- ▁hagati -- ▁surround -- ▁Twa -- ▁அதை -- ▁Nachmittag -- ▁baptism -- ▁секунд -- ごめんなさい -- 决策 -- ▁reasonably -- 介意 -- ▁eky -- という状況 -- ▁anfing -- 食べ物 -- ▁banyak -- ▁injuries -- ނަ -- 失礼します -- 病例 -- 甘い -- тверд -- ▁Fremde -- ▁الذين -- keneye -- ▁zaidi -- ▁ravine -- ▁accommodate -- 朴 -- ▁biscuit -- 衆議院 -- ▁victorious -- أخذ -- ▁Großteil -- そうなんですね -- ▁augustus -- ▁вызыва -- 初戦 -- 能找到 -- ▁நீங்கள் -- 二零零 -- mówi -- 举起 -- 服务器 -- freiheit -- structure -- 神経 -- 妥 -- 信頼 -- ゴルフ -- 经历过 -- 默默 -- ▁Creek -- ▁aṭas -- ▁Guerra -- 宮崎 -- ▁siguiente -- 兵器 -- ▁replica -- 赔偿 -- ▁hiểu -- 過去最多 -- 臂 -- ▁resol -- ▁panting -- жер -- 时尚 -- मु -- Qué -- 涼 -- ▁illustrious -- ▁indefinite -- 厄 -- ▁bedeckt -- ▁shrine -- 潜水 -- ▁exig -- ▁حتی -- дзіць -- ▁спин -- 竞 -- рист -- と比べて -- 케 -- ▁preocupa -- ▁preĝejo -- ▁vẫn -- ▁behaupten -- яўляецца -- ▁notamment -- 運転手 -- ▁weariness -- ▁rimwe -- 吉田 -- そっか -- ▁flint -- 衷 -- 豹 -- ▁زۆر -- ▁заметил -- gypt -- ▁Milch -- 大人気 -- 很多时候 -- рожд -- ▁второго -- 卸 -- 祝你 -- мель -- कु -- 被告知 -- ▁correspondent -- ▁propaga -- 读到 -- 作战 -- 燃え -- ▁우리가 -- ▁passionately -- ▁För -- ▁хор -- 甚 -- 頂いて -- ք -- ▁bệnh -- ▁offspring -- ▁Ancak -- トレーニング -- この時期 -- 買う -- 因为这是 -- 乗客 -- 强迫 -- 市長 -- ▁researchers -- が行われました -- freude -- ▁гэтыя -- ▁scenery -- ignit -- енько -- 物品 -- 紅 -- ▁Original -- 찍 -- hypno -- ▁режим -- ▁ahubwo -- honneur -- 行星 -- ▁imaginary -- winkel -- өгө -- ▁ваша -- ▁tâm -- ޑ -- ▁Président -- 見てください -- 奖励 -- ▁giống -- ▁حيا -- ▁clatter -- ▁circulation -- 調理 -- ございます -- ▁பாட -- 从哪里 -- 很酷 -- 对我说 -- ▁Urteil -- ▁Entdeckung -- ▁proclamation -- 查询 -- ▁wireless -- なと思いました -- ▁deixar -- ▁거는 -- مجموعة -- rühren -- 协调 -- 活発 -- schuh -- რო -- 른 -- そろそろ -- 支撑 -- ▁아니면 -- 有足够的 -- 品质 -- になりそうです -- لدى -- 裕 -- ▁grammar -- ▁lượng -- ▁преступлени -- 牛奶 -- ▁đường -- ▁만나 -- ▁ricevis -- ▁außerdem -- ▁wholesale -- 列車 -- ▁jupiter -- 和我一起 -- ▁acabar -- 液体 -- ▁있지 -- cyaha -- 碎片 -- ▁crater -- 十月 -- impuls -- したあと -- ▁elektron -- 分ごろ -- ある程度 -- 跟他说 -- ▁titre -- ▁своими -- ▁acuerdo -- නම් -- ▁бүх -- いませんでした -- 話す -- 大切に -- 認められ -- ▁хотели -- 放置 -- illard -- Mobil -- 그 -- ニュースをお伝えします -- 监督 -- ētā -- aardig -- ▁discrimination -- 延伸 -- รา -- 流量 -- ▁considerat -- 었는데 -- ▁pronto -- 贷 -- 素材 -- ▁алексей -- ▁caroline -- 屁股 -- 辞职 -- 占据 -- 我不得不 -- ಗಳ -- 很开心 -- eater -- ▁Ahnung -- ▁secular -- 理念 -- 貴重な -- ▁Abschnitt -- ▁hiring -- 寒気 -- ▁vigor -- ▁fick -- ▁decorated -- ดี -- 跟随 -- ▁español -- ▁помочь -- ▁entsprechend -- 인가 -- ächte -- ▁Zehn -- ▁quinze -- 双手 -- ▁đô -- yorsunuz -- 共通 -- ▁tutta -- 仰 -- ▁sentido -- ▁accommodation -- ▁frequency -- 友谊 -- ▁Nigeria -- 邮件 -- ▁публи -- ámos -- 就业 -- सि -- ▁fiddle -- ▁أول -- ▁northward -- 很奇怪 -- 这就是你 -- ▁бүл -- 机关 -- 愁 -- ▁Tränen -- ▁airplane -- சிய -- ▁moralische -- ▁දැ -- ▁luôn -- spetta -- ▁fiend -- 干预 -- ▁potenc -- 勃 -- ޓ -- ▁transparency -- ▁hypothesis -- 守備 -- 作为一名 -- ▁damsel -- 勝手に -- ▁fancies -- ▁bấ -- RE -- ▁cruz -- 不允许 -- お昼 -- ▁запис -- працоў -- ハハハ -- 한데 -- ▁realization -- 随机 -- 分解 -- köz -- ▁характер -- 轴 -- urukundo -- ▁surtout -- 印刷 -- 我从来没有 -- 现金 -- オフ -- ▁chị -- ▁lascia -- tropic -- ▁rwego -- ▁Carol -- ött -- と思っています -- فريق -- 弓 -- ▁recupera -- レストラン -- މު -- 宿泊 -- ▁abolish -- jumu -- ▁قم -- ▁diventa -- ▁chronicle -- 师兄 -- ▁умер -- 研讨会 -- 嘴唇 -- 一首歌 -- որ -- ▁allocation -- にならない -- ▁existiert -- ▁homeward -- gewicht -- 马车 -- ▁beneficial -- ▁Hunderte -- ▁Thor -- ▁различ -- धा -- 写信 -- undsechzig -- ಟ -- 随着时间的推移 -- ▁полностью -- ▁çoğu -- 駄目 -- シャツ -- kogu -- ▁mwana -- てくれました -- прыг -- ▁prolong -- なんですけども -- 起源 -- ▁Matthew -- 限り -- ▁repentance -- ▁hermano -- ▁dinero -- ▁oscar -- исты -- 氛 -- ▁securing -- ▁ukuthi -- ▁derjenige -- ▁Beitrag -- 上午 -- 난 -- ▁gibb -- ▁Evrop -- コントロール -- ▁Records -- 牙齿 -- ▁Ні -- ▁ғой -- ▁jimmie -- ultima -- ▁Earl -- ▁complac -- 相遇 -- 拘 -- ▁verlangt -- ēji -- 玩具 -- 出発 -- 框 -- ▁deceased -- ▁причем -- ▁geöffnet -- ▁melody -- ▁få -- ▁있을 -- ▁مرة -- important -- 投资者 -- ▁southward -- ▁உள்ளன -- 航行 -- 借口 -- ční -- េ -- ▁erheblich -- 視聴者 -- ▁heiraten -- 就是为了 -- ▁neunzig -- 復帰 -- 回顾 -- ▁dagger -- 言いました -- ▁feverish -- 尖叫 -- ▁Hass -- ▁fearless -- ▁programming -- yonna -- ▁extremity -- ▁avere -- ▁minimal -- гээд -- こない -- 났 -- ▁wondrous -- ▁دیگه -- すごいね -- losigkeit -- продукт -- ▁unaware -- ▁factories -- კი -- 起作用 -- ▁millionaire -- লের -- черед -- 躍 -- 钉 -- ▁varieties -- ▁mauvais -- ▁vairāk -- ▁booth -- ▁dónde -- ۇق -- service -- 最早 -- ▁unkind -- 이나 -- fisch -- ▁adverse -- ▁узнал -- ▁가고 -- ▁athos -- ח -- 乾燥 -- روب -- न्छ -- ▁darkened -- ▁applies -- 亨利 -- ▁приказ -- って言う -- ▁முன் -- વા -- ▁spontaneous -- ▁দিয়ে -- schrecken -- stancia -- ల్ -- ▁갔다 -- gefüllt -- 普段 -- ▁speck -- なんだろう -- ▁Вот -- 营地 -- டெ -- gelaufen -- 邻 -- ▁Acest -- 掲げ -- ▁corporal -- おかげで -- 呼んで -- নো -- ▁Fernsehen -- ▁galley -- 天主教 -- ▁precision -- ▁uneasiness -- ▁фотограф -- ▁pēc -- 遵守 -- ▁Again -- ▁kontrollieren -- ▁olabilir -- ▁luce -- ▁rubbing -- bwy -- ▁decoration -- ▁repay -- ▁kullanıl -- ▁immigration -- 毯 -- 蒋 -- ▁volatility -- ▁похоже -- 쪼 -- ▁grievous -- つなげ -- マリウポリ -- 一个地方 -- 進み -- 反复 -- ▁tiên -- ▁Waffe -- ▁высоко -- はありませんでした -- ▁expressive -- 増えている -- 皱 -- 돌 -- ▁نبود -- ▁Dutzend -- と思うんですね -- 对你来说 -- ▁geography -- steigt -- ▁variant -- 助理 -- ▁Vögel -- ▁احساس -- ▁Klin -- ▁residential -- Imperi -- ▁modified -- ▁solange -- ▁filings -- αν -- وظ -- ▁splendor -- ▁Kaffee -- әлә -- eficient -- 豊かな -- ▁معا -- ▁старш -- ▁сложно -- ▁хва -- หา -- πο -- ▁Burg -- ▁федеральн -- ▁лож -- ▁prostitu -- 伤心 -- ▁Howard -- опо -- まらない -- ▁vieux -- хватил -- 巫 -- 吕 -- ▁đúng -- ▁nightingale -- 选项 -- 同士 -- に到着 -- 設定 -- ▁postpone -- ▁нужен -- ▁крут -- 绝不 -- ▁robbery -- ▁Му -- ▁snarl -- ▁cél -- வான -- ▁Anthony -- ▁Krankheiten -- ▁reappear -- あるんですね -- 清醒 -- тянул -- 违反 -- ▁život -- ക്ക -- 琼 -- 防犯カメラ -- Effekt -- ▁elastic -- horaho -- 思え -- мәй -- ▁troy -- てみよう -- سطح -- kombe -- ▁Tanz -- ▁wipe -- 漢 -- ▁cherche -- 粮食 -- ▁držav -- 模様 -- 知識 -- ▁trả -- ▁mold -- ɣur -- ▁softened -- 絡 -- 袁 -- ▁기억 -- 忠诚 -- 预计 -- ▁descendants -- 結び -- 别忘了 -- 还有一些 -- ▁machst -- อบ -- ▁modification -- 挽 -- 刮 -- 不断地 -- klā -- ذكر -- 这两天 -- ▁Philipp -- 主持 -- ▁sıra -- 上涨 -- kreuz -- ▁அவன் -- трымліва -- ▁ເອົາ -- ▁sprinkle -- ▁hesitating -- 目撃 -- 資料 -- ▁chinesische -- ▁transmission -- ▁trebui -- 风景 -- cloud -- かかった -- 疫 -- ってくれる -- 傾 -- ebɣa -- ▁pregnant -- ▁memorable -- ▁Unterricht -- ▁majestic -- ▁Transport -- ▁abyss -- ▁voce -- 挺好 -- ▁Station -- 主人公 -- لىك -- ganira -- ▁geeignet -- ▁kentucky -- ▁telèfon -- 茨城県 -- 酢 -- よろしくお願いいたします -- ▁begeistert -- にもかかわらず -- ▁profesor -- 清理 -- ▁사실 -- ▁rumour -- ▁Forscher -- ▁cupboard -- 見つけた -- 千万别 -- と思ったら -- ▁нашу -- ▁хэсэг -- 翁 -- キャラクター -- ▁ນະ -- ▁охран -- ordinate -- 考えると -- ▁gelten -- ▁chalk -- ▁пути -- ▁competent -- 赠 -- ▁cecilia -- ▁спокойно -- ▁exempt -- 苦労 -- ▁cambridge -- 美洲 -- ゆっくりと -- ▁краіны -- 減ら -- 下一步 -- ▁cripple -- ▁sunrise -- 没法 -- ▁vincent -- かなと思って -- 毕 -- ரும் -- 平常 -- 祖先 -- ▁நெ -- lood -- 喘 -- ಬ -- ラジオ -- منطقة -- ▁civilian -- 快递 -- ัด -- 仆人 -- ▁liquidity -- ▁Onkel -- 地铁 -- ▁thiết -- 参观 -- 来自于 -- وست -- ▁jelly -- 爸爸妈妈 -- stunde -- 見ている -- 'ON' -- ▁Termin -- ដ -- 嘱 -- ▁hudson -- ▁நிற -- ▁fraction -- গু -- দ্ধ -- 媳妇儿 -- 近づいて -- ứ -- 支出 -- すてきな -- 贺 -- ▁ceremonies -- ▁поддержк -- ▁безопасности -- ▁말이야 -- ▁regió -- ▁obstruct -- ▁mercat -- 转移到 -- 领先 -- 美容 -- даецца -- 活力 -- ី -- ▁shrank -- ▁mañana -- այ -- ▁têm -- NN -- 広い範囲で -- 乐意 -- intensive -- 教団 -- 番号 -- ▁galv -- 약 -- ▁لذلك -- ▁ஆகும் -- ▁дахь -- ▁полковник -- ▁নিয়ে -- 谈恋爱 -- ▁nursery -- ▁flaming -- ▁Darwin -- ▁شکل -- 短期 -- 挫 -- ▁Georgia -- 霊 -- ▁negotiate -- ▁gahunda -- ▁fuerza -- ▁Kapitel -- ▁puritan -- 尊严 -- ▁এখন -- ▁இருக்கும் -- ブロック -- 撒谎 -- লাম -- ▁noticing -- ▁rebuke -- ▁vexed -- 年目 -- ĝoj -- вэр -- 生きる -- ▁выступа -- 赴 -- ▁очевидно -- gång -- 明らか -- liegenden -- 各自 -- зву -- 해가지고 -- ับ -- ▁Yani -- ▁матери -- ▁сделали -- ▁آنجا -- ▁Zunächst -- ▁Пасля -- ▁싶어 -- ▁наук -- ▁جوان -- ▁homoj -- 毛病 -- 几百 -- 重量 -- ޔ -- ▁Lächeln -- ▁vijf -- ▁imperative -- 财政 -- писыва -- 曲げ -- なのかな -- ハリ -- ▁Landschaft -- дорож -- ēju -- につなが -- ▁betroffen -- 貧 -- ▁یافت -- 修改 -- ▁Porque -- 懸 -- แล้ว -- ▁einschließlich -- ▁jüngste -- ▁übertragen -- ▁государстве -- ▁Мар -- ▁Señor -- եր -- 国民党 -- 目指 -- 可见 -- 闺女 -- 些什么 -- ▁resignation -- weichen -- ▁rusty -- ているということです -- 指南 -- 祖母 -- 侍 -- ▁منطقه -- ▁பின்னர் -- ވާ -- ▁utilization -- ▁nhỏ -- 野蛮 -- ▁Beck -- 我们确实 -- ▁hannah -- 飲んで -- diğini -- ▁зараз -- 虽 -- 全国各地 -- rigg -- ▁düş -- 督 -- ▁Sala -- 併 -- époque -- ▁malgranda -- ▁proclaim -- pferd -- ▁Anzeige -- ▁yardım -- jyanye -- ▁gait -- ନ -- ▁Bemühungen -- 洒 -- 翠 -- ▁싶은 -- 哭泣 -- technik -- 清洁 -- ▁Fac -- temperatur -- 光明 -- ติ -- ▁Lippen -- 僚 -- ばっかり -- ▁Roboter -- ாட்சி -- mahanga -- ▁dreizehn -- 站住 -- ▁Funktionen -- 自衛隊 -- 花费 -- 公布 -- ▁implant -- ▁murray -- 深处 -- ▁partake -- цаў -- 琪 -- ▁excellency -- ▁insignificant -- ご存じ -- ▁especie -- ▁deputy -- দেশ -- ъезд -- 物質 -- ▁verteilt -- ▁spinning -- spirited -- ▁fairies -- ▁Bydd -- ống -- ▁exerc -- ワイン -- yitibwa -- いらっしゃいます -- 喜び -- やってきた -- ▁humil -- ▁kumenya -- ическим -- 作られた -- 八百 -- えっと -- ▁alumni -- ▁отделения -- ▁kulturelle -- ▁headache -- 呼ばれ -- ▁zamanda -- ▁ekster -- වන -- થ -- ใจ -- ▁així -- gebunden -- 行列 -- ▁прошу -- ▁oblige -- ▁тады -- amenye -- 判决 -- 是时候 -- プレッシャー -- ▁Terror -- ▁jordan -- ▁погиб -- ība -- ▁ведае -- 時過ぎ -- ▁Pep -- 转换 -- を持っている -- ▁snug -- ▁долг -- bourne -- という意味 -- 尺 -- ▁Schicksal -- ▁hóa -- ポーランド -- ހު -- agrada -- ▁utilisé -- どれだけ -- ▁желез -- ▁może -- ▁oppression -- 因为它们 -- 自豪 -- 融合 -- schossen -- դ -- ▁grâce -- ▁посмотреть -- 枕 -- ▁foliage -- むしろ -- 损害 -- குதி -- ▁பிரி -- dığını -- ▁restaur -- 婆婆 -- ▁inizia -- ▁Leiter -- 拠 -- 分离 -- 侄 -- ▁geoffrey -- 깐 -- 遵循 -- ▁begrenzt -- riff -- ▁хозяйство -- ▁হবে -- ющей -- ▁Public -- ıyı -- お子さん -- Psycho -- ▁Glen -- 昨夜 -- 様々な -- نامه -- ▁twinkle -- strafe -- ▁healthcare -- 算法 -- ▁worthless -- 遠く -- 乐观 -- ▁vardır -- 著名 -- 象征 -- ▁مادر -- 显得 -- ▁worauf -- ▁چو -- '2011' -- puesta -- 締 -- ▁மிக -- āli -- ▁아빠 -- ▁fathom -- ▁новые -- ▁valiant -- ▁fanatic -- 很快就会 -- бросил -- ▁gusto -- ▁procura -- 傲 -- 喻 -- 火曜日 -- ▁scruple -- ▁unbekannt -- ▁몰라 -- ▁chronic -- ▁முன்ன -- ▁ziek -- 誇 -- ▁folosi -- juri -- ▁Anruf -- 恼 -- ▁оружие -- ▁eccentric -- ▁inconvenience -- ▁luxurious -- ▁đưa -- ▁benannt -- ▁puedo -- ▁defensive -- 同じような -- ▁звоните -- たりとか -- 艰 -- bearer -- 灌 -- ▁enclosed -- ▁lizzie -- verhältnis -- ▁አይ -- ▁pickwick -- ▁Armut -- ▁nelson -- ▁allemaal -- kumva -- ▁klub -- ▁commencement -- ▁discord -- alphabet -- ▁nördlich -- ポーズ -- 驳 -- ▁đối -- ▁чинь -- ‍ -- ▁südlich -- 郎さん -- ክ -- 項 -- ▁erfüllen -- ▁Что -- ▁головой -- 嘴里 -- ować -- ▁hinweg -- 拉丁 -- ▁самой -- を求めて -- 食べられる -- に当たる -- прашива -- シンプル -- ▁sarebbe -- 职责 -- 模拟 -- 国境 -- ▁다시 -- ▁titan -- テロ -- 藤井 -- builder -- ▁Massachusetts -- ▁gäbe -- ▁먹어 -- ▁сосед -- ▁heritage -- 早晨 -- ▁rappel -- ণে -- ▁ehren -- ▁politika -- ▁facilitate -- 卫星 -- ▁lächeln -- ▁erhöhen -- 严厉 -- おしゃれ -- ▁Pacific -- 康复 -- 暴行 -- と思うんですよね -- ▁prostrate -- 胡子 -- 这时候 -- ஃப் -- ▁antagonist -- ▁фед -- 权威 -- 眼镜 -- ▁Wang -- ▁депутат -- ▁существо -- ▁hubiera -- ლო -- ▁olacak -- 孤立 -- ▁affront -- 予防 -- ▁Susan -- klagen -- ▁parrot -- 日常生活 -- ▁měl -- ▁لطفا -- 茫 -- ▁موضوع -- 栽培 -- ▁Board -- ▁Northern -- しょうゆ -- 市にある -- ▁prosecution -- ▁можешь -- アニメ -- 边界 -- dependence -- американ -- 埋め -- alytic -- ▁animation -- ▁وكان -- 農業 -- 尻 -- จาก -- ラウンド -- ▁magician -- состоя -- ▁freak -- 再一次 -- ▁лидер -- ▁داره -- 子育て -- ▁verbal -- ▁benötigen -- 끔 -- பெயர் -- 貼 -- アイドル -- fleisch -- ▁Point -- ▁پیر -- ▁Branche -- 計算 -- ▁burglar -- খন -- 速い -- ▁furent -- 悪化 -- ▁wholesome -- 普及 -- ▁gaily -- 秘书 -- Produzent -- 悼 -- ▁enforcement -- ות -- 场合 -- 侵入 -- ▁nommé -- ▁아니라 -- ▁oggi -- ▁fiber -- 偉 -- ▁perceiving -- ▁dinosaur -- チャンピオン -- موسيق -- සේ -- yinza -- ▁들어가 -- killer -- ▁plump -- 进攻 -- いったん -- 婦 -- ▁HIV -- ▁haciendo -- ▁немножко -- ▁оппозици -- ▁thereafter -- богат -- سازی -- 会出现 -- ▁écrit -- ▁disappearance -- ▁хаце -- 百姓 -- ▁وهي -- говорил -- ▁prakti -- ต้อง -- ▁nerv -- ▁Kelly -- ▁Ausnahme -- 動く -- σε -- ▁reverend -- ホン -- ▁угодно -- 抄 -- ▁магчыма -- ▁எல்லா -- ▁Erstens -- ▁crag -- ▁машина -- ▁forthwith -- 携带 -- වත් -- ▁earnestness -- ▁interposed -- ▁представлен -- ▁trẻ -- 記事 -- hati -- ▁stieß -- ▁sponge -- ೇ -- ▁Columbia -- ▁Großbritannien -- ▁федерации -- ничтож -- ▁offense -- Bomb -- 吉姆 -- ێکی -- ▁estudio -- ▁darwin -- ▁viên -- ຸ -- ▁возвраща -- смеш -- 裁判所 -- 吾 -- ▁완전 -- 成千上万 -- ▁abilities -- 関係者によりますと -- 别动 -- 30% -- 武汉 -- ▁craig -- ▁economist -- わけじゃない -- ▁ülke -- ▁fung -- ▁cyose -- ▁herausgefunden -- ▁допустим -- 脑海中 -- ▁맛있 -- ▁دقیق -- ▁Truppen -- 連勝 -- ▁perilous -- 骨头 -- ▁هنوز -- カウント -- ▁unangenehm -- ▁exhort -- ▁heavier -- රා -- 流浪 -- 我爱你 -- 你也可以 -- ▁kijken -- 処分 -- '2012' -- ▁Walter -- ▁reflex -- 関心 -- ▁Teufel -- ▁congratulations -- ▁Dilluns -- 鶴 -- CEO -- ▁Tippett -- ▁achieving -- ▁Business -- roost -- 永久 -- замен -- ▁Clara -- このうち -- 身材 -- ▁junta -- 輸出 -- ▁دیگری -- ▁vendor -- が出ている -- ▁сёння -- 幽默 -- ▁Francis -- ▁regula -- পুর -- 兵士 -- ▁Normal -- sponde -- たらいい -- 段階で -- ▁composer -- ▁Junior -- ▁leonard -- されていて -- ▁Eindruck -- solució -- ▁southwest -- ▁equipo -- ▁Metall -- ▁voters -- வன் -- ▁mosquito -- ▁irgendetwas -- ▁següent -- ▁loại -- င်း -- 現役 -- alisierung -- 穿越 -- ▁fervent -- 描いて -- 电视台 -- nachricht -- 主流 -- 广东 -- waardig -- 필 -- ▁Toronto -- ▁alteration -- ▁diligence -- 閉じ -- との関係 -- государств -- ▁Wilson -- στ -- シア -- мовы -- ▁curr -- тып -- 主演 -- ▁neugierig -- ▁элемент -- ▁vibration -- お弁当 -- 甜蜜 -- ▁nikola -- ▁chacun -- 登记 -- ▁flirt -- ▁rapidity -- ▁pourrait -- ▁ومن -- быстр -- avion -- ব্ -- 几十 -- ▁людзей -- ▁Geschmack -- 構造 -- 日連続で -- が必要な -- 続けた -- כ -- ▁sequential -- ▁whistling -- 垣 -- ▁Gestalt -- ▁그래가지고 -- 交換 -- ▁compose -- праў -- ▁estudiant -- 憧れ -- ▁infernal -- ▁věc -- ▁navigation -- 选民 -- ▁recap -- 享 -- ▁америк -- ▁Hungar -- 天赋 -- ▁emerald -- ▁पनि -- ▁شامل -- ▁Motiv -- ▁aufregend -- 此刻 -- ▁generating -- وى -- ▁вялікі -- ▁оказыва -- myśl -- ▁fácil -- ▁treacherous -- 湘 -- そっち -- ▁harriet -- 雷雨 -- 一瞬 -- ▁pouco -- 特別な -- 智力 -- ගෙන -- ▁hunne -- 绩 -- ▁Emotionen -- ಅ -- に基づ -- 威廉 -- ▁beseech -- ▁dramatically -- 落ち着 -- 非難 -- 見通しです -- ▁срок -- んですけれど -- ulira -- プラン -- 搅 -- ▁advisor -- ▁knives -- acağım -- ▁Ла -- ▁警察によりますと -- 几个小时 -- 是正确的 -- ▁schrie -- ரின் -- 改正 -- ▁lyric -- ▁могла -- ବ -- ▁penetration -- ▁Nächste -- ▁být -- atrix -- ساز -- 你为什么不 -- ▁konata -- ётся -- たぶん -- ० -- ▁superficial -- ▁unreasonable -- ▁điểm -- ▁grotesque -- ▁coroner -- ▁Beschreibung -- ▁다음 -- ▁refreshment -- 昭 -- 传达 -- ▁надеюсь -- ំ -- ▁Ontario -- ▁divinity -- ▁vehement -- ▁settling -- 保育 -- ▁лучш -- ▁bekomme -- っていう感じ -- ▁Witz -- 歩き -- ضاء -- diagnose -- 沿岸 -- 衡量 -- げん -- ▁நல்ல -- 改进 -- ிடம் -- ▁большие -- ▁Vä -- ▁Stress -- ▁транс -- ▁dauern -- platte -- ఁ -- १ -- ▁humiliation -- ▁بیرون -- ▁Könnte -- 軍事侵攻 -- ことにしています -- लो -- れん -- டோ -- ждения -- ▁dickens -- 江湖 -- ▁ansieht -- ▁insgesamt -- ▁вещь -- ▁دنبال -- 寒冷 -- ▁lobby -- ハム -- 年ぶり -- 死刑 -- 在接下来的 -- 绘 -- פ -- ▁thú -- ▁millones -- ▁Presse -- コート -- エイ -- 右边 -- entrada -- liselt -- ▁Engagement -- 芋 -- ▁worüber -- ▁regretted -- 首席 -- そうなんだ -- ▁costru -- を決める -- fuß -- റ -- ▁Margaret -- 亭 -- 参议员 -- ▁Nutzen -- sluit -- étend -- gambi -- ▁workshop -- ▁Sprach -- schleunig -- બ -- ▁además -- ▁золот -- 聞かれ -- ▁endowed -- ▁strode -- крыты -- 하면은 -- '4000' -- ▁kommun -- ত্ত -- 总理 -- ▁миллионов -- ▁escaping -- န် -- ウクライナ侵攻 -- ▁முதல் -- ▁Provinz -- ▁Questa -- 有哪些 -- ▁occupant -- ▁rugged -- 調べに対し -- ▁البر -- ▁Gedanke -- 我只是想 -- 篮 -- 贩 -- ঝ -- ▁arguing -- ▁хлеб -- ▁Certain -- を巡り -- ▁پشت -- 生き物 -- ▁parola -- ▁수도 -- 主教 -- 包装 -- 遗传 -- เธอ -- 举办 -- 陥 -- 艦 -- ▁shabby -- 透露 -- скага -- ▁picnic -- ▁construcció -- 占领 -- ▁activist -- işim -- であること -- ▁davvero -- ▁crític -- 珍惜 -- ▁çalışma -- ▁другого -- ▁rogue -- ▁geliyor -- ্ট -- ▁todavía -- ▁ډېر -- ▁गर्न -- おかしい -- ▁действия -- こういうこと -- ին -- ▁примерно -- ▁Greg -- られていた -- 猴子 -- ▁adieu -- ▁готовы -- ▁akzeptieren -- 纱 -- ▁Bewertung -- おそれがあります -- ▁вопросов -- ▁hybrid -- ▁único -- ▁کردیم -- ▁reprit -- escena -- ▁Ҡа -- ▁hoặc -- ▁nostrils -- ▁champagne -- やり方 -- ▁smote -- 圧倒 -- ならば -- ▁babiri -- セカンド -- 才知道 -- 連覇 -- ▁идти -- ▁imposing -- Book -- waarde -- yczn -- らっしゃる -- ▁hoorde -- ▁verbessert -- ▁zooveel -- 形容 -- もらいました -- ▁inviting -- іўся -- ▁volcano -- 新潟県 -- ▁eastward -- froid -- ніз -- mauer -- lösung -- ▁undertook -- 伤口 -- ивается -- ▁زمانی -- කට -- イヤー -- 興 -- ▁militärische -- マイナス -- 这部电影 -- ▁trifft -- ▁доктор -- ▁analytics -- ્ર -- 领袖 -- ▁notorious -- ▁piercing -- ▁película -- ▁compara -- ▁молча -- ▁commentary -- ▁Morris -- станци -- チュー -- ▁conscientious -- 坠 -- ▁Stoff -- غۇ -- 对我们来说 -- серд -- 受け止め -- ▁Brüder -- 皇家 -- 提起 -- 検証 -- ގ -- rechnet -- ழை -- ▁yakın -- ▁alluded -- ▁Parlement -- ▁ripple -- ▁trocken -- вуча -- ▁Saison -- といわれて -- ▁Hugh -- 議長 -- 敞 -- શ -- ▁erscheint -- ▁خاطر -- ▁нужна -- sighted -- 做不到 -- ふた -- 向かい -- 分类 -- 見たこと -- ▁comparative -- 翅膀 -- 丛 -- ▁necklace -- 交往 -- 建築 -- 大伙 -- ▁станция -- ▁geraten -- ▁Gebet -- ▁peuple -- ▁weibliche -- 重症者 -- ▁Vortrag -- ▁Раз -- گذار -- ▁acerca -- பை -- してしまった -- どうでしょうか -- ▁জান -- ▁disclosure -- ▁geschieht -- ▁здравствуйте -- ▁apprentice -- ▁Blumen -- シングル -- ▁одним -- 入侵 -- ▁näi -- に関して -- ▁wakati -- ▁качестве -- ғыҙ -- ▁blickte -- ▁anecdote -- ایل -- ▁secund -- ▁سەر -- على -- ▁devout -- 整整 -- 现在正在 -- dzē -- 脆 -- 羡慕 -- ▁Houston -- ▁Erwartung -- ぴったり -- ▁genießen -- ▁شاید -- ▁nombreux -- ▁Bruce -- ▁genus -- 两周 -- パット -- ▁лежа -- gefahren -- ▁آس -- อยู่ -- ▁Pennsylvania -- ▁છે -- 佐々木 -- durchschnittlich -- 机械 -- 晴れて -- ▁humbly -- ▁afecta -- ▁тракт -- 屋根 -- ▁করেন -- 知らせ -- ▁diagram -- ▁evitar -- くなっている -- ▁intuition -- ▁jonathan -- blätter -- ▁default -- ▁measuring -- зван -- ▁어제 -- ▁protocol -- últim -- してくる -- 処理 -- ეს -- 发誓 -- ▁Mount -- autant -- 如果有人 -- ▁миров -- 障 -- ▁анализ -- ▁அழை -- 如果你能 -- 停電 -- 的角度来看 -- வரும் -- 친 -- 戚 -- ▁Präsentation -- ▁Festival -- 伊丽莎白 -- ▁Geräte -- ▁иметь -- ▁cherry -- ▁Vergnügen -- ▁بىلەن -- ▁때문에 -- 淹 -- ヴ -- ▁Portugal -- ▁Crist -- 尤其 -- ▁Major -- の様子です -- 趣味 -- gesteld -- 糊涂 -- 色んな -- ▁اصلی -- ▁Ausschuss -- వు -- ▁pluraj -- 室内 -- ировали -- 構え -- runde -- 棄 -- ▁گوش -- ▁михаил -- 医疗保健 -- ▁waarop -- を決めました -- 体现 -- ▁voiture -- ▁Ufer -- ▁Route -- もらいます -- ▁tác -- میر -- 拒 -- を果たし -- ▁nachgedacht -- 페 -- ▁комитет -- ▁ມີ -- ▁داستان -- 减肥 -- геҙ -- ジン -- 左边 -- ▁Sorge -- ▁чаго -- ▁incense -- ▁العام -- 旭 -- ▁đại -- ▁بنابراین -- ▁смотреть -- ▁دلیل -- キム -- 말 -- ▁investor -- 塞尔 -- 小伙子 -- 屎 -- ▁Jennifer -- ും -- ▁уровне -- ▁homage -- ▁видели -- 正しい -- ▁laboratori -- に住んで -- ▁illinois -- ▁tiền -- サラダ -- ▁boughs -- ▁russell -- ▁sagst -- 警備 -- zuziehen -- 甘み -- ▁sinister -- ரீ -- ような感じ -- ریک -- 姚 -- ▁Wähler -- ▁columbia -- ▁ekzistas -- ▁perplexed -- ▁братьев -- 渔 -- ▁grill -- ▁exalt -- kontakt -- ▁feit -- ▁governess -- ▁kurya -- ▁Kindheit -- ▁sichtbar -- پتۇ -- เรา -- ▁hump -- ▁پول -- spread -- 愈 -- ▁clumsy -- ▁plutôt -- 취 -- ▁Lewis -- 関東地方 -- ▁каманд -- 哲学家 -- ▁написал -- ▁jazz -- そのとき -- ▁tiel -- よろしく -- ▁Sekunde -- پوش -- 甲子園 -- ▁Widerstand -- jüdische -- ▁pretext -- ▁début -- ▁Standort -- ▁половин -- ▁shovel -- йшлі -- С -- ▁dennoch -- schwäch -- 毒品 -- 救命 -- ▁tiam -- ▁forbear -- ▁convincing -- ▁miraculous -- ▁поговорить -- ▁mugihe -- intérieur -- 睡着了 -- ▁여자 -- 100% -- 하기 -- 修理 -- ruḥ -- 翌日 -- ▁siebzehn -- ▁waistcoat -- 继续前进 -- ▁cuán -- ▁urging -- 給付 -- mıştı -- 茹 -- វ -- ピンチ -- 80% -- 缓慢 -- ▁Ли -- 保密 -- 镜子 -- ▁felix -- あると思います -- つらい -- ▁خودش -- ▁detachment -- ▁prescription -- 貢 -- 都道府県 -- ▁cavalier -- もしかして -- 尼克 -- ▁petersburg -- ▁zunehmend -- đ -- layan -- 哄 -- ō -- ▁zukünftige -- ▁declining -- ▁extern -- சொல் -- 积累 -- っていうのも -- europa -- स्त -- ▁starving -- 祭り -- 呼吁 -- ٌ -- ▁corazón -- ▁сталин -- ▁eugene -- ▁participating -- 做生意 -- ▁condens -- 描かれ -- łow -- できれば -- ▁zacht -- 删除 -- 適用 -- ▁скажи -- ▁Definition -- intérêt -- 滥 -- ▁Một -- schloß -- ▁প্রতি -- 取り組んで -- ▁tolerate -- ▁điện -- ▁auction -- ნე -- ▁Gefangene -- zungu -- ▁hieß -- 董事长 -- ▁calamity -- ▁precipice -- ▁ایجاد -- ▁hoffnung -- ▁nuovo -- 囚犯 -- ▁două -- タイムリー -- 主管 -- ▁Rw -- ▁حسنا -- ▁meditate -- ▁Fakat -- メダルを獲得 -- دعو -- 博客 -- ▁schweigen -- ▁cemetery -- ▁lloyd -- 審査 -- 啤酒 -- 成績 -- nął -- ▁rook -- ▁Association -- ▁Perezida -- ▁baltimore -- ▁endurance -- 洛杉矶 -- 消耗 -- 物理学 -- ющее -- стреля -- 很多人都 -- 揺 -- ច -- 这辈子 -- ▁Knochen -- ▁και -- ▁видно -- ▁Wirklichkeit -- ▁چشم -- ソフト -- ப்போ -- 弟子 -- 1,000 -- 干什么呀 -- գ -- ▁অব -- ▁unreal -- ▁Kristo -- gewandt -- ▁হয়েছে -- сроч -- ▁volgende -- ▁gelukkig -- 하면서 -- ▁زبان -- ▁arbitr -- ምን -- ▁Davis -- 書いた -- ергә -- ▁marcus -- を持った -- 尉 -- ▁hilfreich -- ▁вместо -- ▁څنګه -- ▁irgend -- ▁gambling -- ▁উপ -- ▁возможности -- просить -- ▁unterscheiden -- ▁feststellen -- ゴー -- 食堂 -- ▁gelebt -- んでしょ -- знания -- ▁estudiar -- زده -- ▁норм -- жир -- ▁shameful -- 열 -- ▁течение -- ▁stammered -- 阴谋 -- уулах -- ▁ransom -- kapital -- ▁franco -- 奈良 -- 顺便 -- ▁slipping -- ığın -- ალ -- ▁wichtigste -- 料金 -- 坛 -- ▁малая -- 属下的一个 -- 谐 -- 박 -- いかがでしょうか -- ▁ماشین -- 読んで -- ▁шестой -- Tabelle -- ۲ -- ▁algún -- ▁unanimous -- ▁thống -- ▁skupin -- 暮 -- やめて -- 曇り -- писал -- 驶 -- ▁fidelity -- ▁pouvons -- ▁mondiale -- 速報 -- ▁Überleben -- 離れて -- lardı -- ▁quitted -- ぴ -- 販 -- ▁느낌 -- ▁воздух -- ▁patriarch -- 沙漠 -- ▁развива -- глядзе -- 優先 -- ▁Má -- தான -- 你怎么知道 -- ▁dispense -- 変えて -- ီ -- 鸦 -- ▁Eigentum -- ▁discouraged -- 這 -- こういうふうに -- 阶级 -- せば -- ▁leitet -- theorie -- ▁cultivation -- leihen -- eceğim -- 巨大な -- ▁Lektion -- มาก -- らせる -- торгов -- ▁Empfehlung -- ▁celestial -- ▁occidental -- алтай -- ▁athletic -- 桁 -- affaire -- ものすごい -- ▁civilisation -- ▁اتاق -- 这几天 -- ▁Europäische -- 注定 -- 该地区 -- 析 -- 掏 -- ▁Mitgliedstaaten -- ▁recognizing -- 력 -- ▁казалось -- ▁Sturm -- パーク -- рабатыва -- ▁военно -- ▁sentinel -- どうしよう -- ▁spike -- 良心 -- временно -- ຖ -- 甄 -- 抛弃 -- ▁получить -- ▁abgeschlossen -- 伍德 -- 残念 -- ▁collector -- ▁микро -- ▁joshua -- ▁период -- ့ -- ▁பெரிய -- Source -- ющего -- くなっています -- ▁astronomi -- 汇报 -- 復活 -- țele -- デモ -- хир -- 仙台 -- 囊 -- 舱 -- ▁coincidence -- ▁compromis -- メイン -- inspiring -- ▁politeness -- 碧 -- ▁வழங்க -- 扉 -- ▁pudding -- ▁baptist -- ▁Vull -- ▁epoch -- ▁combusti -- entwicklung -- ▁дней -- 负面 -- 帰国 -- ▁байгуул -- ▁Nachbarn -- ▁대학 -- espér -- ▁Disney -- спя -- ডি -- なじみ -- ▁Bedürfnisse -- 极其 -- ▁بسیاری -- ▁zurückkommen -- うどん -- 悄悄 -- ▁зохио -- メダリスト -- ▁kesk -- ▁possono -- 棕色 -- 総理大臣 -- වෙන -- nummer -- 異なる -- 城堡 -- ғына -- ▁relaciona -- ▁hobby -- ▁людьми -- mektedir -- ▁caballero -- ▁του -- ▁ہے۔ -- ▁адрес -- ▁никакой -- ▁باشه -- ▁durchaus -- ▁außen -- ▁politician -- höchste -- を行いました -- عامل -- ણ -- ቀ -- যোগ -- 六个月 -- ▁sophia -- endroit -- どうでしょう -- ێر -- ファー -- је -- فضل -- 感染症 -- 让我们看看 -- 屋顶 -- 飛車 -- ▁ذات -- drž -- 泼 -- asanzwe -- ား -- 厚生労働省 -- ▁dungeon -- ▁جيد -- 押さえ -- ▁vollkommen -- క్క -- zwingen -- ведения -- ▁Mühe -- ▁seneng -- нести -- 幼儿园 -- 磅 -- 腔 -- 烦恼 -- ▁Fahrzeug -- 眼神 -- ▁чисто -- ▁далей -- を迎える -- ▁sexuelle -- オリジナル -- 马丁 -- ▁aufbauen -- ausschuss -- における -- 周囲 -- 狮子 -- できるだけ -- gegriffen -- ▁langue -- ウクライナ軍 -- ▁herzlich -- ▁suffi -- ▁İki -- ▁gehst -- 苦しい -- توانیم -- 塑料 -- ▁chơi -- ▁khó -- ▁არა -- ▁самые -- ▁tedious -- 感染状況 -- ước -- ▁întreb -- 每一次 -- 岭 -- ▁Vậy -- ▁discomfort -- ▁настолько -- 捐赠 -- ▁капитан -- konsum -- ▁رجل -- ポリ -- ходили -- ▁다니 -- ▁économique -- 敗れ -- génér -- ▁Cross -- ルート -- lumina -- 吸收 -- ▁косм -- 假期 -- klapp -- 验证 -- ▁Fond -- ▁bizim -- ▁portuguese -- ▁rubbish -- 복 -- oubli -- 干吗呀 -- ▁хот -- 运气 -- тыўна -- ▁இப்ப -- ▁kanggo -- ெட் -- 寡 -- ▁sanctuary -- 써 -- よろしい -- 邸 -- ▁tradicional -- ▁bandage -- ▁ukrain -- 渡辺 -- ミニ -- というわけで -- ▁mängi -- ちゃいます -- ▁рух -- abash -- ▁Gedächtnis -- ▁pièce -- 医療機関 -- ▁immune -- 火災 -- ▁forlorn -- genossen -- ▁хоча -- räsentiert -- ▁horribly -- ▁безусловно -- ▁кӱ -- ▁семьсот -- ▁sweetheart -- ▁مؤ -- 解雇 -- 涉及到 -- ▁воды -- 況 -- 塘 -- ▁harvard -- 罰 -- ▁Speicher -- ▁benedict -- ▁fellowship -- 在这方面 -- 英文 -- ▁pronounce -- ţ -- ▁proprie -- ▁болсон -- リュ -- ▁celebration -- ▁Güte -- 正在进行 -- 蔽 -- 청 -- 膝盖 -- ▁радио -- ▁rustic -- ▁общество -- ▁pulpit -- ▁Fußball -- ▁Josep -- cliffe -- ▁தெரி -- 現代 -- podobn -- ▁fascination -- ▁który -- ▁devait -- ▁دهند -- 再現 -- ▁geographical -- 变革 -- ▁мисс -- 史密斯 -- ニック -- ▁Egypt -- строить -- 精神病 -- ▁모르겠 -- ▁русско -- gegenwärtig -- 둘 -- 씩 -- ▁ĉirkaŭ -- 喫 -- एको -- 神话 -- ▁titul -- ▁Träume -- ▁আস -- 厳しく -- ▁dazzling -- ▁erwiderte -- ▁Überraschung -- ▁gedanken -- 增强 -- 基督 -- ાર -- ▁luggage -- ▁이번에 -- täuscht -- ড়ে -- ▁mwiza -- әҙер -- щим -- ▁marvelous -- 入り口 -- wahrscheinlich -- 述べ -- ▁velmi -- ർ -- ▁Londres -- ▁تولید -- ▁Sonntag -- ▁hôm -- 腐败 -- 갖고 -- 承認 -- 考验 -- ▁Chu -- ▁aisle -- ▁beauties -- ambigu -- ぼう -- ▁hippo -- 霉 -- ▁overlooked -- ▁Takže -- ▁moisture -- తా -- ▁hoàn -- ってみよう -- 太平洋側 -- ▁cultivate -- ▁wobei -- ▁ecclesiastical -- édé -- 爱尔兰 -- ▁пространств -- おばあちゃん -- ▁Training -- పో -- 餐馆 -- ▁dripping -- geschenk -- ▁auditor -- ▁unequal -- amatu -- 白宫 -- mutima -- ▁fisherman -- 疆 -- ないですか -- ▁drake -- 判定 -- ▁disseny -- kungu -- 買った -- ▁troublesome -- Blanc -- ▁доступ -- 证实 -- ▁mẹ -- ▁மனித -- ▁Vermögen -- 급 -- 引擎 -- づらい -- Unis -- ▁Anspruch -- 房屋 -- 引退 -- ▁борис -- માં -- ▁Kategorie -- ▁зусім -- 잡 -- 娅 -- ▁Spanish -- ▁thanksgiving -- లా -- ▁хороший -- ▁honom -- 隐私 -- ▁flip -- ▁occurring -- ▁Ereignis -- wheel -- ウォー -- 生み出 -- だと思うんです -- quote -- ▁Despite -- まいりましょう -- tumye -- ▁humorous -- 女優 -- ▁Voraus -- ってしまった -- ▁Köpfe -- 最終的に -- ▁rhyme -- ▁clump -- ▁видеть -- ▁luckily -- ▁رنگ -- ▁malaria -- 生涯 -- патрэб -- ప్ప -- ▁Foundation -- ▁secrecy -- 谜 -- 纤 -- ŝanĝ -- ▁Provi -- ▁дүр -- ご覧いただ -- беҙ -- ▁audit -- ▁spice -- ▁süd -- கல -- 吸引力 -- 色々 -- ▁drüben -- ▁schüttelte -- ▁completamente -- 決断 -- ▁думать -- 励 -- 塑 -- ▁novelty -- 龟 -- ▁Flügel -- ▁diferencia -- ▁cristian -- ▁urmă -- ▁jesuit -- ▁fördern -- َلَ -- と述べました -- 晴れる -- を発表しました -- 言える -- 陌生 -- ▁medication -- 季度 -- ▁lächelte -- 綱 -- ున్నా -- gratul -- ▁моего -- سې -- ▁اين -- 兄弟们 -- ▁ئەوە -- 卿 -- 荒谬 -- 弘 -- ▁제일 -- ▁будешь -- 适用于 -- 食べたい -- 40% -- ▁Ре -- 场比赛 -- ▁xả -- ▁kostet -- ▁bố -- Werbung -- ▁Academy -- ▁mohammed -- ▁آمریکا -- 唐纳德 -- 罗伯特 -- ▁помощью -- 自殺 -- ▁Vì -- ▁Rauch -- 剧院 -- ▁curate -- ▁Moore -- を越え -- 一件事情 -- ▁алма -- ▁distint -- ▁absolv -- ▁deceit -- ▁propriety -- 怪物 -- 根本就不 -- 度目の -- ▁Entfernung -- ▁Après -- ▁signifas -- 日ざし -- ▁Pläne -- ▁Nerven -- ▁güzel -- ビッグ -- ▁hydrogen -- ▁winzige -- farben -- 鞭 -- ▁thompson -- ঙ্গ -- ▁griechische -- ▁хөгж -- 観察 -- sloten -- ▁chunk -- ▁installation -- クリア -- 汚 -- 빠 -- ុ -- ▁elapsed -- ▁Government -- 毁灭 -- ▁rapture -- しさを -- ▁Symbol -- 不思議な -- gestiegen -- ▁practise -- ▁athens -- ▁recreation -- պ -- 猿 -- ▁موجود -- 現象 -- ▁крайней -- ▁morbid -- 感冒 -- ждение -- 引入 -- ▁делают -- ▁moustache -- 洗澡 -- ▁되는데 -- 選び -- flipp -- ならではの -- ▁chemist -- ▁rustle -- ▁Student -- ղ -- ▁longtemps -- ▁verschwunden -- 讽刺 -- ▁sturdy -- 游客 -- ▁arising -- ▁irritated -- ダム -- ▁твой -- عالم -- ▁heroine -- 見たい -- 税收 -- オレンジ -- ▁üret -- 耕 -- 恥ずかし -- ▁왜냐면 -- ▁sidewalk -- ▁никому -- ▁protože -- ▁involving -- ▁alguma -- krebs -- бель -- ▁geplant -- ść -- нюю -- torium -- ▁abnormal -- ▁condescend -- 滤 -- 参议院 -- 別れ -- ▁Cousin -- ▁kansas -- ▁contributing -- ▁ஆன் -- ▁волос -- 带领 -- ▁constantinople -- ▁inasmuch -- ում -- ▁Ähnlich -- 分かりません -- ▁spiral -- ▁tradici -- 追いかけ -- 睇 -- 水曜日 -- ވެސް -- ▁reassure -- ▁Melbourne -- ▁gegründet -- ▁водо -- 北京オリンピック -- ▁voyez -- 介入 -- 获胜 -- ▁سمت -- 虑 -- 溢 -- ▁která -- verwandt -- ▁බව -- ピンク -- میل -- ▁Kommentar -- 漬け -- lassung -- エビ -- 嫉妒 -- ▁Klimawandel -- ▁солдат -- 指责 -- ▁основан -- ▁implies -- 排名 -- 飼 -- ▁Rechnung -- ▁monotonous -- ▁spēlē -- ▁medieval -- ▁rhetoric -- ▁detached -- ▁Mountain -- ▁isolation -- ▁войск -- 解决这个问题 -- ▁хочется -- articula -- ▁umutima -- ▁curb -- ▁liefern -- 伯格 -- ▁Multi -- ▁russische -- 矮 -- ▁Zuhause -- ▁malcolm -- ▁nevoie -- läufig -- ▁shelves -- 落ち着いて -- ▁смерти -- ▁feudal -- 澤さん -- あえて -- klassi -- ▁constituent -- ▁другая -- ▁rabbi -- ライス -- ▁Sklaven -- ▁الواقع -- まもなく -- ▁dictator -- 丫头 -- 荷兰 -- ▁சீ -- ▁salmon -- ▁flores -- っていうところ -- 初期 -- 卧 -- ▁hypothe -- ▁entfernen -- ▁insolent -- 不合适 -- ▁মানে -- ρα -- ▁Dacă -- ▁Montag -- ▁чуж -- рожа -- 準 -- ▁Folie -- 慈 -- 抖 -- ▁Colorado -- ▁Nutzung -- ▁cognitive -- ▁după -- مدرسة -- 残忍 -- 요일 -- sexuell -- ▁القر -- 尋 -- ▁kemudian -- ▁persuasion -- 狄 -- 줘 -- お客様 -- ▁jefferson -- ▁pivot -- ▁машины -- نقل -- ▁استخدام -- ބަ -- ▁whipped -- ▁geleden -- ▁escucha -- ▁Could -- ▁остров -- ▁cavall -- quê -- 须 -- ជ -- ▁versteht -- 拭 -- interesse -- ▁eksp -- ▁disappoint -- ▁även -- 钩 -- katholisch -- ▁کودک -- 紫色 -- ▁cố -- 代の男性 -- Time -- 收益 -- ▁чад -- ▁elevat -- ▁hacía -- ▁Alkohol -- 蔑 -- 褒 -- 从那以后 -- ▁извините -- ▁тело -- ▁spirituelle -- யார் -- ▁sünd -- 设法 -- ▁geographic -- 獲 -- முக -- ▁impamvu -- ▁хэдэн -- ▁Physik -- ▁umfasst -- 反抗 -- ▁concede -- ▁обща -- ▁zwang -- 取引 -- ministerium -- 蹲 -- ০ -- ▁Prüfung -- ▁embedded -- ▁possiamo -- タクシー -- ▁пятая -- 出てきました -- ▁discrimina -- ェ -- 能做到 -- ▁clenched -- ▁pequeña -- ▁tennessee -- 哮 -- 煎 -- かっこいい -- ▁请播放 -- ▁așa -- ▁Jemand -- gehoben -- befehl -- ▁mildred -- ▁disrupt -- mètre -- コスト -- ▁нашим -- ใ -- 膝 -- ▁ausgewählt -- ▁nécessaire -- ▁eclipse -- 换句话说 -- 丼 -- 誠 -- جنس -- ▁daisy -- ▁dzīv -- மும் -- 納得 -- kräftig -- ▁merupakan -- コラボ -- 記者会見 -- 收购 -- ▁crusade -- 金額 -- höhe -- ایە -- ▁hína -- ▁snuff -- ▁социал -- möglichkeit -- ijoro -- ▁clamor -- 順位 -- ▁husk -- ▁Flüchtling -- 奥巴马 -- ▁duidelijk -- ▁குறை -- twenty -- ▁discut -- ▁пройд -- お待ち -- 发动机 -- 警官 -- ତ -- ▁aufzubauen -- 这个样子 -- 넘 -- ▁сергей -- 愛知県 -- ▁shroud -- コンビニ -- 行方不明 -- ▁люблю -- ▁rusange -- ▁твои -- となりそうです -- 訴 -- ▁augustine -- чёт -- ものすごく -- ▁Society -- 动态 -- ▁vierundzwanzig -- ▁ocurr -- ▁mitigate -- konomi -- ▁testify -- ▁чист -- ▁имеют -- ▁destructive -- ▁историю -- ▁мальчик -- ▁alcuni -- 渠道 -- 砂糖 -- ▁besagt -- علام -- waffen -- 原則 -- ▁agafar -- ▁supposition -- ▁diplomatic -- ▁marshall -- fünfhundert -- ▁pilgrimage -- 今のところ -- ālā -- ▁legitim -- ித்தார் -- ▁мысли -- ሚ -- ▁securities -- 辖 -- ▁bestätigt -- umukobwa -- ▁Therefore -- 軟 -- ▁problém -- 並ぶ -- ҙың -- ▁Họ -- 寄付 -- ченко -- gerissen -- ▁hâ -- ▁компьютер -- ▁முக்கிய -- こんなふうに -- 媛 -- 놓 -- ▁vigour -- ▁apparition -- ▁imbaraga -- ▁gratified -- symmetri -- ▁clash -- ▁milestone -- hundertfünf -- ▁Doctor -- ლებ -- ▁camí -- عيد -- 鸿 -- ▁disponible -- ▁butterfly -- ▁teenager -- ▁carlyle -- ▁Mereka -- ▁хэв -- ступил -- とみられています -- entendre -- 棘 -- ▁enabling -- ▁faltered -- ▁bizarre -- ▁nodding -- präg -- 重症 -- ▁cartoon -- ▁hareket -- とみられます -- ▁Republik -- பாடு -- ▁width -- ▁риск -- ▁Runde -- ẫ -- ڈ -- ▁zugänglich -- ျ -- 詩 -- مجتمع -- ゲット -- 散步 -- dämm -- ▁eigenlijk -- 菓子 -- 飛んで -- 级别 -- 厌恶 -- 齿 -- ▁ingenuity -- ▁последний -- ▁руководств -- ▁NASA -- ▁muffled -- ▁theoretical -- ▁நிறுவ -- 女孩儿 -- ▁shilling -- ▁ethnic -- ▁сделан -- 合わせた -- క్ -- счастлив -- 茅 -- ▁Indonesia -- ▁مدرسه -- ▁정말 -- ▁Fehl -- 豪華 -- ▁chestnut -- 伙计们 -- が止ま -- 新宿 -- ▁பெரு -- 了解更多 -- ▁серьезно -- 績 -- 面试 -- 结局 -- pflege -- Á -- թ -- ▁crouched -- フルーツ -- 최 -- ▁espacio -- خصوص -- ▁eindelijk -- 悲剧 -- zauber -- physiologi -- ▁подготов -- ▁лепш -- 一个例子 -- 远处 -- 合計 -- చ్చ -- 赎 -- ຢ -- ▁ecstasy -- ▁نمایش -- ӹн -- 実態 -- rechnen -- менять -- ▁новых -- 竟 -- ▁landlady -- 繊 -- ▁gutanga -- ▁ominous -- ▁voulu -- 証言 -- 演示 -- ▁junk -- ▁integrate -- 隠れ -- ▁Außer -- ▁Entschuldigung -- ▁Kommissar -- 扫描 -- ▁hoofs -- wäss -- اگه -- ▁лица -- 嘿 -- ▁merchandise -- ▁செயல் -- ▁elkander -- ▁spüren -- ▁clown -- ▁важна -- ▁calculate -- 収入 -- 続けている -- 灵活 -- ▁தனி -- ▁fügte -- ▁взаимо -- ▁갑자기 -- ▁Republikaner -- ▁infidel -- ▁desolation -- ▁längst -- 坚强 -- ▁cicl -- 行きたい -- lehrer -- ▁literal -- 韓 -- 非常有趣 -- ▁marcel -- ▁Intelligenz -- 冈 -- ▁пошли -- 气候变化 -- が必要だ -- ▁странно -- με -- 种族主义 -- の疑いで -- ▁yahweh -- 斥 -- 至关重要 -- ▁Kämpfe -- ▁detained -- ▁هنر -- ▁sovint -- ▁syllable -- ▁mittlere -- schalt -- aufnahme -- トルコ -- ▁цели -- ▁judith -- ▁spacious -- 海滩 -- کۆ -- ▁yazı -- ▁भए -- ▁Minnesota -- ▁использовать -- ▁languid -- ▁آورد -- ▁reiterate -- ▁Patrick -- ▁убива -- ▁توجه -- Europa -- ▁تواند -- 崎さん -- ▁Richtlinie -- ▁kibazo -- ▁potenziell -- ▁deferred -- ▁பிறகு -- ނެ -- ▁usurp -- 羽毛 -- schwor -- نوشت -- ▁appoint -- ▁sancho -- ▁குழந்தை -- ▁Үүний -- ▁línea -- ▁Studium -- ▁Ireland -- ▁Modern -- 病床 -- льныя -- ▁кровь -- 査 -- 心疼 -- 렸 -- ▁يوجد -- owski -- ▁konkret -- ▁பற்றி -- ▁categori -- ▁نقش -- дзь -- 炼 -- ▁நிகழ் -- ▁indicating -- ▁Gegenteil -- ▁Emily -- ▁война -- 行われている -- ▁presidential -- ▁Little -- கொள் -- 肤 -- ▁Existenz -- 拜访 -- ▁antony -- ▁Samuel -- 見つかり -- ▁může -- 垒 -- 慷慨 -- ▁Ernährung -- ▁displeasure -- ッグ -- 捉 -- ▁говорим -- ▁değiştir -- 必然 -- ▁condicion -- ▁welsh -- 拜拜 -- 失业 -- ▁sparrow -- アピール -- ▁sociedad -- ދަ -- ދު -- ▁사람들이 -- ▁mercado -- 見つけ -- 文書 -- ▁Auftrag -- ▁Annahme -- ▁Coast -- ներ -- 霜 -- ▁boyunca -- 時半ごろ -- ▁asteroid -- ▁коротк -- ▁قانون -- ிற்கு -- nshingano -- ▁musí -- 边境 -- ▁riddle -- 伍 -- 謝 -- ▁Illinois -- ▁دانشگاه -- schließt -- ▁पु -- イラン -- ▁ĉu -- ミング -- ジョー -- ▁comunidad -- ▁companionship -- 轻易 -- qqim -- ▁portray -- ▁үнэ -- ёшь -- 好奇心 -- になりたい -- 虾 -- bitekerezo -- ▁Pēc -- ▁antiquity -- ▁científic -- 淋 -- アルバム -- ▁acontece -- おととし -- 師匠 -- gemeinschaft -- 看一看 -- きょう午前 -- 抜いて -- 谢谢大家 -- ▁bırak -- versorgung -- ▁Konferenz -- GPS -- ▁혼자 -- ▁gracias -- ▁athenian -- ▁persoon -- ▁inaugur -- ▁менш -- 群众 -- ▁northeast -- ▁vorgeschlagen -- 雨が降って -- ▁patriotism -- 档案 -- luğu -- ໃຫ້ -- ▁defiant -- ▁malicious -- ▁Kansas -- ▁chaplain -- 残酷 -- ▁bertram -- 交付 -- 消化 -- ▁Felsen -- ▁bathroom -- おじさん -- ▁байр -- ▁palju -- ▁Alpha -- ▁Katastrophe -- ▁Respekt -- ▁обязан -- ツイッター -- ▁oyna -- ▁غذا -- ▁أفضل -- ▁لدينا -- filtr -- 层次 -- 主导 -- 속 -- ጥ -- ▁sophisticated -- ▁буквально -- ▁façana -- 侮辱 -- ▁дороги -- 前两天 -- 将棋 -- ▁너는 -- ريخ -- ුරු -- 労 -- 戴安娜 -- 逝 -- ▁سیستم -- ̃ -- 剥夺 -- ▁ensued -- 这是一件 -- schwimm -- 是不可能的 -- 辞め -- ▁pueda -- església -- süchtig -- ▁birçok -- 出租车 -- 귀 -- 麗 -- 적으로 -- 注射 -- schränkung -- ▁snare -- ▁skate -- ▁retard -- 一生懸命 -- ▁ängstlich -- ▁vegada -- ডা -- あるんですか -- 起訴 -- räte -- 徽 -- ▁Posteriorment -- ▁nyinshi -- ▁trabalho -- 코 -- ▁చె -- ▁Больш -- ロンドン -- ▁verwandelt -- ▁bagian -- 設計 -- zugreifen -- ▁பழ -- 语音 -- ▁naples -- 世の中 -- 括 -- 嚟 -- ఫ -- 挖掘 -- 世帯 -- ▁scottish -- 見直し -- ركز -- 現れた -- ▁Stich -- ▁refinement -- ▁keith -- 老虎 -- бега -- ▁temporarily -- コンピュータ -- 腸 -- 昆虫 -- アート -- '1.5' -- 維 -- ▁straightforward -- ঐ -- 凌晨 -- 繁殖 -- ধি -- beamte -- ▁руках -- ▁задерж -- ▁остава -- 積極的に -- 匆 -- ▁Interessant -- ▁законопроект -- liśmy -- ▁cantonada -- ▁مرکز -- 杭州 -- ▁verurteilt -- 噴火 -- ▁адказ -- ▁Nacional -- expliqu -- ▁rebuild -- people -- ıyordu -- 눈 -- 설 -- キッチン -- ▁لطفاً -- ▁decât -- ▁일본 -- ▁prodigious -- ▁Jacob -- 散歩 -- 传奇 -- ▁klassische -- ▁существу -- ▁форма -- 釣り -- ▁подпис -- 风暴 -- ▁Opera -- ▁институт -- ическом -- ▁michigan -- バッグ -- ▁clinton -- それこそ -- весел -- 商業 -- ハンド -- ipps -- ▁spouse -- ▁trustee -- ▁площад -- ▁uzata -- صاب -- geheimnis -- 披 -- ച -- ▁sorgfältig -- 현 -- แต่ -- ▁discreet -- chirurg -- といわれる -- ുന്ന -- ▁возраст -- ▁birkaç -- schirm -- 环节 -- ▁intact -- ▁Então -- طبق -- 亨 -- forderung -- 階段 -- 教导 -- auftrag -- kümme -- 所需的 -- ▁Jimmy -- ▁kümmert -- 대로 -- ▁aquellos -- እ -- ▁susceptible -- 痕迹 -- ▁fuerte -- トレー -- ▁invece -- ложения -- 静岡 -- kündigt -- ▁hoffentlich -- ▁audible -- 학년 -- ▁Finanzierung -- າມ -- ▁simbol -- rätt -- ாலும் -- ▁سخت -- ▁ĉefa -- ▁veröffentlichen -- ▁медицин -- ▁دوباره -- アスリート -- ▁건데 -- ordination -- あぁ -- ▁utawa -- 判明 -- マウンド -- 木曜日 -- PCR -- ▁produzieren -- ▁tactics -- 可能性もある -- ிங் -- هدف -- artista -- 違った -- 弊 -- ▁bijzonder -- ▁nghệ -- ▁boulder -- 逃避 -- 减轻 -- 唉呀 -- ▁Einfach -- ▁Hütte -- ▁Feli -- ▁Charlie -- 反発 -- ▁navigate -- 極めて -- ▁дожд -- ▁забыл -- ▁bourgeois -- ▁steadfast -- 졌 -- ሆ -- ▁voulez -- ▁силы -- فروش -- ▁Chief -- 想一想 -- າກ -- 항 -- 芸術 -- ▁सु -- ▁implicit -- ▁duncan -- ▁واحدة -- ▁humming -- muster -- 装备 -- ▁membership -- کشید -- ▁bequem -- ▁vieille -- ▁begleitet -- ▁empfind -- ▁果啲 -- ▁impulsive -- ▁அரச -- ▁позвонил -- ▁düster -- ▁bunlar -- ▁Offizier -- ▁دغه -- 贫穷 -- ▁করতে -- 多长时间 -- 赞美 -- ▁boost -- باد -- ▁успел -- 没见过 -- 変わらない -- 肾 -- ▁industrious -- ▁конфликт -- ▁беларускай -- ▁carrière -- ▁zgod -- ▁renounce -- 股份 -- глянул -- faktor -- 臨時 -- 拜托 -- building -- ▁demselben -- ▁Spiegel -- ▁enchanted -- ▁그럴 -- 抚养 -- ▁아예 -- ▁conserve -- 姐夫 -- ▁erwähnen -- ▁influential -- ▁первого -- ▁кандидат -- vermögen -- ▁penitent -- 受益 -- ▁wiederholen -- atangiye -- க்காக -- 面积 -- ▁aconsegui -- ▁columbus -- ▁verpflichtet -- 貫 -- ▁tournament -- 令人惊讶 -- ▁hinterlassen -- ▁servicio -- ▁словно -- 地板上 -- ىرى -- シート -- キーウ -- 训 -- ਜ -- ▁Ayrıca -- ▁bình -- ▁resembling -- ▁birlikte -- ▁আমার -- ▁vienna -- ▁retiring -- ▁Yagize -- 贵族 -- ▁mnoh -- 宿舍 -- 成为一名 -- 投降 -- ▁Zahn -- ▁Ня -- عيش -- ▁fritz -- крыл -- ▁execu -- 乏 -- 瓷 -- ס -- ▁gobierno -- ▁westminster -- ▁Усё -- 책 -- ▁temporada -- 隙 -- 昇 -- ಾಗ -- ▁мужик -- ლე -- լ -- ▁llavors -- シュー -- 教師 -- ランチ -- ▁тэг -- сурс -- 早已 -- ▁Bridge -- ▁geleistet -- ▁mỗi -- 水準 -- ▁되지 -- ▁triangle -- ▁fuori -- 玛丽拉 -- изова -- ▁Dichter -- 異常 -- 炸弹 -- ▁elevator -- ▁gateway -- ルーム -- 观念 -- ▁signify -- ▁distraction -- 推广 -- equilibri -- ▁wunderschön -- 哑 -- 弗兰克 -- 谣 -- ▁مكان -- 疑惑 -- ▁Bürgermeister -- ▁beetle -- রাজ -- ことはない -- verbrauch -- 風景 -- ▁kaldı -- zusammenarbeiten -- ▁appelé -- kandida -- ▁compost -- ▁заўсёды -- ▁степени -- ▁erstaunt -- ▁tödlich -- 对他来说 -- ▁seguro -- ッカー -- 怜 -- を対象に -- τι -- झ -- ▁requiring -- indirimbo -- ▁gufata -- förmig -- ▁thrice -- ▁piteous -- espai -- 百六十 -- 背叛 -- ▁برخی -- チェン -- ▁Prinz -- 暴風 -- ळ -- ▁развития -- ▁хүрэ -- ▁Firma -- 报仇 -- ▁chuckled -- ▁sacrifi -- されていない -- お疲れさま -- ▁Experten -- ▁республик -- ▁peninsula -- 乗用車 -- ▁좋아하 -- ▁parliamentary -- ල්ල -- ாமல் -- 简短 -- ▁forfeit -- ङ -- پذیر -- 畳 -- 冷蔵庫 -- ▁rôle -- بناء -- ▁Summe -- ▁любим -- ▁spars -- ▁konkur -- ើ -- ែ -- ੋ -- ▁Així -- ▁lấy -- ▁않았 -- 汀 -- డి -- 打败 -- ▁unendlich -- ▁гости -- ▁сабе -- ▁tehnolo -- بێت -- ▁posibil -- 揮 -- 逢 -- ▁chuyển -- 眞 -- ▁Kennedy -- ▁miliard -- ▁эфир -- ọ́ -- ▁метод -- なりません -- schäf -- ▁роль -- 这项工作 -- ېرى -- 虐 -- 恭 -- ▁Ukraine -- ▁gratification -- ▁सं -- ěl -- 另一件事 -- ▁teilweise -- 新潟 -- 並べ -- こいつ -- ġ -- ▁কিছু -- 태 -- ▁perchance -- グッズ -- ▁transplant -- ▁impartial -- 入ってる -- 小さく -- んねん -- 的一件事是 -- ▁lehnte -- ▁distingu -- ▁metropolitan -- 처럼 -- ▁gegessen -- 呈 -- ▁trouvé -- ▁recurring -- お菓子 -- ▁ຫຍັງ -- ホワイト -- 담 -- 兜 -- આ -- 阪 -- 塌 -- 锡 -- ढ -- २ -- 扛 -- ỳ -- 雌 -- 忽 -- 偿 -- И -- 捧 -- 釈 -- 滨 -- ሄ -- 娇 -- ូ -- 铭 -- 滩 -- ャ -- ύ -- ޯ -- 斌 -- 절 -- 종 -- 託 -- ޫ -- 缶 -- 崖 -- ദ -- 潰 -- 緊 -- ɗ -- 蔓 -- 仑 -- ஈ -- 브 -- ৎ -- 厦 -- 扰 -- អ -- 벌 -- 증 -- ২ -- ਵ -- 骚 -- 吨 -- 歓 -- 竖 -- 址 -- 瞥 -- ള -- 渋 -- 挪 -- 暇 -- 掛 -- յ -- 铅 -- 钓 -- 橡 -- 拡 -- 狐 -- 줬 -- 출 -- ٽ -- এ -- 柿 -- 络 -- 乙 -- ቃ -- 幾 -- 亜 -- 嗅 -- 咕 -- 喔 -- 畜 -- 茄 -- 글 -- ጠ -- Б -- 學 -- 플 -- 勉 -- 咸 -- 锤 -- ð -- 건 -- 능 -- ఉ -- 歧 -- 叨 -- ҿ -- 烫 -- 坤 -- 芦 -- $ -- 監 -- គ -- 践 -- 침 -- 蟹 -- 唠 -- 합 -- ຜ -- 堤 -- 肘 -- 宪 -- 임 -- 梳 -- 霞 -- 薛 -- 병 -- 순 -- 攀 -- 驴 -- 灣 -- 甩 -- 邊 -- 妄 -- 론 -- 軸 -- 메 -- 脈 -- 튼 -- 蓉 -- 赐 -- ਮ -- 葱 -- 魅 -- 盼 -- ံ -- 秃 -- 甭 -- է -- 란 -- ぺ -- ጣ -- ৱ -- 窟 -- 靖 -- 颈 -- 壶 -- 꾸 -- 앞 -- ኛ -- 浆 -- ঙ -- 仆 -- Д -- 叉 -- 亀 -- 猴 -- 茎 -- 삼 -- 嬉 -- 澳 -- 颁 -- 笛 -- 커 -- 稻 -- 엔 -- 筛 -- 魁 -- 閣 -- 渣 -- 蹴 -- 搏 -- ੰ -- 肆 -- ں -- ਆ -- 蛙 -- 磊 -- ସ -- 點 -- 汰 -- 棟 -- 陕 -- 憎 -- 绣 -- 歪 -- 頻 -- 趟 -- 岂 -- О -- ވ -- 胞 -- ష -- 표 -- 噴 -- 堕 -- 圏 -- 咳 -- 淑 -- 庸 -- 疚 -- 嘎 -- ג -- 滝 -- 譲 -- 炫 -- ପ -- 蓬 -- 绵 -- 谎 -- ዳ -- 碍 -- 巷 -- 驰 -- ኔ -- ጋ -- ξ -- 평 -- ű -- ါ -- 詳 -- 圭 -- 顽 -- 蹦 -- 枉 -- 頑 -- 慣 -- 鋭 -- 鲸 -- 栖 -- 姫 -- 嫩 -- 큰 -- 渊 -- 掠 -- ಳ -- ਂ -- 衔 -- 憋 -- 癖 -- 顧 -- 확 -- 얼 -- 宰 -- 厨 -- ડ -- բ -- ဆ -- 颖 -- ੱ -- 碌 -- 駐 -- 覇 -- 禅 -- 肿 -- 乞 -- 們 -- 듣 -- ਪ -- 匿 -- 梗 -- 幹 -- ޖ -- 俘 -- 접 -- 彪 -- 醋 -- 阅 -- 紋 -- ሉ -- ୁ -- 國 -- 袍 -- 癒 -- ° -- 夷 -- 腻 -- Î -- 愣 -- 堅 -- 賢 -- 沾 -- 贬 -- 绸 -- 먼 -- 맛 -- 灿 -- 끝 -- 吟 -- ണ -- 駆 -- 镖 -- 활 -- 妆 -- 硕 -- ჯ -- 硅 -- 몰 -- 纷 -- 彫 -- 渗 -- 陋 -- 賄 -- 陀 -- 셨 -- – -- ჰ -- 奎 -- 杏 -- ڑ -- ମ -- 译 -- ט -- 盾 -- 盔 -- 贞 -- 溺 -- 坪 -- 잠 -- 육 -- 쁘 -- 竭 -- 佢 -- 辽 -- 袜 -- 栈 -- ሎ -- ፈ -- ೊ -- Í -- ፍ -- 詹 -- 怎 -- 仿 -- 婶 -- 循 -- 백 -- 馅 -- 橙 -- 徹 -- 鍛 -- ሱ -- 儒 -- 恕 -- 耸 -- ೂ -- 淳 -- 翌 -- 餌 -- 庇 -- 捞 -- 斐 -- 膏 -- ۵ -- 럽 -- 隅 -- 啪 -- 辐 -- 熙 -- ඔ -- 紛 -- 捏 -- 떨 -- 손 -- 駒 -- 愚 -- 椎 -- 朽 -- ̉ -- 踪 -- ዚ -- 帘 -- 嘟 -- 颊 -- 惧 -- ኮ -- 藩 -- 筑 -- 廉 -- એ -- ሳ -- 葵 -- 慕 -- 泛 -- 窒 -- ધ -- 랬 -- 昧 -- 족 -- 屿 -- 죽 -- 팔 -- ယ -- 粥 -- ዋ -- 餅 -- 討 -- 廣 -- 붙 -- 씨 -- 犹 -- 叮 -- 萩 -- 歹 -- 咽 -- 湧 -- 侣 -- 蝶 -- 捆 -- В -- ڻ -- శ -- ખ -- 懲 -- ؛ -- 哩 -- 尹 -- 웃 -- ỷ -- 망 -- 즈 -- 贱 -- 瞅 -- 斎 -- П -- ሪ -- 졸 -- 貯 -- 郵 -- 频 -- 囚 -- 鲨 -- 凳 -- 缸 -- 짝 -- ۀ -- ɓ -- 뭘 -- 홍 -- 옷 -- 쳐 -- 참 -- 痒 -- 혼 -- 眨 -- 揉 -- Ғ -- 테 -- ծ -- 咒 -- 绒 -- 厘 -- 변 -- 십 -- 厢 -- 琐 -- ਼ -- ẳ -- 缴 -- 驼 -- ዲ -- 嵐 -- 礁 -- 粹 -- 독 -- 俳 -- 妞 -- 쉬 -- 毙 -- ዛ -- 岐 -- 闇 -- 肮 -- ـ -- 債 -- 盯 -- 銅 -- 卦 -- 莹 -- ။ -- ቅ -- 樱 -- 笠 -- 薯 -- 醇 -- 栓 -- ़ -- 崛 -- ካ -- 刹 -- 奨 -- 迅 -- њ -- җ -- 릴 -- 투 -- 谭 -- 俯 -- 帳 -- 帐 -- 瑶 -- 떡 -- ោ -- 溝 -- ೀ -- 谍 -- 습 -- 噩 -- ҷ -- ੁ -- 淀 -- 勺 -- 簿 -- 曝 -- ւ -- 饺 -- 棺 -- 斩 -- ። -- 貝 -- 鼎 -- Ё -- 뒤 -- Ŝ -- 별 -- ိ -- 殻 -- 舗 -- 婿 -- 韵 -- ੈ -- 충 -- 酔 -- 繋 -- 剛 -- 愤 -- 韧 -- 웠 -- ಣ -- ฐ -- 哺 -- 哼 -- ඟ -- 嗡 -- 緒 -- 姬 -- 慶 -- 匈 -- 懐 -- ഷ -- 挠 -- 氓 -- இ -- 桩 -- ۍ -- ៅ -- 纲 -- 妾 -- 軌 -- 渴 -- 聘 -- ם -- 衍 -- 랐 -- ŷ -- 奄 -- 酋 -- ူ -- ହ -- 睹 -- 拌 -- ຶ -- 绪 -- 瘫 -- 濱 -- 隧 -- 瞄 -- ൂ -- 耿 -- ൻ -- 吱 -- 喇 -- ഗ -- շ -- 嘻 -- ಷ -- ಚ -- 霧 -- 넣 -- 怠 -- 杖 -- 錦 -- 屠 -- 빼 -- 鞠 -- 眺 -- 藻 -- 栅 -- 矛 -- 冊 -- ထ -- 聆 -- ശ -- 怡 -- 宵 -- 악 -- Ы -- 嚷 -- 패 -- ァ -- 勋 -- 언 -- 慨 -- 赦 -- 萍 -- ռ -- 막 -- አ -- ζ -- 豁 -- 휴 -- 肚 -- 捣 -- ٿ -- 셔 -- 昨 -- 皓 -- 喃 -- എ -- 喉 -- 貿 -- 趴 -- 迭 -- 謀 -- 孩 -- ቤ -- 薦 -- 粛 -- 哒 -- ീ -- 趾 -- 酿 -- 섯 -- 痘 -- 茜 -- 蚀 -- 菇 -- எ -- 躬 -- 誌 -- 佬 -- ¿ -- 俵 -- ċ -- 꺼 -- 渐 -- 卒 -- 鸽 -- 發 -- ళ -- ហ -- 亩 -- 唇 -- 壇 -- ಶ -- 蝇 -- ચ -- 蜀 -- 隻 -- 俱 -- 泌 -- 剿 -- 磕 -- ቸ -- அ -- 衬 -- 처 -- 垮 -- 琉 -- 墅 -- 쯤 -- 畀 -- 険 -- 扁 -- 橱 -- 창 -- 咁 -- 婉 -- 특 -- 沒 -- 倫 -- 噜 -- 钦 -- 傍 -- ӷ -- 嗓 -- 枫 -- 답 -- ਗ -- 茸 -- 兑 -- 攒 -- צ -- 惰 -- 림 -- 숙 -- 榄 -- 氢 -- 喧 -- 览 -- 澜 -- 羅 -- 忏 -- 憩 -- 拱 -- 轿 -- Ú -- 슬 -- 倩 -- ਅ -- 剔 -- 距 -- 禀 -- 揍 -- ޒ -- 嵌 -- 瞬 -- 憲 -- 蹭 -- 凹 -- 판 -- ィ -- ९ -- 凸 -- 橘 -- 苔 -- 蕉 -- 浇 -- ৯ -- 獄 -- 穂 -- „ -- 贸 -- ʼ -- 읽 -- 聪 -- 료 -- 옆 -- 乜 -- 골 -- 對 -- 谨 -- 斧 -- 켜 -- 縄 -- 菱 -- '#' -- 吼 -- 허 -- 嗽 -- 蹄 -- 拇 -- ಜ -- 該 -- 텐 -- 북 -- 髓 -- ਬ -- 浄 -- 荘 -- Ô -- 죠 -- ះ -- 栃 -- 몸 -- 瓣 -- 莓 -- 굴 -- 塾 -- 遵 -- ן -- ۹ -- 甸 -- 娟 -- 蠢 -- 함 -- 獣 -- 缅 -- ೋ -- 틀 -- 각 -- 啫 -- 屯 -- 經 -- Г -- 餃 -- ੂ -- 療 -- 绍 -- 槛 -- ჭ -- ధ -- 겼 -- 曦 -- 涅 -- 涡 -- 鄙 -- 霖 -- 麟 -- ભ -- 冥 -- 谅 -- 희 -- 饲 -- 潇 -- 飽 -- 骆 -- 哉 -- ఒ -- ઓ -- 萎 -- 膚 -- 斉 -- 皂 -- 屑 -- 悯 -- 衫 -- 鉢 -- 축 -- ሞ -- 며 -- 법 -- 芙 -- 疤 -- 帜 -- 罕 -- 蝠 -- + -- 향 -- 寇 -- 丫 -- 힘 -- 朋 -- 拙 -- 荆 -- ஆ -- 늦 -- 황 -- 撇 -- 택 -- 戳 -- 랜 -- 撰 -- 璃 -- 釜 -- 혀 -- 盏 -- ォ -- 択 -- 沛 -- 臀 -- 莽 -- ሀ -- 酮 -- 록 -- 诵 -- 绊 -- 婪 -- ૂ -- 硫 -- 품 -- 碁 -- 郝 -- 匀 -- 颇 -- 聋 -- 賠 -- 删 -- 阐 -- ណ -- 妊 -- Х -- 辟 -- 丞 -- 牡 -- 석 -- 익 -- 噬 -- 拟 -- 瞪 -- 刈 -- 坝 -- 嵩 -- ۳ -- 욕 -- 详 -- ሩ -- 檬 -- 媚 -- 虏 -- 粪 -- 닐 -- ҽ -- 蜗 -- 惦 -- ൾ -- 鐘 -- 淮 -- զ -- 베 -- 铸 -- 綿 -- 缉 -- 蘑 -- 垄 -- 粤 -- 슷 -- 풀 -- 맨 -- 骸 -- ٬ -- 唬 -- 绞 -- 블 -- 婴 -- ധ -- 蒲 -- 넌 -- ួ -- У -- 综 -- 塊 -- 择 -- խ -- 膳 -- 蒜 -- 蝙 -- ਇ -- 嚼 -- 榴 -- 曽 -- 때 -- 枢 -- 於 -- 偵 -- 涩 -- ആ -- 诡 -- 鳄 -- 矩 -- 溯 -- 贿 -- 검 -- 쓸 -- 칠 -- 厉 -- 責 -- 靓 -- 송 -- 炖 -- 疹 -- 肃 -- 咧 -- ଲ -- 旱 -- ඹ -- 魄 -- 哋 -- ○ -- 션 -- 꼬 -- ञ -- 婢 -- 캐 -- 烘 -- 苛 -- ջ -- ខ -- ਟ -- 肇 -- 栽 -- 熄 -- 馨 -- ળ -- 紗 -- 채 -- 환 -- 窄 -- 禄 -- 탈 -- 권 -- 腥 -- 噌 -- 祐 -- 妓 -- ୟ -- 訓 -- 淫 -- 懦 -- 昊 -- 磯 -- 糕 -- 贡 -- 篷 -- ሺ -- 捍 -- ങ -- 광 -- 铲 -- ۴ -- 墟 -- 粧 -- 娥 -- ৫ -- ဖ -- 祁 -- 忆 -- 啸 -- 〈 -- ෘ -- 懈 -- ಇ -- 拧 -- 凿 -- 톡 -- չ -- 녀 -- ڤ -- 김 -- 汐 -- 糧 -- 谓 -- 瀑 -- ޝ -- 寓 -- ਣ -- 扒 -- 衅 -- ఈ -- ജ -- ۾ -- 剃 -- 腫 -- 勿 -- ញ -- 奕 -- 깨 -- 卜 -- 꼭 -- ඕ -- 砕 -- 澡 -- 嚣 -- 閥 -- Ĝ -- 邱 -- 簡 -- 飙 -- ৩ -- 芭 -- 떠 -- 庶 -- × -- 蛛 -- 麼 -- औ -- 째 -- 철 -- 锯 -- ぃ -- 鉱 -- 嗰 -- 鹤 -- 혹 -- 嘶 -- 舆 -- 穀 -- 冗 -- 诫 -- 恤 -- 箸 -- 鎮 -- ז -- ᱟ -- 巩 -- 彬 -- 嬢 -- 瘟 -- 诀 -- 埔 -- 砰 -- 舔 -- ષ -- 밤 -- 詰 -- 顕 -- ዘ -- 煽 -- 綾 -- 窥 -- 絆 -- 움 -- 宛 -- 撼 -- ಧ -- 咔 -- 與 -- 陳 -- 芹 -- 陡 -- 掷 -- 廓 -- 逻 -- ബ -- 唆 -- 寧 -- 怯 -- 鹦 -- 裹 -- 翰 -- ቶ -- ෞ -- 벽 -- 奮 -- 너 -- 齋 -- 승 -- ዎ -- ኩ -- 뽑 -- ഇ -- 讳 -- ភ -- 拽 -- ଦ -- 못 -- 彤 -- 當 -- 퍼 -- 缪 -- 唾 -- 渦 -- 跤 -- ዝ -- 掐 -- 峭 -- 梭 -- ށ -- 兮 -- 窑 -- 應 -- 屉 -- ঢ -- 伽 -- џ -- 菩 -- ฮ -- 潤 -- 辑 -- ៉ -- 께 -- 땐 -- 鈴 -- 暂 -- 廖 -- ॉ -- ഒ -- 屡 -- 峻 -- 鹉 -- 熏 -- 鞍 -- 呻 -- 雯 -- 곳 -- 搂 -- 蜡 -- ฉ -- ৪ -- 깔 -- 說 -- 헤 -- 缆 -- 涯 -- ធ -- 掀 -- 孽 -- ഹ -- 奠 -- 련 -- 짐 -- 樊 -- 粋 -- 衙 -- ҕ -- 녁 -- 叭 -- ڊ -- 멀 -- 큼 -- 詠 -- 劈 -- 높 -- আ -- 蕨 -- 掃 -- భ -- 驯 -- 篠 -- 뜨 -- 痪 -- 窮 -- 騎 -- ຟ -- ሮ -- Ř -- 촌 -- 歉 -- ణ -- ฝ -- 잔 -- 沦 -- 绽 -- Τ -- 樣 -- 暢 -- 폰 -- 窍 -- 條 -- 봉 -- 泵 -- ൽ -- 빨 -- 암 -- 纺 -- 寛 -- 悉 -- 潭 -- ୋ -- 焚 -- 畔 -- 嘲 -- 捂 -- 껴 -- 輔 -- 棕 -- 饥 -- ថ -- 籠 -- ဲ -- 佣 -- ଏ -- ڏ -- 泻 -- 柠 -- ഞ -- 류 -- ፣ -- ƙ -- ۽ -- 钞 -- 呜 -- 葫 -- ។ -- 嶽 -- ቢ -- 濁 -- 仨 -- ӣ -- 飓 -- ഭ -- 沐 -- ಆ -- 邀 -- 赁 -- 冕 -- 哗 -- 禽 -- 酶 -- 侃 -- 锈 -- 呪 -- 熔 -- 揚 -- 奢 -- Э -- 趋 -- 嗦 -- ផ -- 衝 -- 窖 -- 阀 -- 扳 -- 摂 -- 응 -- ඊ -- 쉽 -- 筷 -- 妍 -- ओ -- 斬 -- 肋 -- 클 -- 胺 -- 亵 -- 叽 -- 咎 -- 桨 -- ሥ -- 앉 -- 潔 -- ዬ -- 錯 -- 극 -- 宙 -- 禾 -- ৮ -- 궁 -- 넷 -- 丐 -- 睦 -- ଣ -- 끄 -- 딩 -- ફ -- 赋 -- 蘭 -- ۸ -- 논 -- 徊 -- 徘 -- Ш -- 琦 -- 빌 -- 颤 -- 颂 -- 착 -- 氨 -- ։ -- 썼 -- 擅 -- ‐ -- ぉ -- 蓮 -- ৬ -- 쿠 -- Κ -- 釣 -- 捅 --  -- 拢 -- 鵬 -- 叱 -- ३ -- • -- 嚎 -- 싼 -- ഴ -- 苑 -- 놨 -- 啓 -- 冨 -- 嘢 -- 鷲 -- ଇ -- 킨 -- 邵 -- 狮 -- 燥 -- ޕ -- ಭ -- 犀 -- 馒 -- 癫 -- 沫 -- 늘 -- 瑜 -- љ -- 禧 -- 딸 -- 瘤 -- 咖 -- 抒 -- 棠 -- ५ -- ቱ -- 噂 -- 舵 -- 곤 -- 凄 -- 抠 -- Ņ -- ሌ -- 拷 -- 蓋 -- 寮 -- 斋 -- ४ -- ഉ -- 걱 -- 呦 -- ሬ -- 俭 -- 蚕 -- 揽 -- 컴 -- 舶 -- 맥 -- 焕 -- 倭 -- 睿 -- 瞳 -- 鹊 -- ಎ -- ಥ -- 辻 -- ☎ -- 铛 -- 弔 -- 락 -- 兩 -- 钙 -- 崽 -- Π -- 钝 -- 낫 -- 밀 -- 銘 -- 縛 -- 殊 -- 藍 -- 俞 -- 惩 -- 刁 -- 튜 -- 褪 -- 脾 -- 谤 -- 跋 -- ८ -- 쌤 -- 획 -- Ф -- 呕 -- 雁 -- 躯 -- 迦 -- 恳 -- 啱 -- 梵 -- 關 -- 孵 -- 晏 -- 鴨 -- ਉ -- 棱 -- 疎 -- 恍 -- 匂 -- 咀 -- 濒 -- 渲 -- 绷 -- 냈 -- 淆 -- 胰 -- ሻ -- 實 -- 팀 -- 坟 -- 龚 -- 쁜 -- 谊 -- 溃 -- ћ -- 髦 -- 诽 -- 拎 -- 醤 -- 曇 -- 阎 -- 찾 -- 娩 -- ଥ -- ሲ -- 渺 -- 骼 -- 蘇 -- ६ -- 啃 -- 揣 -- 椰 -- 嗑 -- 弧 -- 懵 -- 찌 -- 笘 -- 辙 -- 渎 -- 苟 -- ۷ -- ቆ -- 빵 -- ଗ -- 汹 -- ۶ -- 檐 -- 喵 -- 騰 -- 窦 -- 歼 -- 葩 -- 범 -- Ș -- 억 -- 隘 -- 襟 -- 逍 -- 攞 -- 櫻 -- ቻ -- 锚 -- 赃 -- 喀 -- 璐 -- 蔼 -- ဘ -- 區 -- 範 -- 绰 -- 沪 -- 碟 -- 沥 -- ଟ -- 딴 -- 쩌 -- ኧ -- ७ -- ਖ -- 胚 -- 篱 -- 幡 -- 嶺 -- 験 -- 掺 -- 蚁 -- ৭ -- ਚ -- 篤 -- 暫 -- 聡 -- 鷹 -- 茉 -- 氟 -- 叩 -- 擁 -- 掰 -- 嗎 -- 乍 -- Ṭ -- 溅 -- 煲 -- Ở -- உ -- 핑 -- 旷 -- 烬 -- 睫 -- 굉 -- 탄 -- 沧 -- 跷 -- 剰 -- 런 -- ๊ -- ઉ -- 岔 -- 枣 -- 渕 -- 扼 -- 咏 -- 佟 -- Ā -- 悚 -- 灶 -- ẵ -- 靳 -- Ο -- 醸 -- 褐 -- 愉 -- 媳 -- 筝 -- 觅 -- 彰 -- 逮 -- 逞 -- 矫 -- 殷 -- 센 -- 盎 -- ঃ -- 巅 -- 聽 -- 澈 -- 亞 -- 姗 -- 赂 -- 鑫 -- 聂 -- 闸 -- Ä -- 퇴 -- 螃 -- 冉 -- 簧 -- 疟 -- 갑 -- З -- 倔 -- 绎 -- 翅 -- 搵 -- 僻 -- 眷 -- 藓 -- ଅ -- ኑ -- Ǧ -- ௌ -- ଯ -- 萝 -- İ -- 芥 -- ٻ -- 壕 -- 謡 -- 媽 -- 긍 -- ձ -- 褶 -- 鉛 -- 첫 -- 惶 -- 笹 -- 徙 -- 搾 -- Ҳ -- 걍 -- 膀 -- 揪 -- ໊ -- 逾 -- 왕 -- ഡ -- 렌 -- 씬 -- 悖 -- 痩 -- 裡 -- 揃 -- 挚 -- 娄 -- 眩 -- 氣 -- ਈ -- ጀ -- 膛 -- ଜ -- ੍ -- ፋ -- 甥 -- 驸 -- 荧 -- 雞 -- 灸 -- 焉 -- 琅 -- 煌 -- 唧 -- 戮 -- 뛰 -- 쩔 -- 팅 -- 춰 -- 骏 -- 凛 -- 볶 -- 欄 -- 镶 -- 墜 -- 猶 -- 械 -- 酌 -- Α -- 듯 -- 瑛 -- 滕 -- 챙 -- 镯 -- 蠕 -- 丙 -- 灼 -- 訟 -- 鄂 -- 馈 -- 柬 -- 黏 -- 轶 -- 豫 -- 氯 -- 幫 -- 喚 -- 惚 -- ઈ -- 渠 -- 镀 -- ୀ -- 漱 -- Ý -- ӯ -- 皈 -- 咗 -- 莺 -- ឹ -- 柵 -- 碱 -- ጊ -- 徑 -- 隋 -- 啰 -- ሊ -- 祠 -- 층 -- 诏 -- 텔 -- 찬 -- 箇 -- 钧 -- 뉴 -- 體 -- 痫 -- 麒 -- փ -- ᱩ -- 녔 -- 搓 -- 柚 -- 竿 -- 轄 -- अ -- ಒ -- 榨 -- 립 -- 蛤 -- 惭 -- 炳 -- 飢 -- ဟ -- ቺ -- 帧 -- 鳞 -- 곱 -- 헬 -- ଆ -- 锣 -- 倪 -- 鸥 -- 錠 -- ڳ -- ဝ -- ๆ -- 견 -- 琶 -- 饵 -- 將 -- 怂 -- 蔭 -- 蛾 -- 榆 -- 鎌 -- 揾 -- 탕 -- ዐ -- 倘 -- 秉 -- 賭 -- 菠 -- 瑙 -- 囱 -- 훨 -- 缕 -- ఓ -- 撩 -- 篡 -- Ī -- 缀 -- 짓 -- 踝 -- 辫 -- Σ -- ၏ -- 邢 -- 氮 -- 존 -- 탁 -- 硝 -- 萱 -- 拴 -- 烛 -- ޗ -- 铝 -- 锥 -- 쇼 -- 暦 -- 焊 -- 릭 -- 腎 -- 瘩 -- 淼 -- Μ -- 乒 -- 牲 -- 疮 -- 蓓 -- 酪 -- 霄 -- ޢ -- ኪ -- 搐 -- 츠 -- 绅 -- ៃ -- 빡 -- 粟 -- 遏 -- 颅 -- ጉ -- 링 -- 퓨 -- 磷 -- 耽 -- 祟 -- 瘍 -- 염 -- 謙 -- 霾 -- 臻 -- 猟 -- 诞 -- ៊ -- 蔷 -- 賊 -- 訂 -- 贅 -- Щ -- 晾 -- Õ -- ଶ -- 霆 -- 喪 -- 剖 -- 嗒 -- 樋 -- 疙 -- 靶 -- 纬 -- ਡ -- 값 -- 娴 -- 貞 -- 擒 -- ൊ -- 跚 -- 厩 -- 烯 -- 炽 -- आ -- 駄 -- 侑 -- 袱 -- 픈 -- 玮 -- 朔 -- ኖ -- ዜ -- 滔 -- 겁 -- 맘 -- 漬 -- 俣 -- 羔 -- 囤 -- 烷 -- 嗣 -- 峠 -- ǎ -- 晗 -- 乓 -- 蹒 -- 髄 -- ڙ -- 睾 -- 兢 -- 咐 -- 铮 -- ೈ -- 睐 -- 蹊 -- 깝 -- 翘 -- 螂 -- 椭 -- ઇ -- 鈍 -- ္ -- 參 -- 眯 -- 秩 -- 敛 -- ଡ -- 鋼 -- 榈 -- 號 -- 掂 -- 磐 -- 萬 -- 裴 -- 阮 -- 蔚 -- 雍 -- 悍 -- 젠 -- ޙ -- 駿 -- 拂 -- 腊 -- 寞 -- 穹 -- 悴 -- 憔 -- 琥 -- 琵 -- 밑 -- 恥 -- ဂ -- 垢 -- 茬 -- 坨 -- 遛 -- 涕 -- 掲 -- 咚 -- 覺 -- 嘈 -- 峥 -- 꼈 -- 蝉 -- 麵 -- ٠ -- 땜 -- 祀 -- 譜 -- ൈ -- ᱱ -- 량 -- 酥 -- 橇 -- 靡 -- 槐 -- Ấ -- 錢 -- 槻 -- 暧 -- 侥 -- ଧ -- 척 -- 턴 -- 吠 -- 甫 -- 壌 -- 갖 -- 鳳 -- ኦ -- 놔 -- 쓴 -- 寅 -- 麓 -- Ö -- ഥ -- 驭 -- ቦ -- ጅ -- 낙 -- 鹃 -- Ա -- 屌 -- 壤 -- Å -- 낮 -- ဒ -- 隶 -- 讓 -- 豌 -- 憾 -- 噢 -- 闫 -- ฤ -- ժ -- ٔ -- 岬 -- 萤 -- ӳ -- ճ -- ଭ -- 匣 -- 효 -- 傑 -- 완 -- 瑾 -- 荫 -- ଷ -- ጨ -- 액 -- 諭 -- છ -- 痊 -- ऊ -- 羹 -- 漩 -- 砾 -- 岚 -- 裳 -- 규 -- థ -- ψ -- 콘 -- 惟 -- 렵 -- 짧 -- 钏 -- 窜 -- 臼 -- 闽 -- Ó -- 內 -- 诬 -- 樂 -- 煞 -- 蝎 -- 弛 -- 從 -- 닭 -- င -- 缔 -- 岌 -- 怼 -- Ò -- 巍 -- 곡 -- 啼 -- 桓 -- 谂 -- 賂 -- 鳍 -- 摧 -- ޤ -- 킹 -- 冀 -- 彗 -- 铐 -- 銚 -- Ṣ -- 깜 -- 烙 -- 蜱 -- 梶 -- 胴 -- 莞 -- Ọ -- Ӱ -- 呱 -- « -- 狸 -- 瑕 -- 痰 -- 纫 -- 臆 -- ዙ -- 紊 -- 肴 -- 迂 -- 隼 -- 稜 -- 꿀 -- 茁 -- 淌 -- ഫ -- 꽤 -- 믄 -- 赣 -- ๋ -- 洽 -- 농 -- 霹 -- 倚 -- 晦 -- 踹 -- ᱠ -- 덕 -- 嗖 -- 濡 -- 猬 -- 낼 -- 덜 -- Ε -- 撬 -- 呛 -- þ -- ጂ -- 珑 -- 瑠 -- 虜 -- 훈 -- 晤 -- 舘 -- 嗜 -- 渓 -- 瓢 -- 眶 -- 쳤 -- 瞰 -- 腌 -- 勲 -- 蕴 -- 韶 -- 뜻 -- 懿 -- 蕊 -- ቁ -- 黃 -- 陨 -- 鳌 -- 匕 -- 籽 -- 냄 -- 帶 -- 稠 -- 餓 -- 裾 -- 梧 -- ̇ -- ኬ -- Ḍ -- Я -- ় -- 닌 -- 荻 -- ਧ -- 烨 -- 瘸 -- 蜿 -- 齊 -- 團 -- 姻 -- ឡ -- 瞻 -- ฎ -- 捎 -- ሜ -- 嚇 -- ଙ -- 殉 -- ቼ -- 厥 -- ਫ -- ጎ -- 酗 -- 哔 -- 刨 -- 侨 -- 痹 -- 섭 -- 웬 -- 骡 -- 汝 -- 蜒 -- 桦 -- 嘣 -- 冶 -- 峙 -- 樽 -- 變 -- 湛 -- 雳 -- 呸 -- 數 -- 檀 -- 辍 -- 笋 -- ៀ -- 崭 -- 꿈 -- 藉 -- ຝ -- 悄 -- օ -- ଳ -- ಉ -- 롱 -- 쌓 -- ॅ -- 엽 -- 총 -- 寥 -- ՝ -- 롤 -- 沌 -- 允 -- 咄 -- 撂 -- ኋ -- 苇 -- 賣 -- 엄 -- 恙 -- 碾 -- 蜷 -- 닥 -- 觀 -- 겹 -- 茵 -- 蹑 -- 吝 -- 璇 -- ໋ -- ័ -- 墩 -- 猥 -- 널 -- 잤 -- 玷 -- 薫 -- 蹬 -- 弈 -- ፊ -- 俐 -- 頬 -- 秤 -- ଛ -- ၊ -- 쎄 -- 獅 -- 橫 -- ך -- 吏 -- 抨 -- 鯉 -- 腱 -- ඛ -- 缰 -- 秽 -- 렇 -- 锄 -- 呉 -- ሙ -- 찰 -- 苯 -- 람 -- 摁 -- 幣 -- 圍 -- 俏 -- 撵 -- Ś -- 혜 -- 炕 -- ଚ -- 猝 -- 쭉 -- 穏 -- 珂 -- ਭ -- 멋 -- 喳 -- 狡 -- 嘀 -- 韬 -- 瞭 -- 惺 -- ಖ -- 끌 -- 쌍 -- 讽 -- 缎 -- 庐 -- 拣 -- 槟 -- 侶 -- 嘆 -- 뻔 -- 單 -- 處 -- 殆 -- 噛 -- 庚 -- 뻐 -- 즐 -- 梓 -- 램 -- 빈 -- 雏 -- 諮 -- 嚏 -- 득 -- 蜥 -- 뿌 -- 鳩 -- 谕 -- 匮 -- 婊 -- 匙 -- 炬 -- 싱 -- 楓 -- 畸 -- 頓 -- ஒ -- 噪 -- 犁 -- 懊 -- 谚 -- 畴 -- < -- ቡ -- 讐 -- 鮭 -- 꿔 -- 隷 -- 梢 -- 鯛 -- 坷 -- 晟 -- 簸 -- 疵 -- 閲 -- 낸 -- 컨 -- 흥 -- 眸 -- 侏 -- 臺 -- '>' -- 짤 -- 胱 -- Γ -- 沁 -- 墳 -- 襄 -- 蛎 -- 빙 -- 矣 -- 湊 -- ಈ -- 믿 -- 잉 -- ෛ -- 蟑 -- 畠 -- 셋 -- 槿 -- 嬛 -- 狈 -- 羚 -- 隈 -- 泞 -- 荐 -- 吭 -- 剁 -- ٘ -- 炙 -- 蟆 -- 牽 -- 翡 -- 튀 -- ଁ -- ᱤ -- 嗷 -- 绮 -- 簇 -- 娱 -- 幌 -- 犊 -- 漓 -- ቴ -- 牟 -- 昕 -- 념 -- 诋 -- 俸 -- 翩 -- 钥 -- 淤 -- 玻 -- 绥 -- 칼 -- 澎 -- ٫ -- 攘 -- 溉 -- 瀚 -- 庵 -- ઘ -- 塀 -- 茧 -- 哆 -- 롯 -- 挿 -- 殡 -- 荃 -- 釉 -- 窯 -- 伶 -- 爺 -- 瞑 -- ڌ -- 厮 -- 汶 -- 풍 -- 팬 -- 兒 -- 絹 -- 薩 -- 祷 -- 慑 -- 憂 -- ฏ -- 嫉 -- 輩 -- 拯 -- 淇 -- 馋 -- ᱭ -- 啄 -- 猖 -- 絮 -- Δ -- 穗 -- 녹 -- 맡 -- 켓 -- Ē -- 辗 -- ఖ -- 嫣 -- Η -- ዊ -- 轉 -- 惮 -- 傀 -- 儡 -- 啬 -- 颓 -- 渭 -- 筐 -- ଉ -- ዱ -- 샤 -- ሸ -- ឺ -- 鞘 -- 驿 -- 푸 -- 桅 -- 浙 -- 俾 -- 叼 -- ቂ -- 愕 -- 聲 -- 넓 -- 赘 -- 蛊 -- 儲 -- 岖 -- 죄 -- È -- 蛍 -- 朦 -- ዕ -- 貂 -- 뀌 -- 폭 -- 權 -- 渉 -- 跺 -- 酝 -- ጭ -- 焙 -- 渇 -- 筱 -- ඝ -- 撸 -- 洼 -- 脐 -- 曖 -- 옮 -- ኳ -- 翟 -- 쟁 -- 蘸 -- 稔 -- 紳 -- 喱 -- 蚤 -- 雹 -- 鞅 -- 鲤 -- ☆ -- 妬 -- 蹈 -- 捋 -- 矜 -- ђ -- 털 -- 潼 -- ኒ -- ዶ -- 袒 -- 멘 -- 閑 -- 陌 -- অ -- 玺 -- 羁 -- 卤 -- 渝 -- 戎 -- ෆ -- ჟ -- 坍 -- 邑 -- 昵 -- 忒 -- 砌 -- 磋 -- 汲 -- 웨 -- 젤 -- 珈 -- 綻 -- 镰 -- 暁 -- 敖 -- 槌 -- 踱 -- 堺 -- ᱮ -- 摞 -- ቹ -- 钳 -- 倶 -- 诛 -- 寐 -- 邹 -- 缭 -- 솔 -- 撲 -- 醍 -- 樓 -- ः -- 胧 -- 讪 -- 醐 -- ݨ -- ඨ -- 蜴 -- 毗 -- 虞 -- 떼 -- 롭 -- 聯 -- 钠 -- 峯 -- 璋 -- 賓 -- 淵 -- ～ -- 蜚 -- ޚ -- 湃 -- ̍ -- ಫ -- 亢 -- 腑 -- 숨 -- ౌ -- 枷 -- 檜 -- 谬 -- 岑 -- 袄 -- 铀 -- Ì -- 鲑 -- \ -- 杵 -- 韭 -- 콜 -- 烹 -- ඬ -- ኸ -- ਥ -- 킬 -- ඥ -- 熨 -- 擂 -- 赡 -- 滿 -- ሷ -- 摯 -- 诠 -- 匡 -- 谟 -- 瞩 -- 腓 -- 黯 -- ڼ -- 帚 -- 뿐 -- 엑 -- 흐 -- ଂ -- 顷 -- ឆ -- 潦 -- 탔 -- ኘ -- 앙 -- 箔 -- 똑 -- 匾 -- 징 -- ሴ -- ጃ -- 邝 -- 딜 -- ဉ -- 漪 -- 胁 -- 羲 -- 耙 -- 馀 -- 訊 -- 氪 -- 瘠 -- ١ -- 닝 -- 젊 -- 흔 -- 邉 -- 骤 -- 슨 -- 骰 -- 滇 -- 繕 -- 辦 -- ஃ -- 抉 -- 渍 -- 彝 -- 曰 -- 顎 -- 랩 -- 슈 -- 씻 -- 냉 -- 율 -- 縣 -- 询 -- 럴 -- Մ -- 亥 -- 樟 -- 樫 -- 畫 -- 홀 -- 尧 -- 骄 -- 饷 -- 걘 -- 얻 -- 浊 -- 령 -- 씀 -- ぅ -- 鐵 -- 蔗 -- 遼 -- 谛 -- 杭 -- 毋 -- ၀ -- 땡 -- ሠ -- 憤 -- 涟 -- 芜 -- 鸳 -- 콩 -- 椿 -- 怦 -- 鸯 -- ઝ -- ၎ -- ऐ -- 擬 -- 酯 -- 灘 -- 钮 -- 痢 -- 醫 -- 餸 -- 꽃 -- 凱 -- 忡 -- 酎 -- 냥 -- 吮 -- 弩 -- 續 -- 荔 -- 狳 -- 產 -- ጆ -- 犰 -- 骇 -- ଖ -- 噼 -- 紡 -- 줌 -- 짱 -- 趕 -- 峨 -- 컬 -- 粑 -- 攸 -- ŋ -- 嗱 -- ኤ -- 槙 -- Ҫ -- ዓ -- 몬 -- 拗 -- 營 -- 帥 -- 曙 -- ጫ -- 锻 -- 浚 -- 幂 -- 俑 -- 笃 -- 鬱 -- 廿 -- 祺 -- 夠 -- 杞 -- 钾 -- ݙ -- 舷 -- 購 -- 瘀 -- 萃 -- 蜓 -- 즌 -- 筏 -- 涤 -- 曳 -- ฆ -- 랄 -- 蒼 -- 忑 -- ៍ -- 胭 -- ቲ -- ቷ -- 嬷 -- 釧 -- 鳗 -- 忐 -- 鼹 -- 緻 -- 轼 -- 벤 -- 傳 -- 悸 -- 렀 -- 訣 -- 暉 -- 锌 -- 哧 -- 娲 -- 禹 -- 窘 -- 蜻 -- Ł -- 嚓 -- 눠 -- 덴 -- 똥 -- 춤 -- 唄 -- 諾 -- 楔 -- 薗 -- 錮 -- 楷 -- 遡 -- ڀ -- 폴 -- 鱿 -- 嗝 -- 델 -- ഈ -- 뚫 -- 켰 -- 柑 -- 啡 -- 漕 -- 凪 -- 蹋 -- ഏ -- ─ -- 煩 -- 객 -- 專 -- 篝 -- Ż -- 깊 -- 댓 -- 웹 -- ੜ -- 迢 -- 钰 -- 芊 -- 薰 -- ੌ -- ᱢ -- 孜 -- Ķ -- 渤 -- 绯 -- 碇 -- 諏 -- Ĵ -- 帷 -- 涸 -- 蟋 -- 芮 -- 邋 -- 懇 -- 擎 -- 馍 -- 掖 -- 鯨 -- ዩ -- 燒 -- 钵 -- ૃ -- 瞌 -- ഖ -- 沽 -- 蟀 -- ќ -- 锂 -- 荚 -- 鼬 -- 덟 -- 딘 -- 쌀 -- 蟒 -- 嫦 -- 藝 -- 姊 -- 률 -- ఐ -- 漉 -- 誕 -- 寫 -- 憬 -- 萦 -- 균 -- 낀 -- 압 -- 옥 -- 卉 -- 焰 -- 偎 -- 殃 -- 肛 -- 噔 -- 鹭 -- ٺ -- 壺 -- 蝦 -- 멍 -- 윤 -- 컵 -- 픽 -- Ê -- 榊 -- 總 -- 灏 -- 噺 -- 紺 -- 捨 -- 厕 -- 盪 -- 脯 -- 驹 -- ᱜ -- 崴 -- 榛 -- 邯 -- 鬟 -- Հ -- ऱ -- 섬 -- 왠 -- 竺 -- 勅 -- 栾 -- 譬 -- 琛 -- 蕃 -- 홉 -- 骁 -- 栩 -- 攥 -- 俪 -- 刽 -- 笙 -- 遢 -- 삶 -- 걷 -- 눌 -- Š -- 菁 -- 輕 -- 妳 -- 汾 -- 磺 -- 醺 -- ሶ -- ፕ -- ᱚ -- 댄 -- 셀 -- 템 -- 憨 -- 錬 -- 喙 -- 氦 -- 땅 -- 릉 -- 肽 -- 颯 -- 黔 -- 锵 -- 릿 -- 밍 -- 绛 -- ヂ -- 嫖 -- 炜 -- 瘪 -- 臊 -- 벗 -- 봄 -- 쟤 -- 폐 -- 蒿 -- 엘 -- 詣 -- 羨 -- 캠 -- 孰 -- 铬 -- 恺 -- 恢 -- 佰 -- 蚱 -- 渥 -- 纂 -- 纶 -- 벅 -- 叡 -- 捶 -- 綺 -- 眾 -- 憧 -- ऑ -- ڄ -- 昴 -- 誹 -- 謗 -- 棣 -- 汕 -- 沏 -- ᱫ -- 빛 -- 馁 -- 鵜 -- 涮 -- ঈ -- ଼ -- 앤 -- 玟 -- 芷 -- 妒 -- 柊 -- 琊 -- 竣 -- 斟 -- 騙 -- Έ -- ዮ -- 瀧 -- 艮 -- ဗ -- 糙 -- 闵 -- ጓ -- 腳 -- 蜕 -- 韻 -- 뮤 -- ඵ -- 낭 -- 룸 -- 蝗 -- 蹂 -- ਏ -- 腮 -- 럭 -- 쁠 -- ඡ -- 诧 -- 镁 -- 鄉 -- 鍾 -- 窿 -- 蚪 -- 蝌 -- 疡 -- ዴ -- 砥 -- 뷰 -- 엉 -- 皙 -- 撅 -- 犟 -- 娯 -- 掴 -- 둥 -- 헐 -- 혈 -- 砺 -- ਯ -- 麹 -- ฬ -- 籔 -- 럼 -- 捻 -- 벨 -- 홈 -- 嫡 -- 睛 -- ぢ -- 遷 -- 伎 -- ᱾ -- 哽 -- ឈ -- 堰 -- 磡 -- 焱 -- 翎 -- 矗 -- 翊 -- Ν -- ೃ -- ၁ -- 腋 -- 舊 -- 豬 -- 꼐 -- 썰 -- 펜 -- 坞 -- ஏ -- 糯 -- ޞ -- 倣 -- 凋 -- 엠 -- 헌 -- 흘 -- 諜 -- ヅ -- 頸 -- ሂ -- ፎ -- 꼼 -- 둔 -- 삭 -- ♫ -- 貓 -- 踵 -- 惋 -- 價 -- 歡 -- 昱 -- 浣 -- 讹 -- 喆 -- 擔 -- ף -- 龛 -- 艶 -- 苣 -- 涓 -- 躏 -- 窪 -- 屹 -- 恬 -- 裘 -- 糗 -- 绚 -- 錄 -- 霓 -- 噱 -- 껄 -- 槍 -- 蹩 -- '~' -- 孢 -- 춘 -- 힐 -- 햄 -- 夯 -- 潟 -- 漾 -- 偃 -- 咣 -- 癞 -- 訃 -- 딨 -- Ն -- 찜 -- 촬 -- 춥 -- 罠 -- 麸 -- 獭 -- 镳 -- 铠 -- ጡ -- 吒 -- 삐 -- 잃 -- 찐 -- 틱 -- 핀 -- 皐 -- 闺 -- 榎 -- 娼 -- ୂ -- ឋ -- 阂 -- 몽 -- Ļ -- Ս -- ృ -- 詫 -- 铎 -- 僅 -- 菓 -- ៏ -- 卯 -- 噎 -- 榕 -- 馄 -- 樵 -- 랙 -- ᱛ -- 괴 -- 낳 -- 힌 -- 疱 -- 舜 -- 祛 -- 箍 -- 劉 -- 枸 -- 盹 -- 觑 -- ൃ -- 戯 -- 驗 -- 례 -- 핫 -- Җ -- Қ -- 醛 -- 嘩 -- 慵 -- 섞 -- 큐 -- 팩 -- ઠ -- ឌ -- 圖 -- 藕 -- 蚓 -- 呑 -- 喩 -- 곧 -- 닫 -- 밝 -- 앨 -- 毡 -- 跛 -- 秧 -- 嗮 -- 褛 -- 讷 -- 툰 -- '@' -- 虱 -- 蟾 -- 壱 -- 晖 -- 碜 -- 嫔 -- Ă -- Ģ -- ٢ -- 鋳 -- 협 -- 颚 -- 踮 -- 酰 -- 鳟 -- 禍 -- 阜 -- 挛 -- 箕 -- ᱧ -- 腩 -- 꽂 -- 쏘 -- 탑 -- 碘 -- 잖 -- 彷 -- 鸠 -- 缇 -- 绢 -- ฑ -- 猕 -- 밴 -- 퀴 -- 戟 -- 巳 -- 隕 -- 啤 -- 擢 -- 睽 -- 辘 -- 痉 -- ፖ -- 熠 -- 鞑 -- 饨 -- ሐ -- 褴 -- 阈 -- 묻 -- 烏 -- 酚 -- 惣 -- ຣ -- 阑 -- 犒 -- 碉 -- 龈 -- 靼 -- ਘ -- 蛰 -- 阙 -- 놈 -- 땠 -- 鬃 -- 또 -- 哝 -- Ồ -- 낄 -- 싹 -- 첨 -- 蔻 -- 鑼 -- 毀 -- 痣 -- 釘 -- 偕 -- 湍 -- 燎 -- 钗 -- 咫 -- 덩 -- 箋 -- 罹 -- 孚 -- 宓 -- ඤ -- ቋ -- 燈 -- 왼 -- 꿨 -- 흰 -- ၍ -- 庾 -- 盡 -- 躇 -- 鎧 -- 幢 -- 浒 -- 胤 -- 荤 -- 鼾 -- 孀 -- 蹿 -- 裝 -- 獾 -- 皖 -- 蛀 -- 蚯 -- 颐 -- 좌 -- 棲 -- ^ -- 獗 -- 睑 -- 苞 -- 鳕 -- 腦 -- 뒷 -- Ј -- 楞 -- ଠ -- ኞ -- ዞ -- 납 -- 떴 -- 쩍 -- 斷 -- 憶 -- 泸 -- 勸 -- 铰 -- 洱 -- 緯 -- 겸 -- ૌ -- 粽 -- 咤 -- 宕 -- 쿨 -- ֆ -- ڃ -- ‟ -- 鞦 -- 빤 -- 뼈 -- 슴 -- 엇 -- 칸 -- 莘 -- 挝 -- 韆 -- 夭 -- 腆 -- Β -- 뚱 -- 칭 -- 閃 -- 蜍 -- 謹 -- 迄 -- 坯 -- 傣 -- 谏 -- 祯 -- 羯 -- 鹑 -- ሃ -- Բ -- ഓ -- 寶 -- 戲 -- 轧 -- 拮 -- 椛 -- 佃 -- 蠣 -- 礎 -- 囧 -- 丕 -- 摒 -- 榻 -- ヱ -- 扈 -- 薙 -- 렁 -- ‧ -- 啷 -- 舉 -- 侬 -- 邃 -- 垛 -- 怔 -- 闰 -- ፓ -- 혔 -- ⁄ -- 氰 -- 끗 -- 덮 -- 證 -- 虻 -- 俚 -- 壑 -- 瞿 -- 藥 -- 衩 -- ѳ -- 喎 -- 醜 -- 갠 -- 뒀 -- 멜 -- 컸 -- 핸 -- 뚝 -- 晌 -- අ -- ೌ -- 扪 -- '|' -- 荨 -- 깎 -- 짬 -- 雙 -- 髅 -- 圃 -- 蓟 -- 鹫 -- 榮 -- 绫 -- 藐 -- 贻 -- ኢ -- 亂 -- 禮 -- 賜 -- 샵 -- 측 -- ฒ -- 胥 -- 骷 -- 앴 -- 褂 -- 較 -- 恃 -- 垦 -- 麝 -- 诲 -- 뜬 -- 갚 -- 턱 -- ፅ -- 媲 -- 馏 -- 駕 -- 톤 -- 닮 -- 壽 -- 剽 -- 篓 -- 馊 -- 鹂 -- 圓 -- 壹 -- 잊 -- Ե -- ٩ -- 亘 -- 缽 -- 翱 -- 貪 -- 얀 -- 펴 -- ঔ -- 罂 -- 鳖 -- 黝 -- 汞 -- 痺 -- 佯 -- 稷 -- 恪 -- 彌 -- 砦 -- ጪ -- 爭 -- 찔 -- 痞 -- 喰 -- 狒 -- 戬 -- 簪 -- 憑 -- ‒ -- 嗌 -- 嗤 -- 囉 -- 諒 -- 뚜 -- 팡 -- 罵 -- 楊 -- 噶 -- 凜 -- ≪ -- 〜 -- 匐 -- 芈 -- 鹌 -- 诃 -- 鳃 -- 】 -- 涎 -- 腼 -- Є -- ጤ -- 泷 -- 漸 -- 蚌 -- 끈 -- 땀 -- 띠 -- 爾 -- 脓 -- 髋 -- ૈ -- 廳 -- 虔 -- 缜 -- 楢 -- 褥 -- 暄 -- 禺 -- 怅 -- ፒ -- 阉 -- 끓 -- 렉 -- 벼 -- 뽀 -- 틴 -- 팠 -- Ӹ -- 褚 -- 啜 -- 雖 -- ୱ -- 【 -- 槲 -- ଫ -- 雉 -- 馥 -- 烊 -- ୃ -- 摹 -- 羟 -- 騨 -- 琢 -- 钊 -- ൺ -- ٥ -- ඈ -- 꼴 -- 댔 -- 豐 -- 廻 -- 沂 -- 啾 -- 埼 -- 徨 -- 剐 -- 唏 -- 轲 -- 牒 -- ဏ -- 븐 -- 샘 -- 據 -- 峪 -- 錫 -- 밖 -- 漳 -- 炅 -- 荼 -- ၂ -- 玖 -- 絢 -- 镍 -- 沓 -- 뺐 -- 칙 -- 桝 -- 啕 -- 紐 -- 讀 -- 凰 -- 麥 -- 吆 -- 淞 -- 瓮 -- 耦 -- 佘 -- 喋 -- 孺 -- 螨 -- ៈ -- 苫 -- 闩 -- Θ -- 醬 -- 뷔 -- 篆 -- 鉾 -- 蔬 -- 桔 -- 锢 -- 讣 -- 辕 -- 鸵 -- 꽁 -- Ԑ -- 赈 -- 遁 -- 隨 -- 掸 -- 暨 -- 陇 -- 宦 -- 戛 -- 睬 -- ፡ -- 嘚 -- 歲 -- 汛 -- 렛 -- 씹 -- 잇 -- 嚴 -- 檢 -- 흑 -- 麋 -- 佼 -- 랫 -- 鮎 -- 脖 -- 歷 -- 勞 -- 楂 -- 蚂 -- Կ -- 兀 -- ሏ -- 舛 -- 녕 -- 뇌 -- 릇 -- 짠 -- 힙 -- 冴 -- 蕎 -- 崗 -- 膿 -- 侮 -- 茛 -- 攪 -- 逅 -- 匍 -- 邂 -- 瘁 -- Ի -- ڇ -- ឃ -- △ -- ঋ -- ਝ -- 曬 -- 멈 -- 묵 -- 컷 -- 혁 -- 휘 -- 깃 -- 椋 -- ヵ -- 潺 -- 螳 -- 鳅 -- ಘ -- ဇ -- 迸 -- 拄 -- 浃 -- 钛 -- 낚 -- 얇 -- 헷 -- 흡 -- ਛ -- 搀 -- 렴 -- 黜 -- 闆 -- 惬 -- 帛 -- 戰 -- ৷ -- ଘ -- € -- 蜢 -- 鲈 -- 遐 -- 뽕 -- 캡 -- 砧 -- 碼 -- 邨 -- ឱ -- 溥 -- 咿 -- 锹 -- 砚 -- 熹 -- Ả -- ‚ -- 珺 -- 紬 -- Ẹ -- 凧 -- 戊 -- 곰 -- 畢 -- 鱗 -- 苹 -- 笞 -- 箫 -- Դ -- 瀕 -- Ū -- ፉ -- 谩 -- 겉 -- 쭈 -- 탐 -- Ό -- 廟 -- 怆 -- 絕 -- 꽉 -- 鬣 -- 塵 -- 羡 -- Λ -- 댕 -- 뜯 -- ጽ -- 稱 -- 覗 -- 꾼 -- 劃 -- 卻 -- 栞 -- 雛 -- 跆 -- 抿 -- 잘 -- 啧 -- 俨 -- 汴 -- 賽 -- 叟 -- Ҙ -- ଓ -- 渾 -- 糾 -- 긁 -- "\x93" -- Ġ -- ǹ -- ٰ -- ឿ -- 泯 -- 泾 -- 묘 -- 쪘 -- 쫓 -- 婧 -- 籁 -- 淄 -- 痨 -- 弑 -- 忱 -- 淨 -- 縞 -- 酣 -- 繼 -- Ι -- ѓ -- ଞ -- 壞 -- 겪 -- 烽 -- 묶 -- 썹 -- 풋 -- 宍 -- 苷 -- 靜 -- 羌 -- 矯 -- Χ -- 啮 -- 胯 -- 賺 -- 吖 -- 냅 -- 붕 -- 쉴 -- ૉ -- 獨 -- 덤 -- 詮 -- 臃 -- 焖 -- 獒 -- 紹 -- 諗 -- 岱 -- 璨 -- 讃 -- 둬 -- 璧 -- 痔 -- 冽 -- 舀 -- 弼 -- 徇 -- 綠 -- 繭 -- 镣 -- 驮 -- ऋ -- 搡 -- 搪 -- 砷 -- 닷 -- 닿 -- 땄 -- 욱 -- 웅 -- 찝 -- ဦ -- 噗 -- 醚 -- 谑 -- 紘 -- 炷 -- 枭 -- 罔 -- 蚣 -- 颌 -- 璞 -- 닦 -- ĺ -- ሕ -- 馴 -- 긋 -- 랍 -- 咨 -- 粱 -- ໆ -- 蛭 -- 骋 -- 囡 -- ץ -- 劵 -- 濟 -- 纣 -- 荟 -- 蛟 -- 뀐 -- 밟 -- Պ -- 膠 -- ៗ -- ൗ -- 狛 -- 琰 -- 畝 -- 觐 -- 擀 -- 蒔 -- 蚜 -- 귄 -- 빅 -- 쫄 -- 촉 -- 螈 -- 蚝 -- 郸 -- 飴 -- 鸞 -- 娓 -- 皎 -- 眈 -- 捺 -- 砒 -- 糞 -- 茱 -- 裆 -- 갤 -- 뺏 -- 쭐 -- 쿄 -- 팟 -- 赝 -- 犸 -- 蜊 -- 惆 -- 瘴 -- 笆 -- 讥 -- 钨 -- 驷 -- 宸 -- 戾 -- 賑 -- ڍ -- ሯ -- ጦ -- 랭 -- 룩 -- 뺄 -- 샐 -- 숫 -- 팝 -- Ո -- 桟 -- 罄 -- 槃 -- 捗 -- 轱 -- 濕 -- 谙 -- ሦ -- 榔 -- 溫 -- 璀 -- 诣 -- 늙 -- 썩 -- 쫙 -- 톱 -- 爛 -- 铂 -- 奧 -- 鹈 -- 赳 -- 膵 -- 渚 -- 缈 -- 耘 -- 唰 -- 綴 -- 豺 -- 龊 -- 龌 -- ٣ -- ඌ -- 犷 -- 葆 -- 颞 -- 馳 -- 릎 -- 숭 -- 쌩 -- 썸 -- 祇 -- 險 -- 蝓 -- 鴻 -- 熾 -- 蛞 -- 沱 -- 潍 -- 堇 -- ਐ -- 尬 -- 粕 -- 辄 -- 껍 -- 넨 -- 룹 -- 샌 -- 쌌 -- 좁 -- 핵 -- Գ -- 榉 -- 臥 -- 鹕 -- 蟻 -- 咝 -- 缥 -- ∞ -- 刍 -- 惘 -- 牦 -- 絲 -- ጁ -- 屬 -- 讧 -- 돋 -- 맙 -- ౦ -- ᱞ -- 啟 -- 뺀 -- 埗 -- 悶 -- 毂 -- 贋 -- 顆 -- 鲟 -- 孬 -- 昙 -- 薮 -- 壓 -- 狀 -- 缤 -- 藜 -- 鹽 -- 麩 -- 갓 -- 멤 -- 믹 -- 뱅 -- 붓 -- 윗 -- 쩐 -- 췄 -- 斓 -- 莴 -- 펙 -- ヲ -- 釋 -- 袅 -- 躊 -- 阚 -- 囔 -- 铆 -- Ț -- ሑ -- ጌ -- 兎 -- 戍 -- 涝 -- 诟 -- 铿 -- 쨌 -- 쩨 -- Ĥ -- Ӧ -- ፀ -- 冑 -- 廠 -- 앱 -- 秆 -- 糠 -- 鮫 -- 桧 -- 垩 -- 耷 -- 镐 -- 엊 -- 夙 -- 宥 -- 濠 -- 繍 -- ઢ -- 佗 -- 戶 -- 皑 -- 蝾 -- 쫍 -- 莆 -- 饉 -- 懷 -- එ -- 啁 -- 赊 -- 鸪 -- 挞 -- 鹧 -- ඓ -- 蔫 -- 뜩 -- 띄 -- 략 -- 뤄 -- 맵 -- 폼 -- 甬 -- 烩 -- 碴 -- 钍 -- 掇 -- 閒 -- 奘 -- 羿 -- 趙 -- Ō -- Ά -- ഘ -- ၉ -- ቪ -- 弋 -- 斡 -- 衲 -- 辿 -- 쥐 -- 쪄 -- 珞 -- 瓯 -- 壬 -- 鬧 -- 忖 -- ¥ -- ဓ -- 肓 -- 薅 -- 靈 -- 靛 -- ఘ -- ಏ -- 轭 -- 윙 -- ÿ -- 亟 -- 呲 -- 咻 -- 硒 -- 絨 -- 魯 -- 껌 -- 덥 -- 듬 -- 빽 -- 飒 -- 迥 -- Վ -- 彙 -- 즘 -- ϊ -- 蜈 -- 嗲 -- 觎 -- 轟 -- 귤 -- 낯 -- 쌈 -- 찢 -- 쾌 -- 팍 -- ဥ -- 揄 -- 煦 -- 熵 -- 淺 -- 玫 -- 哐 -- 藪 -- Ñ -- Φ -- Ԥ -- ٤ -- 埠 -- 拈 -- 炯 -- 굽 -- 뻤 -- 뿔 -- 셜 -- Į -- Թ -- 珏 -- 疽 -- 缨 -- 揶 -- 囃 -- 梱 -- 餡 -- 鰹 -- 燻 -- Ħ -- 撥 -- 爻 -- 脫 -- 雫 -- 霁 -- ኙ -- 擇 -- 踌 -- 鬓 -- 겐 -- 쩡 -- 텀 -- 텍 -- ਓ -- 뭉 -- 햇 -- 鯖 -- 髭 -- 傭 -- 蛐 -- 鰻 -- 遜 -- ഠ -- › -- 怄 -- 裟 -- 啩 -- 恣 -- 斛 -- 檻 -- 谔 -- 踞 -- 닉 -- 맹 -- 잼 -- 詐 -- 櫃 -- 浏 -- 綬 -- 攫 -- 冢 -- 綜 -- 芃 -- 歆 -- 殇 -- 鄭 -- 鲱 -- 黨 -- ፃ -- ᱨ -- Ụ -- ‹ -- 滓 -- 濤 -- 갱 -- 앗 -- 쵸 -- 캔 -- 抡 -- 輿 -- 擊 -- 苓 -- 歎 -- 幔 -- 愫 -- 萼 -- 檸 -- 嵇 -- 薏 -- 蘿 -- Ӓ -- ፌ -- 딪 -- Ք -- ሔ -- 憐 -- 洸 -- 燧 -- 珩 -- 껏 -- 셉 -- 즉 -- 펌 -- 珐 -- 瘙 -- 粵 -- 膽 -- 荏 -- 镊 -- 劾 -- 妲 -- 缮 -- 靚 -- 鳏 -- Ţ -- ఠ -- ቄ -- 昀 -- 椀 -- 袤 -- 遽 -- 흠 -- Џ -- 仃 -- 婵 -- 诩 -- 鍼 -- 쉐 -- 탱 -- 奚 -- 饯 -- 桢 -- 樺 -- 锭 -- 蚬 -- 跻 -- ޠ -- 膺 -- ԑ -- ޏ -- ဤ -- 哂 -- 攰 -- 葦 -- 錐 -- "\x94" -- ỵ -- 靭 -- 뺑 -- 엥 -- 탠 -- 帼 -- 〇 -- 姪 -- 晰 -- 摺 -- ឬ -- 恻 -- 惡 -- 蹉 -- à -- ၅ -- 궈 -- 멸 -- 빴 -- 쇠 -- 푼 -- Տ -- 巌 -- 掳 -- 撚 -- 膈 -- 蛹 -- 胛 -- 舫 -- 缚 -- 舐 -- 鲫 -- 荞 -- 豉 -- 叻 -- 骛 -- 龋 -- 糜 -- 둑 -- 뢰 -- 륵 -- 얹 -- 煉 -- 痤 -- 蝽 -- 煨 -- 膦 -- 嚿 -- 蛆 -- 蟲 -- 钴 -- 顯 -- '}' -- ᱴ -- 歸 -- 湄 -- Ő -- Լ -- Ռ -- ٦ -- 銷 -- 깥 -- 뱃 -- 嶙 -- 鄱 -- 錣 -- 烃 -- 謁 -- 炀 -- 潢 -- 煜 -- 娑 -- 痿 -- ၆ -- ቨ -- 跎 -- 꼽 -- 댁 -- 밭 -- 섹 -- 숏 -- 쎈 -- 쥬 -- 츄 -- 칵 -- 콤 -- ૅ -- 瑰 -- 襷 -- 楕 -- 瞠 -- 酉 -- 鹬 -- 叵 -- 婕 -- 庖 -- 觊 -- 謂 -- 闊 -- ٨ -- 偌 -- 挎 -- 锏 -- 룰 -- 뭣 -- 봇 -- 빔 -- 융 -- 찼 -- 퉁 -- 헛 -- 汎 -- 蟠 -- ゞ -- 箏 -- 峋 -- 堑 -- 痍 -- 纥 -- 勵 -- 粼 -- 钚 -- 퀄 -- ᱥ -- 窩 -- 螯 -- 髻 -- 鱲 -- ′ -- 巽 -- 谄 -- 꼰 -- 뇨 -- 뜰 -- 볍 -- 빚 -- 툭 -- 펑 -- ਊ -- 涣 -- 淬 -- 稅 -- 魇 -- 姣 -- 疣 -- 胫 -- 酊 -- 檗 -- 猾 -- 跄 -- 踉 -- 瓒 -- 骊 -- 鬆 -- ґ -- 咦 -- 肱 -- 臉 -- 鞄 -- 넉 -- 빗 -- 뻥 -- 얄 -- 엎 -- 칩 -- 훔 -- Ə -- ઊ -- 泱 -- 狞 -- 윈 -- 欽 -- 涧 -- 匝 -- 籌 -- 鲶 -- 嘗 -- 鰂 -- 鹩 -- 濮 -- 姦 -- 恿 -- 袈 -- £ -- 撐 -- 曉 -- 聰 -- 蔥 -- 郴 -- ʿ -- ໌ -- ၈ -- ጄ -- ឥ -- 戌 -- 蕙 -- 蠻 -- 贮 -- 铵 -- 깄 -- 앵 -- 혐 -- 檎 -- 緋 -- 桉 -- 骞 -- 坳 -- 箴 -- 桀 -- 鏑 -- 瀛 -- 礴 -- 芪 -- ঊ -- 倖 -- 谵 -- '{' -- Þ -- ၄ -- 喹 -- 燔 -- 芍 -- 詢 -- 遙 -- 깡 -- 뀔 -- 넥 -- 젝 -- 핏 -- 횟 -- Օ -- ઞ -- 洩 -- 颧 -- 燭 -- 뭐 -- ঞ -- 繰 -- 呷 -- 鲻 -- ங -- 鳝 -- 鹪 -- 偻 -- 珥 -- 铡 -- ಞ -- 戀 -- 狰 -- 璜 -- 纭 -- 蝈 -- ሟ -- ‽ -- 敝 -- 砝 -- 삿 -- 샷 -- 쏠 -- 쿼 -- 揸 -- 锰 -- 掟 -- 葭 -- 鸚 -- 謳 -- 罷 -- 湮 -- 蜃 -- Œ -- ಠ -- 诙 -- ਠ -- ಐ -- 厭 -- 咛 -- 掻 -- 揿 -- 纏 -- 荀 -- 菏 -- 蓦 -- 袂 -- 镫 -- 뱀 -- 뱉 -- 짰 -- 嘔 -- 歐 -- 礒 -- 葡 -- 鋸 -- 匯 -- 滉 -- 倹 -- ៌ -- 擺 -- 痱 -- 篑 -- 遲 -- 鹳 -- 嬴 -- 惴 -- 鰺 -- ၃ -- 彈 -- 滟 -- 簾 -- 苋 -- ٧ -- ਢ -- ၌ -- ★ -- ゑ -- 窈 -- 葺 -- 谪 -- 랗 -- 맣 -- 틈 -- 耆 -- 苅 -- 铉 -- 鹋 -- 妩 -- 塹 -- 牆 -- 獐 -- Չ -- ଵ -- 怵 -- 獻 -- 硌 -- 磴 -- ୌ -- 绌 -- 굿 -- 껀 -- 띵 -- 뻘 -- 슐 -- 쩜 -- 툴 -- 椽 -- 濂 -- 焗 -- 裱 -- 챔 -- 穩 -- 茗 -- 橿 -- 镑 -- 脷 -- 錆 -- 寰 -- 阡 -- 忻 -- 矾 -- 镭 -- 骜 -- 駛 -- 詔 -- 냬 -- 뉘 -- 듀 -- 횡 -- ȋ -- ቧ -- ᱷ -- 厲 -- 屐 -- 徵 -- 谗 -- 貰 -- 렬 -- 쿵 -- 唸 -- 嚥 -- 塙 -- 澪 -- 櫓 -- 燦 -- అ -- І -- 噚 -- 榷 -- 孪 -- 揀 -- 擞 -- 纜 -- Ø -- Ρ -- ⠀ -- 伢 -- 缄 -- 翳 -- 蛳 -- 諫 -- 谥 -- 賦 -- 雜 -- 鮑 -- Ζ -- Ї -- Ֆ -- ٪ -- 丟 -- 獎 -- 秸 -- 郦 -- 隱 -- 깼 -- 므 -- 팽 -- 푹 -- 仄 -- 廈 -- 杳 -- 涞 -- 淅 -- 袴 -- 繳 -- 撫 -- 嘤 -- 笺 -- 髮 -- 穣 -- 纾 -- 鲭 -- ኃ -- 垠 -- 牠 -- 睨 -- ၇ -- ጻ -- 佞 -- 櫛 -- 虛 -- 鲷 -- 갇 -- 똘 -- 쇄 -- 쑥 -- 젖 -- 탭 -- 훌 -- 淚 -- 贏 -- 镂 -- 阖 -- 夥 -- 滲 -- 簽 -- 菰 -- 鹹 -- 绗 -- 牝 -- 霏 -- 逵 -- 鹜 -- 鸸 -- 噏 -- 忤 -- 瞓 -- 啖 -- Ω -- ՛ -- ޟ -- ሹ -- ᱵ -- 殼 -- 礫 -- 簌 -- 蛔 -- 蛯 -- 铤 -- 곽 -- 귈 -- 됩 -- 벳 -- 숱 -- 숲 -- 첩 -- 탓 -- 틸 -- 펼 -- Ҷ -- ጸ -- 鋪 -- 쁨 -- 饽 -- 忿 -- 濾 -- 畿 -- 澁 -- 穢 -- 矶 -- 绉 -- 嚢 -- 犄 -- 筵 -- 茴 -- 莅 -- Ջ -- ଢ -- 嗔 -- 诓 -- 隍 -- 셰 -- ŕ -- ఛ -- 悌 -- 槇 -- 蘋 -- 鵝 -- 녜 -- 맻 -- 벙 -- 섰 -- 썬 -- 쏟 -- 퀘 -- 흉 -- Ď -- Ь -- 寵 -- 廢 -- 祓 -- 麽 -- 蹼 -- 鋒 -- 槭 -- 懋 -- 窕 -- ̂ -- 嵜 -- 掣 -- 灞 -- 襯 -- 邈 -- 锱 -- 魷 -- Շ -- ޘ -- ቫ -- 峽 -- 碓 -- 謠 -- 遴 -- 颦 -- 멕 -- 킥 -- ዥ -- ឧ -- 叢 -- 鍮 -- 黐 -- 갸 -- 뎅 -- 옵 -- 훠 -- 覽 -- 暹 -- 甾 -- 疸 -- 鴎 -- 缛 -- 烁 -- 猁 -- 猞 -- ឯ -- 佝 -- 欖 -- 瀝 -- 罡 -- 萸 -- 藿 -- ̄ -- 咂 -- 螢 -- 铢 -- 頚 -- 饗 -- 鸢 -- ઑ -- Ừ -- 嗬 -- 嘥 -- 嚕 -- 爲 -- 纨 -- 겟 -- 굔 -- 냠 -- 콕 -- 텝 -- 훅 -- Ң -- 悻 -- 潛 -- 苺 -- 藁 -- 鶯 -- 黍 -- 넛 -- 濫 -- 鄰 -- 蠅 -- 襖 -- 枇 -- 盧 -- 廚 -- 褓 -- 賤 -- 幄 -- 栀 -- 盃 -- 鑊 -- 珅 -- 绾 -- 蔦 -- 遨 -- Ҩ -- ۂ -- 嬲 -- 繫 -- 膊 -- 룬 -- 맺 -- 옴 -- 쭤 -- 팁 -- 폈 -- 瑪 -- 癸 -- 삽 -- 첼 -- 锑 -- 龜 -- 嵯 -- 氚 -- 蓼 -- ຼ -- 珪 -- 揖 -- 瑚 -- 膻 -- 霎 -- 飕 -- Ή -- Խ -- 峦 -- 廁 -- 蘆 -- 衢 -- 蹟 -- 锉 -- ሼ -- 啵 -- 恆 -- 焯 -- 诿 -- 깅 -- 뛸 -- 륨 -- 밸 -- 쉰 -- 텅 -- 壯 -- 夾 -- 峒 -- 蝋 -- 餘 -- 勁 -- 哏 -- 檄 -- 赭 -- 毓 -- 燗 -- 鮨 -- 榭 -- 啶 -- 梆 -- 嵘 -- 轢 -- 嗟 -- ጮ -- 嬰 -- 捱 -- 蹶 -- 꺾 -- 텨 -- Ӑ -- ኗ -- ዤ -- ዷ -- ፤ -- 冚 -- 搖 -- 楣 -- 浔 -- 瞟 -- 诨 -- 骥 -- 닙 -- 젓 -- 펐 -- 繞 -- 鹸 -- 瀞 -- 燮 -- 苜 -- 湎 -- 靱 -- 閻 -- 杷 -- 臧 -- 噻 -- 囫 -- 溴 -- 阄 -- Ҵ -- 簑 -- 薔 -- 蠔 -- 頁 -- ፐ -- 〔 -- 檔 -- 閱 -- 겄 -- 괄 -- 굶 -- 귓 -- 깠 -- 꽈 -- 넜 -- 럿 -- 옹 -- 욜 -- 쬐 -- 漑 -- 潸 -- 唷 -- 笈 -- 鱈 -- 蓿 -- 剌 -- 酩 -- 佇 -- 唑 -- 嶼 -- 钒 -- 胝 -- 胼 -- 蛱 -- 圩 -- 礙 -- 趨 -- Υ -- 櫂 -- 玥 -- 瑄 -- 绺 -- 蔔 -- 鸬 -- 鹚 -- Æ -- ୈ -- 墾 -- 搶 -- 盅 -- 绡 -- 蚩 -- 閪 -- "\x9E" -- ­ -- ̈ -- ۖ -- ଝ -- ሾ -- ዪ -- 琏 -- 굵 -- 눅 -- 늬 -- 됨 -- 붉 -- 샴 -- 씌 -- 얜 -- 옳 -- 욘 -- 傥 -- 蜣 -- 迴 -- 鱧 -- 唢 -- 殒 -- 菫 -- 沣 -- 爐 -- 泗 -- 揆 -- 靉 -- 倏 -- 疥 -- 卞 -- 噉 -- 囵 -- 殘 -- 氙 -- 腚 -- 銮 -- ᱣ -- 慘 -- 搔 -- 犠 -- 盥 -- 綫 -- 蒐 -- 褲 -- 訝 -- 辊 -- © -- ® -- ቭ -- 〕 -- 吡 -- 啉 -- 痂 -- 觞 -- 貘 -- 鷺 -- 눕 -- 늑 -- 늫 -- 렷 -- 벚 -- 뻗 -- 얌 -- 얗 -- 왓 -- 짖 -- Ư -- 唁 -- 圀 -- 鐔 -- 륜 -- 뻑 -- 쓱 -- 왤 -- 滘 -- 濑 -- 岷 -- 疋 -- 蓑 -- 譚 -- 铯 -- 毘 -- 諦 -- 襁 -- 讴 -- 鄞 -- 緣 -- 膘 -- 禰 -- 泮 -- 璎 -- 莊 -- 蔺 -- 裨 -- 陂 -- 馗 -- ڦ -- ಃ -- ጩ -- 渫 -- 溧 -- 獠 -- 祢 -- 诌 -- 赅 -- 괌 -- 렘 -- 렙 -- ኚ -- Ủ -- 兇 -- 彿 -- 荠 -- 谀 -- 댈 -- 룡 -- 륙 -- 및 -- 뿜 -- 셈 -- 읍 -- 찡 -- 毬 -- 辋 -- 箩 -- 饅 -- 拚 -- 紆 -- 葚 -- 儺 -- 籾 -- 菀 -- 呤 -- 煸 -- 琲 -- 胍 -- 玳 -- 谴 -- 镉 -- 俎 -- 洵 -- 锲 -- 颉 -- 僱 -- 柘 -- 栎 -- 疝 -- 萢 -- 鑽 -- 骶 -- 〆 -- 儘 -- 汩 -- 腭 -- Փ -- 佈 -- 掮 -- 梏 -- 歙 -- 毽 -- 涿 -- 矬 -- 엮 -- Û -- Ѐ -- ዣ -- ᱡ -- ᱦ -- 喬 -- 嫲 -- 嬌 -- 懶 -- 筲 -- 糅 -- 辭 -- 霭 -- 낑 -- 뎌 -- 뛴 -- 봅 -- 솜 -- 엣 -- 왁 -- 찹 -- 칫 -- 懼 -- 禎 -- ဌ -- 娆 -- 鬚 -- 荥 -- 笏 -- 嶌 -- 癣 -- 攣 -- 鍬 -- 嘌 -- 捌 -- 孑 -- 淦 -- 瑁 -- 硼 -- 擾 -- 泓 -- 閾 -- 楯 -- 蝕 -- ゐ -- 哙 -- 姝 -- 孖 -- 盂 -- 胄 -- Ɓ -- ଃ -- ഊ -- ዌ -- ፆ -- 倜 -- 卅 -- 卍 -- 柩 -- 鲅 -- 갛 -- 껑 -- 껜 -- 륭 -- 뭇 -- 슝 -- 싯 -- 쏴 -- 잎 -- 콧 -- 팜 -- 펀 -- ඞ -- 婀 -- 톨 -- 洙 -- 硤 -- 梠 -- 锆 -- 筧 -- 鵤 -- 菖 -- 邬 -- 軋 -- 栉 -- 忪 -- 桎 -- 筠 -- 脍 -- 锃 -- 佔 -- 儆 -- 掬 -- 旮 -- 荊 -- ᱹ -- 隽 -- 饴 -- 훑 -- Ċ -- Է -- ቬ -- ጧ -- 奂 -- 滷 -- 癮 -- 蝼 -- 슥 -- 쏙 -- 왈 -- 팥 -- 핥 -- Ը -- 乸 -- 擤 -- 縱 -- 铍 -- 멧 -- Ў -- 嘹 -- 埴 -- 悅 -- 欅 -- 谒 -- 鴛 -- ឲ -- 嘭 -- 箪 -- 鴦 -- 恫 -- 覃 -- 穎 -- 郜 -- 韋 -- 僭 -- 痙 -- 邁 -- 哌 -- 疇 -- 惇 -- 侗 -- 箒 -- 埂 -- 讶 -- 邺 -- 鲹 -- 稞 -- 蒡 -- 賴 -- Զ -- 绶 -- 贖 -- 铱 -- Ҭ -- 亳 -- 坩 -- 柒 -- 纰 -- 觸 -- Ɗ -- ፏ -- ⋯ -- 劑 -- 擴 -- 殲 -- 溏 -- 茯 -- 깍 -- 붐 -- 뻣 -- 샹 -- 줍 -- 쯔 -- 펠 -- 敕 -- 깬 -- 꾹 -- 뮬 -- 빰 -- 숍 -- 즙 -- 쭝 -- 쾅 -- 퀸 -- 킵 -- 펭 -- 헝 -- 俥 -- 滂 -- 瘘 -- 캘 -- 嗪 -- 衞 -- 睢 -- 铣 -- 韮 -- 翦 -- 娠 -- 旛 -- 翫 -- 蕈 -- 譯 -- 吽 -- 囿 -- ͘ -- 讚 -- 钹 -- Ƙ -- ǔ -- Ұ -- 阕 -- 阱 -- 麿 -- 쫑 -- 쿡 -- ဧ -- ሣ -- 嬤 -- 懺 -- 晁 -- 殓 -- 滾 -- 苻 -- 钯 -- 饬 -- 껐 -- 꿋 -- 덧 -- 뵈 -- 엌 -- 잌 -- Ë -- 沅 -- 瑩 -- 撻 -- 笥 -- 尕 -- 簀 -- 竈 -- 縷 -- 鮪 -- 糀 -- 謄 -- 侘 -- 鰭 -- 氩 -- 籐 -- 舖 -- 皺 -- 伫 -- 弭 -- 欸 -- 泙 -- Ύ -- 祚 -- 缢 -- 聒 -- 诰 -- 鄢 -- 鴫 -- 鹄 -- 齡 -- Ξ -- ಓ -- ᱰ -- 垓 -- 燉 -- 筈 -- 贊 -- 鬥 -- Ĩ -- Ź -- ഐ -- ඖ -- ᱲ -- 侩 -- 惱 -- 杓 -- 涪 -- 漿 -- 炆 -- 觥 -- 颍 -- 餵 -- 麾 -- 겜 -- 괘 -- 꿍 -- 돕 -- 돗 -- 딲 -- 릏 -- 맑 -- 뵙 -- 솥 -- 앚 -- 쫀 -- 쭘 -- 펄 -- Ũ -- Ӗ -- ┐ -- 榧 -- 癜 -- 缱 -- 饕 -- 驅 -- 鲇 -- 젯 -- 퍽 -- 갯 -- 憫 -- 爍 -- 鄧 -- 萘 -- 廼 -- 吁 -- 茲 -- 鉤 -- 埚 -- 墉 -- 慳 -- 泔 -- 猢 -- 瑭 -- 旌 -- 孱 -- 屆 -- 弐 -- 珉 -- 祗 -- 薑 -- Ŵ -- ʽ -- Њ -- ѐ -- ഛ -- ቾ -- Ị -- 唞 -- 囁 -- 搽 -- 旯 -- 绻 -- 腧 -- 膣 -- 謊 -- 谆 -- 谌 -- 蹤 -- 钽 -- 靂 -- 뚤 -- 몫 -- 삥 -- 웜 -- 줏 -- 쩰 -- 츤 -- 캉 -- 큘 -- 팸 -- 펍 -- 펫 -- 헨 -- 崑 -- 瑤 -- 痧 -- 轍 -- 顛 -- 飚 -- 鵑 -- 龅 -- 롬 -- 잣 -- 횐 -- ಛ -- ඍ -- 滯 -- 薹 -- 譴 -- 桿 -- 氤 -- 蹙 -- ÷ -- 鵯 -- 臘 -- 鲼 -- 甑 -- 鯵 -- 嬬 -- 婺 -- 杈 -- 鬶 -- 鲠 -- 鳶 -- 嬸 -- 骅 -- ઋ -- 啐 -- 嗫 -- 尴 -- 徉 -- 抻 -- 煬 -- 瓊 -- 祜 -- 虢 -- 鈿 -- 俶 -- 倌 -- 撳 -- 棗 -- 樸 -- 珲 -- 癬 -- 笪 -- 錶 -- 삘 -- 씽 -- ኡ -- ፔ -- 剱 -- 彎 -- 獰 -- 甕 -- 綁 -- 腍 -- 芡 -- 薈 -- 蜆 -- 逑 -- 겔 -- 곈 -- 뤘 -- 뾰 -- 옇 -- 윽 -- 잭 -- 텃 -- 텼 -- 픔 -- 兖 -- 勳 -- 擰 -- 朧 -- 桤 -- 睏 -- 迩 -- 흙 -- 舩 -- 訛 -- 馮 -- 撈 -- 攬 -- 祎 -- 饒 -- 儚 -- ឍ -- 纈 -- 纐 -- 莳 -- 氘 -- 鑓 -- 葳 -- 莪 -- 儂 -- 繇 -- 苒 -- 恸 -- 舢 -- 刎 -- 徜 -- 桠 -- 繹 -- 芫 -- 杢 -- 榫 -- 氲 -- 睜 -- 箜 -- 篌 -- 貅 -- 閖 -- ᱼ -- 屙 -- 敘 -- 暈 -- 梾 -- 籤 -- 謬 -- 낌 -- 씁 -- 씸 -- Ĕ -- Ŭ -- Ӡ -- ቿ -- 傢 -- 呟 -- 悭 -- 溟 -- 璽 -- 瓴 -- 绔 -- 芩 -- 貔 -- 酞 -- 釀 -- 鍊 -- 鲃 -- 깁 -- 돔 -- 둡 -- 랴 -- 썪 -- 짭 -- 짼 -- 퀵 -- 폿 -- 홋 -- ఞ -- 潞 -- 癲 -- 鋲 -- 캄 -- 퐁 -- 瀾 -- 訶 -- 贄 -- ಢ -- 羰 -- 羸 -- 麂 --  -- 剋 -- 滁 -- 瑳 -- 谶 -- 荸 -- 좀 -- 碲 -- 楳 -- 鲳 -- 煕 -- 戇 -- 溲 -- 膑 -- ޣ -- 壷 -- 擠 -- 聿 -- 伉 -- 滦 -- 睥 -- 繩 -- 脘 -- 荽 -- 崙 -- 攤 -- 柾 -- 砀 -- 籮 -- 蠡 -- 谧 -- ഔ -- 挲 -- 晔 -- 琮 -- 瘋 -- 藨 -- 钣 -- Ơ -- Ҟ -- ಔ -- ዑ -- ጵ -- Ứ -- ‫ -- ∈ -- 凇 -- 懑 -- 掙 -- 揼 -- 涜 -- 炔 -- 繪 -- 腟 -- 芾 -- 錘 -- 頒 -- 驟 -- 鹞 -- 꽝 -- 넬 -- 눴 -- 뜸 -- 밉 -- 뵀 -- 삔 -- 샜 -- 셌 -- 쑤 -- 엿 -- 콸 -- Ҥ -- Ҽ -- ဿ -- 捩 -- 禿 -- 竇 -- 譽 -- 郫 -- 둠 -- 뒹 -- 렐 -- 맴 -- 뽈 -- 첸 -- 拋 -- 淙 -- 盞 -- 丶 -- 寬 -- 獵 -- 窰 -- 舳 -- 註 -- ઃ -- 诅 -- 閤 -- 鴇 -- 嘧 -- 慄 -- 攝 -- 蝨 -- 鰯 -- 貶 -- 臾 -- 笕 -- 頷 -- 镌 -- 竪 -- 噤 -- 诘 -- 锗 -- 閘 -- 嗚 -- 壩 -- 撺 -- 晷 -- 桡 -- 棹 -- 耧 -- 趸 -- → -- 妁 -- 牯 -- 瓿 -- 笄 -- 蛄 -- 豈 -- 铖 -- 骐 -- 鷉 -- 鸾 -- 屍 -- 楸 -- 踽 -- 锒 -- 鲲 -- 섀 -- 켄 -- Ľ -- ӊ -- ጇ -- ጬ -- ◎ -- 嚨 -- 姒 -- 蒺 -- 蝸 -- 輻 -- 鸨 -- 齟 -- 깰 -- 끽 -- 낵 -- 눔 -- 닳 -- 밋 -- 밲 -- 벡 -- 뺨 -- 쉘 -- 슉 -- 쌔 -- 짚 -- 촛 -- 춧 -- 캣 -- 캥 -- 튕 -- 휙 -- ਔ -- ఢ -- ೧ -- ᱯ -- 偲 -- 劍 -- 枱 -- 膩 -- 艷 -- 菸 -- 詛 -- 豇 -- 낡 -- 됬 -- 둣 -- 쌰 -- 撷 -- 贰 -- 躙 -- 辯 -- 遑 -- Յ -- 楮 -- 誼 -- 瞞 -- 祿 -- 绦 -- 廬 -- 皋 -- 妝 -- 鸮 -- 떤 -- 圳 -- 捲 -- 陝 -- 獺 -- 媾 -- 魍 -- 鼩 -- 鴈 -- ゝ -- 狲 -- 釐 -- 铄 -- 沮 -- 蘼 -- 邕 -- 钎 -- 靥 -- 鞣 -- ♥ -- 姘 -- 娣 -- 稹 -- 胳 -- 郅 -- 阆 -- 颱 -- 餮 -- ־ -- 儋 -- 厝 -- 肅 -- 誊 -- 騷 -- 숟 -- "\x92" -- "\x97" -- Ճ -- ՞ -- ኜ -- ዢ -- ዦ -- Ố -- 嘍 -- 揩 -- 曆 -- 栢 -- 潋 -- 箬 -- 糍 -- 遞 -- 髡 -- 鰐 -- 鲡 -- 鲢 -- 齬 -- 걀 -- 꺄 -- 꿉 -- 뗄 -- 빕 -- 얽 -- 읏 -- 잰 -- 쟀 -- 컥 -- 킷 -- 햐 -- 흩 -- ඣ -- ፑ -- ៣ -- 寳 -- 淖 -- 灑 -- 錨 -- 駁 -- 랠 -- 썽 -- 웰 -- 젬 -- 탬 -- 툼 -- 핍 -- 檳 -- 籃 -- 僑 -- 橼 -- 脹 -- 銛 -- 钜 -- 盱 -- 籲 -- 陲 -- 颔 -- 勖 -- 蓖 -- 郢 -- 檯 -- 粂 -- 獏 -- 燿 -- 祕 -- 鯊 -- 枡 -- 惕 -- 兌 -- 钼 -- 鞆 -- ● -- 綦 -- 蕗 -- 埜 -- 焘 -- 劭 -- 愎 -- 橈 -- 鎚 -- 锷 -- 鞏 -- 齁 -- 龇 -- ဍ -- ♂ -- 侪 -- 窠 -- 肪 -- 蜇 -- 逹 -- 邛 -- 卟 -- 撓 -- 燐 -- 纖 -- 郓 -- 闱 -- 餞 -- 鹓 -- 俬 -- 呔 -- 澧 -- 燴 -- 犍 -- 羧 -- 葶 -- 谲 -- ¬ -- Ć -- ː -- ̓ -- ڱ -- ۚ -- ඪ -- ፁ -- ᱪ -- Ẩ -- 呎 -- 哣 -- 噃 -- 搣 -- 淒 -- 苕 -- 萋 -- 襪 -- 訇 -- 諄 -- 謢 -- 邳 -- 鉈 -- 鴉 -- 鸻 -- 갭 -- 곶 -- 넹 -- 뗐 -- 룽 -- 맷 -- 샾 -- 쐈 -- 쨍 -- 챠 -- 컹 -- 튠 -- 푠 -- ˮ -- Ί -- Ҿ -- ޛ -- ዟ -- 悗 -- 耒 -- 躾 -- 鏟 -- 閂 -- 곁 -- 맏 -- 뮌 -- 찻 -- 睪 -- 礦 -- 筺 -- 艱 -- 賬 -- 镕 -- 蕕 -- 炝 -- 聾 -- 逡 -- ฌ -- 瀋 -- 詭 -- 鲣 -- 侉 -- 埙 -- 慟 -- 蜉 -- 钡 -- 輯 -- 諧 -- 吳 -- 鐙 -- 陛 -- 撹 -- 苧 -- 劔 -- 濛 -- 齧 -- Ժ -- 剝 -- 吩 -- 徕 -- 镓 -- ൌ -- 佻 -- 嚅 -- 岘 -- 窨 -- 跬 -- 銜 -- 骢 -- 魉 -- 鰓 -- 㩒 -- 嬗 -- 旎 -- 旖 -- 氫 -- 洄 -- 牺 -- 篙 -- 舂 -- 闌 -- 飄 -- Ծ -- ḿ -- 仞 -- 嘯 -- 噓 -- 囹 -- 圄 -- 岿 -- 恁 -- 揦 -- 殚 -- 沆 -- 簕 -- 莠 -- 莼 -- 萊 -- 鰆 -- ɔ -- ≡ -- 砣 -- 辇 -- 궐 -- 뽐 -- "\x84" -- "\x9A" -- § -- Ť -- Ձ -- ۓ -- ጢ -- ፂ -- ፄ -- Ổ -- Ờ -- 僆 -- 棂 -- 獸 -- 瓏 -- 瘢 -- 聳 -- 荛 -- 衿 -- 遒 -- 鑰 -- 镬 -- 깽 -- 꺠 -- 끙 -- 늪 -- 댐 -- 딥 -- 딧 -- 랖 -- 룻 -- 릅 -- 봔 -- 봬 -- 뼛 -- 섣 -- 쉼 -- 싣 -- 쎘 -- 얏 -- 윌 -- 쥴 -- 쯧 -- 챈 -- 챌 -- 촥 -- 톰 -- 핬 -- 圪 -- 屜 -- 捽 -- 珮 -- 碛 -- 臟 -- 螫 -- 輋 -- 醪 -- 骠 -- 똠 -- 맸 -- 샬 -- 沔 -- 禊 -- 襦 -- 趄 -- 邇 -- 剜 -- 筍 -- 緞 -- 虧 -- 趔 -- 铩 -- 埒 -- 憚 -- 扦 -- 罟 -- 囮 -- 賈 -- 匁 -- 吲 -- 哚 -- 雎 -- 鄒 -- 飫 -- 縊 -- 讼 -- 濯 -- 竊 -- 铕 -- 蓣 -- ๅ -- 潑 -- 瀉 -- Ґ -- ಊ -- 屓 -- 碣 -- 粳 -- 苈 -- 蕤 -- 誨 -- 跖 -- 騾 -- 魑 -- ⸺ -- 倅 -- 幇 -- 廂 -- 柺 -- 楡 -- 瀨 -- 狆 -- 籏 -- 籬 -- 跣 -- 锶 -- 镆 -- 韌 -- ΐ -- 佚 -- 汜 -- 牍 -- 牴 -- 癱 -- 蟬 -- 顏 -- ϋ -- ዉ -- ▪ -- 佥 -- 刿 -- 噙 -- 孭 -- 洮 -- 漲 -- 猷 -- 瓤 -- 疊 -- 癡 -- 矍 -- 硯 -- 稃 -- 讫 -- 贔 -- 꾀 -- 떵 -- 맬 -- 빳 -- 챕 -- "\x91" -- "\x96" -- ƴ -- ؔ -- ઔ -- ෲ -- ኣ -- ១ -- 啞 -- 夘 -- 嵋 -- 徬 -- 慾 -- 斂 -- 渌 -- 滌 -- 漯 -- 燶 -- 砵 -- 稟 -- 笤 -- 蓆 -- 螞 -- 覓 -- 諺 -- 诳 -- 谡 -- 踎 -- 躉 -- 鈔 -- 铋 -- 陞 -- 顼 -- 麪 -- 갬 -- 궜 -- 궤 -- 꿇 -- 덱 -- 떳 -- 띨 -- 룐 -- 몹 -- 삑 -- 슁 -- 쏭 -- 앰 -- 욤 -- 웩 -- 잦 -- 죙 -- 챘 -- 첵 -- 촘 -- 쿤 -- 킴 -- 텁 -- 퓸 -- 훼 -- ઍ -- 冧 -- 勐 -- 擸 -- 晉 -- 汨 -- 燊 -- 瘡 -- 癇 -- 眀 -- 鎹 -- 铷 -- 鯰 -- 鱒 -- 딤 -- 앓 -- 얍 -- 윷 -- 쟈 -- 팎 -- 囗 -- 諌 -- 鋤 -- 壆 -- 嶄 -- 碕 -- 綵 -- 闢 -- 鳐 -- 秣 -- 簗 -- 蕪 -- 氹 -- 兪 -- 恹 -- 鈕 -- 钇 -- 蝣 -- 軀 -- 畲 -- 埕 -- 潅 -- 瞼 -- 褄 -- 詈 -- 邏 -- 颶 -- 莟 -- 艙 -- 碩 -- 筅 -- 钐 -- 寤 -- 徭 -- 銑 -- 朊 -- 楝 -- 澩 -- 竽 -- 褌 -- 覲 -- 铑 -- 鵠 -- 捭 -- 哞 -- 墊 -- 忾 -- 杼 -- 玑 -- 砭 -- 芨 -- 菡 -- 锇 -- 埓 -- 壅 -- 峅 -- 崧 -- 徠 -- 悱 -- 瑧 -- 脩 -- 邙 -- 铨 -- 鱸 -- 鸩 -- ẅ -- 壢 -- 泫 -- 爰 -- 箝 -- 耄 -- 耋 -- ▲ -- 垭 -- 巒 -- 捯 -- 撿 -- 攋 -- 梼 -- 璟 -- 疖 -- 痦 -- 紥 -- 缬 -- 腈 -- 菝 -- 逓 -- 铒 -- 鬢 -- 魃 -- 뎁 -- ѝ -- 垚 -- 擲 -- 眦 -- 絃 -- 舄 -- 蘅 -- 隸 -- 髯 -- 鲛 -- 鹱 -- 뎠 -- 딛 -- 몄 -- 쨈 -- 휠 -- 휩 -- ȃ -- Ց -- ۃ -- ॠ -- ḅ -- ヮ -- 勻 -- 卌 -- 吋 -- 噸 -- 囝 -- 奀 -- 戆 -- 揈 -- 揞 -- 搲 -- 攏 -- 昶 -- 暅 -- 椶 -- 榲 -- 橞 -- 涠 -- 珙 -- 琬 -- 磚 -- 粝 -- 糰 -- 緬 -- 罫 -- 羈 -- 葜 -- 蒹 -- 蕁 -- 薷 -- 蠱 -- 襴 -- 轸 -- 邰 -- 鏈 -- 鬘 -- 龐 -- 긱 -- 꺽 -- 늠 -- 뎀 -- 딕 -- 띡 -- 뵐 -- 셧 -- 슌 -- 웍 -- 윳 -- 짙 -- 쫒 -- 텄 -- 헉 -- 헹 -- 훗 -- Ώ -- ♯ -- 刪 -- 妯 -- 廪 -- 瀟 -- 犧 -- 畦 -- 癪 -- 矽 -- 禪 -- 腴 -- 袢 -- 鉦 -- 鏝 -- 뽁 -- 켈 -- 휜 -- 沭 -- 漣 -- 磔 -- 蕩 -- ଐ -- 仟 -- 壟 -- 妪 -- 淝 -- 紓 -- 苴 -- 莜 -- 隴 -- 饌 -- 駭 -- 鹘 -- 黢 -- ઐ -- 浛 -- ㄟ -- 剷 -- 圻 -- 澹 -- 砻 -- 肄 -- 崂 -- 痾 -- 稗 -- 褻 -- 迨 -- 镧 -- 霰 -- 顰 -- 輦 -- 輛 -- 焔 -- 篭 -- 踐 -- 坻 -- 왜 -- 殯 -- 靄 -- 琨 -- 闖 -- 騭 -- 蝿 -- 頤 -- 厠 -- 夲 -- 嫪 -- 玘 -- 蘊 -- 黚 -- 黧 -- 媞 -- 咥 -- 嘜 -- 嵊 -- 椴 -- 濞 -- 緘 -- 藺 -- 蝮 -- 醴 -- 鉉 -- 鹗 -- 贲 -- ഃ -- ဠ -- 偈 -- 唪 -- 嗳 -- 姶 -- 嫻 -- 孥 -- 崁 -- 彧 -- 徂 -- 枞 -- 狽 -- 皲 -- 紮 -- 缦 -- 莒 -- 裃 -- ṃ -- 穫 -- ゚ -- 喑 -- 摟 -- 擋 -- 氡 -- 篾 -- 絣 -- 绐 -- 聩 -- 蚶 -- 螟 -- 襞 -- 賁 -- 踟 -- 蹰 -- 鈷 -- 镛 -- 闾 -- 髂 -- 鲆 -- 齒 -- 쌋 -- 췌 -- ॊ -- ఔ -- ဩ -- ኅ -- ※ -- 俅 -- 唖 -- 尷 -- 洇 -- 澆 -- 绀 -- 蕭 -- 틋 -- ኻ -- 佷 -- 侈 -- 뉜 -- 쉑 -- 쑈 -- "\x8A" -- "\x9D" -- Ğ -- ǐ -- ಝ -- ೯ -- ඃ -- ฯ -- ဈ -- ሒ -- ኼ -- ጴ -- ៖ -- ៦ -- ᱬ -- ᱶ -- ᱸ -- □ -- 䁅 -- 呯 -- 唈 -- 唳 -- 喐 -- 嗄 -- 噹 -- 娌 -- 娛 -- 寢 -- 嶂 -- 恽 -- 慚 -- 懞 -- 懣 -- 抌 -- 攜 -- 曚 -- 枥 -- 柽 -- 樑 -- 樞 -- 樾 -- 牀 -- 狍 -- 稙 -- 繚 -- 舸 -- 芎 -- 衾 -- 訕 -- 豢 -- 躝 -- 轎 -- 酐 -- 鎏 -- 鏊 -- 钆 -- 钪 -- 钶 -- 雋 -- 饋 -- 鬠 -- 鸫 -- 龠 -- 갰 -- 겅 -- 곗 -- 곪 -- 굼 -- 낱 -- 냇 -- 넒 -- 닛 -- 댑 -- 덨 -- 듦 -- 땔 -- 떄 -- 뗀 -- 똔 -- 롷 -- 롹 -- 묽 -- 볐 -- 빢 -- 뼌 -- 뽂 -- 샛 -- 샥 -- 솟 -- 숄 -- 숑 -- 슛 -- 쐬 -- 쑨 -- 쓕 -- 앳 -- 얕 -- 옅 -- 웁 -- 윰 -- 쟨 -- 젼 -- 짹 -- 쫘 -- 쭌 -- 챗 -- 펩 -- 푯 -- 핌 -- 𢱕 -- 櫚 -- 煅 -- 甌 -- 莢 -- 驕 -- 髌 -- 랏 -- 쏜 -- 옐 -- 핼 -- ஔ -- 僖 -- 恊 -- 滙 -- 澍 -- 癢 -- 粿 -- 翹 -- 蔀 -- 蛸 -- 躓 -- 鏃 -- 飩 -- 髀 -- 吶 -- 垃 -- 巉 -- 巔 -- 怩 -- 搗 -- 楦 -- 琚 -- 篁 -- 脲 -- 誡 -- 阊 -- 鬻 -- 鸱 -- 叺 -- 湟 -- 頗 -- 魟 -- 狢 -- 畐 -- 畷 -- 椹 -- 諍 -- 醮 -- 鐸 -- 釗 -- 镗 -- 锴 -- ゙ -- 戕 -- 稈 -- 纒 -- 亓 -- 庹 -- 氖 -- 祉 -- 鉗 -- 础 -- 嚯 -- 堉 -- 桫 -- 椤 -- 楋 -- 瀣 -- 珧 -- 礬 -- 舾 -- 邾 -- 鵺 -- 鼱 -- 滢 -- 臍 -- 堝 -- 弍 -- 晞 -- 椁 -- 濺 -- 睄 -- 礇 -- 笫 -- 蠟 -- 鎂 -- 閨 -- 怏 -- 慷 -- 瀏 -- 綸 -- 罎 -- 閩 -- ጐ -- ឫ -- 伧 -- 僂 -- 冼 -- 夔 -- 媠 -- 嵴 -- 幟 -- 畊 -- 磬 -- 窺 -- 簷 -- 胿 -- 臬 -- 蚵 -- 蹚 -- 鋏 -- 鏖 -- 霑 -- 騮 -- 鲔 -- 끅 -- ̋ -- Љ -- ѕ -- ២ -- 佶 -- 唻 -- 抾 -- 柞 -- 澱 -- 錙 -- 늄 -- 뒨 -- 믈 -- 콰 -- ± -- ¶ -- ʾ -- ̊ -- ଈ -- ଔ -- ஶ -- ኀ -- ጳ -- ጼ -- ጾ -- ጿ -- ፥ -- ឮ -- ០ -- ៤ -- ៨ -- ᱝ -- 㓤 -- 仝 -- 倧 -- 刄 -- 厍 -- 咇 -- 唥 -- 喏 -- 嗞 -- 囍 -- 圜 -- 埞 -- 塬 -- 塱 -- 墀 -- 墮 -- 壸 -- 婭 -- 岫 -- 崃 -- 崋 -- 弶 -- 愜 -- 憊 -- 挈 -- 揜 -- 摮 -- 擘 -- 擱 -- 昐 -- 枘 -- 枳 -- 椚 -- 槁 -- 樒 -- 櫸 -- 淸 -- 溘 -- 溼 -- 燙 -- 痈 -- 硎 -- 篩 -- 簒 -- 縝 -- 縻 -- 纔 -- 荪 -- 葯 -- 蚴 -- 蛏 -- 蛻 -- 蝰 -- 蠹 -- 裇 -- 裥 -- 誅 -- 豎 -- 貲 -- 踭 -- 踴 -- 蹌 -- 蹣 -- 鑿 -- 铼 -- 锺 -- 镲 -- 颙 -- 駈 -- 駱 -- 鮓 -- 鮟 -- 鯇 -- 鰈 -- 鰜 -- 鱇 -- 鲀 -- 鵲 -- 괭 -- 굘 -- 긌 -- 깟 -- 깻 -- 꼿 -- 넙 -- 뉸 -- 뗘 -- 뚠 -- 띃 -- 렜 -- 룔 -- 멓 -- 멱 -- 뭄 -- 뺌 -- 뿅 -- 뿍 -- 숯 -- 슘 -- 쎌 -- 얠 -- 옌 -- 잴 -- 쩝 -- 쳇 -- 췻 -- 츰 -- 캇 -- 켔 -- 퀭 -- 킁 -- 탤 -- 튄 -- 팰 -- 혓 -- 홧 -- 훤 -- 휑 -- 힉 -- ȇ -- ˎ -- 躼 -- 곯 -- 덫 -- 햅 -- Ě -- 狹 -- 睚 -- 觜 -- 겡 -- 셴 -- 쌜 -- ಋ -- 壘 -- 孛 -- 忟 -- 旻 -- 榑 -- 煥 -- 狎 -- 眇 -- 罘 -- 胪 -- 脛 -- 舨 -- 镒 -- 餼 -- 馐 -- 촤 -- 歃 -- 禛 -- ♭ -- 垌 -- 尭 -- 晝 -- 楹 -- 滄 -- 砜 -- 菟 -- 蒨 -- 藷 -- 鏢 -- 鐡 -- 頌 -- 馕 -- 鰲 -- 鳉 -- 豕 -- 蜘 -- ㄧ -- 嵬 -- 忸 -- 暝 -- 盜 -- 螣 -- 謐 -- 嘬 -- 圾 -- 洟 -- 舁 -- 醗 -- 铟 -- 颏 -- 黌 -- 栂 -- 瘻 -- 瞋 -- 窣 -- 窸 -- 絋 -- 鶫 -- 銕 -- √ -- 蚺 -- 蹕 -- 窶 -- 牻 -- 擯 -- 愼 -- 榾 -- 癩 -- 筜 -- 筼 -- 聶 -- 蟄 -- 鍔 -- 頽 -- 黠 -- 梛 -- 莨 -- 骈 -- 鸊 -- 倬 -- 唛 -- 嗶 -- 嘰 -- 嚐 -- 媪 -- 徛 -- 憺 -- 揠 -- 甦 -- 翃 -- 肭 -- 芗 -- 茔 -- 萁 -- 葎 -- 蓠 -- 蛉 -- 蜮 -- 贶 -- 趖 -- 轡 -- 釁 -- 鈉 -- 隹 -- 餉 -- 饪 -- 騅 -- 橹 -- 篳 -- 蟯 -- Ъ -- ឦ -- ∠ -- 〝 -- ヰ -- 俠 -- 冪 -- 埤 -- 墘 -- 嬅 -- 峤 -- 巿 -- 扻 -- 搦 -- 攔 -- 昰 -- 枋 -- 槊 -- 渑 -- 燵 -- 猊 -- 簋 -- 肼 -- 臚 -- 艄 -- 茆 -- 茼 -- 菘 -- 菪 -- 諷 -- 譟 -- 躑 -- 輓 -- 郯 -- 郾 -- 鄄 -- 鋆 -- 铳 -- 锨 -- 閏 -- 颪 -- 馭 -- 髒 -- 鱔 -- ǰ -- ॲ -- ୫ -- ឪ -- 愠 -- 歛 -- 皚 -- 硲 -- 稣 -- 蛚 -- 輾 -- 馩 -- 꽌 -- 롸 -- 밧 -- 뱄 -- "\x80" -- "\x99" -- Ï -- ǒ -- ȏ -- ̌ -- ̔ -- ̟ -- Ӯ -- ٗ -- ۗ -- ޡ -- ऍ -- ॆ -- ॔ -- ૢ -- ୪ -- ೦ -- ೨ -- ೩ -- ෳ -- ቮ -- ጹ -- ḉ -- ḫ -- ṇ -- ṉ -- ẃ -- Ạ -- Ầ -- Ậ -- Ệ -- Ự -- ⁠ -- ∙ -- ⊙ -- ◯ -- ⸻ -- 〟 -- 㧎 -- 䒏 -- 䒐 -- 佮 -- 俟 -- 倯 -- 倻 -- 偢 -- 僥 -- 儍 -- 凊 -- 匱 -- 叁 -- 嗐 -- 嘏 -- 噁 -- 囪 -- 埵 -- 堯 -- 奓 -- 姍 -- 娉 -- 尣 -- 弸 -- 怍 -- 悽 -- 挜 -- 挹 -- 揗 -- 摈 -- 斃 -- 昉 -- 曵 -- 梣 -- 棧 -- 楫 -- 橐 -- 欒 -- 殭 -- 殳 -- 洎 -- 浐 -- 涷 -- 玭 -- 瑋 -- 璁 -- 璈 -- 甙 -- 畈 -- 瘓 -- 眙 -- 硃 -- 碚 -- 磧 -- 竅 -- 筥 -- 篦 -- 粲 -- 糒 -- 繻 -- 罅 -- 胗 -- 舺 -- 艋 -- 艤 -- 艪 -- 艸 -- 茕 -- 荜 -- 莵 -- 菉 -- 菔 -- 萠 -- 蓺 -- 蔣 -- 蘂 -- 蟥 -- 覯 -- 訐 -- 訥 -- 詡 -- 誣 -- 誦 -- 誻 -- 謨 -- 譖 -- 豂 -- 赧 -- 趌 -- 趺 -- 躅 -- 軚 -- 輘 -- 輷 -- 迾 -- 鄣 -- 醌 -- 鎅 -- 鎔 -- 鎝 -- 鏨 -- 鑄 -- 鑲 -- 钋 -- 闕 -- 陉 -- 頰 -- 餋 -- 餒 -- 餛 -- 馯 -- 骘 -- 鬍 -- 鬨 -- 魎 -- 鲮 -- 鲿 -- 鳫 -- 鵞 -- 鵡 -- 鶉 -- 鹛 -- 鼆 -- 鼐 -- 걜 -- 겋 -- 곌 -- 굥 -- 귐 -- 꽐 -- 꽥 -- 꿩 -- 끍 -- 냔 -- 냘 -- 냡 -- 넝 -- 넴 -- 놉 -- 놋 -- 놘 -- 뇽 -- 뉩 -- 늉 -- 댜 -- 듈 -- 땋 -- 떰 -- 띤 -- 맽 -- 멩 -- 몀 -- 믕 -- 볕 -- 뵌 -- 빻 -- 뿡 -- 샨 -- 숀 -- 숴 -- 슾 -- 쌕 -- 쌨 -- 썅 -- 썜 -- 쎅 -- 쏼 -- 쒀 -- 씰 -- 옉 -- 옫 -- 웟 -- 읊 -- 읜 -- 좆 -- 짯 -- 쨋 -- 쨰 -- 쩄 -- 쮸 -- 촐 -- 캬 -- 켁 -- 켐 -- 켸 -- 콥 -- 쿱 -- 퉤 -- 튬 -- 팹 -- 퐉 -- 푤 -- 퓰 -- 픕 -- 휀 -- 𢳂 -- ʺ -- 꾜 -- 꿰 -- 쇳 -- 잽 -- Ǹ -- ೫ -- ኟ -- ṅ -- † -- 凈 -- 垪 -- 拵 -- 曷 -- 梘 -- 漚 -- 絚 -- 鯪 -- 넚 -- 쌉 -- 엡 -- ೮ -- 䢢 -- 佤 -- 凫 -- 煖 -- 獪 -- 瘆 -- 癆 -- 秬 -- 糋 -- 躹 -- 迳 -- 钌 -- 陜 -- 韪 -- 驛 -- 髙 -- 鹼 -- 갉 -- 뷴 -- 寃 -- 刳 -- 劏 -- 嚡 -- 杮 -- 槎 -- 槤 -- 樅 -- 沤 -- 炴 -- 煊 -- 熒 -- 珎 -- 璉 -- 痼 -- 簔 -- 苄 -- 苳 -- 菴 -- 蘚 -- 虬 -- 詆 -- 赍 -- 跶 -- 铪 -- 闔 -- 顱 -- 颢 -- 飜 -- 骹 -- 伜 -- 柝 -- 聟 -- 釵 -- 崆 -- 畋 -- 笸 -- 膾 -- 蕲 -- 靫 -- 頴 -- 髷 -- 鵙 -- 鸷 -- 錺 -- 蒟 -- 愴 -- 腘 -- 鯱 -- 샀 -- 끊 -- 굳 -- 拶 -- Ẓ -- 橄 -- Ṛ -- 惫 -- 咆 -- 옛 -- ఊ -- 싫 -- 밌 -- 雰 -- 괜 -- 떻 -- 뭔 -- 伥 -- 飪 -- 鬪 -- 鼈 -- 걔 -- 椙 -- 蒎 -- 锿 -- 鲵 -- 亰 -- 啻 -- 囂 -- 峁 -- 弖 -- 憮 -- 桴 -- 瓘 -- 瘧 -- 秭 -- 簓 -- 薖 -- 蝴 -- 谯 -- 趿 -- 镨 -- 闳 -- 馑 -- 骺 -- 鱚 -- 鲐 -- ఋ -- 咙 -- Ÿ -- ഋ -- ഢ -- ဋ -- 丨 -- 丱 -- 仱 -- 傈 -- 傩 -- 僳 -- 劊 -- 嗆 -- 嗹 -- 嘁 -- 岈 -- 嵖 -- 巖 -- 庠 -- 廸 -- 戔 -- 扂 -- 拏 -- 挾 -- 掗 -- 摰 -- 撣 -- 攑 -- 敍 -- 旃 -- 旒 -- 栻 -- 槓 -- 歕 -- 歨 -- 殂 -- 泠 -- 渀 -- 潲 -- 潷 -- 澀 -- 瓩 -- 甓 -- 疃 -- 癀 -- 癔 -- 竦 -- 筊 -- 篥 -- 籟 -- 籼 -- 糬 -- 緹 -- 縉 -- 縢 -- 膕 -- 臈 -- 臙 -- 艏 -- 苡 -- 莩 -- 蓊 -- 薀 -- 薜 -- 蘓 -- 裈 -- 褧 -- 覕 -- 諡 -- 謇 -- 诒 -- 诤 -- 贽 -- 軼 -- 迤 -- 逶 -- 邡 -- 醅 -- 釼 -- 錚 -- 鍚 -- 鐃 -- 鐐 -- 钺 -- 铇 -- 锕 -- 镎 -- 靑 -- 顫 -- 髖 -- 鰊 -- 鳎 -- 鳔 -- 鷽 -- 鼙 -- ኰ -- 䖙 -- 俢 -- 儉 -- 啍 -- 埲 -- 屄 -- 戥 -- 掞 -- 枦 -- 爿 -- 笳 -- 綢 -- 繄 -- 翕 -- 芘 -- 蛣 -- 豔 -- 蹐 -- 鉀 -- 闞 -- 鵪 -- 鸝 -- 됭 -- 싰 -- 옭 -- 좔 -- ̧ -- ☉ -- 떫 -- 뱌 -- 벘 -- 씉 -- 엷 -- 읐 -- Ƴ -- "\x81" -- "\x8D" -- "\x8E" -- "\x98" -- ¦ -- Ð -- Ù -- Ŋ -- ƒ -- Ǥ -- ǫ -- Ʉ -- ˊ -- ˋ -- ̕ -- ̱ -- ̲ -- ̶ -- Ψ -- Ђ -- Ћ -- Ќ -- Ѹ -- Ӌ -- Ӳ -- Ղ -- Ր -- ַ -- ּ -- ؓ -- ٓ -- ऩ -- ॐ -- ৗ -- ઼ -- ૧ -- ૮ -- ୗ -- ୨ -- ୯ -- ఝ -- ఱ -- ೪ -- ഝ -- ෴ -- ་ -- ན -- ሓ -- ሿ -- ቐ -- ቓ -- ቯ -- ዒ -- ዖ -- ዡ -- ጯ -- ፗ -- ៎ -- ៥ -- ៧ -- ḏ -- ḡ -- ḩ -- Ḫ -- ṁ -- ẞ -- Ắ -- Ể -- Ỉ -- Ỗ -- Ộ -- Ớ -- Ὑ -- ῖ -- ‰ -- ₹ -- ⃗ -- ↑ -- ↓ -- ∇ -- ∼ -- ≈ -- ▼ -- ☺ -- ✅ -- Ⱅ -- Ⱎ -- ゎ -- ゔ -- 㶶 -- 䁯 -- 䆀 -- 䱽 -- 䴕 -- 亍 -- 佉 -- 侷 -- 傃 -- 傉 -- 傱 -- 僉 -- 僊 -- 僮 -- 凩 -- 刋 -- 剎 -- 劖 -- 劼 -- 勰 -- 勼 -- 匏 -- 厴 -- 厶 -- 叅 -- 吿 -- 呓 -- 咹 -- 哓 -- 唂 -- 唎 -- 喟 -- 喲 -- 喼 -- 嗇 -- 嗿 -- 嚀 -- 嚒 -- 囑 -- 圷 -- 坜 -- 坵 -- 坼 -- 埆 -- 埭 -- 塢 -- 塭 -- 墁 -- 奬 -- 妗 -- 妠 -- 妡 -- 妣 -- 妤 -- 姹 -- 娗 -- 嫐 -- 嬶 -- 尓 -- 尙 -- 屢 -- 屣 -- 岀 -- 峄 -- 峇 -- 崞 -- 崮 -- 帙 -- 廍 -- 弌 -- 弢 -- 彥 -- 彳 -- 悒 -- 惝 -- 愔 -- 愷 -- 愾 -- 慤 -- 戞 -- 戽 -- 扴 -- 抆 -- 抔 -- 抦 -- 拃 -- 捹 -- 掁 -- 掕 -- 掼 -- 摙 -- 摳 -- 摵 -- 摷 -- 擏 -- 擷 -- 斝 -- 旳 -- 昃 -- 晡 -- 晧 -- 暸 -- 杙 -- 杣 -- 杻 -- 枧 -- 枰 -- 柸 -- 棔 -- 椏 -- 椟 -- 榙 -- 樁 -- 樗 -- 檪 -- 櫈 -- 殁 -- 殄 -- 毵 -- 氾 -- 汱 -- 洐 -- 洹 -- 淥 -- 淪 -- 湫 -- 溋 -- 溷 -- 滸 -- 潴 -- 澗 -- 澶 -- 濉 -- 瀍 -- 烝 -- 煆 -- 熈 -- 燜 -- 爨 -- 牾 -- 猗 -- 玜 -- 玠 -- 珒 -- 珣 -- 瑨 -- 瓠 -- 疔 -- 疠 -- 疴 -- 睞 -- 硚 -- 硨 -- 磲 -- 礑 -- 祆 -- 禳 -- 穐 -- 笮 -- 筌 -- 筿 -- 箆 -- 箓 -- 篋 -- 簟 -- 簫 -- 糉 -- 絅 -- 綖 -- 綯 -- 綷 -- 綽 -- 緁 -- 緲 -- 縒 -- 縹 -- 繆 -- 繏 -- 缑 -- 缙 -- 罨 -- 羂 -- 羣 -- 羶 -- 翙 -- 聼 -- 肟 -- 艀 -- 艹 -- 芰 -- 芻 -- 苎 -- 茏 -- 茖 -- 茭 -- 莚 -- 莸 -- 莾 -- 萜 -- 萡 -- 蒽 -- 蓀 -- 蓁 -- 蓥 -- 蕘 -- 蕞 -- 薟 -- 藳 -- 蛲 -- 蜑 -- 蜞 -- 蝥 -- 螋 -- 蟇 -- 蟳 -- 衒 -- 衮 -- 袛 -- 袰 -- 裄 -- 裎 -- 褦 -- 褫 -- 襤 -- 觔 -- 觚 -- 詬 -- 諚 -- 諤 -- 謔 -- 譫 -- 讒 -- 诮 -- 谘 -- 谳 -- 貉 -- 貮 -- 赀 -- 赓 -- 赟 -- 踅 -- 蹺 -- 輊 -- 輟 -- 輳 -- 轾 -- 辎 -- 辶 -- 迍 -- 郃 -- 郗 -- 郛 -- 郧 -- 鄯 -- 醯 -- 釆 -- 釿 -- 鈪 -- 鉅 -- 鉎 -- 銥 -- 銳 -- 鎭 -- 鐇 -- 鐶 -- 鑛 -- 鑢 -- 钕 -- 钤 -- 钫 -- 钬 -- 钿 -- 铙 -- 铧 -- 铽 -- 锝 -- 锟 -- 镝 -- 镡 -- 闼 -- 隗 -- 雺 -- 霈 -- 韃 -- 韜 -- 韫 -- 餚 -- 餾 -- 饑 -- 馔 -- 駝 -- 驺 -- 驽 -- 骝 -- 髧 -- 鮒 -- 鮖 -- 鯣 -- 鰌 -- 鰒 -- 鱉 -- 鱷 -- 鲗 -- 鲩 -- 鲾 -- 鳀 -- 鳊 -- 鳚 -- 鳜 -- 鳢 -- 鳰 -- 鴿 -- 鹀 -- 鹟 -- 麭 -- 黩 -- 鼢 -- 鼷 -- 齴 -- 龢 -- ꞌ -- 갼 -- 겝 -- 겻 -- 곘 -- 괍 -- 괏 -- 궂 -- 귯 -- 꺅 -- 꺤 -- 껒 -- 꽨 -- 꽷 -- 꾿 -- 뀨 -- 끕 -- 낏 -- 넵 -- 녘 -- 놥 -- 눟 -- 늗 -- 늣 -- 닪 -- 닸 -- 덷 -- 뎄 -- 뎡 -- 돚 -- 됑 -- 듭 -- 듶 -- 딫 -- 땍 -- 땟 -- 떈 -- 떱 -- 뗏 -- 똫 -- 뙤 -- 뚸 -- 뛌 -- 뜹 -- 띌 -- 띔 -- 럤 -- 롄 -- 뤃 -- 뤼 -- 맀 -- 먀 -- 먙 -- 멨 -- 묀 -- 뭍 -- 뭥 -- 뭬 -- 뭰 -- 믁 -- 믐 -- 밈 -- 밎 -- 뱁 -- 뱡 -- 벋 -- 벛 -- 볻 -- 봥 -- 뵤 -- 붜 -- 뷘 -- 뺘 -- 뻬 -- 뼘 -- 뼜 -- 뿕 -- 뿟 -- 쁩 -- 쁸 -- 삣 -- 삧 -- 삯 -- 셤 -- 셥 -- 셸 -- 솝 -- 솨 -- 쇽 -- 쉪 -- 쉭 -- 쌘 -- 쎼 -- 쏸 -- 쐐 -- 쐴 -- 쑬 -- 쒯 -- 씃 -- 앎 -- 앏 -- 앝 -- 얉 -- 얋 -- 얐 -- 얬 -- 옙 -- 옜 -- 왝 -- 왯 -- 윅 -- 읒 -- 잿 -- 쟝 -- 젭 -- 젱 -- 졀 -- 좃 -- 좇 -- 좐 -- 죈 -- 죵 -- 줜 -- 줴 -- 쥔 -- 쥘 -- 짢 -- 쩟 -- ํ -- ଋ -- 닯 -- 뜀 -- 룟 -- 뭡 -- 쌂 -- Ѓ -- ઁ -- ః -- 摅 -- 欉 -- 洶 -- 牘 -- 篪 -- 繃 -- 艻 -- 跩 -- 鷯 -- 뫼 -- 왐 -- ఙ -- 仂 -- 俍 -- 埖 -- 堊 -- 尅 -- 悾 -- 掅 -- 摎 -- 柢 -- 樨 -- 橂 -- 歁 -- 殕 -- 狯 -- 珜 -- 珰 -- 瑆 -- 畭 -- 穰 -- 箨 -- 缳 -- 罌 -- 耨 -- 臌 -- 苁 -- 萄 -- 蠓 -- 蠖 -- 蠶 -- 褸 -- 襠 -- 觴 -- 謖 -- 酺 -- 铊 -- 駟 -- 鰍 -- 黾 -- ♡ -- 僢 -- 剉 -- 噘 -- 圞 -- 圹 -- 岨 -- 弉 -- 昺 -- 橢 -- 濶 -- 焮 -- 禩 -- 秡 -- 秫 -- 笊 -- 茌 -- 蕖 -- 藹 -- 螅 -- 袆 -- 郏 -- 鉋 -- 銹 -- 铌 -- 駸 -- 墻 -- 悋 -- 暱 -- 櫨 -- 浬 -- 筬 -- 糺 -- 紑 -- 誂 -- 賎 -- 跹 -- 蹁 -- 蹠 -- 鰤 -- ằ -- 蒻 -- 鞨 -- ắ -- 笵 -- -- -- -init: null -input_size: null -ctc_conf: - dropout_rate: 0.0 - ctc_type: builtin - reduce: true - ignore_nan_grad: null - zero_infinity: true -use_preprocessor: true -token_type: bpe -bpemodel: owsm_v3.1_ebf/data/token_list/bpe_unigram50000/bpe.model -non_linguistic_symbols: null -cleaner: null -g2p: null -speech_volume_normalize: null -rir_scp: null -rir_apply_prob: 1.0 -noise_scp: null -noise_apply_prob: 1.0 -noise_db_range: '13_15' -short_noise_thres: 0.5 -frontend: default -frontend_conf: - n_fft: 512 - win_length: 400 - hop_length: 160 - fs: 16k -specaug: specaug -specaug_conf: - apply_time_warp: false - time_warp_window: 5 - time_warp_mode: bicubic - apply_freq_mask: true - freq_mask_width_range: - - 0 - - 27 - num_freq_mask: 2 - apply_time_mask: true - time_mask_width_ratio_range: - - 0.0 - - 0.05 - num_time_mask: 10 -normalize: global_mvn -normalize_conf: - stats_file: owsm_v3.1_ebf/exp/s2t_stats_raw_bpe50000/train/feats_stats.npz -model: espnet -model_conf: - ctc_weight: 0.3 - lsm_weight: 0.1 - length_normalized_loss: false - sym_na: -preencoder: null -preencoder_conf: {} -encoder: e_branchformer -encoder_conf: - output_size: 1024 - attention_heads: 16 - attention_layer_type: selfattn - pos_enc_layer_type: abs_pos - rel_pos_type: latest - cgmlp_linear_units: 4096 - cgmlp_conv_kernel: 31 - use_linear_after_conv: false - gate_activation: identity - num_blocks: 18 - dropout_rate: 0.1 - positional_dropout_rate: 0.1 - attention_dropout_rate: 0.1 - input_layer: conv2d - layer_drop_rate: 0.0 - linear_units: 4096 - positionwise_layer_type: linear - use_ffn: true - macaron_ffn: true - merge_conv_kernel: 31 -postencoder: null -postencoder_conf: {} -decoder: transformer -decoder_conf: - attention_heads: 16 - linear_units: 4096 - num_blocks: 18 - dropout_rate: 0.1 - positional_dropout_rate: 0.1 - self_attention_dropout_rate: 0.1 - src_attention_dropout_rate: 0.1 -preprocessor: s2t -preprocessor_conf: - text_prev_name: text_prev - text_ctc_name: text_ctc - fs: 16000 - na_symbol: - speech_length: 30 - speech_resolution: 0.02 - speech_init_silence: 30 - text_prev_apply_prob: 0.5 - time_apply_prob: 0.5 - notime_symbol: - first_time_symbol: <0.00> - last_time_symbol: <30.00> -required: -- output_dir -- token_list -version: '202308' -distributed: true diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/acc.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/acc.png deleted file mode 100644 index a1a7a3bae5f0e7a3bc96407c7f578e205b4bed4f..0000000000000000000000000000000000000000 Binary files a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/acc.png and /dev/null differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/backward_time.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/backward_time.png deleted file mode 100644 index 41cb89f4758b3d20c7147762ee9921e8e4fe931e..0000000000000000000000000000000000000000 Binary files a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/backward_time.png and /dev/null differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/cer.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/cer.png deleted file mode 100644 index def6dba8e40be93b544ed1d44246f2754e948a7a..0000000000000000000000000000000000000000 Binary files a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/cer.png and /dev/null differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/cer_ctc.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/cer_ctc.png deleted file mode 100644 index 0f8c894b667e232c544d293cd0a1dcf6590b26b2..0000000000000000000000000000000000000000 Binary files a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/cer_ctc.png and /dev/null differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/clip.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/clip.png deleted file mode 100644 index 46a8b5b5b48b71558d0fae8749f13302a56a6811..0000000000000000000000000000000000000000 Binary files a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/clip.png and /dev/null differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/forward_time.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/forward_time.png deleted file mode 100644 index 5ebfc25d8d2668f8d8ee5514054cd4547bad96bb..0000000000000000000000000000000000000000 Binary files a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/forward_time.png and /dev/null differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/gpu_max_cached_mem_GB.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/gpu_max_cached_mem_GB.png deleted file mode 100644 index 992a10417e36368443229d0c3876edcce8d5f2e9..0000000000000000000000000000000000000000 Binary files a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/gpu_max_cached_mem_GB.png and /dev/null differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/grad_norm.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/grad_norm.png deleted file mode 100644 index 73aff6fd11435d77bab96812a384322452e360df..0000000000000000000000000000000000000000 Binary files a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/grad_norm.png and /dev/null differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/iter_time.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/iter_time.png deleted file mode 100644 index 40ec0815877496262ae176b68acdbb1e7a97f680..0000000000000000000000000000000000000000 Binary files a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/iter_time.png and /dev/null differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/loss.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/loss.png deleted file mode 100644 index f32baa98b1036a6faaeb32ab80650b64db0143d6..0000000000000000000000000000000000000000 Binary files a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/loss.png and /dev/null differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/loss_att.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/loss_att.png deleted file mode 100644 index a07f8d41aca3773e8a8587f17f408acb48523ccd..0000000000000000000000000000000000000000 Binary files a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/loss_att.png and /dev/null differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/loss_ctc.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/loss_ctc.png deleted file mode 100644 index 779e97c72bea0cda117e74370c60fd8fccfe4dd4..0000000000000000000000000000000000000000 Binary files a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/loss_ctc.png and /dev/null differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/loss_scale.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/loss_scale.png deleted file mode 100644 index 1a08c072e8af89824c2436196c2c9e12d54ae96e..0000000000000000000000000000000000000000 Binary files a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/loss_scale.png and /dev/null differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/optim0_lr0.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/optim0_lr0.png deleted file mode 100644 index 396153aa93d8211b1d080455d7b37f22bd0afb38..0000000000000000000000000000000000000000 Binary files a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/optim0_lr0.png and /dev/null differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/optim_step_time.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/optim_step_time.png deleted file mode 100644 index 3a572cfcb615b5bf14e90113972fa38719514e49..0000000000000000000000000000000000000000 Binary files a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/optim_step_time.png and /dev/null differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/train_time.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/train_time.png deleted file mode 100644 index 35f5184a80d994dc1ce00fdcfe0429a2b17a1dcc..0000000000000000000000000000000000000000 Binary files a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/train_time.png and /dev/null differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/wer.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/wer.png deleted file mode 100644 index ede423319f11a858e678f13040be27a3b188246f..0000000000000000000000000000000000000000 Binary files a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/wer.png and /dev/null differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.1.log b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.1.log deleted file mode 100644 index 9801ad06d695e50127c3f4caabb96053f8feba77..0000000000000000000000000000000000000000 --- a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.1.log +++ /dev/null @@ -1,3175 +0,0 @@ -# Running on gpua005.delta.ncsa.illinois.edu -# Started at Tue Dec 19 07:29:08 CST 2023 -# SLURMD_NODENAME=gpua005 -# SLURM_CLUSTER_NAME=delta -# SLURM_CONF=/var/spool/slurmd/conf-cache/slurm.conf -# SLURM_CPUS_ON_NODE=64 -# SLURM_CPUS_PER_TASK=64 -# SLURM_EXPORT_ENV=PATH -# SLURM_GET_USER_ENV=1 -# SLURM_GPUS_ON_NODE=4 -# SLURM_GTIDS=0 -# SLURM_JOBID=2757381 -# SLURM_JOB_ACCOUNT=bbjs-delta-gpu -# SLURM_JOB_CPUS_PER_NODE='64(x16)' -# SLURM_JOB_END_TIME=1703165328 -# SLURM_JOB_GID=202 -# SLURM_JOB_GPUS=0,1,2,3 -# SLURM_JOB_ID=2757381 -# SLURM_JOB_NAME=exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.log -# SLURM_JOB_NODELIST='gpua[005,007-008,016,026,030,032,036,039,041,082,086,092,097-099]' -# SLURM_JOB_NUM_NODES=16 -# SLURM_JOB_PARTITION=gpuA100x4 -# SLURM_JOB_QOS=bbjs-delta-gpu -# SLURM_JOB_START_TIME=1702992528 -# SLURM_JOB_UID=68077 -# SLURM_JOB_USER=peng6 -# SLURM_LOCALID=0 -# SLURM_MEM_PER_NODE=240000 -# SLURM_NNODES=16 -# SLURM_NODEID=0 -# SLURM_NODELIST='gpua[005,007-008,016,026,030,032,036,039,041,082,086,092,097-099]' -# SLURM_NODE_ALIASES='(null)' -# SLURM_OPEN_MODE=a -# SLURM_PRIO_PROCESS=0 -# SLURM_PROCID=0 -# SLURM_SUBMIT_DIR=/scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1 -# SLURM_SUBMIT_HOST=dt-login01.delta.ncsa.illinois.edu -# SLURM_TASKS_PER_NODE='1(x16)' -# SLURM_TASK_PID=3000674 -# SLURM_TOPOLOGY_ADDR=ss00.ss05.gpua005 -# SLURM_TOPOLOGY_ADDR_PATTERN=switch.switch.node -# SLURM_WORKING_CLUSTER=delta:dt-sched:6817:9984:109 -# srun --export=ALL python3 -m espnet2.bin.s2t_train --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a -/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a -[gpua005:0/64] 2023-12-19 07:33:07,060 (distributed_c10d:319) INFO: Added key: store_based_barrier_key:1 to store for rank: 0 -[gpua005:0/64] 2023-12-19 07:33:08,654 (distributed_c10d:353) INFO: Rank 0: Completed store-based barrier for key:store_based_barrier_key:1 with 64 nodes. -[gpua005:0/64] 2023-12-19 07:33:08,685 (s2t:464) INFO: Vocabulary size: 50002 -[gpua005:0/64] 2023-12-19 07:33:21,834 (abs_task:1231) INFO: pytorch.version=1.13.1, cuda.available=True, cudnn.version=8500, cudnn.benchmark=False, cudnn.deterministic=True -[gpua005:0/64] 2023-12-19 07:33:21,845 (abs_task:1232) INFO: Model structure: -ESPnetS2TModel( - (frontend): DefaultFrontend( - (stft): Stft(n_fft=512, win_length=400, hop_length=160, center=True, normalized=False, onesided=True) - (frontend): Frontend() - (logmel): LogMel(sr=16000, n_fft=512, n_mels=80, fmin=0, fmax=8000.0, htk=False) - ) - (specaug): SpecAug( - (freq_mask): MaskAlongAxis(mask_width_range=[0, 27], num_mask=2, axis=freq) - (time_mask): MaskAlongAxisVariableMaxWidth(mask_width_ratio_range=[0.0, 0.05], num_mask=10, axis=time) - ) - (normalize): GlobalMVN(stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz, norm_means=True, norm_vars=True) - (encoder): EBranchformerEncoder( - (embed): Conv2dSubsampling( - (conv): Sequential( - (0): Conv2d(1, 1024, kernel_size=(3, 3), stride=(2, 2)) - (1): ReLU() - (2): Conv2d(1024, 1024, kernel_size=(3, 3), stride=(2, 2)) - (3): ReLU() - ) - (out): Sequential( - (0): Linear(in_features=19456, out_features=1024, bias=True) - (1): PositionalEncoding( - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - ) - (encoders): MultiSequential( - (0): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (1): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (2): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (3): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (4): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (5): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (6): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (7): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (8): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (9): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (10): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (11): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (12): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (13): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (14): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (15): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (16): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (17): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - ) - (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - ) - (decoder): TransformerDecoder( - (embed): Sequential( - (0): Embedding(50002, 1024) - (1): PositionalEncoding( - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (output_layer): Linear(in_features=1024, out_features=50002, bias=True) - (decoders): MultiSequential( - (0): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (1): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (2): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (3): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (4): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (5): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (6): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (7): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (8): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (9): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (10): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (11): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (12): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (13): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (14): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (15): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (16): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (17): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - ) - (criterion_att): LabelSmoothingLoss( - (criterion): KLDivLoss() - ) - (ctc): CTC( - (ctc_lo): Linear(in_features=1024, out_features=50002, bias=True) - (ctc_loss): CTCLoss() - ) -) - -Model summary: - Class Name: ESPnetS2TModel - Total Number of model parameters: 1.02 B - Number of trainable parameters: 1.02 B (100.0%) - Size: 4.07 GB - Type: torch.float32 -[gpua005:0/64] 2023-12-19 07:33:21,846 (abs_task:1235) INFO: Optimizer: -AdamW ( -Parameter Group 0 - amsgrad: False - betas: [0.9, 0.98] - capturable: False - eps: 1e-06 - foreach: None - initial_lr: 0.0002 - lr: 1.6666666666666667e-09 - maximize: False - weight_decay: 0.0 -) -[gpua005:0/64] 2023-12-19 07:33:21,846 (abs_task:1236) INFO: Scheduler: PiecewiseLinearWarmupLR(warmup_steps_list=[0, 30000, 60000], warmup_lr_list=[0.0, 5e-05, 0.0002]) -[gpua005:0/64] 2023-12-19 07:33:21,847 (abs_task:1245) INFO: Saving the configuration in exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/config.yaml -[gpua005:0/64] 2023-12-19 07:33:27,223 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-19 07:33:28,118 (abs_task:1616) INFO: [valid] dataset: -ESPnetDataset( - speech: {"path": "dump/raw/dev_v3/wav.scp", "type": "kaldi_ark"} - text_prev: {"path": "dump/raw/dev_v3/text.prev", "type": "text"} - text_ctc: {"path": "dump/raw/dev_v3/text.ctc", "type": "text"} - text: {"path": "dump/raw/dev_v3/text", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-19 07:33:28,118 (abs_task:1617) INFO: [valid] Batch sampler: UnsortedBatchSampler(N-batch=4671, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/valid/speech_shape, -[gpua005:0/64] 2023-12-19 07:33:28,119 (abs_task:1618) INFO: [valid] mini-batch sizes summary: N-batch=4671, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-19 07:33:55,294 (trainer:159) INFO: The training was resumed using exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/checkpoint.pth -gpua005:3000819:3000819 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> -gpua005:3000819:3000819 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua005:3000819:3000819 [0] NCCL INFO cudaDriverVersion 12020 -NCCL version 2.14.3+cuda11.7 -[gpua005:0/64] 2023-12-19 07:34:01,232 (trainer:284) INFO: 41/45epoch started -[gpua005:0/64] 2023-12-19 07:34:01,300 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua005:0/64] 2023-12-19 07:34:18,504 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-19 07:34:21,864 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-19 07:34:21,864 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua005:0/64] 2023-12-19 07:34:21,868 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -gpua097:3145433:3145433 [1] NCCL INFO cudaDriverVersion 12020 -gpua097:3145433:3145433 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.97<0> -gpua097:3145433:3145433 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua097:3145433:3145500 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.97<0> -gpua097:3145433:3145500 [1] NCCL INFO Using network IB -gpua097:3145433:3145500 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua097:3145433:3145500 [1] NCCL INFO Trees [0] 54/-1/-1->53->52 [1] 54/56/-1->53->52 -gpua097:3145433:3145500 [1] NCCL INFO Channel 00/0 : 53[46000] -> 54[85000] via P2P/IPC/read -gpua097:3145433:3145500 [1] NCCL INFO Channel 01/0 : 53[46000] -> 54[85000] via P2P/IPC/read -gpua097:3145433:3145500 [1] NCCL INFO Connected all rings -gpua097:3145433:3145500 [1] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [send] via NET/IB/0 -gpua097:3145433:3145500 [1] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [receive] via NET/IB/0 -gpua097:3145433:3145500 [1] NCCL INFO Channel 00/0 : 53[46000] -> 52[7000] via P2P/IPC/read -gpua097:3145433:3145500 [1] NCCL INFO Channel 01/0 : 53[46000] -> 52[7000] via P2P/IPC/read -gpua097:3145433:3145500 [1] NCCL INFO Connected all trees -gpua097:3145433:3145500 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua097:3145433:3145500 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua097:3145433:3145500 [1] NCCL INFO comm 0x13021700 rank 53 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua032:1037051:1037051 [2] NCCL INFO cudaDriverVersion 12020 -gpua032:1037051:1037051 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.32<0> -gpua032:1037051:1037051 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua032:1037051:1037112 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.32<0> -gpua032:1037051:1037112 [2] NCCL INFO Using network IB -gpua032:1037051:1037112 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua032:1037051:1037112 [2] NCCL INFO Trees [0] 27/-1/-1->26->25 [1] 27/-1/-1->26->25 -gpua032:1037051:1037112 [2] NCCL INFO Channel 00/0 : 26[85000] -> 27[c7000] via P2P/IPC/read -gpua032:1037051:1037112 [2] NCCL INFO Channel 01/0 : 26[85000] -> 27[c7000] via P2P/IPC/read -gpua032:1037051:1037112 [2] NCCL INFO Connected all rings -gpua032:1037051:1037112 [2] NCCL INFO Channel 00/0 : 26[85000] -> 25[46000] via P2P/IPC/read -gpua032:1037051:1037112 [2] NCCL INFO Channel 01/0 : 26[85000] -> 25[46000] via P2P/IPC/read -gpua032:1037051:1037112 [2] NCCL INFO Connected all trees -gpua032:1037051:1037112 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua032:1037051:1037112 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua032:1037051:1037112 [2] NCCL INFO comm 0x7f48183fa530 rank 26 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua032:1037049:1037049 [0] NCCL INFO cudaDriverVersion 12020 -gpua032:1037049:1037049 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.32<0> -gpua032:1037049:1037049 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua032:1037049:1037113 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.32<0> -gpua032:1037049:1037113 [0] NCCL INFO Using network IB -gpua032:1037049:1037113 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua032:1037049:1037113 [0] NCCL INFO Trees [0] 25/28/-1->24->16 [1] 25/-1/-1->24->21 -gpua032:1037049:1037113 [0] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 -gpua032:1037049:1037113 [0] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 -gpua032:1037049:1037113 [0] NCCL INFO Channel 00/0 : 24[7000] -> 25[46000] via P2P/IPC/read -gpua032:1037049:1037113 [0] NCCL INFO Channel 01/0 : 24[7000] -> 25[46000] via P2P/IPC/read -gpua032:1037049:1037113 [0] NCCL INFO Connected all rings -gpua032:1037049:1037113 [0] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [receive] via NET/IB/0 -gpua032:1037049:1037113 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [send] via NET/IB/0 -gpua032:1037049:1037113 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [receive] via NET/IB/0 -gpua032:1037049:1037113 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [send] via NET/IB/0 -gpua032:1037049:1037113 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [receive] via NET/IB/0 -gpua032:1037049:1037113 [0] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [send] via NET/IB/0 -gpua032:1037049:1037113 [0] NCCL INFO Connected all trees -gpua032:1037049:1037113 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua032:1037049:1037113 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua032:1037049:1037113 [0] NCCL INFO comm 0x1dc184a0 rank 24 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua097:3145432:3145432 [0] NCCL INFO cudaDriverVersion 12020 -gpua097:3145432:3145432 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.97<0> -gpua097:3145432:3145432 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua097:3145432:3145502 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.97<0> -gpua097:3145432:3145502 [0] NCCL INFO Using network IB -gpua097:3145432:3145502 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua097:3145432:3145502 [0] NCCL INFO Trees [0] 53/-1/-1->52->57 [1] 53/48/-1->52->45 -gpua097:3145432:3145502 [0] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 -gpua097:3145432:3145502 [0] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 -gpua097:3145432:3145502 [0] NCCL INFO Channel 00/0 : 52[7000] -> 53[46000] via P2P/IPC/read -gpua097:3145432:3145502 [0] NCCL INFO Channel 01/0 : 52[7000] -> 53[46000] via P2P/IPC/read -gpua097:3145432:3145502 [0] NCCL INFO Connected all rings -gpua097:3145432:3145502 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [receive] via NET/IB/0 -gpua097:3145432:3145502 [0] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [send] via NET/IB/0 -gpua097:3145432:3145502 [0] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [receive] via NET/IB/0 -gpua097:3145432:3145502 [0] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [send] via NET/IB/0 -gpua097:3145432:3145502 [0] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [receive] via NET/IB/0 -gpua097:3145432:3145502 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [send] via NET/IB/0 -gpua097:3145432:3145502 [0] NCCL INFO Connected all trees -gpua097:3145432:3145502 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua097:3145432:3145502 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua097:3145432:3145502 [0] NCCL INFO comm 0xbdfeb50 rank 52 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua005:3000819:3000888 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> -gpua005:3000819:3000888 [0] NCCL INFO Using network IB -gpua005:3000819:3000888 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua005:3000819:3000888 [0] NCCL INFO Channel 00/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 -gpua005:3000819:3000888 [0] NCCL INFO Channel 01/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 -gpua005:3000819:3000888 [0] NCCL INFO Trees [0] 1/32/-1->0->-1 [1] 1/-1/-1->0->4 -gpua005:3000819:3000888 [0] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 -gpua005:3000819:3000888 [0] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 -gpua005:3000819:3000888 [0] NCCL INFO Channel 00/0 : 0[7000] -> 1[46000] via P2P/IPC/read -gpua005:3000819:3000888 [0] NCCL INFO Channel 01/0 : 0[7000] -> 1[46000] via P2P/IPC/read -gpua005:3000819:3000888 [0] NCCL INFO Connected all rings -gpua005:3000819:3000888 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [send] via NET/IB/0 -gpua005:3000819:3000888 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [receive] via NET/IB/0 -gpua005:3000819:3000888 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [send] via NET/IB/0 -gpua005:3000819:3000888 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [receive] via NET/IB/0 -gpua005:3000819:3000888 [0] NCCL INFO Connected all trees -gpua005:3000819:3000888 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua005:3000819:3000888 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua005:3000819:3000888 [0] NCCL INFO comm 0xec8b50a0 rank 0 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua005:3000822:3000822 [3] NCCL INFO cudaDriverVersion 12020 -gpua005:3000822:3000822 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> -gpua005:3000822:3000822 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua005:3000822:3000891 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> -gpua005:3000822:3000891 [3] NCCL INFO Using network IB -gpua005:3000822:3000891 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua005:3000822:3000891 [3] NCCL INFO Trees [0] -1/-1/-1->3->2 [1] -1/-1/-1->3->2 -gpua005:3000822:3000891 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 -gpua005:3000822:3000891 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 -gpua005:3000822:3000891 [3] NCCL INFO Connected all rings -gpua005:3000822:3000891 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 2[85000] via P2P/IPC/read -gpua005:3000822:3000891 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 2[85000] via P2P/IPC/read -gpua005:3000822:3000891 [3] NCCL INFO Connected all trees -gpua005:3000822:3000891 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua005:3000822:3000891 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua005:3000822:3000891 [3] NCCL INFO comm 0xfe4bf10 rank 3 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua036:1186942:1186942 [3] NCCL INFO cudaDriverVersion 12020 -gpua036:1186942:1186942 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.36<0> -gpua036:1186942:1186942 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua036:1186942:1187014 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.36<0> -gpua036:1186942:1187014 [3] NCCL INFO Using network IB -gpua036:1186942:1187014 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua036:1186942:1187014 [3] NCCL INFO Trees [0] -1/-1/-1->31->30 [1] -1/-1/-1->31->30 -gpua036:1186942:1187014 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 -gpua036:1186942:1187014 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 -gpua036:1186942:1187014 [3] NCCL INFO Connected all rings -gpua036:1186942:1187014 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 30[85000] via P2P/IPC/read -gpua036:1186942:1187014 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 30[85000] via P2P/IPC/read -gpua036:1186942:1187014 [3] NCCL INFO Connected all trees -gpua036:1186942:1187014 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua036:1186942:1187014 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua036:1186942:1187014 [3] NCCL INFO comm 0x1915ef60 rank 31 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua008:2393224:2393224 [2] NCCL INFO cudaDriverVersion 12020 -gpua008:2393224:2393224 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.8<0> -gpua008:2393224:2393224 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua008:2393224:2393284 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.8<0> -gpua008:2393224:2393284 [2] NCCL INFO Using network IB -gpua008:2393224:2393284 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua008:2393224:2393284 [2] NCCL INFO Trees [0] 11/-1/-1->10->9 [1] 11/-1/-1->10->9 -gpua008:2393224:2393284 [2] NCCL INFO Channel 00/0 : 10[85000] -> 11[c7000] via P2P/IPC/read -gpua008:2393224:2393284 [2] NCCL INFO Channel 01/0 : 10[85000] -> 11[c7000] via P2P/IPC/read -gpua008:2393224:2393284 [2] NCCL INFO Connected all rings -gpua008:2393224:2393284 [2] NCCL INFO Channel 00/0 : 10[85000] -> 9[46000] via P2P/IPC/read -gpua008:2393224:2393284 [2] NCCL INFO Channel 01/0 : 10[85000] -> 9[46000] via P2P/IPC/read -gpua008:2393224:2393284 [2] NCCL INFO Connected all trees -gpua008:2393224:2393284 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua008:2393224:2393284 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua008:2393224:2393284 [2] NCCL INFO comm 0xad73630 rank 10 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua041:912684:912684 [1] NCCL INFO cudaDriverVersion 12020 -gpua041:912684:912684 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.41<0> -gpua041:912684:912684 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua041:912684:912753 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.41<0> -gpua041:912684:912753 [1] NCCL INFO Using network IB -gpua041:912684:912753 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua041:912684:912753 [1] NCCL INFO Trees [0] 38/-1/-1->37->36 [1] 38/40/-1->37->36 -gpua041:912684:912753 [1] NCCL INFO Channel 00/0 : 37[46000] -> 38[85000] via P2P/IPC/read -gpua041:912684:912753 [1] NCCL INFO Channel 01/0 : 37[46000] -> 38[85000] via P2P/IPC/read -gpua041:912684:912753 [1] NCCL INFO Connected all rings -gpua041:912684:912753 [1] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [send] via NET/IB/0 -gpua041:912684:912753 [1] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [receive] via NET/IB/0 -gpua041:912684:912753 [1] NCCL INFO Channel 00/0 : 37[46000] -> 36[7000] via P2P/IPC/read -gpua041:912684:912753 [1] NCCL INFO Channel 01/0 : 37[46000] -> 36[7000] via P2P/IPC/read -gpua041:912684:912753 [1] NCCL INFO Connected all trees -gpua041:912684:912753 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua041:912684:912753 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua041:912684:912753 [1] NCCL INFO comm 0x101741b0 rank 37 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua098:480539:480539 [2] NCCL INFO cudaDriverVersion 12020 -gpua098:480539:480539 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.98<0> -gpua098:480539:480539 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua098:480539:480603 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.98<0> -gpua098:480539:480603 [2] NCCL INFO Using network IB -gpua098:480539:480603 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua098:480539:480603 [2] NCCL INFO Trees [0] 59/-1/-1->58->57 [1] 59/-1/-1->58->57 -gpua098:480539:480603 [2] NCCL INFO Channel 00/0 : 58[85000] -> 59[c7000] via P2P/IPC/read -gpua098:480539:480603 [2] NCCL INFO Channel 01/0 : 58[85000] -> 59[c7000] via P2P/IPC/read -gpua098:480539:480603 [2] NCCL INFO Connected all rings -gpua098:480539:480603 [2] NCCL INFO Channel 00/0 : 58[85000] -> 57[46000] via P2P/IPC/read -gpua098:480539:480603 [2] NCCL INFO Channel 01/0 : 58[85000] -> 57[46000] via P2P/IPC/read -gpua098:480539:480603 [2] NCCL INFO Connected all trees -gpua098:480539:480603 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua098:480539:480603 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua098:480539:480603 [2] NCCL INFO comm 0x93235d10 rank 58 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua092:1040047:1040047 [1] NCCL INFO cudaDriverVersion 12020 -gpua092:1040047:1040047 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.92<0> -gpua092:1040047:1040047 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua092:1040047:1040119 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.92<0> -gpua092:1040047:1040119 [1] NCCL INFO Using network IB -gpua092:1040047:1040119 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua092:1040047:1040119 [1] NCCL INFO Trees [0] 50/40/-1->49->48 [1] 50/-1/-1->49->48 -gpua092:1040047:1040119 [1] NCCL INFO Channel 00/0 : 49[46000] -> 50[85000] via P2P/IPC/read -gpua092:1040047:1040119 [1] NCCL INFO Channel 01/0 : 49[46000] -> 50[85000] via P2P/IPC/read -gpua092:1040047:1040119 [1] NCCL INFO Connected all rings -gpua092:1040047:1040119 [1] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [receive] via NET/IB/0 -gpua092:1040047:1040119 [1] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [send] via NET/IB/0 -gpua092:1040047:1040119 [1] NCCL INFO Channel 00/0 : 49[46000] -> 48[7000] via P2P/IPC/read -gpua092:1040047:1040119 [1] NCCL INFO Channel 01/0 : 49[46000] -> 48[7000] via P2P/IPC/read -gpua092:1040047:1040119 [1] NCCL INFO Connected all trees -gpua092:1040047:1040119 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua092:1040047:1040119 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua092:1040047:1040119 [1] NCCL INFO comm 0xf9379e0 rank 49 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua016:1316130:1316130 [3] NCCL INFO cudaDriverVersion 12020 -gpua016:1316130:1316130 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.16<0> -gpua016:1316130:1316130 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua016:1316130:1316194 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.16<0> -gpua016:1316130:1316194 [3] NCCL INFO Using network IB -gpua016:1316130:1316194 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua016:1316130:1316194 [3] NCCL INFO Trees [0] -1/-1/-1->15->14 [1] -1/-1/-1->15->14 -gpua016:1316130:1316194 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 -gpua016:1316130:1316194 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 -gpua016:1316130:1316194 [3] NCCL INFO Connected all rings -gpua016:1316130:1316194 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 14[85000] via P2P/IPC/read -gpua016:1316130:1316194 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 14[85000] via P2P/IPC/read -gpua016:1316130:1316194 [3] NCCL INFO Connected all trees -gpua016:1316130:1316194 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua016:1316130:1316194 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua016:1316130:1316194 [3] NCCL INFO comm 0x10199290 rank 15 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua016:1316127:1316127 [0] NCCL INFO cudaDriverVersion 12020 -gpua016:1316127:1316127 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.16<0> -gpua016:1316127:1316127 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua016:1316127:1316195 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.16<0> -gpua016:1316127:1316195 [0] NCCL INFO Using network IB -gpua016:1316127:1316195 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua016:1316127:1316195 [0] NCCL INFO Trees [0] 13/-1/-1->12->8 [1] 13/4/-1->12->28 -gpua016:1316127:1316195 [0] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 -gpua016:1316127:1316195 [0] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 -gpua016:1316127:1316195 [0] NCCL INFO Channel 00/0 : 12[7000] -> 13[46000] via P2P/IPC/read -gpua016:1316127:1316195 [0] NCCL INFO Channel 01/0 : 12[7000] -> 13[46000] via P2P/IPC/read -gpua016:1316127:1316195 [0] NCCL INFO Connected all rings -gpua016:1316127:1316195 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [receive] via NET/IB/0 -gpua016:1316127:1316195 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [receive] via NET/IB/0 -gpua016:1316127:1316195 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [send] via NET/IB/0 -gpua016:1316127:1316195 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [receive] via NET/IB/0 -gpua016:1316127:1316195 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [send] via NET/IB/0 -gpua016:1316127:1316195 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [send] via NET/IB/0 -gpua016:1316127:1316195 [0] NCCL INFO Connected all trees -gpua016:1316127:1316195 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua016:1316127:1316195 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua016:1316127:1316195 [0] NCCL INFO comm 0xf1c430a0 rank 12 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua008:2393225:2393225 [3] NCCL INFO cudaDriverVersion 12020 -gpua008:2393225:2393225 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.8<0> -gpua008:2393225:2393225 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua008:2393225:2393290 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.8<0> -gpua008:2393225:2393290 [3] NCCL INFO Using network IB -gpua008:2393225:2393290 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua008:2393225:2393290 [3] NCCL INFO Trees [0] -1/-1/-1->11->10 [1] -1/-1/-1->11->10 -gpua008:2393225:2393290 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 -gpua008:2393225:2393290 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 -gpua008:2393225:2393290 [3] NCCL INFO Connected all rings -gpua008:2393225:2393290 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 10[85000] via P2P/IPC/read -gpua008:2393225:2393290 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 10[85000] via P2P/IPC/read -gpua008:2393225:2393290 [3] NCCL INFO Connected all trees -gpua008:2393225:2393290 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua008:2393225:2393290 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua008:2393225:2393290 [3] NCCL INFO comm 0x1b692a90 rank 11 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua092:1040046:1040046 [0] NCCL INFO cudaDriverVersion 12020 -gpua092:1040046:1040046 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.92<0> -gpua092:1040046:1040046 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua092:1040046:1040116 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.92<0> -gpua092:1040046:1040116 [0] NCCL INFO Using network IB -gpua092:1040046:1040116 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua092:1040046:1040116 [0] NCCL INFO Trees [0] 49/56/-1->48->32 [1] 49/-1/-1->48->52 -gpua092:1040046:1040116 [0] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 -gpua092:1040046:1040116 [0] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 -gpua092:1040046:1040116 [0] NCCL INFO Channel 00/0 : 48[7000] -> 49[46000] via P2P/IPC/read -gpua092:1040046:1040116 [0] NCCL INFO Channel 01/0 : 48[7000] -> 49[46000] via P2P/IPC/read -gpua092:1040046:1040116 [0] NCCL INFO Connected all rings -gpua032:1037052:1037052 [3] NCCL INFO cudaDriverVersion 12020 -gpua032:1037052:1037052 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.32<0> -gpua032:1037052:1037052 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua032:1037052:1037111 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.32<0> -gpua032:1037052:1037111 [3] NCCL INFO Using network IB -gpua032:1037052:1037111 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua032:1037052:1037111 [3] NCCL INFO Trees [0] -1/-1/-1->27->26 [1] -1/-1/-1->27->26 -gpua032:1037052:1037111 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 -gpua032:1037052:1037111 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 -gpua032:1037052:1037111 [3] NCCL INFO Connected all rings -gpua032:1037052:1037111 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 26[85000] via P2P/IPC/read -gpua032:1037052:1037111 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 26[85000] via P2P/IPC/read -gpua092:1040046:1040116 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [send] via NET/IB/0 -gpua092:1040046:1040116 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [send] via NET/IB/0 -gpua092:1040046:1040116 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [receive] via NET/IB/0 -gpua092:1040046:1040116 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [send] via NET/IB/0 -gpua092:1040046:1040116 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [receive] via NET/IB/0 -gpua092:1040046:1040116 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [receive] via NET/IB/0 -gpua092:1040046:1040116 [0] NCCL INFO Connected all trees -gpua092:1040046:1040116 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua092:1040046:1040116 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua092:1040046:1040116 [0] NCCL INFO comm 0xcd2ba40 rank 48 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua032:1037052:1037111 [3] NCCL INFO Connected all trees -gpua032:1037052:1037111 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua032:1037052:1037111 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua032:1037052:1037111 [3] NCCL INFO comm 0x1e40f0d0 rank 27 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua036:1186941:1186941 [2] NCCL INFO cudaDriverVersion 12020 -gpua036:1186941:1186941 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.36<0> -gpua036:1186941:1186941 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua036:1186941:1187016 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.36<0> -gpua036:1186941:1187016 [2] NCCL INFO Using network IB -gpua036:1186941:1187016 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua036:1186941:1187016 [2] NCCL INFO Trees [0] 31/-1/-1->30->29 [1] 31/-1/-1->30->29 -gpua036:1186941:1187016 [2] NCCL INFO Channel 00/0 : 30[85000] -> 31[c7000] via P2P/IPC/read -gpua036:1186941:1187016 [2] NCCL INFO Channel 01/0 : 30[85000] -> 31[c7000] via P2P/IPC/read -gpua036:1186941:1187016 [2] NCCL INFO Connected all rings -gpua036:1186941:1187016 [2] NCCL INFO Channel 00/0 : 30[85000] -> 29[46000] via P2P/IPC/read -gpua036:1186941:1187016 [2] NCCL INFO Channel 01/0 : 30[85000] -> 29[46000] via P2P/IPC/read -gpua036:1186941:1187016 [2] NCCL INFO Connected all trees -gpua036:1186941:1187016 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua036:1186941:1187016 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua036:1186941:1187016 [2] NCCL INFO comm 0x1ddfcf40 rank 30 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua032:1037050:1037050 [1] NCCL INFO cudaDriverVersion 12020 -gpua032:1037050:1037050 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.32<0> -gpua032:1037050:1037050 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua032:1037050:1037114 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.32<0> -gpua032:1037050:1037114 [1] NCCL INFO Using network IB -gpua032:1037050:1037114 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua032:1037050:1037114 [1] NCCL INFO Trees [0] 26/20/-1->25->24 [1] 26/-1/-1->25->24 -gpua032:1037050:1037114 [1] NCCL INFO Channel 00/0 : 25[46000] -> 26[85000] via P2P/IPC/read -gpua032:1037050:1037114 [1] NCCL INFO Channel 01/0 : 25[46000] -> 26[85000] via P2P/IPC/read -gpua032:1037050:1037114 [1] NCCL INFO Connected all rings -gpua032:1037050:1037114 [1] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [receive] via NET/IB/0 -gpua032:1037050:1037114 [1] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [send] via NET/IB/0 -gpua032:1037050:1037114 [1] NCCL INFO Channel 00/0 : 25[46000] -> 24[7000] via P2P/IPC/read -gpua032:1037050:1037114 [1] NCCL INFO Channel 01/0 : 25[46000] -> 24[7000] via P2P/IPC/read -gpua032:1037050:1037114 [1] NCCL INFO Connected all trees -gpua032:1037050:1037114 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua032:1037050:1037114 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua032:1037050:1037114 [1] NCCL INFO comm 0x9c5e4c50 rank 25 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua098:480537:480537 [0] NCCL INFO cudaDriverVersion 12020 -gpua098:480537:480537 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.98<0> -gpua098:480537:480537 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua098:480537:480601 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.98<0> -gpua098:480537:480601 [0] NCCL INFO Using network IB -gpua098:480537:480601 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua098:480537:480601 [0] NCCL INFO Trees [0] 57/60/-1->56->48 [1] 57/-1/-1->56->53 -gpua098:480537:480601 [0] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 -gpua098:480537:480601 [0] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 -gpua098:480537:480601 [0] NCCL INFO Channel 00/0 : 56[7000] -> 57[46000] via P2P/IPC/read -gpua098:480537:480601 [0] NCCL INFO Channel 01/0 : 56[7000] -> 57[46000] via P2P/IPC/read -gpua098:480537:480601 [0] NCCL INFO Connected all rings -gpua099:959113:959113 [2] NCCL INFO cudaDriverVersion 12020 -gpua099:959113:959113 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.99<0> -gpua099:959113:959113 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua099:959113:959175 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.99<0> -gpua099:959113:959175 [2] NCCL INFO Using network IB -gpua099:959113:959175 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua099:959113:959175 [2] NCCL INFO Trees [0] 63/-1/-1->62->61 [1] 63/-1/-1->62->61 -gpua099:959113:959175 [2] NCCL INFO Channel 00/0 : 62[85000] -> 63[c7000] via P2P/IPC/read -gpua099:959113:959175 [2] NCCL INFO Channel 01/0 : 62[85000] -> 63[c7000] via P2P/IPC/read -gpua099:959113:959175 [2] NCCL INFO Connected all rings -gpua099:959113:959175 [2] NCCL INFO Channel 00/0 : 62[85000] -> 61[46000] via P2P/IPC/read -gpua099:959113:959175 [2] NCCL INFO Channel 01/0 : 62[85000] -> 61[46000] via P2P/IPC/read -gpua036:1186939:1186939 [0] NCCL INFO cudaDriverVersion 12020 -gpua036:1186939:1186939 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.36<0> -gpua036:1186939:1186939 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua036:1186939:1187013 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.36<0> -gpua036:1186939:1187013 [0] NCCL INFO Using network IB -gpua036:1186939:1187013 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua036:1186939:1187013 [0] NCCL INFO Trees [0] 29/-1/-1->28->24 [1] 29/12/-1->28->60 -gpua036:1186939:1187013 [0] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 -gpua036:1186939:1187013 [0] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 -gpua036:1186939:1187013 [0] NCCL INFO Channel 00/0 : 28[7000] -> 29[46000] via P2P/IPC/read -gpua036:1186939:1187013 [0] NCCL INFO Channel 01/0 : 28[7000] -> 29[46000] via P2P/IPC/read -gpua036:1186939:1187013 [0] NCCL INFO Connected all rings -gpua098:480537:480601 [0] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [receive] via NET/IB/0 -gpua098:480537:480601 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [send] via NET/IB/0 -gpua098:480537:480601 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [receive] via NET/IB/0 -gpua098:480537:480601 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [send] via NET/IB/0 -gpua098:480537:480601 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [receive] via NET/IB/0 -gpua098:480537:480601 [0] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [send] via NET/IB/0 -gpua098:480537:480601 [0] NCCL INFO Connected all trees -gpua098:480537:480601 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua098:480537:480601 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua098:480537:480601 [0] NCCL INFO comm 0x9bf03fe0 rank 56 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua099:959113:959175 [2] NCCL INFO Connected all trees -gpua099:959113:959175 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua099:959113:959175 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua099:959113:959175 [2] NCCL INFO comm 0x11bee360 rank 62 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua036:1186939:1187013 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [receive] via NET/IB/0 -gpua036:1186939:1187013 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [receive] via NET/IB/0 -gpua036:1186939:1187013 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [receive] via NET/IB/0 -gpua036:1186939:1187013 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [send] via NET/IB/0 -gpua036:1186939:1187013 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [send] via NET/IB/0 -gpua036:1186939:1187013 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [send] via NET/IB/0 -gpua036:1186939:1187013 [0] NCCL INFO Connected all trees -gpua036:1186939:1187013 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua036:1186939:1187013 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua036:1186939:1187013 [0] NCCL INFO comm 0xb92bc00 rank 28 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua099:959111:959111 [0] NCCL INFO cudaDriverVersion 12020 -gpua099:959111:959111 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.99<0> -gpua099:959111:959111 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua099:959111:959181 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.99<0> -gpua099:959111:959181 [0] NCCL INFO Using network IB -gpua099:959111:959181 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua099:959111:959181 [0] NCCL INFO Trees [0] 61/-1/-1->60->56 [1] 61/28/-1->60->-1 -gpua099:959111:959181 [0] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 -gpua099:959111:959181 [0] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 -gpua099:959111:959181 [0] NCCL INFO Channel 00/0 : 60[7000] -> 61[46000] via P2P/IPC/read -gpua099:959111:959181 [0] NCCL INFO Channel 01/0 : 60[7000] -> 61[46000] via P2P/IPC/read -gpua099:959111:959181 [0] NCCL INFO Connected all rings -gpua099:959111:959181 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [receive] via NET/IB/0 -gpua099:959111:959181 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [receive] via NET/IB/0 -gpua099:959111:959181 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [send] via NET/IB/0 -gpua099:959111:959181 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [send] via NET/IB/0 -gpua099:959111:959181 [0] NCCL INFO Connected all trees -gpua099:959111:959181 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua099:959111:959181 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua099:959111:959181 [0] NCCL INFO comm 0xcf27c40 rank 60 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua036:1186940:1186940 [1] NCCL INFO cudaDriverVersion 12020 -gpua036:1186940:1186940 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.36<0> -gpua036:1186940:1186940 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua036:1186940:1187015 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.36<0> -gpua036:1186940:1187015 [1] NCCL INFO Using network IB -gpua036:1186940:1187015 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua036:1186940:1187015 [1] NCCL INFO Trees [0] 30/-1/-1->29->28 [1] 30/44/-1->29->28 -gpua036:1186940:1187015 [1] NCCL INFO Channel 00/0 : 29[46000] -> 30[85000] via P2P/IPC/read -gpua036:1186940:1187015 [1] NCCL INFO Channel 01/0 : 29[46000] -> 30[85000] via P2P/IPC/read -gpua036:1186940:1187015 [1] NCCL INFO Connected all rings -gpua036:1186940:1187015 [1] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [send] via NET/IB/0 -gpua036:1186940:1187015 [1] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [receive] via NET/IB/0 -gpua036:1186940:1187015 [1] NCCL INFO Channel 00/0 : 29[46000] -> 28[7000] via P2P/IPC/read -gpua036:1186940:1187015 [1] NCCL INFO Channel 01/0 : 29[46000] -> 28[7000] via P2P/IPC/read -gpua036:1186940:1187015 [1] NCCL INFO Connected all trees -gpua036:1186940:1187015 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua036:1186940:1187015 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua036:1186940:1187015 [1] NCCL INFO comm 0xe706d820 rank 29 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua041:912686:912686 [3] NCCL INFO cudaDriverVersion 12020 -gpua041:912686:912686 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.41<0> -gpua041:912686:912686 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua041:912686:912754 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.41<0> -gpua041:912686:912754 [3] NCCL INFO Using network IB -gpua041:912686:912754 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua041:912686:912754 [3] NCCL INFO Trees [0] -1/-1/-1->39->38 [1] -1/-1/-1->39->38 -gpua041:912686:912754 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 -gpua041:912686:912754 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 -gpua041:912686:912754 [3] NCCL INFO Connected all rings -gpua041:912686:912754 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 38[85000] via P2P/IPC/read -gpua041:912686:912754 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 38[85000] via P2P/IPC/read -gpua041:912686:912754 [3] NCCL INFO Connected all trees -gpua041:912686:912754 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua041:912686:912754 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua041:912686:912754 [3] NCCL INFO comm 0x15030540 rank 39 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua041:912685:912685 [2] NCCL INFO cudaDriverVersion 12020 -gpua041:912685:912685 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.41<0> -gpua041:912685:912685 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua041:912685:912751 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.41<0> -gpua041:912685:912751 [2] NCCL INFO Using network IB -gpua041:912685:912751 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua041:912685:912751 [2] NCCL INFO Trees [0] 39/-1/-1->38->37 [1] 39/-1/-1->38->37 -gpua041:912685:912751 [2] NCCL INFO Channel 00/0 : 38[85000] -> 39[c7000] via P2P/IPC/read -gpua041:912685:912751 [2] NCCL INFO Channel 01/0 : 38[85000] -> 39[c7000] via P2P/IPC/read -gpua041:912685:912751 [2] NCCL INFO Connected all rings -gpua041:912685:912751 [2] NCCL INFO Channel 00/0 : 38[85000] -> 37[46000] via P2P/IPC/read -gpua041:912685:912751 [2] NCCL INFO Channel 01/0 : 38[85000] -> 37[46000] via P2P/IPC/read -gpua092:1040048:1040048 [2] NCCL INFO cudaDriverVersion 12020 -gpua092:1040048:1040048 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.92<0> -gpua092:1040048:1040048 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua092:1040048:1040114 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.92<0> -gpua092:1040048:1040114 [2] NCCL INFO Using network IB -gpua092:1040048:1040114 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua092:1040048:1040114 [2] NCCL INFO Trees [0] 51/-1/-1->50->49 [1] 51/-1/-1->50->49 -gpua092:1040048:1040114 [2] NCCL INFO Channel 00/0 : 50[85000] -> 51[c7000] via P2P/IPC/read -gpua092:1040048:1040114 [2] NCCL INFO Channel 01/0 : 50[85000] -> 51[c7000] via P2P/IPC/read -gpua092:1040048:1040114 [2] NCCL INFO Connected all rings -gpua092:1040048:1040114 [2] NCCL INFO Channel 00/0 : 50[85000] -> 49[46000] via P2P/IPC/read -gpua092:1040048:1040114 [2] NCCL INFO Channel 01/0 : 50[85000] -> 49[46000] via P2P/IPC/read -gpua005:3000820:3000820 [1] NCCL INFO cudaDriverVersion 12020 -gpua005:3000820:3000820 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> -gpua005:3000820:3000820 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua005:3000820:3000889 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> -gpua005:3000820:3000889 [1] NCCL INFO Using network IB -gpua005:3000820:3000889 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua005:3000820:3000889 [1] NCCL INFO Trees [0] 2/-1/-1->1->0 [1] 2/-1/-1->1->0 -gpua005:3000820:3000889 [1] NCCL INFO Channel 00/0 : 1[46000] -> 2[85000] via P2P/IPC/read -gpua005:3000820:3000889 [1] NCCL INFO Channel 01/0 : 1[46000] -> 2[85000] via P2P/IPC/read -gpua005:3000820:3000889 [1] NCCL INFO Connected all rings -gpua005:3000820:3000889 [1] NCCL INFO Channel 00/0 : 1[46000] -> 0[7000] via P2P/IPC/read -gpua005:3000820:3000889 [1] NCCL INFO Channel 01/0 : 1[46000] -> 0[7000] via P2P/IPC/read -gpua041:912685:912751 [2] NCCL INFO Connected all trees -gpua041:912685:912751 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua041:912685:912751 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua041:912685:912751 [2] NCCL INFO comm 0xe323e00 rank 38 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua092:1040048:1040114 [2] NCCL INFO Connected all trees -gpua092:1040048:1040114 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua092:1040048:1040114 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua092:1040048:1040114 [2] NCCL INFO comm 0x7fcefa7d9560 rank 50 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua005:3000820:3000889 [1] NCCL INFO Connected all trees -gpua005:3000820:3000889 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua005:3000820:3000889 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua005:3000820:3000889 [1] NCCL INFO comm 0xea2683a0 rank 1 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua041:912683:912683 [0] NCCL INFO cudaDriverVersion 12020 -gpua041:912683:912683 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.41<0> -gpua041:912683:912683 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua041:912683:912752 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.41<0> -gpua041:912683:912752 [0] NCCL INFO Using network IB -gpua041:912683:912752 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua041:912683:912752 [0] NCCL INFO Trees [0] 37/-1/-1->36->41 [1] 37/32/-1->36->44 -gpua041:912683:912752 [0] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 -gpua041:912683:912752 [0] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 -gpua041:912683:912752 [0] NCCL INFO Channel 00/0 : 36[7000] -> 37[46000] via P2P/IPC/read -gpua041:912683:912752 [0] NCCL INFO Channel 01/0 : 36[7000] -> 37[46000] via P2P/IPC/read -gpua041:912683:912752 [0] NCCL INFO Connected all rings -gpua041:912683:912752 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [receive] via NET/IB/0 -gpua041:912683:912752 [0] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [send] via NET/IB/0 -gpua041:912683:912752 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [send] via NET/IB/0 -gpua041:912683:912752 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [receive] via NET/IB/0 -gpua041:912683:912752 [0] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [receive] via NET/IB/0 -gpua041:912683:912752 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [send] via NET/IB/0 -gpua041:912683:912752 [0] NCCL INFO Connected all trees -gpua041:912683:912752 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua041:912683:912752 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua041:912683:912752 [0] NCCL INFO comm 0x18ba7e70 rank 36 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua005:3000821:3000821 [2] NCCL INFO cudaDriverVersion 12020 -gpua005:3000821:3000821 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> -gpua005:3000821:3000821 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua005:3000821:3000890 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> -gpua005:3000821:3000890 [2] NCCL INFO Using network IB -gpua005:3000821:3000890 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua005:3000821:3000890 [2] NCCL INFO Trees [0] 3/-1/-1->2->1 [1] 3/-1/-1->2->1 -gpua005:3000821:3000890 [2] NCCL INFO Channel 00/0 : 2[85000] -> 3[c7000] via P2P/IPC/read -gpua005:3000821:3000890 [2] NCCL INFO Channel 01/0 : 2[85000] -> 3[c7000] via P2P/IPC/read -gpua005:3000821:3000890 [2] NCCL INFO Connected all rings -gpua005:3000821:3000890 [2] NCCL INFO Channel 00/0 : 2[85000] -> 1[46000] via P2P/IPC/read -gpua005:3000821:3000890 [2] NCCL INFO Channel 01/0 : 2[85000] -> 1[46000] via P2P/IPC/read -gpua005:3000821:3000890 [2] NCCL INFO Connected all trees -gpua005:3000821:3000890 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua005:3000821:3000890 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua005:3000821:3000890 [2] NCCL INFO comm 0xb3e7930 rank 2 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua016:1316128:1316128 [1] NCCL INFO cudaDriverVersion 12020 -gpua016:1316128:1316128 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.16<0> -gpua016:1316128:1316128 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua016:1316128:1316193 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.16<0> -gpua016:1316128:1316193 [1] NCCL INFO Using network IB -gpua016:1316128:1316193 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua016:1316128:1316193 [1] NCCL INFO Trees [0] 14/-1/-1->13->12 [1] 14/20/-1->13->12 -gpua016:1316128:1316193 [1] NCCL INFO Channel 00/0 : 13[46000] -> 14[85000] via P2P/IPC/read -gpua016:1316128:1316193 [1] NCCL INFO Channel 01/0 : 13[46000] -> 14[85000] via P2P/IPC/read -gpua016:1316128:1316193 [1] NCCL INFO Connected all rings -gpua016:1316128:1316193 [1] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [send] via NET/IB/0 -gpua016:1316128:1316193 [1] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [receive] via NET/IB/0 -gpua016:1316128:1316193 [1] NCCL INFO Channel 00/0 : 13[46000] -> 12[7000] via P2P/IPC/read -gpua016:1316128:1316193 [1] NCCL INFO Channel 01/0 : 13[46000] -> 12[7000] via P2P/IPC/read -gpua016:1316128:1316193 [1] NCCL INFO Connected all trees -gpua016:1316128:1316193 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua016:1316128:1316193 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua016:1316128:1316193 [1] NCCL INFO comm 0x9a131ad0 rank 13 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua099:959112:959112 [1] NCCL INFO cudaDriverVersion 12020 -gpua099:959112:959112 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.99<0> -gpua099:959112:959112 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua099:959112:959178 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.99<0> -gpua099:959112:959178 [1] NCCL INFO Using network IB -gpua099:959112:959178 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua099:959112:959178 [1] NCCL INFO Trees [0] 62/-1/-1->61->60 [1] 62/-1/-1->61->60 -gpua099:959112:959178 [1] NCCL INFO Channel 00/0 : 61[46000] -> 62[85000] via P2P/IPC/read -gpua099:959112:959178 [1] NCCL INFO Channel 01/0 : 61[46000] -> 62[85000] via P2P/IPC/read -gpua099:959112:959178 [1] NCCL INFO Connected all rings -gpua099:959112:959178 [1] NCCL INFO Channel 00/0 : 61[46000] -> 60[7000] via P2P/IPC/read -gpua099:959112:959178 [1] NCCL INFO Channel 01/0 : 61[46000] -> 60[7000] via P2P/IPC/read -gpua099:959112:959178 [1] NCCL INFO Connected all trees -gpua099:959112:959178 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua099:959112:959178 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua099:959112:959178 [1] NCCL INFO comm 0xdc8fe60 rank 61 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua098:480540:480540 [3] NCCL INFO cudaDriverVersion 12020 -gpua098:480540:480540 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.98<0> -gpua098:480540:480540 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua098:480540:480597 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.98<0> -gpua098:480540:480597 [3] NCCL INFO Using network IB -gpua098:480540:480597 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua098:480540:480597 [3] NCCL INFO Trees [0] -1/-1/-1->59->58 [1] -1/-1/-1->59->58 -gpua098:480540:480597 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 -gpua098:480540:480597 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 -gpua098:480540:480597 [3] NCCL INFO Connected all rings -gpua098:480540:480597 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 58[85000] via P2P/IPC/read -gpua098:480540:480597 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 58[85000] via P2P/IPC/read -gpua098:480540:480597 [3] NCCL INFO Connected all trees -gpua098:480540:480597 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua098:480540:480597 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua098:480540:480597 [3] NCCL INFO comm 0x7f6ec38fa560 rank 59 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua008:2393223:2393223 [1] NCCL INFO cudaDriverVersion 12020 -gpua008:2393223:2393223 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.8<0> -gpua008:2393223:2393223 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua008:2393223:2393286 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.8<0> -gpua008:2393223:2393286 [1] NCCL INFO Using network IB -gpua008:2393223:2393286 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua008:2393223:2393286 [1] NCCL INFO Trees [0] 10/4/-1->9->8 [1] 10/-1/-1->9->8 -gpua008:2393223:2393286 [1] NCCL INFO Channel 00/0 : 9[46000] -> 10[85000] via P2P/IPC/read -gpua008:2393223:2393286 [1] NCCL INFO Channel 01/0 : 9[46000] -> 10[85000] via P2P/IPC/read -gpua008:2393223:2393286 [1] NCCL INFO Connected all rings -gpua008:2393223:2393286 [1] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [receive] via NET/IB/0 -gpua008:2393223:2393286 [1] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [send] via NET/IB/0 -gpua008:2393223:2393286 [1] NCCL INFO Channel 00/0 : 9[46000] -> 8[7000] via P2P/IPC/read -gpua008:2393223:2393286 [1] NCCL INFO Channel 01/0 : 9[46000] -> 8[7000] via P2P/IPC/read -gpua008:2393223:2393286 [1] NCCL INFO Connected all trees -gpua008:2393223:2393286 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua008:2393223:2393286 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua008:2393223:2393286 [1] NCCL INFO comm 0xe9ce07a0 rank 9 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua098:480538:480538 [1] NCCL INFO cudaDriverVersion 12020 -gpua098:480538:480538 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.98<0> -gpua098:480538:480538 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua098:480538:480599 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.98<0> -gpua098:480538:480599 [1] NCCL INFO Using network IB -gpua098:480538:480599 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua098:480538:480599 [1] NCCL INFO Trees [0] 58/52/-1->57->56 [1] 58/-1/-1->57->56 -gpua098:480538:480599 [1] NCCL INFO Channel 00/0 : 57[46000] -> 58[85000] via P2P/IPC/read -gpua098:480538:480599 [1] NCCL INFO Channel 01/0 : 57[46000] -> 58[85000] via P2P/IPC/read -gpua098:480538:480599 [1] NCCL INFO Connected all rings -gpua098:480538:480599 [1] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [receive] via NET/IB/0 -gpua098:480538:480599 [1] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [send] via NET/IB/0 -gpua098:480538:480599 [1] NCCL INFO Channel 00/0 : 57[46000] -> 56[7000] via P2P/IPC/read -gpua098:480538:480599 [1] NCCL INFO Channel 01/0 : 57[46000] -> 56[7000] via P2P/IPC/read -gpua098:480538:480599 [1] NCCL INFO Connected all trees -gpua098:480538:480599 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua098:480538:480599 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua098:480538:480599 [1] NCCL INFO comm 0xd690810 rank 57 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua099:959114:959114 [3] NCCL INFO cudaDriverVersion 12020 -gpua099:959114:959114 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.99<0> -gpua099:959114:959114 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua099:959114:959177 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.99<0> -gpua099:959114:959177 [3] NCCL INFO Using network IB -gpua099:959114:959177 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua099:959114:959177 [3] NCCL INFO Trees [0] -1/-1/-1->63->62 [1] -1/-1/-1->63->62 -gpua099:959114:959177 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 -gpua099:959114:959177 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 -gpua099:959114:959177 [3] NCCL INFO Connected all rings -gpua099:959114:959177 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 62[85000] via P2P/IPC/read -gpua099:959114:959177 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 62[85000] via P2P/IPC/read -gpua099:959114:959177 [3] NCCL INFO Connected all trees -gpua099:959114:959177 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua099:959114:959177 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua099:959114:959177 [3] NCCL INFO comm 0xc6ab920 rank 63 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua008:2393222:2393222 [0] NCCL INFO cudaDriverVersion 12020 -gpua008:2393222:2393222 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.8<0> -gpua008:2393222:2393222 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua008:2393222:2393287 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.8<0> -gpua008:2393222:2393287 [0] NCCL INFO Using network IB -gpua008:2393222:2393287 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua008:2393222:2393287 [0] NCCL INFO Trees [0] 9/12/-1->8->17 [1] 9/-1/-1->8->5 -gpua008:2393222:2393287 [0] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 -gpua008:2393222:2393287 [0] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 -gpua008:2393222:2393287 [0] NCCL INFO Channel 00/0 : 8[7000] -> 9[46000] via P2P/IPC/read -gpua008:2393222:2393287 [0] NCCL INFO Channel 01/0 : 8[7000] -> 9[46000] via P2P/IPC/read -gpua008:2393222:2393287 [0] NCCL INFO Connected all rings -gpua008:2393222:2393287 [0] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [receive] via NET/IB/0 -gpua008:2393222:2393287 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [send] via NET/IB/0 -gpua008:2393222:2393287 [0] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [send] via NET/IB/0 -gpua008:2393222:2393287 [0] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [receive] via NET/IB/0 -gpua008:2393222:2393287 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [receive] via NET/IB/0 -gpua008:2393222:2393287 [0] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [send] via NET/IB/0 -gpua008:2393222:2393287 [0] NCCL INFO Connected all trees -gpua008:2393222:2393287 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua008:2393222:2393287 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua008:2393222:2393287 [0] NCCL INFO comm 0xe742950 rank 8 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua097:3145435:3145435 [3] NCCL INFO cudaDriverVersion 12020 -gpua097:3145435:3145435 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.97<0> -gpua097:3145435:3145435 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua097:3145435:3145501 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.97<0> -gpua097:3145435:3145501 [3] NCCL INFO Using network IB -gpua097:3145435:3145501 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua097:3145435:3145501 [3] NCCL INFO Trees [0] -1/-1/-1->55->54 [1] -1/-1/-1->55->54 -gpua097:3145435:3145501 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 -gpua097:3145435:3145501 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 -gpua097:3145435:3145501 [3] NCCL INFO Connected all rings -gpua097:3145435:3145501 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 54[85000] via P2P/IPC/read -gpua097:3145435:3145501 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 54[85000] via P2P/IPC/read -gpua097:3145435:3145501 [3] NCCL INFO Connected all trees -gpua097:3145435:3145501 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua097:3145435:3145501 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua097:3145435:3145501 [3] NCCL INFO comm 0x39f5a890 rank 55 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua097:3145434:3145434 [2] NCCL INFO cudaDriverVersion 12020 -gpua097:3145434:3145434 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.97<0> -gpua097:3145434:3145434 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua097:3145434:3145499 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.97<0> -gpua097:3145434:3145499 [2] NCCL INFO Using network IB -gpua097:3145434:3145499 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua097:3145434:3145499 [2] NCCL INFO Trees [0] 55/-1/-1->54->53 [1] 55/-1/-1->54->53 -gpua097:3145434:3145499 [2] NCCL INFO Channel 00/0 : 54[85000] -> 55[c7000] via P2P/IPC/read -gpua097:3145434:3145499 [2] NCCL INFO Channel 01/0 : 54[85000] -> 55[c7000] via P2P/IPC/read -gpua097:3145434:3145499 [2] NCCL INFO Connected all rings -gpua097:3145434:3145499 [2] NCCL INFO Channel 00/0 : 54[85000] -> 53[46000] via P2P/IPC/read -gpua097:3145434:3145499 [2] NCCL INFO Channel 01/0 : 54[85000] -> 53[46000] via P2P/IPC/read -gpua097:3145434:3145499 [2] NCCL INFO Connected all trees -gpua097:3145434:3145499 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua097:3145434:3145499 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua097:3145434:3145499 [2] NCCL INFO comm 0xd238f60 rank 54 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua086:1391751:1391751 [1] NCCL INFO cudaDriverVersion 12020 -gpua086:1391751:1391751 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> -gpua086:1391751:1391751 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua086:1391751:1391806 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> -gpua086:1391751:1391806 [1] NCCL INFO Using network IB -gpua086:1391751:1391806 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua086:1391751:1391806 [1] NCCL INFO Trees [0] 46/-1/-1->45->44 [1] 46/52/-1->45->44 -gpua086:1391751:1391806 [1] NCCL INFO Channel 00/0 : 45[46000] -> 46[85000] via P2P/IPC/read -gpua086:1391751:1391806 [1] NCCL INFO Channel 01/0 : 45[46000] -> 46[85000] via P2P/IPC/read -gpua086:1391751:1391806 [1] NCCL INFO Connected all rings -gpua086:1391751:1391806 [1] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [send] via NET/IB/0 -gpua086:1391751:1391806 [1] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [receive] via NET/IB/0 -gpua086:1391751:1391806 [1] NCCL INFO Channel 00/0 : 45[46000] -> 44[7000] via P2P/IPC/read -gpua086:1391751:1391806 [1] NCCL INFO Channel 01/0 : 45[46000] -> 44[7000] via P2P/IPC/read -gpua086:1391751:1391806 [1] NCCL INFO Connected all trees -gpua086:1391751:1391806 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua086:1391751:1391806 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua086:1391751:1391806 [1] NCCL INFO comm 0xc157520 rank 45 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua007:1077993:1077993 [1] NCCL INFO cudaDriverVersion 12020 -gpua007:1077993:1077993 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> -gpua007:1077993:1077993 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua007:1077993:1078062 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> -gpua007:1077993:1078062 [1] NCCL INFO Using network IB -gpua007:1077993:1078062 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua007:1077993:1078062 [1] NCCL INFO Trees [0] 6/-1/-1->5->4 [1] 6/8/-1->5->4 -gpua007:1077993:1078062 [1] NCCL INFO Channel 00/0 : 5[46000] -> 6[85000] via P2P/IPC/read -gpua007:1077993:1078062 [1] NCCL INFO Channel 01/0 : 5[46000] -> 6[85000] via P2P/IPC/read -gpua007:1077993:1078062 [1] NCCL INFO Connected all rings -gpua007:1077993:1078062 [1] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [send] via NET/IB/0 -gpua007:1077993:1078062 [1] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [receive] via NET/IB/0 -gpua007:1077993:1078062 [1] NCCL INFO Channel 00/0 : 5[46000] -> 4[7000] via P2P/IPC/read -gpua007:1077993:1078062 [1] NCCL INFO Channel 01/0 : 5[46000] -> 4[7000] via P2P/IPC/read -gpua007:1077993:1078062 [1] NCCL INFO Connected all trees -gpua007:1077993:1078062 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua007:1077993:1078062 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua007:1077993:1078062 [1] NCCL INFO comm 0x9d75a550 rank 5 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua086:1391753:1391753 [3] NCCL INFO cudaDriverVersion 12020 -gpua086:1391753:1391753 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> -gpua086:1391753:1391753 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua086:1391753:1391808 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> -gpua086:1391753:1391808 [3] NCCL INFO Using network IB -gpua086:1391753:1391808 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua086:1391753:1391808 [3] NCCL INFO Trees [0] -1/-1/-1->47->46 [1] -1/-1/-1->47->46 -gpua086:1391753:1391808 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 -gpua086:1391753:1391808 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 -gpua086:1391753:1391808 [3] NCCL INFO Connected all rings -gpua086:1391753:1391808 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 46[85000] via P2P/IPC/read -gpua086:1391753:1391808 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 46[85000] via P2P/IPC/read -gpua086:1391753:1391808 [3] NCCL INFO Connected all trees -gpua086:1391753:1391808 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua086:1391753:1391808 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua086:1391753:1391808 [3] NCCL INFO comm 0xea4d0560 rank 47 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua030:1461129:1461129 [3] NCCL INFO cudaDriverVersion 12020 -gpua030:1461129:1461129 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> -gpua030:1461129:1461129 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua030:1461129:1461200 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> -gpua030:1461129:1461200 [3] NCCL INFO Using network IB -gpua030:1461129:1461200 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua030:1461129:1461200 [3] NCCL INFO Trees [0] -1/-1/-1->23->22 [1] -1/-1/-1->23->22 -gpua030:1461129:1461200 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 -gpua030:1461129:1461200 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 -gpua030:1461129:1461200 [3] NCCL INFO Connected all rings -gpua030:1461129:1461200 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 22[85000] via P2P/IPC/read -gpua030:1461129:1461200 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 22[85000] via P2P/IPC/read -gpua030:1461129:1461200 [3] NCCL INFO Connected all trees -gpua030:1461129:1461200 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua030:1461129:1461200 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua030:1461129:1461200 [3] NCCL INFO comm 0xe91241e0 rank 23 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua030:1461126:1461126 [0] NCCL INFO cudaDriverVersion 12020 -gpua030:1461126:1461126 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> -gpua030:1461126:1461126 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua030:1461126:1461205 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> -gpua030:1461126:1461205 [0] NCCL INFO Using network IB -gpua030:1461126:1461205 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua030:1461126:1461205 [0] NCCL INFO Trees [0] 21/-1/-1->20->25 [1] 21/16/-1->20->13 -gpua030:1461126:1461205 [0] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 -gpua030:1461126:1461205 [0] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 -gpua030:1461126:1461205 [0] NCCL INFO Channel 00/0 : 20[7000] -> 21[46000] via P2P/IPC/read -gpua030:1461126:1461205 [0] NCCL INFO Channel 01/0 : 20[7000] -> 21[46000] via P2P/IPC/read -gpua030:1461126:1461205 [0] NCCL INFO Connected all rings -gpua030:1461126:1461205 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [receive] via NET/IB/0 -gpua030:1461126:1461205 [0] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [send] via NET/IB/0 -gpua030:1461126:1461205 [0] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [receive] via NET/IB/0 -gpua030:1461126:1461205 [0] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [send] via NET/IB/0 -gpua030:1461126:1461205 [0] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [receive] via NET/IB/0 -gpua030:1461126:1461205 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [send] via NET/IB/0 -gpua030:1461126:1461205 [0] NCCL INFO Connected all trees -gpua030:1461126:1461205 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua030:1461126:1461205 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua030:1461126:1461205 [0] NCCL INFO comm 0xe01c96d0 rank 20 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua092:1040049:1040049 [3] NCCL INFO cudaDriverVersion 12020 -gpua092:1040049:1040049 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.92<0> -gpua092:1040049:1040049 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua092:1040049:1040113 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.92<0> -gpua092:1040049:1040113 [3] NCCL INFO Using network IB -gpua092:1040049:1040113 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua092:1040049:1040113 [3] NCCL INFO Trees [0] -1/-1/-1->51->50 [1] -1/-1/-1->51->50 -gpua092:1040049:1040113 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 -gpua092:1040049:1040113 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 -gpua092:1040049:1040113 [3] NCCL INFO Connected all rings -gpua092:1040049:1040113 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 50[85000] via P2P/IPC/read -gpua092:1040049:1040113 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 50[85000] via P2P/IPC/read -gpua092:1040049:1040113 [3] NCCL INFO Connected all trees -gpua092:1040049:1040113 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua092:1040049:1040113 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua092:1040049:1040113 [3] NCCL INFO comm 0xc08e250 rank 51 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua030:1461127:1461127 [1] NCCL INFO cudaDriverVersion 12020 -gpua030:1461127:1461127 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> -gpua030:1461127:1461127 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua030:1461127:1461203 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> -gpua030:1461127:1461203 [1] NCCL INFO Using network IB -gpua030:1461127:1461203 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua030:1461127:1461203 [1] NCCL INFO Trees [0] 22/-1/-1->21->20 [1] 22/24/-1->21->20 -gpua030:1461127:1461203 [1] NCCL INFO Channel 00/0 : 21[46000] -> 22[85000] via P2P/IPC/read -gpua030:1461127:1461203 [1] NCCL INFO Channel 01/0 : 21[46000] -> 22[85000] via P2P/IPC/read -gpua030:1461127:1461203 [1] NCCL INFO Connected all rings -gpua030:1461127:1461203 [1] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [send] via NET/IB/0 -gpua030:1461127:1461203 [1] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [receive] via NET/IB/0 -gpua030:1461127:1461203 [1] NCCL INFO Channel 00/0 : 21[46000] -> 20[7000] via P2P/IPC/read -gpua030:1461127:1461203 [1] NCCL INFO Channel 01/0 : 21[46000] -> 20[7000] via P2P/IPC/read -gpua030:1461127:1461203 [1] NCCL INFO Connected all trees -gpua030:1461127:1461203 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua030:1461127:1461203 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua030:1461127:1461203 [1] NCCL INFO comm 0x1ada7820 rank 21 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua026:1592969:1592969 [0] NCCL INFO cudaDriverVersion 12020 -gpua026:1592969:1592969 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.26<0> -gpua026:1592969:1592969 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua026:1592969:1593033 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.26<0> -gpua026:1592969:1593033 [0] NCCL INFO Using network IB -gpua026:1592969:1593033 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua026:1592969:1593033 [0] NCCL INFO Trees [0] 17/24/-1->16->33 [1] 17/-1/-1->16->20 -gpua026:1592969:1593033 [0] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 -gpua026:1592969:1593033 [0] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 -gpua026:1592969:1593033 [0] NCCL INFO Channel 00/0 : 16[7000] -> 17[46000] via P2P/IPC/read -gpua026:1592969:1593033 [0] NCCL INFO Channel 01/0 : 16[7000] -> 17[46000] via P2P/IPC/read -gpua026:1592969:1593033 [0] NCCL INFO Connected all rings -gpua026:1592969:1593033 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [send] via NET/IB/0 -gpua026:1592969:1593033 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [send] via NET/IB/0 -gpua026:1592969:1593033 [0] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [send] via NET/IB/0 -gpua026:1592969:1593033 [0] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [receive] via NET/IB/0 -gpua026:1592969:1593033 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [receive] via NET/IB/0 -gpua026:1592969:1593033 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [receive] via NET/IB/0 -gpua026:1592969:1593033 [0] NCCL INFO Connected all trees -gpua026:1592969:1593033 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua026:1592969:1593033 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua026:1592969:1593033 [0] NCCL INFO comm 0xd86df90 rank 16 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua016:1316129:1316129 [2] NCCL INFO cudaDriverVersion 12020 -gpua016:1316129:1316129 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.16<0> -gpua016:1316129:1316129 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua016:1316129:1316192 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.16<0> -gpua016:1316129:1316192 [2] NCCL INFO Using network IB -gpua016:1316129:1316192 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua016:1316129:1316192 [2] NCCL INFO Trees [0] 15/-1/-1->14->13 [1] 15/-1/-1->14->13 -gpua016:1316129:1316192 [2] NCCL INFO Channel 00/0 : 14[85000] -> 15[c7000] via P2P/IPC/read -gpua016:1316129:1316192 [2] NCCL INFO Channel 01/0 : 14[85000] -> 15[c7000] via P2P/IPC/read -gpua016:1316129:1316192 [2] NCCL INFO Connected all rings -gpua016:1316129:1316192 [2] NCCL INFO Channel 00/0 : 14[85000] -> 13[46000] via P2P/IPC/read -gpua016:1316129:1316192 [2] NCCL INFO Channel 01/0 : 14[85000] -> 13[46000] via P2P/IPC/read -gpua016:1316129:1316192 [2] NCCL INFO Connected all trees -gpua016:1316129:1316192 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua016:1316129:1316192 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua016:1316129:1316192 [2] NCCL INFO comm 0xabaed60 rank 14 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua030:1461128:1461128 [2] NCCL INFO cudaDriverVersion 12020 -gpua030:1461128:1461128 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> -gpua030:1461128:1461128 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua030:1461128:1461199 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> -gpua030:1461128:1461199 [2] NCCL INFO Using network IB -gpua030:1461128:1461199 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua030:1461128:1461199 [2] NCCL INFO Trees [0] 23/-1/-1->22->21 [1] 23/-1/-1->22->21 -gpua030:1461128:1461199 [2] NCCL INFO Channel 00/0 : 22[85000] -> 23[c7000] via P2P/IPC/read -gpua030:1461128:1461199 [2] NCCL INFO Channel 01/0 : 22[85000] -> 23[c7000] via P2P/IPC/read -gpua030:1461128:1461199 [2] NCCL INFO Connected all rings -gpua030:1461128:1461199 [2] NCCL INFO Channel 00/0 : 22[85000] -> 21[46000] via P2P/IPC/read -gpua030:1461128:1461199 [2] NCCL INFO Channel 01/0 : 22[85000] -> 21[46000] via P2P/IPC/read -gpua030:1461128:1461199 [2] NCCL INFO Connected all trees -gpua030:1461128:1461199 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua030:1461128:1461199 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua030:1461128:1461199 [2] NCCL INFO comm 0xf629850 rank 22 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua082:1180102:1180102 [1] NCCL INFO cudaDriverVersion 12020 -gpua082:1180102:1180102 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> -gpua082:1180102:1180102 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua082:1180102:1180163 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> -gpua082:1180102:1180163 [1] NCCL INFO Using network IB -gpua082:1180102:1180163 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua082:1180102:1180163 [1] NCCL INFO Trees [0] 42/36/-1->41->40 [1] 42/-1/-1->41->40 -gpua082:1180102:1180163 [1] NCCL INFO Channel 00/0 : 41[46000] -> 42[85000] via P2P/IPC/read -gpua082:1180102:1180163 [1] NCCL INFO Channel 01/0 : 41[46000] -> 42[85000] via P2P/IPC/read -gpua082:1180102:1180163 [1] NCCL INFO Connected all rings -gpua082:1180102:1180163 [1] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [receive] via NET/IB/0 -gpua082:1180102:1180163 [1] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [send] via NET/IB/0 -gpua082:1180102:1180163 [1] NCCL INFO Channel 00/0 : 41[46000] -> 40[7000] via P2P/IPC/read -gpua082:1180102:1180163 [1] NCCL INFO Channel 01/0 : 41[46000] -> 40[7000] via P2P/IPC/read -gpua082:1180102:1180163 [1] NCCL INFO Connected all trees -gpua082:1180102:1180163 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua082:1180102:1180163 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua082:1180102:1180163 [1] NCCL INFO comm 0xd6383a0 rank 41 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua026:1592970:1592970 [1] NCCL INFO cudaDriverVersion 12020 -gpua026:1592970:1592970 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.26<0> -gpua026:1592970:1592970 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua026:1592970:1593036 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.26<0> -gpua026:1592970:1593036 [1] NCCL INFO Using network IB -gpua026:1592970:1593036 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua026:1592970:1593036 [1] NCCL INFO Trees [0] 18/8/-1->17->16 [1] 18/-1/-1->17->16 -gpua026:1592970:1593036 [1] NCCL INFO Channel 00/0 : 17[46000] -> 18[85000] via P2P/IPC/read -gpua026:1592970:1593036 [1] NCCL INFO Channel 01/0 : 17[46000] -> 18[85000] via P2P/IPC/read -gpua026:1592970:1593036 [1] NCCL INFO Connected all rings -gpua026:1592970:1593036 [1] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [receive] via NET/IB/0 -gpua026:1592970:1593036 [1] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [send] via NET/IB/0 -gpua026:1592970:1593036 [1] NCCL INFO Channel 00/0 : 17[46000] -> 16[7000] via P2P/IPC/read -gpua026:1592970:1593036 [1] NCCL INFO Channel 01/0 : 17[46000] -> 16[7000] via P2P/IPC/read -gpua026:1592970:1593036 [1] NCCL INFO Connected all trees -gpua026:1592970:1593036 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua026:1592970:1593036 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua026:1592970:1593036 [1] NCCL INFO comm 0xd1bd9d0 rank 17 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua007:1077995:1077995 [3] NCCL INFO cudaDriverVersion 12020 -gpua007:1077995:1077995 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> -gpua007:1077995:1077995 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua007:1077995:1078060 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> -gpua007:1077995:1078060 [3] NCCL INFO Using network IB -gpua007:1077995:1078060 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua007:1077995:1078060 [3] NCCL INFO Trees [0] -1/-1/-1->7->6 [1] -1/-1/-1->7->6 -gpua007:1077995:1078060 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 -gpua007:1077995:1078060 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 -gpua007:1077995:1078060 [3] NCCL INFO Connected all rings -gpua007:1077995:1078060 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 6[85000] via P2P/IPC/read -gpua007:1077995:1078060 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 6[85000] via P2P/IPC/read -gpua007:1077995:1078060 [3] NCCL INFO Connected all trees -gpua007:1077995:1078060 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua007:1077995:1078060 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua007:1077995:1078060 [3] NCCL INFO comm 0xe5cc7a60 rank 7 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua086:1391750:1391750 [0] NCCL INFO cudaDriverVersion 12020 -gpua086:1391750:1391750 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> -gpua086:1391750:1391750 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua086:1391750:1391805 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> -gpua086:1391750:1391805 [0] NCCL INFO Using network IB -gpua086:1391750:1391805 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua086:1391750:1391805 [0] NCCL INFO Trees [0] 45/-1/-1->44->40 [1] 45/36/-1->44->29 -gpua086:1391750:1391805 [0] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 -gpua086:1391750:1391805 [0] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 -gpua086:1391750:1391805 [0] NCCL INFO Channel 00/0 : 44[7000] -> 45[46000] via P2P/IPC/read -gpua086:1391750:1391805 [0] NCCL INFO Channel 01/0 : 44[7000] -> 45[46000] via P2P/IPC/read -gpua086:1391750:1391805 [0] NCCL INFO Connected all rings -gpua086:1391750:1391805 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [receive] via NET/IB/0 -gpua086:1391750:1391805 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [receive] via NET/IB/0 -gpua086:1391750:1391805 [0] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [receive] via NET/IB/0 -gpua086:1391750:1391805 [0] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [send] via NET/IB/0 -gpua086:1391750:1391805 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [send] via NET/IB/0 -gpua086:1391750:1391805 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [send] via NET/IB/0 -gpua086:1391750:1391805 [0] NCCL INFO Connected all trees -gpua086:1391750:1391805 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua086:1391750:1391805 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua086:1391750:1391805 [0] NCCL INFO comm 0x99615e60 rank 44 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua039:1017707:1017707 [2] NCCL INFO cudaDriverVersion 12020 -gpua039:1017707:1017707 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.39<0> -gpua039:1017707:1017707 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua039:1017707:1017762 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.39<0> -gpua039:1017707:1017762 [2] NCCL INFO Using network IB -gpua039:1017707:1017762 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua039:1017707:1017762 [2] NCCL INFO Trees [0] 35/-1/-1->34->33 [1] 35/-1/-1->34->33 -gpua039:1017707:1017762 [2] NCCL INFO Channel 00/0 : 34[85000] -> 35[c7000] via P2P/IPC/read -gpua039:1017707:1017762 [2] NCCL INFO Channel 01/0 : 34[85000] -> 35[c7000] via P2P/IPC/read -gpua039:1017707:1017762 [2] NCCL INFO Connected all rings -gpua039:1017707:1017762 [2] NCCL INFO Channel 00/0 : 34[85000] -> 33[46000] via P2P/IPC/read -gpua039:1017707:1017762 [2] NCCL INFO Channel 01/0 : 34[85000] -> 33[46000] via P2P/IPC/read -gpua039:1017707:1017762 [2] NCCL INFO Connected all trees -gpua039:1017707:1017762 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua039:1017707:1017762 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua039:1017707:1017762 [2] NCCL INFO comm 0x1430f280 rank 34 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua039:1017708:1017708 [3] NCCL INFO cudaDriverVersion 12020 -gpua039:1017708:1017708 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.39<0> -gpua039:1017708:1017708 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua039:1017708:1017764 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.39<0> -gpua039:1017708:1017764 [3] NCCL INFO Using network IB -gpua039:1017708:1017764 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua039:1017708:1017764 [3] NCCL INFO Trees [0] -1/-1/-1->35->34 [1] -1/-1/-1->35->34 -gpua039:1017708:1017764 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 -gpua039:1017708:1017764 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 -gpua039:1017708:1017764 [3] NCCL INFO Connected all rings -gpua039:1017708:1017764 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 34[85000] via P2P/IPC/read -gpua039:1017708:1017764 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 34[85000] via P2P/IPC/read -gpua039:1017708:1017764 [3] NCCL INFO Connected all trees -gpua039:1017708:1017764 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua039:1017708:1017764 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua039:1017708:1017764 [3] NCCL INFO comm 0xe85acd60 rank 35 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua026:1592971:1592971 [2] NCCL INFO cudaDriverVersion 12020 -gpua026:1592971:1592971 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.26<0> -gpua026:1592971:1592971 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua026:1592971:1593032 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.26<0> -gpua026:1592971:1593032 [2] NCCL INFO Using network IB -gpua026:1592971:1593032 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua026:1592971:1593032 [2] NCCL INFO Trees [0] 19/-1/-1->18->17 [1] 19/-1/-1->18->17 -gpua026:1592971:1593032 [2] NCCL INFO Channel 00/0 : 18[85000] -> 19[c7000] via P2P/IPC/read -gpua026:1592971:1593032 [2] NCCL INFO Channel 01/0 : 18[85000] -> 19[c7000] via P2P/IPC/read -gpua026:1592971:1593032 [2] NCCL INFO Connected all rings -gpua026:1592971:1593032 [2] NCCL INFO Channel 00/0 : 18[85000] -> 17[46000] via P2P/IPC/read -gpua026:1592971:1593032 [2] NCCL INFO Channel 01/0 : 18[85000] -> 17[46000] via P2P/IPC/read -gpua007:1077992:1077992 [0] NCCL INFO cudaDriverVersion 12020 -gpua007:1077992:1077992 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> -gpua007:1077992:1077992 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua007:1077992:1078056 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> -gpua007:1077992:1078056 [0] NCCL INFO Using network IB -gpua007:1077992:1078056 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua007:1077992:1078056 [0] NCCL INFO Trees [0] 5/-1/-1->4->9 [1] 5/0/-1->4->12 -gpua007:1077992:1078056 [0] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 -gpua007:1077992:1078056 [0] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 -gpua007:1077992:1078056 [0] NCCL INFO Channel 00/0 : 4[7000] -> 5[46000] via P2P/IPC/read -gpua007:1077992:1078056 [0] NCCL INFO Channel 01/0 : 4[7000] -> 5[46000] via P2P/IPC/read -gpua007:1077992:1078056 [0] NCCL INFO Connected all rings -gpua026:1592971:1593032 [2] NCCL INFO Connected all trees -gpua026:1592971:1593032 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua026:1592971:1593032 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua026:1592971:1593032 [2] NCCL INFO comm 0x4afd8f60 rank 18 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua007:1077992:1078056 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [receive] via NET/IB/0 -gpua007:1077992:1078056 [0] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [send] via NET/IB/0 -gpua007:1077992:1078056 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [send] via NET/IB/0 -gpua007:1077992:1078056 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [receive] via NET/IB/0 -gpua007:1077992:1078056 [0] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [receive] via NET/IB/0 -gpua007:1077992:1078056 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [send] via NET/IB/0 -gpua007:1077992:1078056 [0] NCCL INFO Connected all trees -gpua007:1077992:1078056 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua007:1077992:1078056 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua007:1077992:1078056 [0] NCCL INFO comm 0x27d85fb0 rank 4 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua026:1592972:1592972 [3] NCCL INFO cudaDriverVersion 12020 -gpua026:1592972:1592972 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.26<0> -gpua026:1592972:1592972 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua026:1592972:1593030 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.26<0> -gpua026:1592972:1593030 [3] NCCL INFO Using network IB -gpua026:1592972:1593030 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua026:1592972:1593030 [3] NCCL INFO Trees [0] -1/-1/-1->19->18 [1] -1/-1/-1->19->18 -gpua026:1592972:1593030 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 -gpua026:1592972:1593030 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 -gpua026:1592972:1593030 [3] NCCL INFO Connected all rings -gpua026:1592972:1593030 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 18[85000] via P2P/IPC/read -gpua026:1592972:1593030 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 18[85000] via P2P/IPC/read -gpua026:1592972:1593030 [3] NCCL INFO Connected all trees -gpua026:1592972:1593030 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua026:1592972:1593030 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua026:1592972:1593030 [3] NCCL INFO comm 0xd4d7540 rank 19 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua086:1391752:1391752 [2] NCCL INFO cudaDriverVersion 12020 -gpua086:1391752:1391752 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> -gpua086:1391752:1391752 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua086:1391752:1391807 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> -gpua086:1391752:1391807 [2] NCCL INFO Using network IB -gpua086:1391752:1391807 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua086:1391752:1391807 [2] NCCL INFO Trees [0] 47/-1/-1->46->45 [1] 47/-1/-1->46->45 -gpua086:1391752:1391807 [2] NCCL INFO Channel 00/0 : 46[85000] -> 47[c7000] via P2P/IPC/read -gpua086:1391752:1391807 [2] NCCL INFO Channel 01/0 : 46[85000] -> 47[c7000] via P2P/IPC/read -gpua086:1391752:1391807 [2] NCCL INFO Connected all rings -gpua086:1391752:1391807 [2] NCCL INFO Channel 00/0 : 46[85000] -> 45[46000] via P2P/IPC/read -gpua086:1391752:1391807 [2] NCCL INFO Channel 01/0 : 46[85000] -> 45[46000] via P2P/IPC/read -gpua086:1391752:1391807 [2] NCCL INFO Connected all trees -gpua086:1391752:1391807 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua086:1391752:1391807 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua086:1391752:1391807 [2] NCCL INFO comm 0x191a7a30 rank 46 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua039:1017706:1017706 [1] NCCL INFO cudaDriverVersion 12020 -gpua039:1017706:1017706 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.39<0> -gpua039:1017706:1017706 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua039:1017706:1017765 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.39<0> -gpua039:1017706:1017765 [1] NCCL INFO Using network IB -gpua039:1017706:1017765 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua039:1017706:1017765 [1] NCCL INFO Trees [0] 34/16/-1->33->32 [1] 34/-1/-1->33->32 -gpua039:1017706:1017765 [1] NCCL INFO Channel 00/0 : 33[46000] -> 34[85000] via P2P/IPC/read -gpua039:1017706:1017765 [1] NCCL INFO Channel 01/0 : 33[46000] -> 34[85000] via P2P/IPC/read -gpua039:1017706:1017765 [1] NCCL INFO Connected all rings -gpua039:1017706:1017765 [1] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [receive] via NET/IB/0 -gpua039:1017706:1017765 [1] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [send] via NET/IB/0 -gpua039:1017706:1017765 [1] NCCL INFO Channel 00/0 : 33[46000] -> 32[7000] via P2P/IPC/read -gpua039:1017706:1017765 [1] NCCL INFO Channel 01/0 : 33[46000] -> 32[7000] via P2P/IPC/read -gpua039:1017706:1017765 [1] NCCL INFO Connected all trees -gpua039:1017706:1017765 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua039:1017706:1017765 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua039:1017706:1017765 [1] NCCL INFO comm 0xac11f30 rank 33 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua082:1180104:1180104 [3] NCCL INFO cudaDriverVersion 12020 -gpua082:1180104:1180104 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> -gpua082:1180104:1180104 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua082:1180104:1180164 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> -gpua082:1180104:1180164 [3] NCCL INFO Using network IB -gpua082:1180104:1180164 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua082:1180104:1180164 [3] NCCL INFO Trees [0] -1/-1/-1->43->42 [1] -1/-1/-1->43->42 -gpua082:1180104:1180164 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 -gpua082:1180104:1180164 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 -gpua082:1180104:1180164 [3] NCCL INFO Connected all rings -gpua082:1180104:1180164 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 42[85000] via P2P/IPC/read -gpua082:1180104:1180164 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 42[85000] via P2P/IPC/read -gpua082:1180104:1180164 [3] NCCL INFO Connected all trees -gpua082:1180104:1180164 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua082:1180104:1180164 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua082:1180104:1180164 [3] NCCL INFO comm 0x1806bd00 rank 43 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua082:1180101:1180101 [0] NCCL INFO cudaDriverVersion 12020 -gpua082:1180101:1180101 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> -gpua082:1180101:1180101 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua082:1180101:1180165 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> -gpua082:1180101:1180165 [0] NCCL INFO Using network IB -gpua082:1180101:1180165 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua082:1180101:1180165 [0] NCCL INFO Trees [0] 41/44/-1->40->49 [1] 41/-1/-1->40->37 -gpua082:1180101:1180165 [0] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 -gpua082:1180101:1180165 [0] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 -gpua082:1180101:1180165 [0] NCCL INFO Channel 00/0 : 40[7000] -> 41[46000] via P2P/IPC/read -gpua082:1180101:1180165 [0] NCCL INFO Channel 01/0 : 40[7000] -> 41[46000] via P2P/IPC/read -gpua082:1180101:1180165 [0] NCCL INFO Connected all rings -gpua082:1180101:1180165 [0] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [receive] via NET/IB/0 -gpua082:1180101:1180165 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [send] via NET/IB/0 -gpua082:1180101:1180165 [0] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [send] via NET/IB/0 -gpua082:1180101:1180165 [0] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [receive] via NET/IB/0 -gpua082:1180101:1180165 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [receive] via NET/IB/0 -gpua082:1180101:1180165 [0] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [send] via NET/IB/0 -gpua082:1180101:1180165 [0] NCCL INFO Connected all trees -gpua082:1180101:1180165 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua082:1180101:1180165 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua082:1180101:1180165 [0] NCCL INFO comm 0x9a1c2260 rank 40 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua039:1017705:1017705 [0] NCCL INFO cudaDriverVersion 12020 -gpua039:1017705:1017705 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.39<0> -gpua039:1017705:1017705 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua039:1017705:1017763 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.39<0> -gpua039:1017705:1017763 [0] NCCL INFO Using network IB -gpua039:1017705:1017763 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua039:1017705:1017763 [0] NCCL INFO Trees [0] 33/48/-1->32->0 [1] 33/-1/-1->32->36 -gpua039:1017705:1017763 [0] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 -gpua039:1017705:1017763 [0] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 -gpua039:1017705:1017763 [0] NCCL INFO Channel 00/0 : 32[7000] -> 33[46000] via P2P/IPC/read -gpua039:1017705:1017763 [0] NCCL INFO Channel 01/0 : 32[7000] -> 33[46000] via P2P/IPC/read -gpua039:1017705:1017763 [0] NCCL INFO Connected all rings -gpua039:1017705:1017763 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [send] via NET/IB/0 -gpua039:1017705:1017763 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [send] via NET/IB/0 -gpua039:1017705:1017763 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [receive] via NET/IB/0 -gpua039:1017705:1017763 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [send] via NET/IB/0 -gpua039:1017705:1017763 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [receive] via NET/IB/0 -gpua039:1017705:1017763 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [receive] via NET/IB/0 -gpua039:1017705:1017763 [0] NCCL INFO Connected all trees -gpua039:1017705:1017763 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua039:1017705:1017763 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua039:1017705:1017763 [0] NCCL INFO comm 0xeba6590 rank 32 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua007:1077994:1077994 [2] NCCL INFO cudaDriverVersion 12020 -gpua007:1077994:1077994 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> -gpua007:1077994:1077994 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua007:1077994:1078057 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> -gpua007:1077994:1078057 [2] NCCL INFO Using network IB -gpua007:1077994:1078057 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua007:1077994:1078057 [2] NCCL INFO Trees [0] 7/-1/-1->6->5 [1] 7/-1/-1->6->5 -gpua007:1077994:1078057 [2] NCCL INFO Channel 00/0 : 6[85000] -> 7[c7000] via P2P/IPC/read -gpua007:1077994:1078057 [2] NCCL INFO Channel 01/0 : 6[85000] -> 7[c7000] via P2P/IPC/read -gpua007:1077994:1078057 [2] NCCL INFO Connected all rings -gpua007:1077994:1078057 [2] NCCL INFO Channel 00/0 : 6[85000] -> 5[46000] via P2P/IPC/read -gpua007:1077994:1078057 [2] NCCL INFO Channel 01/0 : 6[85000] -> 5[46000] via P2P/IPC/read -gpua007:1077994:1078057 [2] NCCL INFO Connected all trees -gpua007:1077994:1078057 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua007:1077994:1078057 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua007:1077994:1078057 [2] NCCL INFO comm 0xb4d5ee0 rank 6 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua082:1180103:1180103 [2] NCCL INFO cudaDriverVersion 12020 -gpua082:1180103:1180103 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> -gpua082:1180103:1180103 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua082:1180103:1180162 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> -gpua082:1180103:1180162 [2] NCCL INFO Using network IB -gpua082:1180103:1180162 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua082:1180103:1180162 [2] NCCL INFO Trees [0] 43/-1/-1->42->41 [1] 43/-1/-1->42->41 -gpua082:1180103:1180162 [2] NCCL INFO Channel 00/0 : 42[85000] -> 43[c7000] via P2P/IPC/read -gpua082:1180103:1180162 [2] NCCL INFO Channel 01/0 : 42[85000] -> 43[c7000] via P2P/IPC/read -gpua082:1180103:1180162 [2] NCCL INFO Connected all rings -gpua082:1180103:1180162 [2] NCCL INFO Channel 00/0 : 42[85000] -> 41[46000] via P2P/IPC/read -gpua082:1180103:1180162 [2] NCCL INFO Channel 01/0 : 42[85000] -> 41[46000] via P2P/IPC/read -gpua082:1180103:1180162 [2] NCCL INFO Connected all trees -gpua082:1180103:1180162 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua082:1180103:1180162 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua082:1180103:1180162 [2] NCCL INFO comm 0xdd044a40 rank 42 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -[gpua005:0/64] 2023-12-19 07:41:23,409 (distributed:1027) INFO: Reducer buckets have been rebuilt in this iteration. -[gpua005:0/64] 2023-12-19 07:43:59,500 (trainer:737) INFO: 41epoch:train:1-100batch: iter_time=1.204, forward_time=0.221, loss_ctc=55.100, loss_att=42.845, acc=0.739, loss=46.522, backward_time=0.348, grad_norm=94.327, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.325e-05, train_time=5.981 -[gpua005:0/64] 2023-12-19 07:47:35,053 (trainer:737) INFO: 41epoch:train:101-200batch: iter_time=9.309e-05, forward_time=0.146, loss_ctc=65.088, loss_att=57.248, acc=0.723, loss=59.600, backward_time=0.479, grad_norm=98.315, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.325e-05, train_time=2.155 -[gpua005:0/64] 2023-12-19 07:50:44,189 (trainer:737) INFO: 41epoch:train:201-300batch: iter_time=8.978e-05, forward_time=0.194, loss_ctc=73.501, loss_att=58.783, acc=0.739, loss=63.198, backward_time=0.356, grad_norm=74.569, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.324e-05, train_time=1.892 -[gpua005:0/64] 2023-12-19 07:53:54,300 (trainer:737) INFO: 41epoch:train:301-400batch: iter_time=9.069e-05, forward_time=0.143, loss_ctc=75.424, loss_att=55.108, acc=0.746, loss=61.203, backward_time=0.375, grad_norm=72.005, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.324e-05, train_time=1.901 -[gpua005:0/64] 2023-12-19 07:56:40,893 (trainer:737) INFO: 41epoch:train:401-500batch: iter_time=8.743e-05, forward_time=0.142, loss_ctc=63.892, loss_att=53.441, acc=0.730, loss=56.576, backward_time=0.346, grad_norm=77.405, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.323e-05, train_time=1.666 -[gpua005:0/64] 2023-12-19 07:59:22,626 (trainer:737) INFO: 41epoch:train:501-600batch: iter_time=8.408e-05, forward_time=0.143, loss_ctc=58.122, loss_att=48.200, acc=0.724, loss=51.176, backward_time=0.340, grad_norm=66.126, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.322e-05, train_time=1.617 -[gpua005:0/64] 2023-12-19 08:02:42,944 (trainer:737) INFO: 41epoch:train:601-700batch: iter_time=9.171e-05, forward_time=0.143, loss_ctc=60.198, loss_att=50.087, acc=0.732, loss=53.120, backward_time=0.354, grad_norm=57.926, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.322e-05, train_time=2.003 -[gpua005:0/64] 2023-12-19 08:05:55,056 (trainer:737) INFO: 41epoch:train:701-800batch: iter_time=9.396e-05, forward_time=0.143, loss_ctc=70.155, loss_att=52.466, acc=0.733, loss=57.773, backward_time=0.378, grad_norm=77.194, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.321e-05, train_time=1.921 -[gpua005:0/64] 2023-12-19 08:08:56,852 (trainer:737) INFO: 41epoch:train:801-900batch: iter_time=9.545e-05, forward_time=0.144, loss_ctc=71.162, loss_att=54.327, acc=0.727, loss=59.378, backward_time=0.308, grad_norm=68.312, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.321e-05, train_time=1.818 -[gpua005:0/64] 2023-12-19 08:12:01,194 (trainer:737) INFO: 41epoch:train:901-1000batch: iter_time=1.004e-04, forward_time=0.148, loss_ctc=63.893, loss_att=49.375, acc=0.747, loss=53.731, backward_time=0.324, grad_norm=68.012, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.320e-05, train_time=1.843 -[gpua005:0/64] 2023-12-19 08:14:47,587 (trainer:737) INFO: 41epoch:train:1001-1100batch: iter_time=9.204e-05, forward_time=0.148, loss_ctc=56.876, loss_att=42.663, acc=0.761, loss=46.927, backward_time=0.327, grad_norm=57.369, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.320e-05, train_time=1.664 -[gpua005:0/64] 2023-12-19 08:15:45,541 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua005:0/64] 2023-12-19 08:17:42,751 (trainer:737) INFO: 41epoch:train:1101-1200batch: iter_time=8.498e-05, forward_time=0.144, loss_ctc=69.304, loss_att=52.364, acc=0.726, loss=57.446, backward_time=0.326, grad_norm=78.668, clip=100.000, loss_scale=2.725e+31, optim_step_time=0.132, optim0_lr0=6.319e-05, train_time=1.751 -[gpua005:0/64] 2023-12-19 08:19:31,941 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua005:0/64] 2023-12-19 08:19:50,124 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-19 08:19:53,507 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-19 08:19:53,507 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua005:0/64] 2023-12-19 08:19:53,566 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-19 08:27:40,914 (trainer:737) INFO: 41epoch:train:1201-1300batch: iter_time=2.693, forward_time=0.223, loss_ctc=53.641, loss_att=42.368, acc=0.744, loss=45.750, backward_time=0.341, grad_norm=62.726, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.319e-05, train_time=5.981 -[gpua005:0/64] 2023-12-19 08:30:21,989 (trainer:737) INFO: 41epoch:train:1301-1400batch: iter_time=8.381e-05, forward_time=0.145, loss_ctc=57.597, loss_att=49.414, acc=0.730, loss=51.869, backward_time=0.302, grad_norm=67.107, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.318e-05, train_time=1.611 -[gpua005:0/64] 2023-12-19 08:32:59,887 (trainer:737) INFO: 41epoch:train:1401-1500batch: iter_time=8.186e-05, forward_time=0.146, loss_ctc=67.510, loss_att=56.394, acc=0.724, loss=59.729, backward_time=0.317, grad_norm=71.678, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.318e-05, train_time=1.579 -[gpua005:0/64] 2023-12-19 08:35:34,591 (trainer:737) INFO: 41epoch:train:1501-1600batch: iter_time=8.572e-05, forward_time=0.145, loss_ctc=72.170, loss_att=51.113, acc=0.751, loss=57.430, backward_time=0.340, grad_norm=68.267, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.317e-05, train_time=1.547 -[gpua005:0/64] 2023-12-19 08:38:14,819 (trainer:737) INFO: 41epoch:train:1601-1700batch: iter_time=8.660e-05, forward_time=0.145, loss_ctc=73.828, loss_att=60.163, acc=0.721, loss=64.262, backward_time=0.360, grad_norm=71.617, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.317e-05, train_time=1.602 -[gpua005:0/64] 2023-12-19 08:40:41,561 (trainer:737) INFO: 41epoch:train:1701-1800batch: iter_time=8.562e-05, forward_time=0.145, loss_ctc=64.245, loss_att=51.511, acc=0.725, loss=55.331, backward_time=0.317, grad_norm=67.463, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.316e-05, train_time=1.467 -[gpua005:0/64] 2023-12-19 08:43:35,151 (trainer:737) INFO: 41epoch:train:1801-1900batch: iter_time=8.584e-05, forward_time=0.147, loss_ctc=57.025, loss_att=49.961, acc=0.729, loss=52.080, backward_time=0.368, grad_norm=64.262, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.316e-05, train_time=1.736 -[gpua005:0/64] 2023-12-19 08:46:18,187 (trainer:737) INFO: 41epoch:train:1901-2000batch: iter_time=7.982e-05, forward_time=0.147, loss_ctc=62.316, loss_att=45.337, acc=0.731, loss=50.431, backward_time=0.312, grad_norm=70.445, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.315e-05, train_time=1.630 -[gpua005:0/64] 2023-12-19 08:48:50,786 (trainer:737) INFO: 41epoch:train:2001-2100batch: iter_time=8.173e-05, forward_time=0.238, loss_ctc=66.783, loss_att=50.277, acc=0.732, loss=55.229, backward_time=0.298, grad_norm=75.956, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.315e-05, train_time=1.526 -[gpua005:0/64] 2023-12-19 08:51:18,434 (trainer:737) INFO: 41epoch:train:2101-2200batch: iter_time=8.662e-05, forward_time=0.189, loss_ctc=72.082, loss_att=54.772, acc=0.727, loss=59.965, backward_time=0.295, grad_norm=71.436, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.314e-05, train_time=1.476 -[gpua005:0/64] 2023-12-19 08:53:46,204 (trainer:737) INFO: 41epoch:train:2201-2300batch: iter_time=8.823e-05, forward_time=0.146, loss_ctc=56.295, loss_att=47.373, acc=0.747, loss=50.049, backward_time=0.295, grad_norm=67.410, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.314e-05, train_time=1.478 -[gpua005:0/64] 2023-12-19 08:56:07,296 (trainer:737) INFO: 41epoch:train:2301-2400batch: iter_time=8.550e-05, forward_time=0.146, loss_ctc=66.330, loss_att=48.793, acc=0.727, loss=54.054, backward_time=0.282, grad_norm=81.286, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.313e-05, train_time=1.411 -[gpua005:0/64] 2023-12-19 08:58:17,945 (trainer:737) INFO: 41epoch:train:2401-2500batch: iter_time=8.492e-05, forward_time=0.146, loss_ctc=53.221, loss_att=41.264, acc=0.747, loss=44.851, backward_time=0.280, grad_norm=63.762, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.312e-05, train_time=1.306 -[gpua005:0/64] 2023-12-19 08:58:37,973 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua005:0/64] 2023-12-19 08:58:56,550 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-19 08:59:00,107 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-19 08:59:00,107 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua005:0/64] 2023-12-19 08:59:00,110 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-19 09:14:14,870 (trainer:737) INFO: 41epoch:train:2501-2600batch: iter_time=2.718, forward_time=0.181, loss_ctc=53.607, loss_att=42.170, acc=0.738, loss=45.601, backward_time=0.292, grad_norm=77.053, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.312e-05, train_time=9.569 -[gpua005:0/64] 2023-12-19 09:17:19,560 (trainer:737) INFO: 41epoch:train:2601-2700batch: iter_time=8.235e-05, forward_time=0.145, loss_ctc=64.664, loss_att=56.559, acc=0.719, loss=58.990, backward_time=0.346, grad_norm=72.153, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.311e-05, train_time=1.847 -[gpua005:0/64] 2023-12-19 09:20:15,034 (trainer:737) INFO: 41epoch:train:2701-2800batch: iter_time=8.415e-05, forward_time=0.146, loss_ctc=72.968, loss_att=56.246, acc=0.741, loss=61.263, backward_time=0.384, grad_norm=68.266, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.311e-05, train_time=1.755 -[gpua005:0/64] 2023-12-19 09:23:14,422 (trainer:737) INFO: 41epoch:train:2801-2900batch: iter_time=7.883e-05, forward_time=0.145, loss_ctc=74.263, loss_att=54.230, acc=0.741, loss=60.240, backward_time=0.314, grad_norm=72.915, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.310e-05, train_time=1.794 -[gpua005:0/64] 2023-12-19 09:26:15,287 (trainer:737) INFO: 41epoch:train:2901-3000batch: iter_time=8.588e-05, forward_time=0.146, loss_ctc=63.412, loss_att=51.536, acc=0.732, loss=55.099, backward_time=0.343, grad_norm=70.457, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.310e-05, train_time=1.808 -[gpua005:0/64] 2023-12-19 09:28:54,096 (trainer:737) INFO: 41epoch:train:3001-3100batch: iter_time=8.478e-05, forward_time=0.156, loss_ctc=57.227, loss_att=46.843, acc=0.721, loss=49.958, backward_time=0.307, grad_norm=71.884, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.309e-05, train_time=1.588 -[gpua005:0/64] 2023-12-19 09:31:32,292 (trainer:737) INFO: 41epoch:train:3101-3200batch: iter_time=8.015e-05, forward_time=0.181, loss_ctc=59.774, loss_att=49.081, acc=0.732, loss=52.289, backward_time=0.306, grad_norm=65.986, clip=100.000, loss_scale=3.347e+31, optim_step_time=0.132, optim0_lr0=6.309e-05, train_time=1.582 -[gpua005:0/64] 2023-12-19 09:34:14,253 (trainer:737) INFO: 41epoch:train:3201-3300batch: iter_time=8.396e-05, forward_time=0.182, loss_ctc=68.134, loss_att=51.476, acc=0.725, loss=56.474, backward_time=0.329, grad_norm=103.821, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.308e-05, train_time=1.619 -[gpua005:0/64] 2023-12-19 09:36:42,943 (trainer:737) INFO: 41epoch:train:3301-3400batch: iter_time=7.865e-05, forward_time=0.146, loss_ctc=69.935, loss_att=53.243, acc=0.724, loss=58.251, backward_time=0.302, grad_norm=70.259, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.308e-05, train_time=1.487 -[gpua005:0/64] 2023-12-19 09:39:10,682 (trainer:737) INFO: 41epoch:train:3401-3500batch: iter_time=7.748e-05, forward_time=0.146, loss_ctc=63.566, loss_att=49.274, acc=0.739, loss=53.561, backward_time=0.300, grad_norm=73.946, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.307e-05, train_time=1.477 -[gpua005:0/64] 2023-12-19 09:41:52,569 (trainer:737) INFO: 41epoch:train:3501-3600batch: iter_time=8.281e-05, forward_time=0.146, loss_ctc=56.550, loss_att=42.518, acc=0.756, loss=46.727, backward_time=0.301, grad_norm=58.228, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.307e-05, train_time=1.619 -[gpua005:0/64] 2023-12-19 09:44:20,433 (trainer:737) INFO: 41epoch:train:3601-3700batch: iter_time=8.177e-05, forward_time=0.145, loss_ctc=65.648, loss_att=51.761, acc=0.719, loss=55.927, backward_time=0.293, grad_norm=92.792, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.306e-05, train_time=1.478 -[gpua005:0/64] 2023-12-19 09:45:54,105 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua005:0/64] 2023-12-19 09:46:12,276 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-19 09:46:15,691 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-19 09:46:15,692 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua005:0/64] 2023-12-19 09:46:15,766 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-19 09:51:56,426 (trainer:737) INFO: 41epoch:train:3701-3800batch: iter_time=2.254, forward_time=0.201, loss_ctc=52.426, loss_att=42.095, acc=0.745, loss=45.195, backward_time=0.291, grad_norm=68.568, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.306e-05, train_time=4.560 -[gpua005:0/64] 2023-12-19 09:53:56,730 (trainer:737) INFO: 41epoch:train:3801-3900batch: iter_time=7.674e-05, forward_time=0.145, loss_ctc=57.324, loss_att=47.854, acc=0.736, loss=50.695, backward_time=0.277, grad_norm=69.337, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.305e-05, train_time=1.203 -[gpua005:0/64] 2023-12-19 09:56:03,264 (trainer:737) INFO: 41epoch:train:3901-4000batch: iter_time=8.383e-05, forward_time=0.145, loss_ctc=67.113, loss_att=55.495, acc=0.727, loss=58.981, backward_time=0.280, grad_norm=75.479, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.305e-05, train_time=1.265 -[gpua005:0/64] 2023-12-19 09:58:48,214 (trainer:737) INFO: 41epoch:train:4001-4100batch: iter_time=8.483e-05, forward_time=0.145, loss_ctc=71.100, loss_att=49.833, acc=0.756, loss=56.213, backward_time=0.286, grad_norm=66.334, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.304e-05, train_time=1.649 -[gpua005:0/64] 2023-12-19 10:01:34,261 (trainer:737) INFO: 41epoch:train:4101-4200batch: iter_time=8.412e-05, forward_time=0.145, loss_ctc=73.392, loss_att=59.372, acc=0.725, loss=63.578, backward_time=0.293, grad_norm=78.160, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.304e-05, train_time=1.660 -[gpua005:0/64] 2023-12-19 10:03:43,370 (trainer:737) INFO: 41epoch:train:4201-4300batch: iter_time=8.539e-05, forward_time=0.189, loss_ctc=64.164, loss_att=50.874, acc=0.728, loss=54.861, backward_time=0.309, grad_norm=81.778, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.303e-05, train_time=1.291 -[gpua005:0/64] 2023-12-19 10:06:08,902 (trainer:737) INFO: 41epoch:train:4301-4400batch: iter_time=8.289e-05, forward_time=0.182, loss_ctc=56.845, loss_att=49.396, acc=0.732, loss=51.630, backward_time=0.309, grad_norm=58.320, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.303e-05, train_time=1.455 -[gpua005:0/64] 2023-12-19 10:08:12,580 (trainer:737) INFO: 41epoch:train:4401-4500batch: iter_time=8.583e-05, forward_time=0.145, loss_ctc=61.408, loss_att=44.612, acc=0.733, loss=49.651, backward_time=0.283, grad_norm=71.209, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.302e-05, train_time=1.237 -[gpua005:0/64] 2023-12-19 10:11:20,866 (trainer:737) INFO: 41epoch:train:4501-4600batch: iter_time=8.357e-05, forward_time=0.144, loss_ctc=66.772, loss_att=49.896, acc=0.735, loss=54.959, backward_time=0.355, grad_norm=71.320, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=6.302e-05, train_time=1.883 -[gpua005:0/64] 2023-12-19 10:14:16,285 (trainer:737) INFO: 41epoch:train:4601-4700batch: iter_time=8.832e-05, forward_time=0.145, loss_ctc=70.842, loss_att=53.694, acc=0.731, loss=58.839, backward_time=0.307, grad_norm=75.111, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.301e-05, train_time=1.754 -[gpua005:0/64] 2023-12-19 10:17:06,376 (trainer:737) INFO: 41epoch:train:4701-4800batch: iter_time=8.662e-05, forward_time=0.145, loss_ctc=56.266, loss_att=46.901, acc=0.749, loss=49.710, backward_time=0.287, grad_norm=71.465, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.300e-05, train_time=1.701 -[gpua005:0/64] 2023-12-19 10:19:16,313 (trainer:737) INFO: 41epoch:train:4801-4900batch: iter_time=1.011e-04, forward_time=0.145, loss_ctc=64.957, loss_att=48.404, acc=0.730, loss=53.370, backward_time=0.279, grad_norm=78.988, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.300e-05, train_time=1.299 -[gpua005:0/64] 2023-12-19 10:21:50,429 (trainer:737) INFO: 41epoch:train:4901-5000batch: iter_time=9.809e-05, forward_time=0.164, loss_ctc=53.077, loss_att=41.009, acc=0.751, loss=44.630, backward_time=0.303, grad_norm=67.147, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.299e-05, train_time=1.541 -[gpua005:0/64] 2023-12-19 10:22:10,458 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua005:0/64] 2023-12-19 10:22:28,649 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-19 10:22:32,022 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-19 10:22:32,022 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua005:0/64] 2023-12-19 10:22:32,025 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-19 10:31:47,805 (trainer:737) INFO: 41epoch:train:5001-5100batch: iter_time=2.748, forward_time=0.188, loss_ctc=52.917, loss_att=42.306, acc=0.748, loss=45.489, backward_time=0.311, grad_norm=61.879, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.299e-05, train_time=5.974 -[gpua005:0/64] 2023-12-19 10:34:05,524 (trainer:737) INFO: 41epoch:train:5101-5200batch: iter_time=8.652e-05, forward_time=0.196, loss_ctc=64.123, loss_att=57.449, acc=0.733, loss=59.451, backward_time=0.289, grad_norm=67.630, clip=100.000, loss_scale=6.693e+31, optim_step_time=0.134, optim0_lr0=6.298e-05, train_time=1.376 -[gpua005:0/64] 2023-12-19 10:37:17,511 (trainer:737) INFO: 41epoch:train:5201-5300batch: iter_time=8.939e-05, forward_time=0.147, loss_ctc=72.253, loss_att=58.251, acc=0.747, loss=62.452, backward_time=0.383, grad_norm=67.092, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.298e-05, train_time=1.921 -[gpua005:0/64] 2023-12-19 10:39:44,009 (trainer:737) INFO: 41epoch:train:5301-5400batch: iter_time=8.708e-05, forward_time=0.147, loss_ctc=73.609, loss_att=53.958, acc=0.755, loss=59.853, backward_time=0.296, grad_norm=67.130, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=6.297e-05, train_time=1.465 -[gpua005:0/64] 2023-12-19 10:41:33,622 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua005:0/64] 2023-12-19 10:42:01,958 (trainer:737) INFO: 41epoch:train:5401-5500batch: iter_time=8.416e-05, forward_time=0.147, loss_ctc=63.118, loss_att=52.780, acc=0.741, loss=55.881, backward_time=0.289, grad_norm=66.031, clip=100.000, loss_scale=7.171e+31, optim_step_time=0.132, optim0_lr0=6.297e-05, train_time=1.379 -[gpua005:0/64] 2023-12-19 10:44:40,614 (trainer:737) INFO: 41epoch:train:5501-5600batch: iter_time=8.185e-05, forward_time=0.146, loss_ctc=56.811, loss_att=47.285, acc=0.735, loss=50.143, backward_time=0.317, grad_norm=64.172, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.296e-05, train_time=1.586 -[gpua005:0/64] 2023-12-19 10:47:34,932 (trainer:737) INFO: 41epoch:train:5601-5700batch: iter_time=8.558e-05, forward_time=0.146, loss_ctc=59.268, loss_att=49.541, acc=0.737, loss=52.459, backward_time=0.317, grad_norm=62.037, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.296e-05, train_time=1.743 -[gpua005:0/64] 2023-12-19 10:49:56,810 (trainer:737) INFO: 41epoch:train:5701-5800batch: iter_time=9.038e-05, forward_time=0.147, loss_ctc=67.576, loss_att=52.309, acc=0.735, loss=56.889, backward_time=0.295, grad_norm=83.113, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.295e-05, train_time=1.419 -[gpua005:0/64] 2023-12-19 10:52:43,462 (trainer:737) INFO: 41epoch:train:5801-5900batch: iter_time=8.339e-05, forward_time=0.151, loss_ctc=68.976, loss_att=53.033, acc=0.735, loss=57.816, backward_time=0.315, grad_norm=78.956, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.295e-05, train_time=1.666 -[gpua005:0/64] 2023-12-19 10:54:59,153 (trainer:737) INFO: 41epoch:train:5901-6000batch: iter_time=8.272e-05, forward_time=0.193, loss_ctc=62.900, loss_att=49.096, acc=0.752, loss=53.237, backward_time=0.299, grad_norm=67.969, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.294e-05, train_time=1.357 -[gpua005:0/64] 2023-12-19 10:57:42,365 (trainer:737) INFO: 41epoch:train:6001-6100batch: iter_time=8.292e-05, forward_time=0.182, loss_ctc=56.415, loss_att=42.800, acc=0.763, loss=46.884, backward_time=0.326, grad_norm=64.545, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.294e-05, train_time=1.632 -[gpua005:0/64] 2023-12-19 10:59:15,950 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua005:0/64] 2023-12-19 10:59:32,876 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua005:0/64] 2023-12-19 11:00:30,284 (trainer:737) INFO: 41epoch:train:6101-6200batch: iter_time=8.289e-05, forward_time=0.147, loss_ctc=65.249, loss_att=52.052, acc=0.727, loss=56.011, backward_time=0.314, grad_norm=87.897, clip=100.000, loss_scale=2.784e+31, optim_step_time=0.132, optim0_lr0=6.293e-05, train_time=1.679 -[gpua005:0/64] 2023-12-19 11:02:04,394 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua005:0/64] 2023-12-19 11:02:22,868 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-19 11:02:26,286 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-19 11:02:26,286 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua005:0/64] 2023-12-19 11:02:26,344 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-19 11:15:13,610 (trainer:737) INFO: 41epoch:train:6201-6300batch: iter_time=2.480, forward_time=0.146, loss_ctc=52.483, loss_att=41.846, acc=0.749, loss=45.037, backward_time=0.341, grad_norm=69.181, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.293e-05, train_time=8.833 -[gpua005:0/64] 2023-12-19 11:20:05,067 (trainer:737) INFO: 41epoch:train:6301-6400batch: iter_time=9.134e-05, forward_time=0.146, loss_ctc=57.093, loss_att=48.307, acc=0.736, loss=50.943, backward_time=0.544, grad_norm=71.810, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.292e-05, train_time=2.914 -[gpua005:0/64] 2023-12-19 11:25:00,629 (trainer:737) INFO: 41epoch:train:6401-6500batch: iter_time=9.966e-05, forward_time=0.146, loss_ctc=66.913, loss_att=55.680, acc=0.729, loss=59.050, backward_time=0.687, grad_norm=74.404, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.292e-05, train_time=2.955 -[gpua005:0/64] 2023-12-19 11:28:27,728 (trainer:737) INFO: 41epoch:train:6501-6600batch: iter_time=9.209e-05, forward_time=0.146, loss_ctc=71.311, loss_att=50.054, acc=0.757, loss=56.431, backward_time=0.344, grad_norm=60.758, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.291e-05, train_time=2.071 -[gpua005:0/64] 2023-12-19 11:32:05,304 (trainer:737) INFO: 41epoch:train:6601-6700batch: iter_time=9.563e-05, forward_time=0.147, loss_ctc=72.796, loss_att=59.602, acc=0.726, loss=63.560, backward_time=0.467, grad_norm=69.586, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.291e-05, train_time=2.176 -[gpua005:0/64] 2023-12-19 11:35:25,991 (trainer:737) INFO: 41epoch:train:6701-6800batch: iter_time=8.971e-05, forward_time=0.145, loss_ctc=63.054, loss_att=50.639, acc=0.729, loss=54.364, backward_time=0.358, grad_norm=64.236, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.290e-05, train_time=2.007 -[gpua005:0/64] 2023-12-19 11:38:29,485 (trainer:737) INFO: 41epoch:train:6801-6900batch: iter_time=8.960e-05, forward_time=0.146, loss_ctc=56.266, loss_att=49.457, acc=0.730, loss=51.500, backward_time=0.301, grad_norm=59.508, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.290e-05, train_time=1.835 -[gpua005:0/64] 2023-12-19 11:41:57,405 (trainer:737) INFO: 41epoch:train:6901-7000batch: iter_time=9.499e-05, forward_time=0.156, loss_ctc=60.887, loss_att=44.467, acc=0.733, loss=49.393, backward_time=0.422, grad_norm=69.931, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.289e-05, train_time=2.079 -[gpua005:0/64] 2023-12-19 11:45:47,026 (trainer:737) INFO: 41epoch:train:7001-7100batch: iter_time=9.404e-05, forward_time=0.168, loss_ctc=66.575, loss_att=49.556, acc=0.736, loss=54.662, backward_time=0.421, grad_norm=80.413, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.289e-05, train_time=2.296 -[gpua005:0/64] 2023-12-19 11:49:19,703 (trainer:737) INFO: 41epoch:train:7101-7200batch: iter_time=9.488e-05, forward_time=0.169, loss_ctc=70.716, loss_att=53.837, acc=0.732, loss=58.900, backward_time=0.378, grad_norm=71.141, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.288e-05, train_time=2.127 -[gpua005:0/64] 2023-12-19 11:51:50,670 (trainer:737) INFO: 41epoch:train:7201-7300batch: iter_time=8.454e-05, forward_time=0.153, loss_ctc=55.871, loss_att=46.718, acc=0.751, loss=49.464, backward_time=0.290, grad_norm=64.604, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.287e-05, train_time=1.509 -[gpua005:0/64] 2023-12-19 11:55:15,139 (trainer:737) INFO: 41epoch:train:7301-7400batch: iter_time=8.774e-05, forward_time=0.156, loss_ctc=64.068, loss_att=47.812, acc=0.733, loss=52.689, backward_time=0.366, grad_norm=71.126, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.287e-05, train_time=2.045 -[gpua005:0/64] 2023-12-19 11:57:53,905 (trainer:737) INFO: 41epoch:train:7401-7500batch: iter_time=8.932e-05, forward_time=0.146, loss_ctc=52.741, loss_att=40.887, acc=0.752, loss=44.444, backward_time=0.294, grad_norm=64.680, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.286e-05, train_time=1.587 -[gpua005:0/64] 2023-12-19 11:58:13,934 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua005:0/64] 2023-12-19 11:58:32,357 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-19 11:58:35,778 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-19 11:58:35,778 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua005:0/64] 2023-12-19 11:58:35,816 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-19 12:06:01,621 (trainer:737) INFO: 41epoch:train:7501-7600batch: iter_time=2.668, forward_time=0.184, loss_ctc=53.206, loss_att=42.322, acc=0.748, loss=45.587, backward_time=0.308, grad_norm=63.712, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.286e-05, train_time=4.877 -[gpua005:0/64] 2023-12-19 12:11:09,033 (trainer:737) INFO: 41epoch:train:7601-7700batch: iter_time=8.500e-05, forward_time=0.148, loss_ctc=63.220, loss_att=56.331, acc=0.736, loss=58.398, backward_time=0.488, grad_norm=73.049, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.285e-05, train_time=3.074 -[gpua005:0/64] 2023-12-19 12:16:24,566 (trainer:737) INFO: 41epoch:train:7701-7800batch: iter_time=8.697e-05, forward_time=0.175, loss_ctc=72.305, loss_att=57.599, acc=0.748, loss=62.011, backward_time=0.570, grad_norm=79.769, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.285e-05, train_time=3.155 -[gpua005:0/64] 2023-12-19 12:20:44,204 (trainer:737) INFO: 41epoch:train:7801-7900batch: iter_time=9.556e-05, forward_time=0.165, loss_ctc=73.603, loss_att=53.780, acc=0.756, loss=59.727, backward_time=0.369, grad_norm=71.299, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.284e-05, train_time=2.596 -[gpua005:0/64] 2023-12-19 12:25:05,875 (trainer:737) INFO: 41epoch:train:7901-8000batch: iter_time=9.460e-05, forward_time=0.163, loss_ctc=62.505, loss_att=52.370, acc=0.740, loss=55.410, backward_time=0.466, grad_norm=61.811, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.284e-05, train_time=2.616 -[gpua005:0/64] 2023-12-19 12:29:24,819 (trainer:737) INFO: 41epoch:train:8001-8100batch: iter_time=9.397e-05, forward_time=0.154, loss_ctc=56.341, loss_att=46.770, acc=0.734, loss=49.641, backward_time=0.451, grad_norm=89.959, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.283e-05, train_time=2.589 -[gpua005:0/64] 2023-12-19 12:33:36,728 (trainer:737) INFO: 41epoch:train:8101-8200batch: iter_time=8.728e-05, forward_time=0.146, loss_ctc=59.251, loss_att=49.022, acc=0.739, loss=52.091, backward_time=0.429, grad_norm=120.549, clip=100.000, loss_scale=1.349e+31, optim_step_time=0.132, optim0_lr0=6.283e-05, train_time=2.519 -[gpua005:0/64] 2023-12-19 12:37:17,346 (trainer:737) INFO: 41epoch:train:8201-8300batch: iter_time=8.322e-05, forward_time=0.145, loss_ctc=67.171, loss_att=52.329, acc=0.736, loss=56.781, backward_time=0.400, grad_norm=110.482, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.282e-05, train_time=2.206 -[gpua005:0/64] 2023-12-19 12:41:09,961 (trainer:737) INFO: 41epoch:train:8301-8400batch: iter_time=8.205e-05, forward_time=0.146, loss_ctc=68.913, loss_att=52.985, acc=0.735, loss=57.763, backward_time=0.404, grad_norm=71.355, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.282e-05, train_time=2.326 -[gpua005:0/64] 2023-12-19 12:44:41,153 (trainer:737) INFO: 41epoch:train:8401-8500batch: iter_time=8.439e-05, forward_time=0.172, loss_ctc=62.530, loss_att=48.526, acc=0.755, loss=52.727, backward_time=0.398, grad_norm=65.204, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.281e-05, train_time=2.112 -[gpua005:0/64] 2023-12-19 12:48:18,971 (trainer:737) INFO: 41epoch:train:8501-8600batch: iter_time=8.081e-05, forward_time=0.153, loss_ctc=56.245, loss_att=42.434, acc=0.766, loss=46.577, backward_time=0.406, grad_norm=63.418, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.281e-05, train_time=2.178 -[gpua005:0/64] 2023-12-19 12:51:42,847 (trainer:737) INFO: 41epoch:train:8601-8700batch: iter_time=8.812e-05, forward_time=0.150, loss_ctc=64.053, loss_att=51.832, acc=0.730, loss=55.498, backward_time=0.419, grad_norm=89.729, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.280e-05, train_time=2.039 -[gpua005:0/64] 2023-12-19 12:53:38,540 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua005:0/64] 2023-12-19 12:53:56,821 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-19 12:54:00,239 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-19 12:54:00,239 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua005:0/64] 2023-12-19 12:54:00,322 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-19 13:04:13,559 (trainer:737) INFO: 41epoch:train:8701-8800batch: iter_time=2.916, forward_time=0.185, loss_ctc=52.103, loss_att=41.533, acc=0.753, loss=44.704, backward_time=0.506, grad_norm=76.501, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.280e-05, train_time=7.507 -[gpua005:0/64] 2023-12-19 13:07:48,314 (trainer:737) INFO: 41epoch:train:8801-8900batch: iter_time=8.697e-05, forward_time=0.146, loss_ctc=56.457, loss_att=46.930, acc=0.750, loss=49.788, backward_time=0.380, grad_norm=81.342, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.279e-05, train_time=2.147 -[gpua005:0/64] 2023-12-19 13:12:39,185 (trainer:737) INFO: 41epoch:train:8901-9000batch: iter_time=8.767e-05, forward_time=0.146, loss_ctc=66.504, loss_att=56.397, acc=0.735, loss=59.429, backward_time=0.478, grad_norm=81.915, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.279e-05, train_time=2.908 -[gpua005:0/64] 2023-12-19 13:19:32,451 (trainer:737) INFO: 41epoch:train:9001-9100batch: iter_time=8.986e-05, forward_time=0.152, loss_ctc=71.143, loss_att=50.189, acc=0.763, loss=56.475, backward_time=0.637, grad_norm=99.611, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.278e-05, train_time=4.132 -[gpua005:0/64] 2023-12-19 13:26:13,732 (trainer:737) INFO: 41epoch:train:9101-9200batch: iter_time=9.156e-05, forward_time=0.176, loss_ctc=71.925, loss_att=58.524, acc=0.743, loss=62.544, backward_time=0.704, grad_norm=145.260, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.278e-05, train_time=4.013 -[gpua005:0/64] 2023-12-19 13:34:12,081 (trainer:737) INFO: 41epoch:train:9201-9300batch: iter_time=9.225e-05, forward_time=0.147, loss_ctc=63.800, loss_att=52.406, acc=0.734, loss=55.824, backward_time=0.823, grad_norm=82.950, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.277e-05, train_time=4.783 -[gpua005:0/64] 2023-12-19 13:40:48,158 (trainer:737) INFO: 41epoch:train:9301-9400batch: iter_time=9.179e-05, forward_time=0.155, loss_ctc=55.651, loss_att=50.473, acc=0.733, loss=52.026, backward_time=0.780, grad_norm=96.646, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.277e-05, train_time=3.961 -[gpua005:0/64] 2023-12-19 13:47:05,808 (trainer:737) INFO: 41epoch:train:9401-9500batch: iter_time=9.153e-05, forward_time=0.147, loss_ctc=60.657, loss_att=45.096, acc=0.739, loss=49.764, backward_time=0.637, grad_norm=100.972, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.276e-05, train_time=3.776 -[gpua005:0/64] 2023-12-19 13:54:33,226 (trainer:737) INFO: 41epoch:train:9501-9600batch: iter_time=9.531e-05, forward_time=0.189, loss_ctc=65.879, loss_att=49.888, acc=0.743, loss=54.685, backward_time=0.613, grad_norm=95.523, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.276e-05, train_time=4.474 -[gpua005:0/64] 2023-12-19 14:05:13,903 (trainer:737) INFO: 41epoch:train:9601-9700batch: iter_time=9.904e-05, forward_time=0.147, loss_ctc=70.688, loss_att=54.165, acc=0.743, loss=59.122, backward_time=0.866, grad_norm=169.026, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.275e-05, train_time=6.407 -[gpua005:0/64] 2023-12-19 14:12:09,272 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua005:0/64] 2023-12-19 14:14:53,178 (trainer:737) INFO: 41epoch:train:9701-9800batch: iter_time=9.846e-05, forward_time=0.147, loss_ctc=55.332, loss_att=46.032, acc=0.762, loss=48.822, backward_time=0.876, grad_norm=122.659, clip=100.000, loss_scale=1.793e+31, optim_step_time=0.132, optim0_lr0=6.275e-05, train_time=5.793 -[gpua005:0/64] 2023-12-19 14:27:12,798 (trainer:737) INFO: 41epoch:train:9801-9900batch: iter_time=1.045e-04, forward_time=0.150, loss_ctc=64.431, loss_att=47.755, acc=0.743, loss=52.758, backward_time=1.042, grad_norm=86.668, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.274e-05, train_time=7.396 -[gpua005:0/64] 2023-12-19 14:41:47,048 (trainer:737) INFO: 41epoch:train:9901-10000batch: iter_time=9.987e-05, forward_time=0.154, loss_ctc=52.098, loss_att=40.246, acc=0.760, loss=43.802, backward_time=1.008, grad_norm=125.306, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.274e-05, train_time=8.742 -[gpua005:0/64] 2023-12-19 14:42:06,027 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua005:0/64] 2023-12-19 14:42:24,325 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-19 14:42:27,711 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-19 14:42:27,711 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua005:0/64] 2023-12-19 14:42:27,729 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-19 14:51:17,288 (trainer:737) INFO: 41epoch:train:10001-10100batch: iter_time=2.561, forward_time=0.158, loss_ctc=52.860, loss_att=41.843, acc=0.744, loss=45.148, backward_time=0.286, grad_norm=68.321, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.273e-05, train_time=5.702 -[gpua005:0/64] 2023-12-19 14:53:24,633 (trainer:737) INFO: 41epoch:train:10101-10200batch: iter_time=8.075e-05, forward_time=0.160, loss_ctc=63.599, loss_att=56.679, acc=0.723, loss=58.755, backward_time=0.282, grad_norm=87.850, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.273e-05, train_time=1.273 -[gpua005:0/64] 2023-12-19 14:56:01,986 (trainer:737) INFO: 41epoch:train:10201-10300batch: iter_time=8.254e-05, forward_time=0.163, loss_ctc=72.803, loss_att=56.478, acc=0.743, loss=61.376, backward_time=0.359, grad_norm=174.458, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.272e-05, train_time=1.573 -[gpua005:0/64] 2023-12-19 14:58:44,660 (trainer:737) INFO: 41epoch:train:10301-10400batch: iter_time=8.838e-05, forward_time=0.146, loss_ctc=73.465, loss_att=53.799, acc=0.746, loss=59.699, backward_time=0.305, grad_norm=120.300, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.272e-05, train_time=1.627 -[gpua005:0/64] 2023-12-19 15:01:24,071 (trainer:737) INFO: 41epoch:train:10401-10500batch: iter_time=9.496e-05, forward_time=0.171, loss_ctc=62.761, loss_att=51.274, acc=0.735, loss=54.720, backward_time=0.360, grad_norm=82.229, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.271e-05, train_time=1.594 -[gpua005:0/64] 2023-12-19 15:03:32,098 (trainer:737) INFO: 41epoch:train:10501-10600batch: iter_time=1.003e-04, forward_time=0.146, loss_ctc=56.358, loss_att=46.409, acc=0.729, loss=49.394, backward_time=0.280, grad_norm=80.137, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.270e-05, train_time=1.279 -[gpua005:0/64] 2023-12-19 15:06:38,921 (trainer:737) INFO: 41epoch:train:10601-10700batch: iter_time=9.492e-05, forward_time=0.146, loss_ctc=59.321, loss_att=48.671, acc=0.738, loss=51.866, backward_time=0.318, grad_norm=111.851, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.270e-05, train_time=1.869 -[gpua005:0/64] 2023-12-19 15:09:09,824 (trainer:737) INFO: 41epoch:train:10701-10800batch: iter_time=9.276e-05, forward_time=0.146, loss_ctc=67.372, loss_att=51.232, acc=0.729, loss=56.074, backward_time=0.281, grad_norm=89.845, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.269e-05, train_time=1.509 -[gpua005:0/64] 2023-12-19 15:11:26,088 (trainer:737) INFO: 41epoch:train:10801-10900batch: iter_time=8.757e-05, forward_time=0.145, loss_ctc=68.755, loss_att=52.650, acc=0.728, loss=57.482, backward_time=0.278, grad_norm=89.221, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.269e-05, train_time=1.362 -[gpua005:0/64] 2023-12-19 15:14:09,427 (trainer:737) INFO: 41epoch:train:10901-11000batch: iter_time=9.314e-05, forward_time=0.160, loss_ctc=62.587, loss_att=48.428, acc=0.745, loss=52.676, backward_time=0.344, grad_norm=81.616, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.268e-05, train_time=1.633 -[gpua005:0/64] 2023-12-19 15:16:32,587 (trainer:737) INFO: 41epoch:train:11001-11100batch: iter_time=8.666e-05, forward_time=0.164, loss_ctc=56.637, loss_att=42.393, acc=0.760, loss=46.667, backward_time=0.303, grad_norm=58.387, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.268e-05, train_time=1.431 -[gpua005:0/64] 2023-12-19 15:18:58,200 (trainer:737) INFO: 41epoch:train:11101-11200batch: iter_time=8.570e-05, forward_time=0.148, loss_ctc=63.621, loss_att=50.992, acc=0.724, loss=54.781, backward_time=0.303, grad_norm=76.746, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.267e-05, train_time=1.456 -[gpua005:0/64] 2023-12-19 15:20:45,989 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua005:0/64] 2023-12-19 15:21:04,233 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-19 15:21:07,626 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-19 15:21:07,626 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua005:0/64] 2023-12-19 15:21:07,630 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-19 15:26:28,704 (trainer:737) INFO: 41epoch:train:11201-11300batch: iter_time=2.899, forward_time=0.184, loss_ctc=52.186, loss_att=42.273, acc=0.749, loss=45.247, backward_time=0.308, grad_norm=174.603, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.267e-05, train_time=4.505 -[gpua005:0/64] 2023-12-19 15:28:30,862 (trainer:737) INFO: 41epoch:train:11301-11400batch: iter_time=8.404e-05, forward_time=0.147, loss_ctc=56.191, loss_att=47.940, acc=0.750, loss=50.415, backward_time=0.279, grad_norm=74.842, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.266e-05, train_time=1.221 -[gpua005:0/64] 2023-12-19 15:30:35,431 (trainer:737) INFO: 41epoch:train:11401-11500batch: iter_time=9.016e-05, forward_time=0.149, loss_ctc=66.444, loss_att=56.689, acc=0.737, loss=59.615, backward_time=0.279, grad_norm=104.593, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.266e-05, train_time=1.245 -[gpua005:0/64] 2023-12-19 15:33:07,481 (trainer:737) INFO: 41epoch:train:11501-11600batch: iter_time=9.184e-05, forward_time=0.147, loss_ctc=71.234, loss_att=50.524, acc=0.762, loss=56.737, backward_time=0.331, grad_norm=170.038, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.265e-05, train_time=1.520 -[gpua005:0/64] 2023-12-19 15:35:47,970 (trainer:737) INFO: 41epoch:train:11601-11700batch: iter_time=8.978e-05, forward_time=0.147, loss_ctc=71.740, loss_att=58.979, acc=0.741, loss=62.807, backward_time=0.309, grad_norm=81.528, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.265e-05, train_time=1.605 -[gpua005:0/64] 2023-12-19 15:38:26,627 (trainer:737) INFO: 41epoch:train:11701-11800batch: iter_time=8.802e-05, forward_time=0.147, loss_ctc=63.114, loss_att=51.983, acc=0.737, loss=55.322, backward_time=0.332, grad_norm=170.451, clip=100.000, loss_scale=1.247e+31, optim_step_time=0.132, optim0_lr0=6.264e-05, train_time=1.586 -[gpua005:0/64] 2023-12-19 15:41:51,565 (trainer:737) INFO: 41epoch:train:11801-11900batch: iter_time=8.722e-05, forward_time=0.146, loss_ctc=55.950, loss_att=50.292, acc=0.732, loss=51.989, backward_time=0.329, grad_norm=93.367, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.264e-05, train_time=2.049 -[gpua005:0/64] 2023-12-19 15:44:16,706 (trainer:737) INFO: 41epoch:train:11901-12000batch: iter_time=8.668e-05, forward_time=0.146, loss_ctc=61.107, loss_att=45.244, acc=0.740, loss=50.003, backward_time=0.308, grad_norm=87.283, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.263e-05, train_time=1.451 -[gpua005:0/64] 2023-12-19 15:47:14,296 (trainer:737) INFO: 41epoch:train:12001-12100batch: iter_time=8.858e-05, forward_time=0.216, loss_ctc=66.106, loss_att=49.752, acc=0.744, loss=54.658, backward_time=0.389, grad_norm=88.888, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.146, optim0_lr0=6.263e-05, train_time=1.776 -[gpua005:0/64] 2023-12-19 15:49:31,038 (trainer:737) INFO: 41epoch:train:12101-12200batch: iter_time=8.566e-05, forward_time=0.171, loss_ctc=70.335, loss_att=54.184, acc=0.741, loss=59.029, backward_time=0.304, grad_norm=122.299, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.262e-05, train_time=1.367 -[gpua005:0/64] 2023-12-19 15:52:34,332 (trainer:737) INFO: 41epoch:train:12201-12300batch: iter_time=8.739e-05, forward_time=0.146, loss_ctc=55.710, loss_att=46.537, acc=0.759, loss=49.289, backward_time=0.348, grad_norm=71.699, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.262e-05, train_time=1.833 -[gpua005:0/64] 2023-12-19 15:54:56,602 (trainer:737) INFO: 41epoch:train:12301-12400batch: iter_time=8.111e-05, forward_time=0.145, loss_ctc=63.443, loss_att=47.283, acc=0.743, loss=52.131, backward_time=0.295, grad_norm=113.071, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.261e-05, train_time=1.422 -[gpua005:0/64] 2023-12-19 15:57:16,344 (trainer:737) INFO: 41epoch:train:12401-12500batch: iter_time=8.099e-05, forward_time=0.145, loss_ctc=52.475, loss_att=41.048, acc=0.757, loss=44.476, backward_time=0.296, grad_norm=64.037, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.261e-05, train_time=1.397 -[gpua005:0/64] 2023-12-19 15:57:36,372 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua005:0/64] 2023-12-19 15:57:54,547 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-19 15:57:57,954 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-19 15:57:57,954 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua005:0/64] 2023-12-19 15:57:57,989 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-19 16:08:38,881 (trainer:737) INFO: 41epoch:train:12501-12600batch: iter_time=2.950, forward_time=0.245, loss_ctc=52.475, loss_att=40.909, acc=0.753, loss=44.379, backward_time=0.317, grad_norm=68.417, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.260e-05, train_time=6.825 -[gpua005:0/64] 2023-12-19 16:11:09,085 (trainer:737) INFO: 41epoch:train:12601-12700batch: iter_time=8.525e-05, forward_time=0.146, loss_ctc=63.373, loss_att=55.118, acc=0.737, loss=57.594, backward_time=0.303, grad_norm=97.219, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.260e-05, train_time=1.502 -[gpua005:0/64] 2023-12-19 16:14:12,342 (trainer:737) INFO: 41epoch:train:12701-12800batch: iter_time=8.987e-05, forward_time=0.147, loss_ctc=72.127, loss_att=57.259, acc=0.749, loss=61.720, backward_time=0.351, grad_norm=109.964, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.259e-05, train_time=1.832 -[gpua005:0/64] 2023-12-19 16:16:40,625 (trainer:737) INFO: 41epoch:train:12801-12900batch: iter_time=8.767e-05, forward_time=0.147, loss_ctc=72.629, loss_att=52.894, acc=0.757, loss=58.815, backward_time=0.297, grad_norm=97.658, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.259e-05, train_time=1.483 -[gpua005:0/64] 2023-12-19 16:19:15,298 (trainer:737) INFO: 41epoch:train:12901-13000batch: iter_time=8.601e-05, forward_time=0.147, loss_ctc=62.529, loss_att=51.673, acc=0.743, loss=54.930, backward_time=0.329, grad_norm=142.835, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.258e-05, train_time=1.546 -[gpua005:0/64] 2023-12-19 16:21:55,558 (trainer:737) INFO: 41epoch:train:13001-13100batch: iter_time=8.721e-05, forward_time=0.146, loss_ctc=56.050, loss_att=46.409, acc=0.740, loss=49.301, backward_time=0.300, grad_norm=94.045, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.258e-05, train_time=1.602 -[gpua005:0/64] 2023-12-19 16:25:30,357 (trainer:737) INFO: 41epoch:train:13101-13200batch: iter_time=9.171e-05, forward_time=0.147, loss_ctc=58.975, loss_att=48.987, acc=0.740, loss=51.983, backward_time=0.385, grad_norm=69.738, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.257e-05, train_time=2.148 -[gpua005:0/64] 2023-12-19 16:27:47,454 (trainer:737) INFO: 41epoch:train:13201-13300batch: iter_time=8.424e-05, forward_time=0.197, loss_ctc=67.511, loss_att=52.164, acc=0.737, loss=56.768, backward_time=0.318, grad_norm=83.406, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.257e-05, train_time=1.371 -[gpua005:0/64] 2023-12-19 16:30:28,569 (trainer:737) INFO: 41epoch:train:13301-13400batch: iter_time=8.162e-05, forward_time=0.170, loss_ctc=68.700, loss_att=52.540, acc=0.736, loss=57.388, backward_time=0.341, grad_norm=81.774, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.256e-05, train_time=1.611 -[gpua005:0/64] 2023-12-19 16:33:19,481 (trainer:737) INFO: 41epoch:train:13401-13500batch: iter_time=8.012e-05, forward_time=0.146, loss_ctc=62.366, loss_att=48.496, acc=0.756, loss=52.657, backward_time=0.355, grad_norm=82.491, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.256e-05, train_time=1.709 -[gpua005:0/64] 2023-12-19 16:35:41,709 (trainer:737) INFO: 41epoch:train:13501-13600batch: iter_time=8.780e-05, forward_time=0.146, loss_ctc=55.935, loss_att=42.097, acc=0.768, loss=46.248, backward_time=0.291, grad_norm=121.516, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.255e-05, train_time=1.422 -[gpua005:0/64] 2023-12-19 16:38:22,101 (trainer:737) INFO: 41epoch:train:13601-13700batch: iter_time=8.456e-05, forward_time=0.146, loss_ctc=63.345, loss_att=51.156, acc=0.732, loss=54.813, backward_time=0.334, grad_norm=99.275, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.255e-05, train_time=1.604 -[gpua005:0/64] 2023-12-19 16:40:09,435 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua005:0/64] 2023-12-19 16:40:28,206 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-19 16:40:31,639 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-19 16:40:31,639 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua005:0/64] 2023-12-19 16:40:31,642 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-19 16:50:18,947 (trainer:737) INFO: 41epoch:train:13701-13800batch: iter_time=3.169, forward_time=0.178, loss_ctc=52.128, loss_att=42.309, acc=0.748, loss=45.255, backward_time=0.307, grad_norm=108.263, clip=100.000, loss_scale=2.495e+31, optim_step_time=0.132, optim0_lr0=6.254e-05, train_time=7.168 -[gpua005:0/64] 2023-12-19 16:52:24,985 (trainer:737) INFO: 41epoch:train:13801-13900batch: iter_time=8.066e-05, forward_time=0.147, loss_ctc=55.820, loss_att=48.449, acc=0.740, loss=50.660, backward_time=0.276, grad_norm=79.608, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.254e-05, train_time=1.260 -[gpua005:0/64] 2023-12-19 16:54:51,053 (trainer:737) INFO: 41epoch:train:13901-14000batch: iter_time=8.309e-05, forward_time=0.149, loss_ctc=66.247, loss_att=55.268, acc=0.731, loss=58.562, backward_time=0.289, grad_norm=75.467, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.253e-05, train_time=1.460 -[gpua005:0/64] 2023-12-19 16:57:29,919 (trainer:737) INFO: 41epoch:train:14001-14100batch: iter_time=8.769e-05, forward_time=0.146, loss_ctc=71.246, loss_att=50.404, acc=0.758, loss=56.657, backward_time=0.316, grad_norm=62.748, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.253e-05, train_time=1.588 -[gpua005:0/64] 2023-12-19 16:59:49,915 (trainer:737) INFO: 41epoch:train:14101-14200batch: iter_time=8.792e-05, forward_time=0.146, loss_ctc=72.375, loss_att=59.655, acc=0.728, loss=63.471, backward_time=0.304, grad_norm=105.985, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.252e-05, train_time=1.400 -[gpua005:0/64] 2023-12-19 17:02:03,764 (trainer:737) INFO: 41epoch:train:14201-14300batch: iter_time=9.338e-05, forward_time=0.146, loss_ctc=62.269, loss_att=49.912, acc=0.733, loss=53.620, backward_time=0.291, grad_norm=101.522, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.252e-05, train_time=1.338 -[gpua005:0/64] 2023-12-19 17:05:03,523 (trainer:737) INFO: 41epoch:train:14301-14400batch: iter_time=8.659e-05, forward_time=0.146, loss_ctc=55.707, loss_att=49.159, acc=0.735, loss=51.123, backward_time=0.314, grad_norm=89.208, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.251e-05, train_time=1.797 -[gpua005:0/64] 2023-12-19 17:07:33,931 (trainer:737) INFO: 41epoch:train:14401-14500batch: iter_time=8.521e-05, forward_time=0.146, loss_ctc=60.699, loss_att=44.733, acc=0.733, loss=49.523, backward_time=0.292, grad_norm=85.414, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.251e-05, train_time=1.504 -[gpua005:0/64] 2023-12-19 17:09:59,372 (trainer:737) INFO: 41epoch:train:14501-14600batch: iter_time=9.319e-05, forward_time=0.146, loss_ctc=65.842, loss_att=48.929, acc=0.742, loss=54.003, backward_time=0.311, grad_norm=93.752, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.250e-05, train_time=1.454 -[gpua005:0/64] 2023-12-19 17:12:54,586 (trainer:737) INFO: 41epoch:train:14601-14700batch: iter_time=8.231e-05, forward_time=0.199, loss_ctc=70.236, loss_att=53.394, acc=0.735, loss=58.446, backward_time=0.307, grad_norm=98.429, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.250e-05, train_time=1.752 -[gpua005:0/64] 2023-12-19 17:15:18,559 (trainer:737) INFO: 41epoch:train:14701-14800batch: iter_time=8.513e-05, forward_time=0.162, loss_ctc=55.399, loss_att=46.110, acc=0.754, loss=48.896, backward_time=0.306, grad_norm=66.470, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.249e-05, train_time=1.439 -[gpua005:0/64] 2023-12-19 17:17:43,678 (trainer:737) INFO: 41epoch:train:14801-14900batch: iter_time=7.742e-04, forward_time=0.169, loss_ctc=64.260, loss_att=47.953, acc=0.733, loss=52.845, backward_time=0.321, grad_norm=86.581, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.249e-05, train_time=1.451 -[gpua005:0/64] 2023-12-19 17:20:11,089 (trainer:737) INFO: 41epoch:train:14901-15000batch: iter_time=7.910e-05, forward_time=0.146, loss_ctc=52.467, loss_att=40.838, acc=0.753, loss=44.327, backward_time=0.299, grad_norm=74.914, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.248e-05, train_time=1.474 -[gpua005:0/64] 2023-12-19 17:45:11,441 (trainer:343) INFO: 41epoch results: [train] iter_time=0.208, forward_time=0.157, loss_ctc=63.054, loss_att=49.907, acc=0.740, loss=53.851, backward_time=0.368, grad_norm=83.288, clip=100.000, loss_scale=2.577e+31, optim_step_time=0.133, optim0_lr0=6.286e-05, train_time=2.344, time=9 hours, 46 minutes and 33.58 seconds, total_count=615000, gpu_max_cached_mem_GB=36.082, [valid] loss_ctc=32.143, cer_ctc=0.167, loss_att=32.882, acc=0.727, cer=0.344, wer=0.991, loss=32.660, time=24 minutes and 36.38 seconds, total_count=191511, gpu_max_cached_mem_GB=36.082 -[gpua005:0/64] 2023-12-19 17:45:37,934 (trainer:391) INFO: The best model has been updated: valid.total_count -[gpua005:0/64] 2023-12-19 17:45:38,434 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/36epoch.pth -[gpua005:0/64] 2023-12-19 17:45:38,680 (trainer:272) INFO: 42/45epoch started. Estimated time to finish: 1 day, 16 hours and 46 minutes -[gpua005:0/64] 2023-12-19 17:45:39,731 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua005:0/64] 2023-12-19 17:45:57,745 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-19 17:46:01,145 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-19 17:46:01,145 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua005:0/64] 2023-12-19 17:46:01,182 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-19 17:53:16,219 (trainer:737) INFO: 42epoch:train:1-100batch: iter_time=2.101, forward_time=0.179, loss_ctc=65.607, loss_att=48.091, acc=0.731, loss=53.346, backward_time=0.315, grad_norm=113.662, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.247e-05, train_time=4.568 -[gpua005:0/64] 2023-12-19 17:59:49,470 (trainer:737) INFO: 42epoch:train:101-200batch: iter_time=1.158e-04, forward_time=0.147, loss_ctc=60.904, loss_att=49.580, acc=0.744, loss=52.977, backward_time=0.753, grad_norm=70.731, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.247e-05, train_time=3.933 -[gpua005:0/64] 2023-12-19 18:05:51,156 (trainer:737) INFO: 42epoch:train:201-300batch: iter_time=1.161e-04, forward_time=0.148, loss_ctc=72.000, loss_att=62.821, acc=0.734, loss=65.575, backward_time=0.715, grad_norm=88.731, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.246e-05, train_time=3.617 -[gpua005:0/64] 2023-12-19 18:07:49,673 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua005:0/64] 2023-12-19 18:08:25,216 (trainer:737) INFO: 42epoch:train:301-400batch: iter_time=1.009e-04, forward_time=0.166, loss_ctc=65.791, loss_att=47.766, acc=0.720, loss=53.174, backward_time=0.318, grad_norm=71.767, clip=100.000, loss_scale=3.565e+31, optim_step_time=0.135, optim0_lr0=6.246e-05, train_time=1.540 -[gpua005:0/64] 2023-12-19 18:11:12,272 (trainer:737) INFO: 42epoch:train:401-500batch: iter_time=8.431e-05, forward_time=0.186, loss_ctc=75.501, loss_att=59.828, acc=0.717, loss=64.530, backward_time=0.390, grad_norm=80.345, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.245e-05, train_time=1.670 -[gpua005:0/64] 2023-12-19 18:14:13,558 (trainer:737) INFO: 42epoch:train:501-600batch: iter_time=9.118e-05, forward_time=0.162, loss_ctc=71.319, loss_att=55.809, acc=0.738, loss=60.462, backward_time=0.347, grad_norm=80.563, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.245e-05, train_time=1.813 -[gpua005:0/64] 2023-12-19 18:16:41,015 (trainer:737) INFO: 42epoch:train:601-700batch: iter_time=8.036e-05, forward_time=0.148, loss_ctc=69.003, loss_att=54.700, acc=0.739, loss=58.991, backward_time=0.300, grad_norm=75.383, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.244e-05, train_time=1.474 -[gpua005:0/64] 2023-12-19 18:19:32,394 (trainer:737) INFO: 42epoch:train:701-800batch: iter_time=8.132e-05, forward_time=0.147, loss_ctc=61.198, loss_att=47.840, acc=0.751, loss=51.847, backward_time=0.300, grad_norm=64.936, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.244e-05, train_time=1.714 -[gpua005:0/64] 2023-12-19 18:21:49,109 (trainer:737) INFO: 42epoch:train:801-900batch: iter_time=9.172e-05, forward_time=0.150, loss_ctc=81.452, loss_att=61.325, acc=0.717, loss=67.363, backward_time=0.298, grad_norm=98.913, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.243e-05, train_time=1.367 -[gpua005:0/64] 2023-12-19 18:24:39,044 (trainer:737) INFO: 42epoch:train:901-1000batch: iter_time=7.256e-05, forward_time=0.147, loss_ctc=66.039, loss_att=51.626, acc=0.741, loss=55.950, backward_time=0.307, grad_norm=65.141, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.243e-05, train_time=1.699 -[gpua005:0/64] 2023-12-19 18:27:23,753 (trainer:737) INFO: 42epoch:train:1001-1100batch: iter_time=7.446e-05, forward_time=0.161, loss_ctc=71.242, loss_att=48.204, acc=0.752, loss=55.116, backward_time=0.338, grad_norm=77.291, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.242e-05, train_time=1.647 -[gpua005:0/64] 2023-12-19 18:30:17,138 (trainer:737) INFO: 42epoch:train:1101-1200batch: iter_time=7.416e-05, forward_time=0.171, loss_ctc=66.797, loss_att=53.040, acc=0.737, loss=57.167, backward_time=0.374, grad_norm=64.912, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.242e-05, train_time=1.733 -[gpua005:0/64] 2023-12-19 18:31:56,032 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua005:0/64] 2023-12-19 18:32:14,473 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-19 18:32:17,977 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-19 18:32:17,977 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua005:0/64] 2023-12-19 18:32:17,981 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-19 18:39:36,913 (trainer:737) INFO: 42epoch:train:1201-1300batch: iter_time=2.765, forward_time=0.186, loss_ctc=57.900, loss_att=44.822, acc=0.743, loss=48.746, backward_time=0.292, grad_norm=61.977, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.241e-05, train_time=5.598 -[gpua005:0/64] 2023-12-19 18:41:50,174 (trainer:737) INFO: 42epoch:train:1301-1400batch: iter_time=8.052e-05, forward_time=0.150, loss_ctc=63.901, loss_att=49.773, acc=0.733, loss=54.011, backward_time=0.322, grad_norm=76.138, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.241e-05, train_time=1.332 -[gpua005:0/64] 2023-12-19 18:43:57,292 (trainer:737) INFO: 42epoch:train:1401-1500batch: iter_time=7.742e-05, forward_time=0.148, loss_ctc=69.403, loss_att=60.430, acc=0.741, loss=63.122, backward_time=0.281, grad_norm=79.119, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.240e-05, train_time=1.271 -[gpua005:0/64] 2023-12-19 18:45:58,813 (trainer:737) INFO: 42epoch:train:1501-1600batch: iter_time=8.128e-05, forward_time=0.146, loss_ctc=67.867, loss_att=54.594, acc=0.711, loss=58.576, backward_time=0.279, grad_norm=79.244, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.240e-05, train_time=1.215 -[gpua005:0/64] 2023-12-19 18:48:10,404 (trainer:737) INFO: 42epoch:train:1601-1700batch: iter_time=8.739e-05, forward_time=0.149, loss_ctc=69.155, loss_att=53.634, acc=0.716, loss=58.290, backward_time=0.289, grad_norm=113.044, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.239e-05, train_time=1.316 -[gpua005:0/64] 2023-12-19 18:48:52,789 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua005:0/64] 2023-12-19 18:50:38,476 (trainer:737) INFO: 42epoch:train:1701-1800batch: iter_time=8.527e-05, forward_time=0.163, loss_ctc=70.047, loss_att=56.794, acc=0.718, loss=60.770, backward_time=0.317, grad_norm=101.174, clip=100.000, loss_scale=1.280e+31, optim_step_time=0.135, optim0_lr0=6.239e-05, train_time=1.480 -[gpua005:0/64] 2023-12-19 18:53:42,584 (trainer:737) INFO: 42epoch:train:1801-1900batch: iter_time=8.042e-05, forward_time=0.155, loss_ctc=70.290, loss_att=52.555, acc=0.740, loss=57.875, backward_time=0.305, grad_norm=98.131, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.238e-05, train_time=1.841 -[gpua005:0/64] 2023-12-19 18:56:20,014 (trainer:737) INFO: 42epoch:train:1901-2000batch: iter_time=7.940e-05, forward_time=0.180, loss_ctc=58.153, loss_att=44.650, acc=0.753, loss=48.701, backward_time=0.316, grad_norm=73.375, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.238e-05, train_time=1.574 -[gpua005:0/64] 2023-12-19 18:58:53,177 (trainer:737) INFO: 42epoch:train:2001-2100batch: iter_time=8.015e-05, forward_time=0.166, loss_ctc=68.745, loss_att=56.185, acc=0.730, loss=59.953, backward_time=0.301, grad_norm=73.573, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.237e-05, train_time=1.532 -[gpua005:0/64] 2023-12-19 19:01:22,436 (trainer:737) INFO: 42epoch:train:2101-2200batch: iter_time=8.578e-05, forward_time=0.147, loss_ctc=77.031, loss_att=55.361, acc=0.714, loss=61.862, backward_time=0.289, grad_norm=95.869, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.237e-05, train_time=1.492 -[gpua005:0/64] 2023-12-19 19:03:31,423 (trainer:737) INFO: 42epoch:train:2201-2300batch: iter_time=8.539e-05, forward_time=0.147, loss_ctc=59.968, loss_att=48.873, acc=0.743, loss=52.202, backward_time=0.285, grad_norm=62.528, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.236e-05, train_time=1.290 -[gpua005:0/64] 2023-12-19 19:05:43,828 (trainer:737) INFO: 42epoch:train:2301-2400batch: iter_time=8.234e-05, forward_time=0.147, loss_ctc=72.658, loss_att=46.909, acc=0.742, loss=54.634, backward_time=0.289, grad_norm=91.754, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.236e-05, train_time=1.324 -[gpua005:0/64] 2023-12-19 19:08:07,157 (trainer:737) INFO: 42epoch:train:2401-2500batch: iter_time=8.308e-05, forward_time=0.147, loss_ctc=68.123, loss_att=53.231, acc=0.738, loss=57.698, backward_time=0.286, grad_norm=129.677, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.235e-05, train_time=1.433 -[gpua005:0/64] 2023-12-19 19:08:27,185 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua005:0/64] 2023-12-19 19:08:45,904 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-19 19:08:49,612 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-19 19:08:49,612 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua005:0/64] 2023-12-19 19:08:49,616 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-19 19:15:15,340 (trainer:737) INFO: 42epoch:train:2501-2600batch: iter_time=2.704, forward_time=0.159, loss_ctc=58.452, loss_att=45.504, acc=0.739, loss=49.389, backward_time=0.287, grad_norm=76.775, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.235e-05, train_time=4.281 -[gpua005:0/64] 2023-12-19 19:17:23,661 (trainer:737) INFO: 42epoch:train:2601-2700batch: iter_time=7.911e-05, forward_time=0.147, loss_ctc=60.060, loss_att=48.378, acc=0.745, loss=51.882, backward_time=0.280, grad_norm=139.622, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.234e-05, train_time=1.283 -[gpua005:0/64] 2023-12-19 19:19:41,755 (trainer:737) INFO: 42epoch:train:2701-2800batch: iter_time=8.051e-05, forward_time=0.157, loss_ctc=70.529, loss_att=62.377, acc=0.732, loss=64.823, backward_time=0.295, grad_norm=126.782, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.234e-05, train_time=1.381 -[gpua005:0/64] 2023-12-19 19:22:14,074 (trainer:737) INFO: 42epoch:train:2801-2900batch: iter_time=8.592e-05, forward_time=0.148, loss_ctc=65.105, loss_att=47.245, acc=0.714, loss=52.603, backward_time=0.294, grad_norm=90.699, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.233e-05, train_time=1.523 -[gpua005:0/64] 2023-12-19 19:24:47,731 (trainer:737) INFO: 42epoch:train:2901-3000batch: iter_time=8.468e-05, forward_time=0.165, loss_ctc=72.661, loss_att=58.334, acc=0.714, loss=62.632, backward_time=0.307, grad_norm=141.625, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.233e-05, train_time=1.536 -[gpua005:0/64] 2023-12-19 19:27:14,965 (trainer:737) INFO: 42epoch:train:3001-3100batch: iter_time=8.166e-05, forward_time=0.172, loss_ctc=68.030, loss_att=54.527, acc=0.733, loss=58.578, backward_time=0.302, grad_norm=100.804, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.232e-05, train_time=1.472 -[gpua005:0/64] 2023-12-19 19:29:28,550 (trainer:737) INFO: 42epoch:train:3101-3200batch: iter_time=8.652e-05, forward_time=0.153, loss_ctc=68.812, loss_att=52.962, acc=0.743, loss=57.717, backward_time=0.286, grad_norm=76.664, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.232e-05, train_time=1.336 -[gpua005:0/64] 2023-12-19 19:31:44,541 (trainer:737) INFO: 42epoch:train:3201-3300batch: iter_time=8.434e-05, forward_time=0.147, loss_ctc=60.354, loss_att=45.719, acc=0.750, loss=50.110, backward_time=0.299, grad_norm=71.422, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.231e-05, train_time=1.360 -[gpua005:0/64] 2023-12-19 19:34:05,775 (trainer:737) INFO: 42epoch:train:3301-3400batch: iter_time=8.255e-05, forward_time=0.147, loss_ctc=78.698, loss_att=58.317, acc=0.720, loss=64.431, backward_time=0.318, grad_norm=100.948, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.231e-05, train_time=1.412 -[gpua005:0/64] 2023-12-19 19:36:28,253 (trainer:737) INFO: 42epoch:train:3401-3500batch: iter_time=8.326e-05, forward_time=0.147, loss_ctc=64.976, loss_att=49.816, acc=0.741, loss=54.364, backward_time=0.286, grad_norm=81.235, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.230e-05, train_time=1.425 -[gpua005:0/64] 2023-12-19 19:39:03,192 (trainer:737) INFO: 42epoch:train:3501-3600batch: iter_time=8.363e-05, forward_time=0.158, loss_ctc=69.766, loss_att=47.430, acc=0.748, loss=54.131, backward_time=0.326, grad_norm=104.294, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.230e-05, train_time=1.549 -[gpua005:0/64] 2023-12-19 19:41:32,663 (trainer:737) INFO: 42epoch:train:3601-3700batch: iter_time=7.766e-05, forward_time=0.148, loss_ctc=66.084, loss_att=52.341, acc=0.731, loss=56.464, backward_time=0.309, grad_norm=200.474, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.229e-05, train_time=1.495 -[gpua005:0/64] 2023-12-19 19:43:05,604 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua005:0/64] 2023-12-19 19:43:23,904 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-19 19:43:27,367 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-19 19:43:27,367 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua005:0/64] 2023-12-19 19:43:27,370 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-19 19:48:34,446 (trainer:737) INFO: 42epoch:train:3701-3800batch: iter_time=2.464, forward_time=0.189, loss_ctc=57.741, loss_att=42.919, acc=0.754, loss=47.366, backward_time=0.288, grad_norm=71.012, clip=100.000, loss_scale=1.754e+31, optim_step_time=0.135, optim0_lr0=6.229e-05, train_time=4.218 -[gpua005:0/64] 2023-12-19 19:50:37,082 (trainer:737) INFO: 42epoch:train:3801-3900batch: iter_time=8.740e-05, forward_time=0.147, loss_ctc=61.993, loss_att=49.383, acc=0.740, loss=53.166, backward_time=0.280, grad_norm=110.011, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.228e-05, train_time=1.226 -[gpua005:0/64] 2023-12-19 19:52:41,018 (trainer:737) INFO: 42epoch:train:3901-4000batch: iter_time=8.276e-05, forward_time=0.147, loss_ctc=69.106, loss_att=60.458, acc=0.746, loss=63.052, backward_time=0.282, grad_norm=97.327, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.228e-05, train_time=1.239 -[gpua005:0/64] 2023-12-19 19:55:11,883 (trainer:737) INFO: 42epoch:train:4001-4100batch: iter_time=8.360e-05, forward_time=0.147, loss_ctc=67.131, loss_att=53.350, acc=0.727, loss=57.484, backward_time=0.323, grad_norm=123.454, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.227e-05, train_time=1.508 -[gpua005:0/64] 2023-12-19 19:57:49,946 (trainer:737) INFO: 42epoch:train:4101-4200batch: iter_time=9.701e-05, forward_time=0.147, loss_ctc=68.382, loss_att=53.171, acc=0.730, loss=57.734, backward_time=0.293, grad_norm=106.489, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.227e-05, train_time=1.580 -[gpua005:0/64] 2023-12-19 20:00:16,413 (trainer:737) INFO: 42epoch:train:4201-4300batch: iter_time=9.283e-05, forward_time=0.171, loss_ctc=68.167, loss_att=54.843, acc=0.737, loss=58.840, backward_time=0.306, grad_norm=106.846, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.226e-05, train_time=1.464 -[gpua005:0/64] 2023-12-19 20:02:28,049 (trainer:737) INFO: 42epoch:train:4301-4400batch: iter_time=9.167e-05, forward_time=0.148, loss_ctc=69.275, loss_att=52.356, acc=0.746, loss=57.432, backward_time=0.284, grad_norm=120.480, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.226e-05, train_time=1.316 -[gpua005:0/64] 2023-12-19 20:05:16,328 (trainer:737) INFO: 42epoch:train:4401-4500batch: iter_time=8.888e-05, forward_time=0.147, loss_ctc=58.005, loss_att=46.984, acc=0.756, loss=50.291, backward_time=0.318, grad_norm=151.348, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.225e-05, train_time=1.683 -[gpua005:0/64] 2023-12-19 20:08:10,199 (trainer:737) INFO: 42epoch:train:4501-4600batch: iter_time=8.752e-05, forward_time=0.248, loss_ctc=67.555, loss_att=55.882, acc=0.742, loss=59.384, backward_time=0.312, grad_norm=86.198, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.225e-05, train_time=1.738 -[gpua005:0/64] 2023-12-19 20:11:00,739 (trainer:737) INFO: 42epoch:train:4601-4700batch: iter_time=8.425e-05, forward_time=0.149, loss_ctc=75.409, loss_att=56.594, acc=0.721, loss=62.238, backward_time=0.321, grad_norm=88.799, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.224e-05, train_time=1.706 -[gpua005:0/64] 2023-12-19 20:13:44,968 (trainer:737) INFO: 42epoch:train:4701-4800batch: iter_time=9.176e-05, forward_time=0.147, loss_ctc=59.974, loss_att=49.947, acc=0.751, loss=52.955, backward_time=0.357, grad_norm=67.191, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.224e-05, train_time=1.642 -[gpua005:0/64] 2023-12-19 20:16:18,880 (trainer:737) INFO: 42epoch:train:4801-4900batch: iter_time=9.358e-05, forward_time=0.147, loss_ctc=72.052, loss_att=46.238, acc=0.757, loss=53.982, backward_time=0.293, grad_norm=79.447, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.223e-05, train_time=1.539 -[gpua005:0/64] 2023-12-19 20:18:27,612 (trainer:737) INFO: 42epoch:train:4901-5000batch: iter_time=8.814e-05, forward_time=0.147, loss_ctc=67.040, loss_att=54.449, acc=0.745, loss=58.226, backward_time=0.279, grad_norm=84.495, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.223e-05, train_time=1.287 -[gpua005:0/64] 2023-12-19 20:18:47,640 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua005:0/64] 2023-12-19 20:19:06,064 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-19 20:19:09,512 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-19 20:19:09,512 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua005:0/64] 2023-12-19 20:19:09,524 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-19 20:25:59,443 (trainer:737) INFO: 42epoch:train:5001-5100batch: iter_time=3.198, forward_time=0.162, loss_ctc=56.835, loss_att=45.544, acc=0.739, loss=48.931, backward_time=0.281, grad_norm=84.331, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.222e-05, train_time=4.518 -[gpua005:0/64] 2023-12-19 20:28:17,530 (trainer:737) INFO: 42epoch:train:5101-5200batch: iter_time=9.479e-05, forward_time=0.148, loss_ctc=59.503, loss_att=48.498, acc=0.745, loss=51.800, backward_time=0.326, grad_norm=96.989, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.222e-05, train_time=1.381 -[gpua005:0/64] 2023-12-19 20:30:31,192 (trainer:737) INFO: 42epoch:train:5201-5300batch: iter_time=9.838e-05, forward_time=0.148, loss_ctc=70.969, loss_att=62.249, acc=0.733, loss=64.865, backward_time=0.284, grad_norm=95.301, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.221e-05, train_time=1.336 -[gpua005:0/64] 2023-12-19 20:33:24,537 (trainer:737) INFO: 42epoch:train:5301-5400batch: iter_time=1.050e-04, forward_time=0.148, loss_ctc=64.155, loss_att=46.972, acc=0.716, loss=52.127, backward_time=0.309, grad_norm=129.048, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.221e-05, train_time=1.733 -[gpua005:0/64] 2023-12-19 20:35:58,970 (trainer:737) INFO: 42epoch:train:5401-5500batch: iter_time=9.646e-05, forward_time=0.147, loss_ctc=72.369, loss_att=57.859, acc=0.714, loss=62.212, backward_time=0.303, grad_norm=96.342, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.220e-05, train_time=1.544 -[gpua005:0/64] 2023-12-19 20:38:23,876 (trainer:737) INFO: 42epoch:train:5501-5600batch: iter_time=8.689e-05, forward_time=0.234, loss_ctc=67.882, loss_att=54.502, acc=0.735, loss=58.516, backward_time=0.307, grad_norm=96.161, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.220e-05, train_time=1.449 -[gpua005:0/64] 2023-12-19 20:40:47,720 (trainer:737) INFO: 42epoch:train:5601-5700batch: iter_time=9.576e-05, forward_time=0.149, loss_ctc=68.313, loss_att=52.411, acc=0.745, loss=57.182, backward_time=0.307, grad_norm=68.650, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.219e-05, train_time=1.439 -[gpua005:0/64] 2023-12-19 20:42:53,230 (trainer:737) INFO: 42epoch:train:5701-5800batch: iter_time=9.074e-05, forward_time=0.149, loss_ctc=60.466, loss_att=45.739, acc=0.752, loss=50.157, backward_time=0.284, grad_norm=59.954, clip=100.000, loss_scale=3.509e+31, optim_step_time=0.134, optim0_lr0=6.219e-05, train_time=1.255 -[gpua005:0/64] 2023-12-19 20:45:37,466 (trainer:737) INFO: 42epoch:train:5801-5900batch: iter_time=8.712e-05, forward_time=0.148, loss_ctc=76.927, loss_att=57.915, acc=0.722, loss=63.618, backward_time=0.333, grad_norm=91.996, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.218e-05, train_time=1.642 -[gpua005:0/64] 2023-12-19 20:48:13,544 (trainer:737) INFO: 42epoch:train:5901-6000batch: iter_time=9.390e-05, forward_time=0.148, loss_ctc=64.624, loss_att=49.428, acc=0.743, loss=53.987, backward_time=0.305, grad_norm=69.705, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.218e-05, train_time=1.561 -[gpua005:0/64] 2023-12-19 20:50:43,477 (trainer:737) INFO: 42epoch:train:6001-6100batch: iter_time=9.781e-05, forward_time=0.163, loss_ctc=69.376, loss_att=46.962, acc=0.750, loss=53.686, backward_time=0.304, grad_norm=77.233, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.217e-05, train_time=1.499 -[gpua005:0/64] 2023-12-19 20:52:59,294 (trainer:737) INFO: 42epoch:train:6101-6200batch: iter_time=8.814e-05, forward_time=0.147, loss_ctc=65.070, loss_att=51.364, acc=0.734, loss=55.476, backward_time=0.297, grad_norm=67.453, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.217e-05, train_time=1.358 -[gpua005:0/64] 2023-12-19 20:54:19,770 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua005:0/64] 2023-12-19 20:54:38,554 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-19 20:54:42,042 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-19 20:54:42,042 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua005:0/64] 2023-12-19 20:54:42,045 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-19 21:00:28,907 (trainer:737) INFO: 42epoch:train:6201-6300batch: iter_time=3.172, forward_time=0.179, loss_ctc=57.386, loss_att=42.071, acc=0.753, loss=46.665, backward_time=0.286, grad_norm=68.176, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.216e-05, train_time=4.496 -[gpua005:0/64] 2023-12-19 21:02:35,600 (trainer:737) INFO: 42epoch:train:6301-6400batch: iter_time=7.775e-05, forward_time=0.146, loss_ctc=60.520, loss_att=47.805, acc=0.741, loss=51.619, backward_time=0.278, grad_norm=74.345, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.216e-05, train_time=1.267 -[gpua005:0/64] 2023-12-19 21:04:36,248 (trainer:737) INFO: 42epoch:train:6401-6500batch: iter_time=8.403e-05, forward_time=0.147, loss_ctc=67.740, loss_att=59.697, acc=0.746, loss=62.110, backward_time=0.280, grad_norm=74.487, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.215e-05, train_time=1.206 -[gpua005:0/64] 2023-12-19 21:07:15,822 (trainer:737) INFO: 42epoch:train:6501-6600batch: iter_time=8.679e-05, forward_time=0.148, loss_ctc=66.699, loss_att=53.280, acc=0.717, loss=57.306, backward_time=0.296, grad_norm=113.355, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.215e-05, train_time=1.596 -[gpua005:0/64] 2023-12-19 21:09:38,651 (trainer:737) INFO: 42epoch:train:6601-6700batch: iter_time=8.785e-05, forward_time=0.148, loss_ctc=67.988, loss_att=52.891, acc=0.721, loss=57.420, backward_time=0.290, grad_norm=121.992, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.214e-05, train_time=1.428 -[gpua005:0/64] 2023-12-19 21:11:57,948 (trainer:737) INFO: 42epoch:train:6701-6800batch: iter_time=8.438e-05, forward_time=0.148, loss_ctc=67.972, loss_att=55.227, acc=0.726, loss=59.050, backward_time=0.294, grad_norm=109.414, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.214e-05, train_time=1.393 -[gpua005:0/64] 2023-12-19 21:14:34,329 (trainer:737) INFO: 42epoch:train:6801-6900batch: iter_time=8.142e-05, forward_time=0.158, loss_ctc=69.635, loss_att=51.545, acc=0.746, loss=56.972, backward_time=0.307, grad_norm=99.257, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.213e-05, train_time=1.564 -[gpua005:0/64] 2023-12-19 21:17:01,554 (trainer:737) INFO: 42epoch:train:6901-7000batch: iter_time=8.183e-05, forward_time=0.148, loss_ctc=58.096, loss_att=44.293, acc=0.756, loss=48.434, backward_time=0.285, grad_norm=73.478, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.213e-05, train_time=1.472 -[gpua005:0/64] 2023-12-19 21:19:33,447 (trainer:737) INFO: 42epoch:train:7001-7100batch: iter_time=8.225e-05, forward_time=0.150, loss_ctc=67.423, loss_att=55.391, acc=0.735, loss=59.000, backward_time=0.290, grad_norm=70.737, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.212e-05, train_time=1.519 -[gpua005:0/64] 2023-12-19 21:23:51,165 (trainer:737) INFO: 42epoch:train:7101-7200batch: iter_time=9.012e-05, forward_time=0.183, loss_ctc=75.264, loss_att=54.548, acc=0.719, loss=60.763, backward_time=0.430, grad_norm=90.447, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.212e-05, train_time=2.576 -[gpua005:0/64] 2023-12-19 21:28:07,533 (trainer:737) INFO: 42epoch:train:7201-7300batch: iter_time=9.151e-05, forward_time=0.347, loss_ctc=59.700, loss_att=48.515, acc=0.748, loss=51.870, backward_time=0.330, grad_norm=63.859, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.144, optim0_lr0=6.211e-05, train_time=2.564 -[gpua005:0/64] 2023-12-19 21:31:38,379 (trainer:737) INFO: 42epoch:train:7301-7400batch: iter_time=9.064e-05, forward_time=0.182, loss_ctc=71.768, loss_att=46.167, acc=0.746, loss=53.847, backward_time=0.363, grad_norm=72.678, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.146, optim0_lr0=6.211e-05, train_time=2.109 -[gpua005:0/64] 2023-12-19 21:33:53,828 (trainer:737) INFO: 42epoch:train:7401-7500batch: iter_time=9.580e-05, forward_time=0.148, loss_ctc=66.756, loss_att=52.688, acc=0.743, loss=56.909, backward_time=0.293, grad_norm=69.872, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.210e-05, train_time=1.354 -[gpua005:0/64] 2023-12-19 21:34:13,857 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua005:0/64] 2023-12-19 21:34:32,241 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-19 21:34:36,142 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-19 21:34:36,142 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua005:0/64] 2023-12-19 21:34:36,145 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-19 21:41:03,765 (trainer:737) INFO: 42epoch:train:7501-7600batch: iter_time=2.976, forward_time=0.161, loss_ctc=56.514, loss_att=46.909, acc=0.740, loss=49.791, backward_time=0.281, grad_norm=73.378, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.210e-05, train_time=4.299 -[gpua005:0/64] 2023-12-19 21:43:03,786 (trainer:737) INFO: 42epoch:train:7601-7700batch: iter_time=9.520e-05, forward_time=0.147, loss_ctc=59.557, loss_att=48.068, acc=0.756, loss=51.515, backward_time=0.278, grad_norm=64.935, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.209e-05, train_time=1.200 -[gpua005:0/64] 2023-12-19 21:45:16,768 (trainer:737) INFO: 42epoch:train:7701-7800batch: iter_time=8.198e-05, forward_time=0.149, loss_ctc=70.362, loss_att=61.641, acc=0.744, loss=64.257, backward_time=0.308, grad_norm=66.695, clip=100.000, loss_scale=7.018e+31, optim_step_time=0.134, optim0_lr0=6.209e-05, train_time=1.330 -[gpua005:0/64] 2023-12-19 21:47:58,825 (trainer:737) INFO: 42epoch:train:7801-7900batch: iter_time=9.334e-05, forward_time=0.148, loss_ctc=62.870, loss_att=46.432, acc=0.731, loss=51.363, backward_time=0.286, grad_norm=66.507, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.208e-05, train_time=1.620 -[gpua005:0/64] 2023-12-19 21:50:39,656 (trainer:737) INFO: 42epoch:train:7901-8000batch: iter_time=1.001e-04, forward_time=0.152, loss_ctc=71.664, loss_att=58.383, acc=0.728, loss=62.368, backward_time=0.295, grad_norm=81.059, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=6.208e-05, train_time=1.608 -[gpua005:0/64] 2023-12-19 21:53:03,694 (trainer:737) INFO: 42epoch:train:8001-8100batch: iter_time=9.059e-05, forward_time=0.195, loss_ctc=67.677, loss_att=53.925, acc=0.745, loss=58.050, backward_time=0.303, grad_norm=81.204, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.144, optim0_lr0=6.207e-05, train_time=1.440 -[gpua005:0/64] 2023-12-19 21:55:38,099 (trainer:737) INFO: 42epoch:train:8101-8200batch: iter_time=8.478e-04, forward_time=0.164, loss_ctc=68.001, loss_att=53.881, acc=0.746, loss=58.117, backward_time=0.306, grad_norm=72.927, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=6.207e-05, train_time=1.543 -[gpua005:0/64] 2023-12-19 21:57:51,417 (trainer:737) INFO: 42epoch:train:8201-8300batch: iter_time=1.041e-04, forward_time=0.146, loss_ctc=59.847, loss_att=46.677, acc=0.759, loss=50.628, backward_time=0.291, grad_norm=77.436, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.206e-05, train_time=1.334 -[gpua005:0/64] 2023-12-19 22:00:39,394 (trainer:737) INFO: 42epoch:train:8301-8400batch: iter_time=9.213e-05, forward_time=0.163, loss_ctc=76.601, loss_att=59.345, acc=0.724, loss=64.522, backward_time=0.345, grad_norm=104.841, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.206e-05, train_time=1.680 -[gpua005:0/64] 2023-12-19 22:03:21,368 (trainer:737) INFO: 42epoch:train:8401-8500batch: iter_time=8.977e-05, forward_time=0.149, loss_ctc=64.564, loss_att=51.915, acc=0.746, loss=55.710, backward_time=0.365, grad_norm=100.287, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.205e-05, train_time=1.620 -[gpua005:0/64] 2023-12-19 22:06:19,033 (trainer:737) INFO: 42epoch:train:8501-8600batch: iter_time=8.797e-05, forward_time=0.147, loss_ctc=68.965, loss_att=46.928, acc=0.758, loss=53.539, backward_time=0.333, grad_norm=85.672, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.205e-05, train_time=1.776 -[gpua005:0/64] 2023-12-19 22:08:27,395 (trainer:737) INFO: 42epoch:train:8601-8700batch: iter_time=9.116e-05, forward_time=0.146, loss_ctc=64.752, loss_att=52.062, acc=0.743, loss=55.869, backward_time=0.285, grad_norm=87.841, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.204e-05, train_time=1.283 -[gpua005:0/64] 2023-12-19 22:10:02,662 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua005:0/64] 2023-12-19 22:10:20,938 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-19 22:10:24,726 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-19 22:10:24,726 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua005:0/64] 2023-12-19 22:10:24,729 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-19 22:16:10,216 (trainer:737) INFO: 42epoch:train:8701-8800batch: iter_time=3.146, forward_time=0.169, loss_ctc=57.255, loss_att=43.635, acc=0.756, loss=47.721, backward_time=0.283, grad_norm=73.420, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.204e-05, train_time=4.628 -[gpua005:0/64] 2023-12-19 22:18:15,791 (trainer:737) INFO: 42epoch:train:8801-8900batch: iter_time=8.108e-05, forward_time=0.148, loss_ctc=59.433, loss_att=47.896, acc=0.746, loss=51.357, backward_time=0.281, grad_norm=74.708, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.203e-05, train_time=1.256 -[gpua005:0/64] 2023-12-19 22:20:26,840 (trainer:737) INFO: 42epoch:train:8901-9000batch: iter_time=8.332e-05, forward_time=0.148, loss_ctc=68.104, loss_att=60.070, acc=0.749, loss=62.480, backward_time=0.283, grad_norm=73.192, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.203e-05, train_time=1.310 -[gpua005:0/64] 2023-12-19 22:23:12,483 (trainer:737) INFO: 42epoch:train:9001-9100batch: iter_time=8.988e-05, forward_time=0.147, loss_ctc=66.937, loss_att=52.762, acc=0.731, loss=57.015, backward_time=0.293, grad_norm=66.498, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.202e-05, train_time=1.656 -[gpua005:0/64] 2023-12-19 22:26:27,848 (trainer:737) INFO: 42epoch:train:9101-9200batch: iter_time=8.792e-05, forward_time=0.155, loss_ctc=67.430, loss_att=52.498, acc=0.733, loss=56.977, backward_time=0.323, grad_norm=71.796, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=6.202e-05, train_time=1.953 -[gpua005:0/64] 2023-12-19 22:29:07,432 (trainer:737) INFO: 42epoch:train:9201-9300batch: iter_time=8.147e-05, forward_time=0.148, loss_ctc=67.217, loss_att=55.304, acc=0.738, loss=58.878, backward_time=0.308, grad_norm=88.069, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.201e-05, train_time=1.596 -[gpua005:0/64] 2023-12-19 22:31:43,712 (trainer:737) INFO: 42epoch:train:9301-9400batch: iter_time=7.788e-05, forward_time=0.147, loss_ctc=69.159, loss_att=52.190, acc=0.747, loss=57.280, backward_time=0.311, grad_norm=75.763, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.201e-05, train_time=1.563 -[gpua005:0/64] 2023-12-19 22:34:21,636 (trainer:737) INFO: 42epoch:train:9401-9500batch: iter_time=8.576e-05, forward_time=0.179, loss_ctc=57.746, loss_att=46.910, acc=0.757, loss=50.161, backward_time=0.376, grad_norm=63.826, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=6.200e-05, train_time=1.579 -[gpua005:0/64] 2023-12-19 22:37:07,951 (trainer:737) INFO: 42epoch:train:9501-9600batch: iter_time=8.890e-05, forward_time=0.148, loss_ctc=67.172, loss_att=55.235, acc=0.744, loss=58.816, backward_time=0.323, grad_norm=67.766, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.200e-05, train_time=1.663 -[gpua005:0/64] 2023-12-19 22:39:44,299 (trainer:737) INFO: 42epoch:train:9601-9700batch: iter_time=8.729e-05, forward_time=0.148, loss_ctc=74.663, loss_att=56.666, acc=0.722, loss=62.065, backward_time=0.301, grad_norm=81.242, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.199e-05, train_time=1.563 -[gpua005:0/64] 2023-12-19 22:42:34,977 (trainer:737) INFO: 42epoch:train:9701-9800batch: iter_time=8.487e-05, forward_time=0.148, loss_ctc=59.164, loss_att=49.474, acc=0.752, loss=52.381, backward_time=0.304, grad_norm=60.363, clip=100.000, loss_scale=1.404e+32, optim_step_time=0.133, optim0_lr0=6.199e-05, train_time=1.707 -[gpua005:0/64] 2023-12-19 22:45:02,466 (trainer:737) INFO: 42epoch:train:9801-9900batch: iter_time=8.375e-05, forward_time=0.160, loss_ctc=71.113, loss_att=45.785, acc=0.759, loss=53.383, backward_time=0.300, grad_norm=71.237, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=6.198e-05, train_time=1.475 -[gpua005:0/64] 2023-12-19 22:47:29,468 (trainer:737) INFO: 42epoch:train:9901-10000batch: iter_time=8.738e-05, forward_time=0.151, loss_ctc=66.629, loss_att=54.253, acc=0.748, loss=57.966, backward_time=0.311, grad_norm=73.309, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=6.198e-05, train_time=1.470 -[gpua005:0/64] 2023-12-19 22:47:49,497 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua005:0/64] 2023-12-19 22:48:07,729 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-19 22:48:11,513 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-19 22:48:11,513 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua005:0/64] 2023-12-19 22:48:11,517 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-19 22:55:04,041 (trainer:737) INFO: 42epoch:train:10001-10100batch: iter_time=3.167, forward_time=0.148, loss_ctc=55.574, loss_att=44.922, acc=0.746, loss=48.117, backward_time=0.282, grad_norm=70.120, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=6.197e-05, train_time=4.546 -[gpua005:0/64] 2023-12-19 22:57:06,096 (trainer:737) INFO: 42epoch:train:10101-10200batch: iter_time=8.231e-05, forward_time=0.148, loss_ctc=59.053, loss_att=47.879, acc=0.757, loss=51.231, backward_time=0.284, grad_norm=66.857, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=6.197e-05, train_time=1.220 -Process SpawnProcess-1: -Traceback (most recent call last): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 290, in run - all_steps_are_invalid = cls.train_one_epoch( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 572, in train_one_epoch - retval = model(**batch) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/nn/modules/module.py", line 1194, in _call_impl - return forward_call(*input, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/nn/parallel/distributed.py", line 1040, in forward - output = self._run_ddp_forward(*inputs, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/nn/parallel/distributed.py", line 1000, in _run_ddp_forward - return module_to_run(*inputs[0], **kwargs[0]) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/nn/modules/module.py", line 1194, in _call_impl - return forward_call(*input, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/s2t/espnet_model.py", line 225, in forward - loss_att, acc_att, cer_att, wer_att = self._calc_att_loss( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/s2t/espnet_model.py", line 396, in _calc_att_loss - loss_att = self.criterion_att(decoder_out, ys_out_pad) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/nn/modules/module.py", line 1194, in _call_impl - return forward_call(*input, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet/nets/pytorch_backend/transformer/label_smoothing_loss.py", line 61, in forward - kl = self.criterion(torch.log_softmax(x, dim=1), true_dist) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/nn/modules/module.py", line 1194, in _call_impl - return forward_call(*input, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/nn/modules/loss.py", line 471, in forward - return F.kl_div(input, target, reduction=self.reduction, log_target=self.log_target) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/nn/functional.py", line 2928, in kl_div - reduced = torch.kl_div(input, target, reduction_enum, log_target=log_target) -torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 524.00 MiB (GPU 0; 39.39 GiB total capacity; 37.17 GiB already allocated; 276.75 MiB free; 38.49 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF -gpua005:3000819:3000897 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua005:3000819:3000819 [0] NCCL INFO comm 0xec8b50a0 rank 0 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -Traceback (most recent call last): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 196, in _run_module_as_main - return _run_code(code, main_globals, None, - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 86, in _run_code - exec(code, run_globals) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 23, in - main() - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 19, in main - S2TTask.main(cmd=cmd) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1134, in main - while not ProcessContext(processes, error_queues).join(): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/multiprocessing/spawn.py", line 149, in join - raise ProcessExitedException( -torch.multiprocessing.spawn.ProcessExitedException: process 0 terminated with exit code 1 -srun: error: gpua005: task 0: Exited with exit code 1 -srun: Job step aborted: Waiting up to 32 seconds for job step to finish. diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.10.log b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.10.log deleted file mode 100644 index 35adb647d12f8b05383ad1992dc5c827bd59aa0c..0000000000000000000000000000000000000000 --- a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.10.log +++ /dev/null @@ -1,2393 +0,0 @@ -# Running on gpua031.delta.ncsa.illinois.edu -# Started at Sun Dec 3 12:37:41 CST 2023 -# SLURMD_NODENAME=gpua031 -# SLURM_CLUSTER_NAME=delta -# SLURM_CONF=/var/spool/slurmd/conf-cache/slurm.conf -# SLURM_CPUS_ON_NODE=64 -# SLURM_CPUS_PER_TASK=64 -# SLURM_EXPORT_ENV=PATH -# SLURM_GET_USER_ENV=1 -# SLURM_GPUS_ON_NODE=4 -# SLURM_GTIDS=0 -# SLURM_JOBID=2724906 -# SLURM_JOB_ACCOUNT=bbjs-delta-gpu -# SLURM_JOB_CPUS_PER_NODE='64(x10)' -# SLURM_JOB_END_TIME=1701801456 -# SLURM_JOB_GID=202 -# SLURM_JOB_GPUS=0,1,2,3 -# SLURM_JOB_ID=2724906 -# SLURM_JOB_NAME=exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.log -# SLURM_JOB_NODELIST='gpua[031-040]' -# SLURM_JOB_NUM_NODES=10 -# SLURM_JOB_PARTITION=gpuA100x4 -# SLURM_JOB_QOS=bbjs-delta-gpu -# SLURM_JOB_START_TIME=1701628656 -# SLURM_JOB_UID=68077 -# SLURM_JOB_USER=peng6 -# SLURM_LOCALID=0 -# SLURM_MEM_PER_NODE=240000 -# SLURM_NNODES=10 -# SLURM_NODEID=0 -# SLURM_NODELIST='gpua[031-040]' -# SLURM_NODE_ALIASES='(null)' -# SLURM_OPEN_MODE=a -# SLURM_PRIO_PROCESS=0 -# SLURM_PROCID=0 -# SLURM_SUBMIT_DIR=/scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1 -# SLURM_SUBMIT_HOST=dt-login01.delta.ncsa.illinois.edu -# SLURM_TASKS_PER_NODE='1(x10)' -# SLURM_TASK_PID=538892 -# SLURM_TOPOLOGY_ADDR=ss00.ss06.gpua031 -# SLURM_TOPOLOGY_ADDR_PATTERN=switch.switch.node -# SLURM_WORKING_CLUSTER=delta:dt-sched:6817:9984:109 -# srun --export=ALL python3 -m espnet2.bin.s2t_train --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_6f0f713e-40cf-4d8b-9708-fe73402d1548 -/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_6f0f713e-40cf-4d8b-9708-fe73402d1548 -/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_6f0f713e-40cf-4d8b-9708-fe73402d1548 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_6f0f713e-40cf-4d8b-9708-fe73402d1548 -[gpua031:0/40] 2023-12-03 12:37:52,266 (distributed_c10d:319) INFO: Added key: store_based_barrier_key:1 to store for rank: 0 -[gpua031:0/40] 2023-12-03 12:38:02,273 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=40, worker_count=12, timeout=0:30:00) -[gpua031:0/40] 2023-12-03 12:38:12,277 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=40, worker_count=12, timeout=0:30:00) -[gpua031:0/40] 2023-12-03 12:38:22,293 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=40, worker_count=12, timeout=0:30:00) -[gpua031:0/40] 2023-12-03 12:38:32,309 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=40, worker_count=12, timeout=0:30:00) -/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_6f0f713e-40cf-4d8b-9708-fe73402d1548 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_6f0f713e-40cf-4d8b-9708-fe73402d1548 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_6f0f713e-40cf-4d8b-9708-fe73402d1548 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_6f0f713e-40cf-4d8b-9708-fe73402d1548 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_6f0f713e-40cf-4d8b-9708-fe73402d1548 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_6f0f713e-40cf-4d8b-9708-fe73402d1548 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_6f0f713e-40cf-4d8b-9708-fe73402d1548 -[gpua031:0/40] 2023-12-03 12:38:42,323 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=40, worker_count=12, timeout=0:30:00) -[gpua031:0/40] 2023-12-03 12:38:45,898 (distributed_c10d:353) INFO: Rank 0: Completed store-based barrier for key:store_based_barrier_key:1 with 40 nodes. -[gpua031:0/40] 2023-12-03 12:38:45,976 (s2t:464) INFO: Vocabulary size: 50002 -[gpua031:0/40] 2023-12-03 12:38:53,358 (abs_task:1231) INFO: pytorch.version=1.13.1, cuda.available=True, cudnn.version=8500, cudnn.benchmark=False, cudnn.deterministic=True -[gpua031:0/40] 2023-12-03 12:38:53,369 (abs_task:1232) INFO: Model structure: -ESPnetS2TModel( - (frontend): DefaultFrontend( - (stft): Stft(n_fft=512, win_length=400, hop_length=160, center=True, normalized=False, onesided=True) - (frontend): Frontend() - (logmel): LogMel(sr=16000, n_fft=512, n_mels=80, fmin=0, fmax=8000.0, htk=False) - ) - (specaug): SpecAug( - (freq_mask): MaskAlongAxis(mask_width_range=[0, 27], num_mask=2, axis=freq) - (time_mask): MaskAlongAxisVariableMaxWidth(mask_width_ratio_range=[0.0, 0.05], num_mask=10, axis=time) - ) - (normalize): GlobalMVN(stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz, norm_means=True, norm_vars=True) - (encoder): EBranchformerEncoder( - (embed): Conv2dSubsampling( - (conv): Sequential( - (0): Conv2d(1, 1024, kernel_size=(3, 3), stride=(2, 2)) - (1): ReLU() - (2): Conv2d(1024, 1024, kernel_size=(3, 3), stride=(2, 2)) - (3): ReLU() - ) - (out): Sequential( - (0): Linear(in_features=19456, out_features=1024, bias=True) - (1): PositionalEncoding( - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - ) - (encoders): MultiSequential( - (0): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (1): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (2): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (3): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (4): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (5): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (6): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (7): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (8): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (9): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (10): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (11): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (12): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (13): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (14): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (15): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (16): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (17): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - ) - (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - ) - (decoder): TransformerDecoder( - (embed): Sequential( - (0): Embedding(50002, 1024) - (1): PositionalEncoding( - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (output_layer): Linear(in_features=1024, out_features=50002, bias=True) - (decoders): MultiSequential( - (0): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (1): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (2): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (3): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (4): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (5): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (6): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (7): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (8): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (9): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (10): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (11): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (12): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (13): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (14): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (15): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (16): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (17): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - ) - (criterion_att): LabelSmoothingLoss( - (criterion): KLDivLoss() - ) - (ctc): CTC( - (ctc_lo): Linear(in_features=1024, out_features=50002, bias=True) - (ctc_loss): CTCLoss() - ) -) - -Model summary: - Class Name: ESPnetS2TModel - Total Number of model parameters: 1.02 B - Number of trainable parameters: 1.02 B (100.0%) - Size: 4.07 GB - Type: torch.float32 -[gpua031:0/40] 2023-12-03 12:38:53,369 (abs_task:1235) INFO: Optimizer: -OSS ( -Parameter Group 0 - amsgrad: False - betas: [0.9, 0.98] - capturable: False - eps: 1e-06 - foreach: None - initial_lr: 0.0002 - lr: 1.6666666666666667e-09 - maximize: False - weight_decay: 0.0 -) -[gpua031:0/40] 2023-12-03 12:38:53,369 (abs_task:1236) INFO: Scheduler: PiecewiseLinearWarmupLR(warmup_steps_list=[0, 30000, 60000], warmup_lr_list=[0.0, 5e-05, 0.0002]) -[gpua031:0/40] 2023-12-03 12:38:53,372 (abs_task:1245) INFO: Saving the configuration in exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/config.yaml -[gpua031:0/40] 2023-12-03 12:38:58,723 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua031:0/40] 2023-12-03 12:38:59,634 (abs_task:1616) INFO: [valid] dataset: -ESPnetDataset( - speech: {"path": "dump/raw/dev_v3/wav.scp", "type": "kaldi_ark"} - text_prev: {"path": "dump/raw/dev_v3/text.prev", "type": "text"} - text_ctc: {"path": "dump/raw/dev_v3/text.ctc", "type": "text"} - text: {"path": "dump/raw/dev_v3/text", "type": "text"} - preprocess: ) -[gpua031:0/40] 2023-12-03 12:38:59,634 (abs_task:1617) INFO: [valid] Batch sampler: UnsortedBatchSampler(N-batch=4982, batch_size=240, key_file=exp/s2t_stats_raw_bpe50000/valid/speech_shape, -[gpua031:0/40] 2023-12-03 12:38:59,635 (abs_task:1618) INFO: [valid] mini-batch sizes summary: N-batch=4982, mean=240.0, min=240, max=241 -[gpua031:0/40] 2023-12-03 12:39:10,330 (trainer:159) INFO: The training was resumed using exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/checkpoint.pth -[gpua031:0/40] 2023-12-03 12:39:10,339 (sharded_ddp:179) INFO: ShardedDDP bucket size: 8.00M parameters, model size 969.78M parameters -Process SpawnProcess-4: -Process SpawnProcess-2: -Process SpawnProcess-1: -Process SpawnProcess-4: -Process SpawnProcess-3: -Process SpawnProcess-1: -Process SpawnProcess-2: -Process SpawnProcess-3: -Traceback (most recent call last): -Traceback (most recent call last): -Traceback (most recent call last): -Traceback (most recent call last): -Traceback (most recent call last): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) -RuntimeError: Tensors must be contiguous -Traceback (most recent call last): -RuntimeError: Tensors must be contiguous - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) -RuntimeError: Tensors must be contiguous -RuntimeError: Tensors must be contiguous -RuntimeError: Tensors must be contiguous - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) -RuntimeError: Tensors must be contiguous -Traceback (most recent call last): -Traceback (most recent call last): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) -RuntimeError: Tensors must be contiguous - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) -RuntimeError: Tensors must be contiguous -Process SpawnProcess-3: -Process SpawnProcess-1: -Process SpawnProcess-4: -Process SpawnProcess-2: -Traceback (most recent call last): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) -RuntimeError: Tensors must be contiguous -Traceback (most recent call last): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) -RuntimeError: Tensors must be contiguous -Traceback (most recent call last): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) -RuntimeError: Tensors must be contiguous -Traceback (most recent call last): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) -RuntimeError: Tensors must be contiguous -Traceback (most recent call last): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 196, in _run_module_as_main - return _run_code(code, main_globals, None, - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 86, in _run_code - exec(code, run_globals) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 23, in - main() - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 19, in main - S2TTask.main(cmd=cmd) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1134, in main - while not ProcessContext(processes, error_queues).join(): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/multiprocessing/spawn.py", line 149, in join - raise ProcessExitedException( -torch.multiprocessing.spawn.ProcessExitedException: process 1 terminated with exit code 1 -Traceback (most recent call last): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 196, in _run_module_as_main - return _run_code(code, main_globals, None, - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 86, in _run_code - exec(code, run_globals) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 23, in - main() - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 19, in main - S2TTask.main(cmd=cmd) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1134, in main -Traceback (most recent call last): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 196, in _run_module_as_main - while not ProcessContext(processes, error_queues).join(): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/multiprocessing/spawn.py", line 149, in join - return _run_code(code, main_globals, None, - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 86, in _run_code - raise ProcessExitedException( -torch.multiprocessing.spawn.ProcessExitedException: process 1 terminated with exit code 1 - exec(code, run_globals) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 23, in - main() - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 19, in main - S2TTask.main(cmd=cmd) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1134, in main - while not ProcessContext(processes, error_queues).join(): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/multiprocessing/spawn.py", line 149, in join - raise ProcessExitedException( -torch.multiprocessing.spawn.ProcessExitedException: process 3 terminated with exit code 1 -srun: error: gpua031: task 0: Exited with exit code 1 -srun: error: gpua032: task 1: Exited with exit code 1 -srun: error: gpua033: task 2: Exited with exit code 1 -Process SpawnProcess-1: -Process SpawnProcess-4: -Process SpawnProcess-3: -Process SpawnProcess-2: -Process SpawnProcess-3: -Process SpawnProcess-1: -Process SpawnProcess-4: -Process SpawnProcess-1: -Process SpawnProcess-4: -Process SpawnProcess-4: -Process SpawnProcess-2: -Process SpawnProcess-1: -Process SpawnProcess-2: -Process SpawnProcess-2: -Process SpawnProcess-3: -Process SpawnProcess-3: -Process SpawnProcess-2: -Process SpawnProcess-3: -Process SpawnProcess-1: -Process SpawnProcess-4: -Traceback (most recent call last): -Traceback (most recent call last): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) -Traceback (most recent call last): - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( -Traceback (most recent call last): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) -RuntimeError: Tensors must be contiguous -Traceback (most recent call last): -Traceback (most recent call last): -Traceback (most recent call last): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() -RuntimeError: Tensors must be contiguous - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) -Traceback (most recent call last): -Traceback (most recent call last): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) -Traceback (most recent call last): -Traceback (most recent call last): - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) -Traceback (most recent call last): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - work = default_pg.broadcast([tensor], opts) -RuntimeError: Tensors must be contiguous -RuntimeError: Tensors must be contiguous - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) -Traceback (most recent call last): -Traceback (most recent call last): - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() -RuntimeError: Tensors must be contiguous - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( -Traceback (most recent call last): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) -RuntimeError: Tensors must be contiguous -RuntimeError: Tensors must be contiguous - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() -RuntimeError: Tensors must be contiguous - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) -RuntimeError: Tensors must be contiguous -RuntimeError: Tensors must be contiguous - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() -Traceback (most recent call last): -RuntimeError: Tensors must be contiguous - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) -Traceback (most recent call last): -RuntimeError: Tensors must be contiguous - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( -Traceback (most recent call last): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) -RuntimeError: Tensors must be contiguous - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) -RuntimeError: Tensors must be contiguous - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( -RuntimeError: Tensors must be contiguous -RuntimeError: Tensors must be contiguous -RuntimeError: Tensors must be contiguous - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) -Traceback (most recent call last): -Traceback (most recent call last): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) -RuntimeError: Tensors must be contiguous - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) -RuntimeError: Tensors must be contiguous - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) -RuntimeError: Tensors must be contiguous -Process SpawnProcess-1: -Process SpawnProcess-2: -Process SpawnProcess-2: -Process SpawnProcess-3: -Process SpawnProcess-4: -Process SpawnProcess-3: -Process SpawnProcess-4: -Process SpawnProcess-1: -Traceback (most recent call last): -Traceback (most recent call last): -Traceback (most recent call last): -Traceback (most recent call last): -Traceback (most recent call last): -Traceback (most recent call last): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() -RuntimeError: Tensors must be contiguous - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() -RuntimeError: Tensors must be contiguous - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) -RuntimeError: Tensors must be contiguous -RuntimeError: Tensors must be contiguous - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) -RuntimeError: Tensors must be contiguous -RuntimeError: Tensors must be contiguous -Traceback (most recent call last): -Traceback (most recent call last): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap - self.run() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run - self._target(*self._args, **self._kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker - cls.trainer.run( - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run - dp_model = fairscale.nn.data_parallel.ShardedDataParallel( - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ - self._sync_params_and_buffers() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context - return func(*args, **kwargs) - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers - dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) -RuntimeError: Tensors must be contiguous - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast - work = default_pg.broadcast([tensor], opts) -RuntimeError: Tensors must be contiguous -Traceback (most recent call last): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 196, in _run_module_as_main - return _run_code(code, main_globals, None, - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 86, in _run_code - exec(code, run_globals) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 23, in - main() - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 19, in main - S2TTask.main(cmd=cmd) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1134, in main - while not ProcessContext(processes, error_queues).join(): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/multiprocessing/spawn.py", line 149, in join -Traceback (most recent call last): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 196, in _run_module_as_main - return _run_code(code, main_globals, None, - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 86, in _run_code - exec(code, run_globals) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 23, in - main() - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 19, in main - S2TTask.main(cmd=cmd) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1134, in main - while not ProcessContext(processes, error_queues).join(): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/multiprocessing/spawn.py", line 149, in join -Traceback (most recent call last): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 196, in _run_module_as_main - return _run_code(code, main_globals, None, - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 86, in _run_code - exec(code, run_globals) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 23, in - main() - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 19, in main - S2TTask.main(cmd=cmd) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1134, in main - raise ProcessExitedException( - raise ProcessExitedException( -torch.multiprocessing.spawn.ProcessExitedException: process 0 terminated with exit code 1 -torch.multiprocessing.spawn.ProcessExitedException: process 1 terminated with exit code 1 - while not ProcessContext(processes, error_queues).join(): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/multiprocessing/spawn.py", line 149, in join - raise ProcessExitedException( -torch.multiprocessing.spawn.ProcessExitedException: process 3 terminated with exit code 1 -Traceback (most recent call last): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 196, in _run_module_as_main - return _run_code(code, main_globals, None, - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 86, in _run_code - exec(code, run_globals) -Traceback (most recent call last): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 196, in _run_module_as_main - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 23, in - main() - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 19, in main - return _run_code(code, main_globals, None, - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 86, in _run_code - S2TTask.main(cmd=cmd) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1134, in main - exec(code, run_globals) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 23, in - while not ProcessContext(processes, error_queues).join(): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/multiprocessing/spawn.py", line 149, in join - main() - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 19, in main - S2TTask.main(cmd=cmd) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1134, in main - while not ProcessContext(processes, error_queues).join(): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/multiprocessing/spawn.py", line 149, in join - raise ProcessExitedException( -torch.multiprocessing.spawn.ProcessExitedException: process 3 terminated with exit code 1 - raise ProcessExitedException( -torch.multiprocessing.spawn.ProcessExitedException: process 2 terminated with exit code 1 -Traceback (most recent call last): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 196, in _run_module_as_main - return _run_code(code, main_globals, None, - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 86, in _run_code -Traceback (most recent call last): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 196, in _run_module_as_main - exec(code, run_globals) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 23, in - return _run_code(code, main_globals, None, - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 86, in _run_code - main() - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 19, in main - exec(code, run_globals) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 23, in - S2TTask.main(cmd=cmd) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1134, in main - while not ProcessContext(processes, error_queues).join(): - main() - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/multiprocessing/spawn.py", line 149, in join - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 19, in main - S2TTask.main(cmd=cmd) - File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1134, in main - while not ProcessContext(processes, error_queues).join(): - File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/multiprocessing/spawn.py", line 149, in join - raise ProcessExitedException( -torch.multiprocessing.spawn.ProcessExitedException: process 1 terminated with exit code 1 - raise ProcessExitedException( -torch.multiprocessing.spawn.ProcessExitedException: process 3 terminated with exit code 1 -srun: error: gpua036: task 5: Exited with exit code 1 -srun: error: gpua035: task 4: Exited with exit code 1 -srun: error: gpua037: task 6: Exited with exit code 1 -srun: error: gpua038: task 7: Exited with exit code 1 -srun: error: gpua039: task 8: Exited with exit code 1 -srun: error: gpua040: task 9: Exited with exit code 1 -srun: error: gpua034: task 3: Exited with exit code 1 -# Accounting: begin_time=1701628661 -# Accounting: end_time=1701628779 -# Accounting: time=118 threads=1 -# Finished at Sun Dec 3 12:39:39 CST 2023 with status 1 diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.13.log b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.13.log deleted file mode 100644 index d69cd8862c54fcb7f6ec9d8d7c9ae644563e01cf..0000000000000000000000000000000000000000 --- a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.13.log +++ /dev/null @@ -1,4396 +0,0 @@ -# Running on gpua014.delta.ncsa.illinois.edu -# Started at Fri Dec 1 13:56:51 CST 2023 -# SLURMD_NODENAME=gpua014 -# SLURM_CLUSTER_NAME=delta -# SLURM_CONF=/var/spool/slurmd/conf-cache/slurm.conf -# SLURM_CPUS_ON_NODE=64 -# SLURM_CPUS_PER_TASK=64 -# SLURM_EXPORT_ENV=PATH -# SLURM_GET_USER_ENV=1 -# SLURM_GPUS_ON_NODE=4 -# SLURM_GTIDS=0 -# SLURM_JOBID=2718083 -# SLURM_JOB_ACCOUNT=bbjs-delta-gpu -# SLURM_JOB_CPUS_PER_NODE='64(x16)' -# SLURM_JOB_END_TIME=1701633393 -# SLURM_JOB_GID=202 -# SLURM_JOB_GPUS=0,1,2,3 -# SLURM_JOB_ID=2718083 -# SLURM_JOB_NAME=exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.log -# SLURM_JOB_NODELIST='gpua[014,016,030,032-033,035,037,039-040,042-043,069-070,072,097,099]' -# SLURM_JOB_NUM_NODES=16 -# SLURM_JOB_PARTITION=gpuA100x4 -# SLURM_JOB_QOS=bbjs-delta-gpu -# SLURM_JOB_START_TIME=1701460593 -# SLURM_JOB_UID=68077 -# SLURM_JOB_USER=peng6 -# SLURM_LOCALID=0 -# SLURM_MEM_PER_NODE=240000 -# SLURM_NNODES=16 -# SLURM_NODEID=0 -# SLURM_NODELIST='gpua[014,016,030,032-033,035,037,039-040,042-043,069-070,072,097,099]' -# SLURM_NODE_ALIASES='(null)' -# SLURM_OPEN_MODE=a -# SLURM_PRIO_PROCESS=0 -# SLURM_PROCID=0 -# SLURM_SUBMIT_DIR=/scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1 -# SLURM_SUBMIT_HOST=dt-login01.delta.ncsa.illinois.edu -# SLURM_TASKS_PER_NODE='1(x16)' -# SLURM_TASK_PID=120451 -# SLURM_TOPOLOGY_ADDR=ss00.ss05.gpua014 -# SLURM_TOPOLOGY_ADDR_PATTERN=switch.switch.node -# SLURM_WORKING_CLUSTER=delta:dt-sched:6817:9984:109 -# srun --export=ALL python3 -m espnet2.bin.s2t_train --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 -/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 -[gpua014:0/64] 2023-12-01 14:00:04,567 (distributed_c10d:319) INFO: Added key: store_based_barrier_key:1 to store for rank: 0 -[gpua014:0/64] 2023-12-01 14:00:05,399 (distributed_c10d:353) INFO: Rank 0: Completed store-based barrier for key:store_based_barrier_key:1 with 64 nodes. -[gpua014:0/64] 2023-12-01 14:00:05,429 (s2t:464) INFO: Vocabulary size: 50002 -[gpua014:0/64] 2023-12-01 14:00:18,688 (abs_task:1231) INFO: pytorch.version=1.13.1, cuda.available=True, cudnn.version=8500, cudnn.benchmark=False, cudnn.deterministic=True -[gpua014:0/64] 2023-12-01 14:00:18,699 (abs_task:1232) INFO: Model structure: -ESPnetS2TModel( - (frontend): DefaultFrontend( - (stft): Stft(n_fft=512, win_length=400, hop_length=160, center=True, normalized=False, onesided=True) - (frontend): Frontend() - (logmel): LogMel(sr=16000, n_fft=512, n_mels=80, fmin=0, fmax=8000.0, htk=False) - ) - (specaug): SpecAug( - (freq_mask): MaskAlongAxis(mask_width_range=[0, 27], num_mask=2, axis=freq) - (time_mask): MaskAlongAxisVariableMaxWidth(mask_width_ratio_range=[0.0, 0.05], num_mask=10, axis=time) - ) - (normalize): GlobalMVN(stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz, norm_means=True, norm_vars=True) - (encoder): EBranchformerEncoder( - (embed): Conv2dSubsampling( - (conv): Sequential( - (0): Conv2d(1, 1024, kernel_size=(3, 3), stride=(2, 2)) - (1): ReLU() - (2): Conv2d(1024, 1024, kernel_size=(3, 3), stride=(2, 2)) - (3): ReLU() - ) - (out): Sequential( - (0): Linear(in_features=19456, out_features=1024, bias=True) - (1): PositionalEncoding( - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - ) - (encoders): MultiSequential( - (0): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (1): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (2): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (3): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (4): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (5): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (6): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (7): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (8): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (9): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (10): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (11): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (12): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (13): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (14): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (15): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (16): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (17): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - ) - (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - ) - (decoder): TransformerDecoder( - (embed): Sequential( - (0): Embedding(50002, 1024) - (1): PositionalEncoding( - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (output_layer): Linear(in_features=1024, out_features=50002, bias=True) - (decoders): MultiSequential( - (0): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (1): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (2): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (3): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (4): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (5): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (6): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (7): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (8): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (9): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (10): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (11): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (12): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (13): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (14): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (15): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (16): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (17): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - ) - (criterion_att): LabelSmoothingLoss( - (criterion): KLDivLoss() - ) - (ctc): CTC( - (ctc_lo): Linear(in_features=1024, out_features=50002, bias=True) - (ctc_loss): CTCLoss() - ) -) - -Model summary: - Class Name: ESPnetS2TModel - Total Number of model parameters: 1.02 B - Number of trainable parameters: 1.02 B (100.0%) - Size: 4.07 GB - Type: torch.float32 -[gpua014:0/64] 2023-12-01 14:00:18,699 (abs_task:1235) INFO: Optimizer: -AdamW ( -Parameter Group 0 - amsgrad: False - betas: [0.9, 0.98] - capturable: False - eps: 1e-06 - foreach: None - initial_lr: 0.0002 - lr: 1.6666666666666667e-09 - maximize: False - weight_decay: 0.0 -) -[gpua014:0/64] 2023-12-01 14:00:18,699 (abs_task:1236) INFO: Scheduler: PiecewiseLinearWarmupLR(warmup_steps_list=[0, 30000, 60000], warmup_lr_list=[0.0, 5e-05, 0.0002]) -[gpua014:0/64] 2023-12-01 14:00:18,701 (abs_task:1245) INFO: Saving the configuration in exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/config.yaml -[gpua014:0/64] 2023-12-01 14:00:24,005 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-01 14:00:24,901 (abs_task:1616) INFO: [valid] dataset: -ESPnetDataset( - speech: {"path": "dump/raw/dev_v3/wav.scp", "type": "kaldi_ark"} - text_prev: {"path": "dump/raw/dev_v3/text.prev", "type": "text"} - text_ctc: {"path": "dump/raw/dev_v3/text.ctc", "type": "text"} - text: {"path": "dump/raw/dev_v3/text", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-01 14:00:24,901 (abs_task:1617) INFO: [valid] Batch sampler: UnsortedBatchSampler(N-batch=4671, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/valid/speech_shape, -[gpua014:0/64] 2023-12-01 14:00:24,902 (abs_task:1618) INFO: [valid] mini-batch sizes summary: N-batch=4671, mean=256.0, min=256, max=257 -gpua014:120543:120543 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.14<0> -gpua014:120543:120543 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua014:120543:120543 [0] NCCL INFO cudaDriverVersion 12020 -NCCL version 2.14.3+cuda11.7 -[gpua014:0/64] 2023-12-01 14:00:34,840 (trainer:284) INFO: 1/40epoch started -[gpua014:0/64] 2023-12-01 14:00:35,004 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua014:0/64] 2023-12-01 14:00:52,537 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-01 14:00:55,830 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-01 14:00:55,830 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua014:0/64] 2023-12-01 14:00:55,834 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -gpua070:113435:113435 [1] NCCL INFO cudaDriverVersion 12020 -gpua070:113435:113435 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.70<0> -gpua070:113435:113435 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua070:113435:113543 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.70<0> -gpua070:113435:113543 [1] NCCL INFO Using network IB -gpua070:113435:113543 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua070:113435:113543 [1] NCCL INFO Trees [0] 50/40/-1->49->48 [1] 50/-1/-1->49->48 -gpua070:113435:113543 [1] NCCL INFO Channel 00/0 : 49[46000] -> 50[85000] via P2P/IPC/read -gpua070:113435:113543 [1] NCCL INFO Channel 01/0 : 49[46000] -> 50[85000] via P2P/IPC/read -gpua070:113435:113543 [1] NCCL INFO Connected all rings -gpua070:113435:113543 [1] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [receive] via NET/IB/0 -gpua070:113435:113543 [1] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [send] via NET/IB/0 -gpua070:113435:113543 [1] NCCL INFO Channel 00/0 : 49[46000] -> 48[7000] via P2P/IPC/read -gpua070:113435:113543 [1] NCCL INFO Channel 01/0 : 49[46000] -> 48[7000] via P2P/IPC/read -gpua070:113435:113543 [1] NCCL INFO Connected all trees -gpua070:113435:113543 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua070:113435:113543 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua070:113435:113543 [1] NCCL INFO comm 0x9603cb0 rank 49 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua014:120544:120544 [1] NCCL INFO cudaDriverVersion 12020 -gpua014:120544:120544 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.14<0> -gpua014:120544:120544 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua014:120544:120651 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.14<0> -gpua014:120544:120651 [1] NCCL INFO Using network IB -gpua014:120544:120651 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua014:120544:120651 [1] NCCL INFO Trees [0] 2/-1/-1->1->0 [1] 2/-1/-1->1->0 -gpua014:120544:120651 [1] NCCL INFO Channel 00/0 : 1[46000] -> 2[85000] via P2P/IPC/read -gpua014:120544:120651 [1] NCCL INFO Channel 01/0 : 1[46000] -> 2[85000] via P2P/IPC/read -gpua014:120544:120651 [1] NCCL INFO Connected all rings -gpua014:120544:120651 [1] NCCL INFO Channel 00/0 : 1[46000] -> 0[7000] via P2P/IPC/read -gpua014:120544:120651 [1] NCCL INFO Channel 01/0 : 1[46000] -> 0[7000] via P2P/IPC/read -gpua014:120544:120651 [1] NCCL INFO Connected all trees -gpua014:120544:120651 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua014:120544:120651 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua014:120544:120651 [1] NCCL INFO comm 0xdaf0980 rank 1 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua070:113434:113434 [0] NCCL INFO cudaDriverVersion 12020 -gpua070:113434:113434 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.70<0> -gpua070:113434:113434 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua070:113434:113545 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.70<0> -gpua070:113434:113545 [0] NCCL INFO Using network IB -gpua070:113434:113545 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua070:113434:113545 [0] NCCL INFO Trees [0] 49/56/-1->48->32 [1] 49/-1/-1->48->52 -gpua070:113434:113545 [0] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 -gpua070:113434:113545 [0] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 -gpua070:113434:113545 [0] NCCL INFO Channel 00/0 : 48[7000] -> 49[46000] via P2P/IPC/read -gpua070:113434:113545 [0] NCCL INFO Channel 01/0 : 48[7000] -> 49[46000] via P2P/IPC/read -gpua070:113434:113545 [0] NCCL INFO Connected all rings -gpua070:113434:113545 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [send] via NET/IB/0 -gpua070:113434:113545 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [send] via NET/IB/0 -gpua070:113434:113545 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [receive] via NET/IB/0 -gpua070:113434:113545 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [send] via NET/IB/0 -gpua070:113434:113545 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [receive] via NET/IB/0 -gpua070:113434:113545 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [receive] via NET/IB/0 -gpua070:113434:113545 [0] NCCL INFO Connected all trees -gpua070:113434:113545 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua070:113434:113545 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua070:113434:113545 [0] NCCL INFO comm 0xc080c20 rank 48 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua014:120543:120650 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.14<0> -gpua014:120543:120650 [0] NCCL INFO Using network IB -gpua014:120543:120650 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua014:120543:120650 [0] NCCL INFO Channel 00/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 -gpua014:120543:120650 [0] NCCL INFO Channel 01/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 -gpua014:120543:120650 [0] NCCL INFO Trees [0] 1/32/-1->0->-1 [1] 1/-1/-1->0->4 -gpua014:120543:120650 [0] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 -gpua014:120543:120650 [0] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 -gpua014:120543:120650 [0] NCCL INFO Channel 00/0 : 0[7000] -> 1[46000] via P2P/IPC/read -gpua014:120543:120650 [0] NCCL INFO Channel 01/0 : 0[7000] -> 1[46000] via P2P/IPC/read -gpua014:120543:120650 [0] NCCL INFO Connected all rings -gpua014:120543:120650 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [send] via NET/IB/0 -gpua014:120543:120650 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [receive] via NET/IB/0 -gpua014:120543:120650 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [send] via NET/IB/0 -gpua014:120543:120650 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [receive] via NET/IB/0 -gpua014:120543:120650 [0] NCCL INFO Connected all trees -gpua014:120543:120650 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua014:120543:120650 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua014:120543:120650 [0] NCCL INFO comm 0x17605a00 rank 0 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua014:120545:120545 [2] NCCL INFO cudaDriverVersion 12020 -gpua014:120545:120545 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.14<0> -gpua014:120545:120545 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua014:120545:120648 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.14<0> -gpua014:120545:120648 [2] NCCL INFO Using network IB -gpua014:120545:120648 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua014:120545:120648 [2] NCCL INFO Trees [0] 3/-1/-1->2->1 [1] 3/-1/-1->2->1 -gpua014:120545:120648 [2] NCCL INFO Channel 00/0 : 2[85000] -> 3[c7000] via P2P/IPC/read -gpua014:120545:120648 [2] NCCL INFO Channel 01/0 : 2[85000] -> 3[c7000] via P2P/IPC/read -gpua014:120545:120648 [2] NCCL INFO Connected all rings -gpua014:120545:120648 [2] NCCL INFO Channel 00/0 : 2[85000] -> 1[46000] via P2P/IPC/read -gpua014:120545:120648 [2] NCCL INFO Channel 01/0 : 2[85000] -> 1[46000] via P2P/IPC/read -gpua014:120545:120648 [2] NCCL INFO Connected all trees -gpua014:120545:120648 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua014:120545:120648 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua014:120545:120648 [2] NCCL INFO comm 0x12653bb0 rank 2 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua014:120546:120546 [3] NCCL INFO cudaDriverVersion 12020 -gpua014:120546:120546 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.14<0> -gpua014:120546:120546 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua014:120546:120649 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.14<0> -gpua014:120546:120649 [3] NCCL INFO Using network IB -gpua014:120546:120649 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua014:120546:120649 [3] NCCL INFO Trees [0] -1/-1/-1->3->2 [1] -1/-1/-1->3->2 -gpua014:120546:120649 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 -gpua014:120546:120649 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 -gpua014:120546:120649 [3] NCCL INFO Connected all rings -gpua014:120546:120649 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 2[85000] via P2P/IPC/read -gpua014:120546:120649 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 2[85000] via P2P/IPC/read -gpua014:120546:120649 [3] NCCL INFO Connected all trees -gpua014:120546:120649 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua014:120546:120649 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua014:120546:120649 [3] NCCL INFO comm 0xb46d220 rank 3 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua097:565110:565110 [2] NCCL INFO cudaDriverVersion 12020 -gpua097:565110:565110 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.97<0> -gpua097:565110:565110 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua097:565110:565218 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.97<0> -gpua097:565110:565218 [2] NCCL INFO Using network IB -gpua097:565110:565218 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua097:565110:565218 [2] NCCL INFO Trees [0] 59/-1/-1->58->57 [1] 59/-1/-1->58->57 -gpua097:565110:565218 [2] NCCL INFO Channel 00/0 : 58[85000] -> 59[c7000] via P2P/IPC/read -gpua097:565110:565218 [2] NCCL INFO Channel 01/0 : 58[85000] -> 59[c7000] via P2P/IPC/read -gpua097:565110:565218 [2] NCCL INFO Connected all rings -gpua097:565110:565218 [2] NCCL INFO Channel 00/0 : 58[85000] -> 57[46000] via P2P/IPC/read -gpua097:565110:565218 [2] NCCL INFO Channel 01/0 : 58[85000] -> 57[46000] via P2P/IPC/read -gpua097:565110:565218 [2] NCCL INFO Connected all trees -gpua097:565110:565218 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua097:565110:565218 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua097:565110:565218 [2] NCCL INFO comm 0xe179630 rank 58 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua097:565111:565111 [3] NCCL INFO cudaDriverVersion 12020 -gpua097:565111:565111 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.97<0> -gpua097:565111:565111 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua097:565111:565216 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.97<0> -gpua097:565111:565216 [3] NCCL INFO Using network IB -gpua097:565111:565216 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua097:565111:565216 [3] NCCL INFO Trees [0] -1/-1/-1->59->58 [1] -1/-1/-1->59->58 -gpua097:565111:565216 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 -gpua097:565111:565216 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 -gpua097:565111:565216 [3] NCCL INFO Connected all rings -gpua097:565111:565216 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 58[85000] via P2P/IPC/read -gpua097:565111:565216 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 58[85000] via P2P/IPC/read -gpua097:565111:565216 [3] NCCL INFO Connected all trees -gpua097:565111:565216 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua097:565111:565216 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua097:565111:565216 [3] NCCL INFO comm 0x1384a030 rank 59 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua072:246796:246796 [2] NCCL INFO cudaDriverVersion 12020 -gpua072:246796:246796 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.72<0> -gpua072:246796:246796 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua072:246796:246902 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.72<0> -gpua072:246796:246902 [2] NCCL INFO Using network IB -gpua072:246796:246902 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua072:246796:246902 [2] NCCL INFO Trees [0] 55/-1/-1->54->53 [1] 55/-1/-1->54->53 -gpua072:246796:246902 [2] NCCL INFO Channel 00/0 : 54[85000] -> 55[c7000] via P2P/IPC/read -gpua072:246796:246902 [2] NCCL INFO Channel 01/0 : 54[85000] -> 55[c7000] via P2P/IPC/read -gpua072:246796:246902 [2] NCCL INFO Connected all rings -gpua072:246796:246902 [2] NCCL INFO Channel 00/0 : 54[85000] -> 53[46000] via P2P/IPC/read -gpua072:246796:246902 [2] NCCL INFO Channel 01/0 : 54[85000] -> 53[46000] via P2P/IPC/read -gpua072:246796:246902 [2] NCCL INFO Connected all trees -gpua072:246796:246902 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua072:246796:246902 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua072:246796:246902 [2] NCCL INFO comm 0xde16580 rank 54 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua072:246797:246797 [3] NCCL INFO cudaDriverVersion 12020 -gpua072:246797:246797 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.72<0> -gpua072:246797:246797 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua072:246797:246905 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.72<0> -gpua072:246797:246905 [3] NCCL INFO Using network IB -gpua072:246797:246905 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua072:246797:246905 [3] NCCL INFO Trees [0] -1/-1/-1->55->54 [1] -1/-1/-1->55->54 -gpua072:246797:246905 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 -gpua072:246797:246905 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 -gpua072:246797:246905 [3] NCCL INFO Connected all rings -gpua072:246797:246905 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 54[85000] via P2P/IPC/read -gpua072:246797:246905 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 54[85000] via P2P/IPC/read -gpua035:397820:397820 [1] NCCL INFO cudaDriverVersion 12020 -gpua035:397820:397820 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.35<0> -gpua035:397820:397820 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua035:397820:397928 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.35<0> -gpua035:397820:397928 [1] NCCL INFO Using network IB -gpua035:397820:397928 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua035:397820:397928 [1] NCCL INFO Trees [0] 22/-1/-1->21->20 [1] 22/24/-1->21->20 -gpua035:397820:397928 [1] NCCL INFO Channel 00/0 : 21[46000] -> 22[85000] via P2P/IPC/read -gpua035:397820:397928 [1] NCCL INFO Channel 01/0 : 21[46000] -> 22[85000] via P2P/IPC/read -gpua035:397820:397928 [1] NCCL INFO Connected all rings -gpua035:397820:397928 [1] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [send] via NET/IB/0 -gpua035:397820:397928 [1] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [receive] via NET/IB/0 -gpua072:246797:246905 [3] NCCL INFO Connected all trees -gpua072:246797:246905 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua072:246797:246905 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua072:246797:246905 [3] NCCL INFO comm 0x11360c50 rank 55 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua035:397820:397928 [1] NCCL INFO Channel 00/0 : 21[46000] -> 20[7000] via P2P/IPC/read -gpua035:397820:397928 [1] NCCL INFO Channel 01/0 : 21[46000] -> 20[7000] via P2P/IPC/read -gpua035:397820:397928 [1] NCCL INFO Connected all trees -gpua035:397820:397928 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua035:397820:397928 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua035:397820:397928 [1] NCCL INFO comm 0x11fd8eb0 rank 21 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua072:246794:246794 [0] NCCL INFO cudaDriverVersion 12020 -gpua072:246794:246794 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.72<0> -gpua072:246794:246794 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua072:246794:246904 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.72<0> -gpua072:246794:246904 [0] NCCL INFO Using network IB -gpua072:246794:246904 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua072:246794:246904 [0] NCCL INFO Trees [0] 53/-1/-1->52->57 [1] 53/48/-1->52->45 -gpua072:246794:246904 [0] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 -gpua072:246794:246904 [0] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 -gpua072:246794:246904 [0] NCCL INFO Channel 00/0 : 52[7000] -> 53[46000] via P2P/IPC/read -gpua072:246794:246904 [0] NCCL INFO Channel 01/0 : 52[7000] -> 53[46000] via P2P/IPC/read -gpua072:246794:246904 [0] NCCL INFO Connected all rings -gpua035:397819:397819 [0] NCCL INFO cudaDriverVersion 12020 -gpua035:397819:397819 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.35<0> -gpua035:397819:397819 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua035:397819:397927 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.35<0> -gpua035:397819:397927 [0] NCCL INFO Using network IB -gpua035:397819:397927 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua035:397819:397927 [0] NCCL INFO Trees [0] 21/-1/-1->20->25 [1] 21/16/-1->20->13 -gpua035:397819:397927 [0] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 -gpua035:397819:397927 [0] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 -gpua035:397819:397927 [0] NCCL INFO Channel 00/0 : 20[7000] -> 21[46000] via P2P/IPC/read -gpua035:397819:397927 [0] NCCL INFO Channel 01/0 : 20[7000] -> 21[46000] via P2P/IPC/read -gpua035:397819:397927 [0] NCCL INFO Connected all rings -gpua072:246794:246904 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [receive] via NET/IB/0 -gpua072:246794:246904 [0] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [send] via NET/IB/0 -gpua072:246794:246904 [0] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [receive] via NET/IB/0 -gpua072:246794:246904 [0] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [send] via NET/IB/0 -gpua072:246794:246904 [0] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [receive] via NET/IB/0 -gpua072:246794:246904 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [send] via NET/IB/0 -gpua072:246794:246904 [0] NCCL INFO Connected all trees -gpua072:246794:246904 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua072:246794:246904 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua072:246794:246904 [0] NCCL INFO comm 0x1288dae0 rank 52 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua035:397819:397927 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [receive] via NET/IB/0 -gpua035:397819:397927 [0] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [send] via NET/IB/0 -gpua035:397819:397927 [0] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [receive] via NET/IB/0 -gpua035:397819:397927 [0] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [send] via NET/IB/0 -gpua035:397819:397927 [0] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [receive] via NET/IB/0 -gpua035:397819:397927 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [send] via NET/IB/0 -gpua035:397819:397927 [0] NCCL INFO Connected all trees -gpua035:397819:397927 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua035:397819:397927 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua035:397819:397927 [0] NCCL INFO comm 0x14def160 rank 20 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua035:397821:397821 [2] NCCL INFO cudaDriverVersion 12020 -gpua035:397821:397821 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.35<0> -gpua035:397821:397821 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua035:397821:397926 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.35<0> -gpua035:397821:397926 [2] NCCL INFO Using network IB -gpua035:397821:397926 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua035:397821:397926 [2] NCCL INFO Trees [0] 23/-1/-1->22->21 [1] 23/-1/-1->22->21 -gpua035:397821:397926 [2] NCCL INFO Channel 00/0 : 22[85000] -> 23[c7000] via P2P/IPC/read -gpua035:397821:397926 [2] NCCL INFO Channel 01/0 : 22[85000] -> 23[c7000] via P2P/IPC/read -gpua035:397821:397926 [2] NCCL INFO Connected all rings -gpua035:397821:397926 [2] NCCL INFO Channel 00/0 : 22[85000] -> 21[46000] via P2P/IPC/read -gpua035:397821:397926 [2] NCCL INFO Channel 01/0 : 22[85000] -> 21[46000] via P2P/IPC/read -gpua035:397821:397926 [2] NCCL INFO Connected all trees -gpua035:397821:397926 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua035:397821:397926 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua035:397821:397926 [2] NCCL INFO comm 0x123d8f10 rank 22 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua035:397822:397822 [3] NCCL INFO cudaDriverVersion 12020 -gpua035:397822:397822 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.35<0> -gpua035:397822:397822 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua035:397822:397925 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.35<0> -gpua035:397822:397925 [3] NCCL INFO Using network IB -gpua035:397822:397925 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua035:397822:397925 [3] NCCL INFO Trees [0] -1/-1/-1->23->22 [1] -1/-1/-1->23->22 -gpua035:397822:397925 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 -gpua035:397822:397925 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 -gpua035:397822:397925 [3] NCCL INFO Connected all rings -gpua035:397822:397925 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 22[85000] via P2P/IPC/read -gpua035:397822:397925 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 22[85000] via P2P/IPC/read -gpua035:397822:397925 [3] NCCL INFO Connected all trees -gpua035:397822:397925 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua035:397822:397925 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua035:397822:397925 [3] NCCL INFO comm 0x10030950 rank 23 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua072:246795:246795 [1] NCCL INFO cudaDriverVersion 12020 -gpua072:246795:246795 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.72<0> -gpua072:246795:246795 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua072:246795:246903 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.72<0> -gpua072:246795:246903 [1] NCCL INFO Using network IB -gpua072:246795:246903 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua072:246795:246903 [1] NCCL INFO Trees [0] 54/-1/-1->53->52 [1] 54/56/-1->53->52 -gpua072:246795:246903 [1] NCCL INFO Channel 00/0 : 53[46000] -> 54[85000] via P2P/IPC/read -gpua072:246795:246903 [1] NCCL INFO Channel 01/0 : 53[46000] -> 54[85000] via P2P/IPC/read -gpua072:246795:246903 [1] NCCL INFO Connected all rings -gpua072:246795:246903 [1] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [send] via NET/IB/0 -gpua072:246795:246903 [1] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [receive] via NET/IB/0 -gpua072:246795:246903 [1] NCCL INFO Channel 00/0 : 53[46000] -> 52[7000] via P2P/IPC/read -gpua072:246795:246903 [1] NCCL INFO Channel 01/0 : 53[46000] -> 52[7000] via P2P/IPC/read -gpua072:246795:246903 [1] NCCL INFO Connected all trees -gpua072:246795:246903 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua072:246795:246903 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua072:246795:246903 [1] NCCL INFO comm 0x1219ebd0 rank 53 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua070:113436:113436 [2] NCCL INFO cudaDriverVersion 12020 -gpua070:113436:113436 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.70<0> -gpua070:113436:113436 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua070:113436:113544 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.70<0> -gpua070:113436:113544 [2] NCCL INFO Using network IB -gpua070:113436:113544 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua070:113436:113544 [2] NCCL INFO Trees [0] 51/-1/-1->50->49 [1] 51/-1/-1->50->49 -gpua070:113436:113544 [2] NCCL INFO Channel 00/0 : 50[85000] -> 51[c7000] via P2P/IPC/read -gpua070:113436:113544 [2] NCCL INFO Channel 01/0 : 50[85000] -> 51[c7000] via P2P/IPC/read -gpua070:113436:113544 [2] NCCL INFO Connected all rings -gpua070:113436:113544 [2] NCCL INFO Channel 00/0 : 50[85000] -> 49[46000] via P2P/IPC/read -gpua070:113436:113544 [2] NCCL INFO Channel 01/0 : 50[85000] -> 49[46000] via P2P/IPC/read -gpua070:113436:113544 [2] NCCL INFO Connected all trees -gpua070:113436:113544 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua070:113436:113544 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua070:113436:113544 [2] NCCL INFO comm 0xa0172b0 rank 50 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua070:113437:113437 [3] NCCL INFO cudaDriverVersion 12020 -gpua070:113437:113437 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.70<0> -gpua070:113437:113437 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua070:113437:113546 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.70<0> -gpua070:113437:113546 [3] NCCL INFO Using network IB -gpua070:113437:113546 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua070:113437:113546 [3] NCCL INFO Trees [0] -1/-1/-1->51->50 [1] -1/-1/-1->51->50 -gpua070:113437:113546 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 -gpua070:113437:113546 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 -gpua070:113437:113546 [3] NCCL INFO Connected all rings -gpua070:113437:113546 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 50[85000] via P2P/IPC/read -gpua070:113437:113546 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 50[85000] via P2P/IPC/read -gpua070:113437:113546 [3] NCCL INFO Connected all trees -gpua070:113437:113546 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua070:113437:113546 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua070:113437:113546 [3] NCCL INFO comm 0xbabb990 rank 51 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua097:565108:565108 [0] NCCL INFO cudaDriverVersion 12020 -gpua097:565108:565108 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.97<0> -gpua097:565108:565108 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua097:565108:565215 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.97<0> -gpua097:565108:565215 [0] NCCL INFO Using network IB -gpua097:565108:565215 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua097:565108:565215 [0] NCCL INFO Trees [0] 57/60/-1->56->48 [1] 57/-1/-1->56->53 -gpua097:565108:565215 [0] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 -gpua097:565108:565215 [0] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 -gpua097:565108:565215 [0] NCCL INFO Channel 00/0 : 56[7000] -> 57[46000] via P2P/IPC/read -gpua097:565108:565215 [0] NCCL INFO Channel 01/0 : 56[7000] -> 57[46000] via P2P/IPC/read -gpua097:565108:565215 [0] NCCL INFO Connected all rings -gpua097:565108:565215 [0] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [receive] via NET/IB/0 -gpua097:565108:565215 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [send] via NET/IB/0 -gpua097:565108:565215 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [receive] via NET/IB/0 -gpua097:565108:565215 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [send] via NET/IB/0 -gpua097:565108:565215 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [receive] via NET/IB/0 -gpua097:565108:565215 [0] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [send] via NET/IB/0 -gpua097:565108:565215 [0] NCCL INFO Connected all trees -gpua097:565108:565215 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua097:565108:565215 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua097:565108:565215 [0] NCCL INFO comm 0xbd45ac0 rank 56 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua097:565109:565109 [1] NCCL INFO cudaDriverVersion 12020 -gpua097:565109:565109 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.97<0> -gpua097:565109:565109 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua097:565109:565217 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.97<0> -gpua097:565109:565217 [1] NCCL INFO Using network IB -gpua097:565109:565217 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua097:565109:565217 [1] NCCL INFO Trees [0] 58/52/-1->57->56 [1] 58/-1/-1->57->56 -gpua097:565109:565217 [1] NCCL INFO Channel 00/0 : 57[46000] -> 58[85000] via P2P/IPC/read -gpua097:565109:565217 [1] NCCL INFO Channel 01/0 : 57[46000] -> 58[85000] via P2P/IPC/read -gpua097:565109:565217 [1] NCCL INFO Connected all rings -gpua097:565109:565217 [1] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [receive] via NET/IB/0 -gpua097:565109:565217 [1] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [send] via NET/IB/0 -gpua097:565109:565217 [1] NCCL INFO Channel 00/0 : 57[46000] -> 56[7000] via P2P/IPC/read -gpua097:565109:565217 [1] NCCL INFO Channel 01/0 : 57[46000] -> 56[7000] via P2P/IPC/read -gpua097:565109:565217 [1] NCCL INFO Connected all trees -gpua097:565109:565217 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua097:565109:565217 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua097:565109:565217 [1] NCCL INFO comm 0xb8dc4d0 rank 57 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua042:320057:320057 [3] NCCL INFO cudaDriverVersion 12020 -gpua042:320057:320057 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.42<0> -gpua042:320057:320057 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua042:320057:320142 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.42<0> -gpua042:320057:320142 [3] NCCL INFO Using network IB -gpua042:320057:320142 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua042:320057:320142 [3] NCCL INFO Trees [0] -1/-1/-1->39->38 [1] -1/-1/-1->39->38 -gpua042:320057:320142 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 -gpua042:320057:320142 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 -gpua042:320057:320142 [3] NCCL INFO Connected all rings -gpua042:320057:320142 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 38[85000] via P2P/IPC/read -gpua042:320057:320142 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 38[85000] via P2P/IPC/read -gpua042:320057:320142 [3] NCCL INFO Connected all trees -gpua042:320057:320142 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua042:320057:320142 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua042:320057:320142 [3] NCCL INFO comm 0x1b7421a0 rank 39 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua033:812549:812549 [0] NCCL INFO cudaDriverVersion 12020 -gpua033:812549:812549 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.33<0> -gpua033:812549:812549 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua033:812549:812653 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.33<0> -gpua033:812549:812653 [0] NCCL INFO Using network IB -gpua033:812549:812653 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua033:812549:812653 [0] NCCL INFO Trees [0] 17/24/-1->16->33 [1] 17/-1/-1->16->20 -gpua033:812549:812653 [0] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 -gpua033:812549:812653 [0] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 -gpua033:812549:812653 [0] NCCL INFO Channel 00/0 : 16[7000] -> 17[46000] via P2P/IPC/read -gpua033:812549:812653 [0] NCCL INFO Channel 01/0 : 16[7000] -> 17[46000] via P2P/IPC/read -gpua033:812549:812653 [0] NCCL INFO Connected all rings -gpua033:812549:812653 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [send] via NET/IB/0 -gpua033:812549:812653 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [send] via NET/IB/0 -gpua033:812549:812653 [0] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [send] via NET/IB/0 -gpua033:812549:812653 [0] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [receive] via NET/IB/0 -gpua033:812549:812653 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [receive] via NET/IB/0 -gpua033:812549:812653 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [receive] via NET/IB/0 -gpua033:812549:812653 [0] NCCL INFO Connected all trees -gpua033:812549:812653 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua033:812549:812653 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua033:812549:812653 [0] NCCL INFO comm 0x1740f8e0 rank 16 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua043:1858025:1858025 [0] NCCL INFO cudaDriverVersion 12020 -gpua043:1858025:1858025 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.43<0> -gpua043:1858025:1858025 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua043:1858025:1858126 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.43<0> -gpua043:1858025:1858126 [0] NCCL INFO Using network IB -gpua043:1858025:1858126 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua043:1858025:1858126 [0] NCCL INFO Trees [0] 41/44/-1->40->49 [1] 41/-1/-1->40->37 -gpua043:1858025:1858126 [0] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 -gpua043:1858025:1858126 [0] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 -gpua043:1858025:1858126 [0] NCCL INFO Channel 00/0 : 40[7000] -> 41[46000] via P2P/IPC/read -gpua043:1858025:1858126 [0] NCCL INFO Channel 01/0 : 40[7000] -> 41[46000] via P2P/IPC/read -gpua043:1858025:1858126 [0] NCCL INFO Connected all rings -gpua043:1858025:1858126 [0] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [receive] via NET/IB/0 -gpua043:1858025:1858126 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [send] via NET/IB/0 -gpua043:1858025:1858126 [0] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [send] via NET/IB/0 -gpua043:1858025:1858126 [0] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [receive] via NET/IB/0 -gpua043:1858025:1858126 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [receive] via NET/IB/0 -gpua043:1858025:1858126 [0] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [send] via NET/IB/0 -gpua043:1858025:1858126 [0] NCCL INFO Connected all trees -gpua043:1858025:1858126 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua043:1858025:1858126 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua043:1858025:1858126 [0] NCCL INFO comm 0x1e934f50 rank 40 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua099:116369:116369 [3] NCCL INFO cudaDriverVersion 12020 -gpua099:116369:116369 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.99<0> -gpua099:116369:116369 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua099:116369:116476 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.99<0> -gpua099:116369:116476 [3] NCCL INFO Using network IB -gpua099:116369:116476 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua099:116369:116476 [3] NCCL INFO Trees [0] -1/-1/-1->63->62 [1] -1/-1/-1->63->62 -gpua099:116369:116476 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 -gpua099:116369:116476 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 -gpua099:116369:116476 [3] NCCL INFO Connected all rings -gpua099:116369:116476 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 62[85000] via P2P/IPC/read -gpua099:116369:116476 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 62[85000] via P2P/IPC/read -gpua099:116369:116476 [3] NCCL INFO Connected all trees -gpua099:116369:116476 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua099:116369:116476 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua099:116369:116476 [3] NCCL INFO comm 0x1a616df0 rank 63 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua037:388777:388777 [3] NCCL INFO cudaDriverVersion 12020 -gpua037:388777:388777 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.37<0> -gpua037:388777:388777 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua037:388777:388880 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.37<0> -gpua037:388777:388880 [3] NCCL INFO Using network IB -gpua037:388777:388880 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua037:388777:388880 [3] NCCL INFO Trees [0] -1/-1/-1->27->26 [1] -1/-1/-1->27->26 -gpua037:388777:388880 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 -gpua037:388777:388880 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 -gpua037:388777:388880 [3] NCCL INFO Connected all rings -gpua037:388777:388880 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 26[85000] via P2P/IPC/read -gpua037:388777:388880 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 26[85000] via P2P/IPC/read -gpua037:388777:388880 [3] NCCL INFO Connected all trees -gpua037:388777:388880 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua037:388777:388880 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua037:388777:388880 [3] NCCL INFO comm 0x173dc770 rank 27 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua069:1351486:1351486 [2] NCCL INFO cudaDriverVersion 12020 -gpua069:1351486:1351486 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.69<0> -gpua069:1351486:1351486 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua069:1351486:1351582 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.69<0> -gpua069:1351486:1351582 [2] NCCL INFO Using network IB -gpua069:1351486:1351582 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua069:1351486:1351582 [2] NCCL INFO Trees [0] 47/-1/-1->46->45 [1] 47/-1/-1->46->45 -gpua069:1351486:1351582 [2] NCCL INFO Channel 00/0 : 46[85000] -> 47[c7000] via P2P/IPC/read -gpua069:1351486:1351582 [2] NCCL INFO Channel 01/0 : 46[85000] -> 47[c7000] via P2P/IPC/read -gpua069:1351486:1351582 [2] NCCL INFO Connected all rings -gpua069:1351486:1351582 [2] NCCL INFO Channel 00/0 : 46[85000] -> 45[46000] via P2P/IPC/read -gpua069:1351486:1351582 [2] NCCL INFO Channel 01/0 : 46[85000] -> 45[46000] via P2P/IPC/read -gpua069:1351486:1351582 [2] NCCL INFO Connected all trees -gpua069:1351486:1351582 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua069:1351486:1351582 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua069:1351486:1351582 [2] NCCL INFO comm 0x1a5de820 rank 46 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua033:812552:812552 [3] NCCL INFO cudaDriverVersion 12020 -gpua033:812552:812552 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.33<0> -gpua033:812552:812552 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua033:812552:812658 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.33<0> -gpua033:812552:812658 [3] NCCL INFO Using network IB -gpua033:812552:812658 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua033:812552:812658 [3] NCCL INFO Trees [0] -1/-1/-1->19->18 [1] -1/-1/-1->19->18 -gpua033:812552:812658 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 -gpua033:812552:812658 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 -gpua033:812552:812658 [3] NCCL INFO Connected all rings -gpua033:812552:812658 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 18[85000] via P2P/IPC/read -gpua033:812552:812658 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 18[85000] via P2P/IPC/read -gpua033:812552:812658 [3] NCCL INFO Connected all trees -gpua033:812552:812658 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua033:812552:812658 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua033:812552:812658 [3] NCCL INFO comm 0x17dae330 rank 19 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua039:405902:405902 [3] NCCL INFO cudaDriverVersion 12020 -gpua039:405902:405902 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.39<0> -gpua039:405902:405902 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua039:405902:406005 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.39<0> -gpua039:405902:406005 [3] NCCL INFO Using network IB -gpua039:405902:406005 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua039:405902:406005 [3] NCCL INFO Trees [0] -1/-1/-1->31->30 [1] -1/-1/-1->31->30 -gpua039:405902:406005 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 -gpua039:405902:406005 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 -gpua039:405902:406005 [3] NCCL INFO Connected all rings -gpua039:405902:406005 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 30[85000] via P2P/IPC/read -gpua039:405902:406005 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 30[85000] via P2P/IPC/read -gpua039:405902:406005 [3] NCCL INFO Connected all trees -gpua039:405902:406005 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua039:405902:406005 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua039:405902:406005 [3] NCCL INFO comm 0x13b6d040 rank 31 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua037:388775:388775 [1] NCCL INFO cudaDriverVersion 12020 -gpua037:388775:388775 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.37<0> -gpua037:388775:388775 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua037:388775:388877 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.37<0> -gpua037:388775:388877 [1] NCCL INFO Using network IB -gpua037:388775:388877 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua037:388775:388877 [1] NCCL INFO Trees [0] 26/20/-1->25->24 [1] 26/-1/-1->25->24 -gpua037:388775:388877 [1] NCCL INFO Channel 00/0 : 25[46000] -> 26[85000] via P2P/IPC/read -gpua037:388775:388877 [1] NCCL INFO Channel 01/0 : 25[46000] -> 26[85000] via P2P/IPC/read -gpua037:388775:388877 [1] NCCL INFO Connected all rings -gpua037:388775:388877 [1] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [receive] via NET/IB/0 -gpua037:388775:388877 [1] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [send] via NET/IB/0 -gpua037:388775:388877 [1] NCCL INFO Channel 00/0 : 25[46000] -> 24[7000] via P2P/IPC/read -gpua037:388775:388877 [1] NCCL INFO Channel 01/0 : 25[46000] -> 24[7000] via P2P/IPC/read -gpua037:388775:388877 [1] NCCL INFO Connected all trees -gpua037:388775:388877 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua037:388775:388877 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua037:388775:388877 [1] NCCL INFO comm 0x4b939930 rank 25 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua030:633769:633769 [2] NCCL INFO cudaDriverVersion 12020 -gpua030:633769:633769 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> -gpua030:633769:633769 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua030:633769:633871 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> -gpua030:633769:633871 [2] NCCL INFO Using network IB -gpua030:633769:633871 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua030:633769:633871 [2] NCCL INFO Trees [0] 11/-1/-1->10->9 [1] 11/-1/-1->10->9 -gpua030:633769:633871 [2] NCCL INFO Channel 00/0 : 10[85000] -> 11[c7000] via P2P/IPC/read -gpua030:633769:633871 [2] NCCL INFO Channel 01/0 : 10[85000] -> 11[c7000] via P2P/IPC/read -gpua030:633769:633871 [2] NCCL INFO Connected all rings -gpua030:633769:633871 [2] NCCL INFO Channel 00/0 : 10[85000] -> 9[46000] via P2P/IPC/read -gpua030:633769:633871 [2] NCCL INFO Channel 01/0 : 10[85000] -> 9[46000] via P2P/IPC/read -gpua030:633769:633871 [2] NCCL INFO Connected all trees -gpua030:633769:633871 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua030:633769:633871 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua030:633769:633871 [2] NCCL INFO comm 0x2115cf90 rank 10 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua030:633767:633767 [0] NCCL INFO cudaDriverVersion 12020 -gpua030:633767:633767 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> -gpua030:633767:633767 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua030:633767:633869 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> -gpua030:633767:633869 [0] NCCL INFO Using network IB -gpua030:633767:633869 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua030:633767:633869 [0] NCCL INFO Trees [0] 9/12/-1->8->17 [1] 9/-1/-1->8->5 -gpua030:633767:633869 [0] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 -gpua030:633767:633869 [0] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 -gpua030:633767:633869 [0] NCCL INFO Channel 00/0 : 8[7000] -> 9[46000] via P2P/IPC/read -gpua030:633767:633869 [0] NCCL INFO Channel 01/0 : 8[7000] -> 9[46000] via P2P/IPC/read -gpua030:633767:633869 [0] NCCL INFO Connected all rings -gpua030:633767:633869 [0] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [receive] via NET/IB/0 -gpua030:633767:633869 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [send] via NET/IB/0 -gpua030:633767:633869 [0] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [send] via NET/IB/0 -gpua030:633767:633869 [0] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [receive] via NET/IB/0 -gpua030:633767:633869 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [receive] via NET/IB/0 -gpua030:633767:633869 [0] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [send] via NET/IB/0 -gpua030:633767:633869 [0] NCCL INFO Connected all trees -gpua030:633767:633869 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua030:633767:633869 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua030:633767:633869 [0] NCCL INFO comm 0x3c66f940 rank 8 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua030:633770:633770 [3] NCCL INFO cudaDriverVersion 12020 -gpua030:633770:633770 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> -gpua030:633770:633770 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua030:633770:633870 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> -gpua030:633770:633870 [3] NCCL INFO Using network IB -gpua030:633770:633870 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua030:633770:633870 [3] NCCL INFO Trees [0] -1/-1/-1->11->10 [1] -1/-1/-1->11->10 -gpua030:633770:633870 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 -gpua030:633770:633870 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 -gpua030:633770:633870 [3] NCCL INFO Connected all rings -gpua030:633770:633870 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 10[85000] via P2P/IPC/read -gpua030:633770:633870 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 10[85000] via P2P/IPC/read -gpua030:633770:633870 [3] NCCL INFO Connected all trees -gpua030:633770:633870 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua030:633770:633870 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua030:633770:633870 [3] NCCL INFO comm 0xb026570 rank 11 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua033:812550:812550 [1] NCCL INFO cudaDriverVersion 12020 -gpua033:812550:812550 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.33<0> -gpua033:812550:812550 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua033:812550:812652 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.33<0> -gpua033:812550:812652 [1] NCCL INFO Using network IB -gpua033:812550:812652 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua033:812550:812652 [1] NCCL INFO Trees [0] 18/8/-1->17->16 [1] 18/-1/-1->17->16 -gpua033:812550:812652 [1] NCCL INFO Channel 00/0 : 17[46000] -> 18[85000] via P2P/IPC/read -gpua033:812550:812652 [1] NCCL INFO Channel 01/0 : 17[46000] -> 18[85000] via P2P/IPC/read -gpua033:812550:812652 [1] NCCL INFO Connected all rings -gpua033:812550:812652 [1] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [receive] via NET/IB/0 -gpua033:812550:812652 [1] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [send] via NET/IB/0 -gpua033:812550:812652 [1] NCCL INFO Channel 00/0 : 17[46000] -> 16[7000] via P2P/IPC/read -gpua033:812550:812652 [1] NCCL INFO Channel 01/0 : 17[46000] -> 16[7000] via P2P/IPC/read -gpua033:812550:812652 [1] NCCL INFO Connected all trees -gpua033:812550:812652 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua033:812550:812652 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua033:812550:812652 [1] NCCL INFO comm 0x9e273b0 rank 17 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua040:528570:528570 [2] NCCL INFO cudaDriverVersion 12020 -gpua040:528570:528570 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.40<0> -gpua040:528570:528570 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua040:528570:528676 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.40<0> -gpua040:528570:528676 [2] NCCL INFO Using network IB -gpua040:528570:528676 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua040:528570:528676 [2] NCCL INFO Trees [0] 35/-1/-1->34->33 [1] 35/-1/-1->34->33 -gpua040:528570:528676 [2] NCCL INFO Channel 00/0 : 34[85000] -> 35[c7000] via P2P/IPC/read -gpua040:528570:528676 [2] NCCL INFO Channel 01/0 : 34[85000] -> 35[c7000] via P2P/IPC/read -gpua040:528570:528676 [2] NCCL INFO Connected all rings -gpua040:528570:528676 [2] NCCL INFO Channel 00/0 : 34[85000] -> 33[46000] via P2P/IPC/read -gpua040:528570:528676 [2] NCCL INFO Channel 01/0 : 34[85000] -> 33[46000] via P2P/IPC/read -gpua040:528570:528676 [2] NCCL INFO Connected all trees -gpua040:528570:528676 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua040:528570:528676 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua040:528570:528676 [2] NCCL INFO comm 0x18d41010 rank 34 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua040:528569:528569 [1] NCCL INFO cudaDriverVersion 12020 -gpua040:528569:528569 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.40<0> -gpua040:528569:528569 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua040:528569:528677 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.40<0> -gpua040:528569:528677 [1] NCCL INFO Using network IB -gpua040:528569:528677 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua040:528569:528677 [1] NCCL INFO Trees [0] 34/16/-1->33->32 [1] 34/-1/-1->33->32 -gpua040:528569:528677 [1] NCCL INFO Channel 00/0 : 33[46000] -> 34[85000] via P2P/IPC/read -gpua040:528569:528677 [1] NCCL INFO Channel 01/0 : 33[46000] -> 34[85000] via P2P/IPC/read -gpua040:528569:528677 [1] NCCL INFO Connected all rings -gpua040:528569:528677 [1] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [receive] via NET/IB/0 -gpua040:528569:528677 [1] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [send] via NET/IB/0 -gpua040:528569:528677 [1] NCCL INFO Channel 00/0 : 33[46000] -> 32[7000] via P2P/IPC/read -gpua040:528569:528677 [1] NCCL INFO Channel 01/0 : 33[46000] -> 32[7000] via P2P/IPC/read -gpua040:528569:528677 [1] NCCL INFO Connected all trees -gpua040:528569:528677 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua040:528569:528677 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua040:528569:528677 [1] NCCL INFO comm 0x4a1aa6f0 rank 33 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua030:633768:633768 [1] NCCL INFO cudaDriverVersion 12020 -gpua030:633768:633768 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> -gpua030:633768:633768 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua030:633768:633872 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> -gpua030:633768:633872 [1] NCCL INFO Using network IB -gpua030:633768:633872 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua030:633768:633872 [1] NCCL INFO Trees [0] 10/4/-1->9->8 [1] 10/-1/-1->9->8 -gpua030:633768:633872 [1] NCCL INFO Channel 00/0 : 9[46000] -> 10[85000] via P2P/IPC/read -gpua030:633768:633872 [1] NCCL INFO Channel 01/0 : 9[46000] -> 10[85000] via P2P/IPC/read -gpua030:633768:633872 [1] NCCL INFO Connected all rings -gpua030:633768:633872 [1] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [receive] via NET/IB/0 -gpua030:633768:633872 [1] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [send] via NET/IB/0 -gpua030:633768:633872 [1] NCCL INFO Channel 00/0 : 9[46000] -> 8[7000] via P2P/IPC/read -gpua030:633768:633872 [1] NCCL INFO Channel 01/0 : 9[46000] -> 8[7000] via P2P/IPC/read -gpua030:633768:633872 [1] NCCL INFO Connected all trees -gpua030:633768:633872 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua030:633768:633872 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua030:633768:633872 [1] NCCL INFO comm 0x33d14120 rank 9 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua040:528568:528568 [0] NCCL INFO cudaDriverVersion 12020 -gpua040:528568:528568 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.40<0> -gpua040:528568:528568 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua040:528568:528678 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.40<0> -gpua040:528568:528678 [0] NCCL INFO Using network IB -gpua040:528568:528678 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua040:528568:528678 [0] NCCL INFO Trees [0] 33/48/-1->32->0 [1] 33/-1/-1->32->36 -gpua040:528568:528678 [0] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 -gpua040:528568:528678 [0] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 -gpua040:528568:528678 [0] NCCL INFO Channel 00/0 : 32[7000] -> 33[46000] via P2P/IPC/read -gpua040:528568:528678 [0] NCCL INFO Channel 01/0 : 32[7000] -> 33[46000] via P2P/IPC/read -gpua040:528568:528678 [0] NCCL INFO Connected all rings -gpua040:528568:528678 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [send] via NET/IB/0 -gpua040:528568:528678 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [send] via NET/IB/0 -gpua040:528568:528678 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [receive] via NET/IB/0 -gpua040:528568:528678 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [send] via NET/IB/0 -gpua040:528568:528678 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [receive] via NET/IB/0 -gpua040:528568:528678 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [receive] via NET/IB/0 -gpua040:528568:528678 [0] NCCL INFO Connected all trees -gpua040:528568:528678 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua040:528568:528678 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua040:528568:528678 [0] NCCL INFO comm 0x2f7872a0 rank 32 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua069:1351484:1351484 [0] NCCL INFO cudaDriverVersion 12020 -gpua069:1351484:1351484 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.69<0> -gpua069:1351484:1351484 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua069:1351484:1351579 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.69<0> -gpua069:1351484:1351579 [0] NCCL INFO Using network IB -gpua069:1351484:1351579 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua069:1351484:1351579 [0] NCCL INFO Trees [0] 45/-1/-1->44->40 [1] 45/36/-1->44->29 -gpua069:1351484:1351579 [0] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 -gpua069:1351484:1351579 [0] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 -gpua069:1351484:1351579 [0] NCCL INFO Channel 00/0 : 44[7000] -> 45[46000] via P2P/IPC/read -gpua069:1351484:1351579 [0] NCCL INFO Channel 01/0 : 44[7000] -> 45[46000] via P2P/IPC/read -gpua069:1351484:1351579 [0] NCCL INFO Connected all rings -gpua069:1351484:1351579 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [receive] via NET/IB/0 -gpua069:1351484:1351579 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [receive] via NET/IB/0 -gpua069:1351484:1351579 [0] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [receive] via NET/IB/0 -gpua069:1351484:1351579 [0] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [send] via NET/IB/0 -gpua069:1351484:1351579 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [send] via NET/IB/0 -gpua069:1351484:1351579 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [send] via NET/IB/0 -gpua069:1351484:1351579 [0] NCCL INFO Connected all trees -gpua069:1351484:1351579 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua069:1351484:1351579 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua069:1351484:1351579 [0] NCCL INFO comm 0x1236b690 rank 44 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua037:388774:388774 [0] NCCL INFO cudaDriverVersion 12020 -gpua037:388774:388774 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.37<0> -gpua037:388774:388774 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua037:388774:388879 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.37<0> -gpua037:388774:388879 [0] NCCL INFO Using network IB -gpua037:388774:388879 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua037:388774:388879 [0] NCCL INFO Trees [0] 25/28/-1->24->16 [1] 25/-1/-1->24->21 -gpua037:388774:388879 [0] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 -gpua037:388774:388879 [0] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 -gpua037:388774:388879 [0] NCCL INFO Channel 00/0 : 24[7000] -> 25[46000] via P2P/IPC/read -gpua037:388774:388879 [0] NCCL INFO Channel 01/0 : 24[7000] -> 25[46000] via P2P/IPC/read -gpua037:388774:388879 [0] NCCL INFO Connected all rings -gpua037:388774:388879 [0] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [receive] via NET/IB/0 -gpua037:388774:388879 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [send] via NET/IB/0 -gpua037:388774:388879 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [receive] via NET/IB/0 -gpua037:388774:388879 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [send] via NET/IB/0 -gpua037:388774:388879 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [receive] via NET/IB/0 -gpua037:388774:388879 [0] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [send] via NET/IB/0 -gpua037:388774:388879 [0] NCCL INFO Connected all trees -gpua037:388774:388879 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua037:388774:388879 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua037:388774:388879 [0] NCCL INFO comm 0x4fff9fb0 rank 24 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua032:426715:426715 [1] NCCL INFO cudaDriverVersion 12020 -gpua032:426715:426715 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.32<0> -gpua032:426715:426715 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua032:426715:426824 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.32<0> -gpua032:426715:426824 [1] NCCL INFO Using network IB -gpua032:426715:426824 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua032:426715:426824 [1] NCCL INFO Trees [0] 14/-1/-1->13->12 [1] 14/20/-1->13->12 -gpua032:426715:426824 [1] NCCL INFO Channel 00/0 : 13[46000] -> 14[85000] via P2P/IPC/read -gpua032:426715:426824 [1] NCCL INFO Channel 01/0 : 13[46000] -> 14[85000] via P2P/IPC/read -gpua032:426715:426824 [1] NCCL INFO Connected all rings -gpua032:426715:426824 [1] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [send] via NET/IB/0 -gpua032:426715:426824 [1] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [receive] via NET/IB/0 -gpua032:426715:426824 [1] NCCL INFO Channel 00/0 : 13[46000] -> 12[7000] via P2P/IPC/read -gpua032:426715:426824 [1] NCCL INFO Channel 01/0 : 13[46000] -> 12[7000] via P2P/IPC/read -gpua032:426715:426824 [1] NCCL INFO Connected all trees -gpua032:426715:426824 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua032:426715:426824 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua032:426715:426824 [1] NCCL INFO comm 0x11cbe830 rank 13 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua032:426716:426716 [2] NCCL INFO cudaDriverVersion 12020 -gpua032:426716:426716 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.32<0> -gpua032:426716:426716 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua032:426716:426822 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.32<0> -gpua032:426716:426822 [2] NCCL INFO Using network IB -gpua032:426716:426822 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua032:426716:426822 [2] NCCL INFO Trees [0] 15/-1/-1->14->13 [1] 15/-1/-1->14->13 -gpua032:426716:426822 [2] NCCL INFO Channel 00/0 : 14[85000] -> 15[c7000] via P2P/IPC/read -gpua032:426716:426822 [2] NCCL INFO Channel 01/0 : 14[85000] -> 15[c7000] via P2P/IPC/read -gpua032:426716:426822 [2] NCCL INFO Connected all rings -gpua032:426716:426822 [2] NCCL INFO Channel 00/0 : 14[85000] -> 13[46000] via P2P/IPC/read -gpua032:426716:426822 [2] NCCL INFO Channel 01/0 : 14[85000] -> 13[46000] via P2P/IPC/read -gpua032:426716:426822 [2] NCCL INFO Connected all trees -gpua032:426716:426822 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua032:426716:426822 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua032:426716:426822 [2] NCCL INFO comm 0x5227a200 rank 14 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua032:426714:426714 [0] NCCL INFO cudaDriverVersion 12020 -gpua032:426714:426714 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.32<0> -gpua032:426714:426714 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua032:426714:426825 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.32<0> -gpua032:426714:426825 [0] NCCL INFO Using network IB -gpua032:426714:426825 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua032:426714:426825 [0] NCCL INFO Trees [0] 13/-1/-1->12->8 [1] 13/4/-1->12->28 -gpua032:426714:426825 [0] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 -gpua032:426714:426825 [0] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 -gpua032:426714:426825 [0] NCCL INFO Channel 00/0 : 12[7000] -> 13[46000] via P2P/IPC/read -gpua032:426714:426825 [0] NCCL INFO Channel 01/0 : 12[7000] -> 13[46000] via P2P/IPC/read -gpua032:426714:426825 [0] NCCL INFO Connected all rings -gpua032:426714:426825 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [receive] via NET/IB/0 -gpua032:426714:426825 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [receive] via NET/IB/0 -gpua032:426714:426825 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [send] via NET/IB/0 -gpua032:426714:426825 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [receive] via NET/IB/0 -gpua032:426714:426825 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [send] via NET/IB/0 -gpua032:426714:426825 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [send] via NET/IB/0 -gpua032:426714:426825 [0] NCCL INFO Connected all trees -gpua032:426714:426825 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua032:426714:426825 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua032:426714:426825 [0] NCCL INFO comm 0x24271710 rank 12 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua040:528571:528571 [3] NCCL INFO cudaDriverVersion 12020 -gpua040:528571:528571 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.40<0> -gpua040:528571:528571 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua040:528571:528675 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.40<0> -gpua040:528571:528675 [3] NCCL INFO Using network IB -gpua040:528571:528675 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua040:528571:528675 [3] NCCL INFO Trees [0] -1/-1/-1->35->34 [1] -1/-1/-1->35->34 -gpua040:528571:528675 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 -gpua040:528571:528675 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 -gpua040:528571:528675 [3] NCCL INFO Connected all rings -gpua040:528571:528675 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 34[85000] via P2P/IPC/read -gpua040:528571:528675 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 34[85000] via P2P/IPC/read -gpua040:528571:528675 [3] NCCL INFO Connected all trees -gpua040:528571:528675 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua040:528571:528675 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua040:528571:528675 [3] NCCL INFO comm 0x181a10e0 rank 35 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua032:426717:426717 [3] NCCL INFO cudaDriverVersion 12020 -gpua032:426717:426717 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.32<0> -gpua032:426717:426717 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua032:426717:426823 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.32<0> -gpua032:426717:426823 [3] NCCL INFO Using network IB -gpua032:426717:426823 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua032:426717:426823 [3] NCCL INFO Trees [0] -1/-1/-1->15->14 [1] -1/-1/-1->15->14 -gpua032:426717:426823 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 -gpua032:426717:426823 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 -gpua032:426717:426823 [3] NCCL INFO Connected all rings -gpua032:426717:426823 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 14[85000] via P2P/IPC/read -gpua032:426717:426823 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 14[85000] via P2P/IPC/read -gpua037:388776:388776 [2] NCCL INFO cudaDriverVersion 12020 -gpua037:388776:388776 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.37<0> -gpua037:388776:388776 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua037:388776:388878 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.37<0> -gpua037:388776:388878 [2] NCCL INFO Using network IB -gpua037:388776:388878 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua037:388776:388878 [2] NCCL INFO Trees [0] 27/-1/-1->26->25 [1] 27/-1/-1->26->25 -gpua037:388776:388878 [2] NCCL INFO Channel 00/0 : 26[85000] -> 27[c7000] via P2P/IPC/read -gpua037:388776:388878 [2] NCCL INFO Channel 01/0 : 26[85000] -> 27[c7000] via P2P/IPC/read -gpua037:388776:388878 [2] NCCL INFO Connected all rings -gpua037:388776:388878 [2] NCCL INFO Channel 00/0 : 26[85000] -> 25[46000] via P2P/IPC/read -gpua037:388776:388878 [2] NCCL INFO Channel 01/0 : 26[85000] -> 25[46000] via P2P/IPC/read -gpua043:1858028:1858028 [3] NCCL INFO cudaDriverVersion 12020 -gpua043:1858028:1858028 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.43<0> -gpua043:1858028:1858028 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua043:1858028:1858129 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.43<0> -gpua043:1858028:1858129 [3] NCCL INFO Using network IB -gpua043:1858028:1858129 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua043:1858028:1858129 [3] NCCL INFO Trees [0] -1/-1/-1->43->42 [1] -1/-1/-1->43->42 -gpua043:1858028:1858129 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 -gpua043:1858028:1858129 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 -gpua043:1858028:1858129 [3] NCCL INFO Connected all rings -gpua043:1858028:1858129 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 42[85000] via P2P/IPC/read -gpua043:1858028:1858129 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 42[85000] via P2P/IPC/read -gpua032:426717:426823 [3] NCCL INFO Connected all trees -gpua032:426717:426823 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua032:426717:426823 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua032:426717:426823 [3] NCCL INFO comm 0x1a9ca810 rank 15 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua037:388776:388878 [2] NCCL INFO Connected all trees -gpua037:388776:388878 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua037:388776:388878 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua037:388776:388878 [2] NCCL INFO comm 0x226bb050 rank 26 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua043:1858028:1858129 [3] NCCL INFO Connected all trees -gpua043:1858028:1858129 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua043:1858028:1858129 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua043:1858028:1858129 [3] NCCL INFO comm 0x12a5de00 rank 43 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua043:1858027:1858027 [2] NCCL INFO cudaDriverVersion 12020 -gpua043:1858027:1858027 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.43<0> -gpua043:1858027:1858027 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua043:1858027:1858128 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.43<0> -gpua043:1858027:1858128 [2] NCCL INFO Using network IB -gpua043:1858027:1858128 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua043:1858027:1858128 [2] NCCL INFO Trees [0] 43/-1/-1->42->41 [1] 43/-1/-1->42->41 -gpua043:1858027:1858128 [2] NCCL INFO Channel 00/0 : 42[85000] -> 43[c7000] via P2P/IPC/read -gpua043:1858027:1858128 [2] NCCL INFO Channel 01/0 : 42[85000] -> 43[c7000] via P2P/IPC/read -gpua043:1858027:1858128 [2] NCCL INFO Connected all rings -gpua043:1858027:1858128 [2] NCCL INFO Channel 00/0 : 42[85000] -> 41[46000] via P2P/IPC/read -gpua043:1858027:1858128 [2] NCCL INFO Channel 01/0 : 42[85000] -> 41[46000] via P2P/IPC/read -gpua043:1858027:1858128 [2] NCCL INFO Connected all trees -gpua043:1858027:1858128 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua043:1858027:1858128 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua043:1858027:1858128 [2] NCCL INFO comm 0x9631ae0 rank 42 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua042:320056:320056 [2] NCCL INFO cudaDriverVersion 12020 -gpua042:320056:320056 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.42<0> -gpua042:320056:320056 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua042:320056:320141 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.42<0> -gpua042:320056:320141 [2] NCCL INFO Using network IB -gpua042:320056:320141 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua042:320056:320141 [2] NCCL INFO Trees [0] 39/-1/-1->38->37 [1] 39/-1/-1->38->37 -gpua042:320056:320141 [2] NCCL INFO Channel 00/0 : 38[85000] -> 39[c7000] via P2P/IPC/read -gpua042:320056:320141 [2] NCCL INFO Channel 01/0 : 38[85000] -> 39[c7000] via P2P/IPC/read -gpua042:320056:320141 [2] NCCL INFO Connected all rings -gpua042:320056:320141 [2] NCCL INFO Channel 00/0 : 38[85000] -> 37[46000] via P2P/IPC/read -gpua042:320056:320141 [2] NCCL INFO Channel 01/0 : 38[85000] -> 37[46000] via P2P/IPC/read -gpua042:320056:320141 [2] NCCL INFO Connected all trees -gpua042:320056:320141 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua042:320056:320141 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua042:320056:320141 [2] NCCL INFO comm 0x1241d0f0 rank 38 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua039:405900:405900 [1] NCCL INFO cudaDriverVersion 12020 -gpua039:405900:405900 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.39<0> -gpua039:405900:405900 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua039:405900:406003 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.39<0> -gpua039:405900:406003 [1] NCCL INFO Using network IB -gpua039:405900:406003 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua039:405900:406003 [1] NCCL INFO Trees [0] 30/-1/-1->29->28 [1] 30/44/-1->29->28 -gpua039:405900:406003 [1] NCCL INFO Channel 00/0 : 29[46000] -> 30[85000] via P2P/IPC/read -gpua039:405900:406003 [1] NCCL INFO Channel 01/0 : 29[46000] -> 30[85000] via P2P/IPC/read -gpua039:405900:406003 [1] NCCL INFO Connected all rings -gpua039:405900:406003 [1] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [send] via NET/IB/0 -gpua039:405900:406003 [1] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [receive] via NET/IB/0 -gpua039:405900:406003 [1] NCCL INFO Channel 00/0 : 29[46000] -> 28[7000] via P2P/IPC/read -gpua039:405900:406003 [1] NCCL INFO Channel 01/0 : 29[46000] -> 28[7000] via P2P/IPC/read -gpua039:405900:406003 [1] NCCL INFO Connected all trees -gpua039:405900:406003 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua039:405900:406003 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua039:405900:406003 [1] NCCL INFO comm 0xe6d0e50 rank 29 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua039:405901:405901 [2] NCCL INFO cudaDriverVersion 12020 -gpua039:405901:405901 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.39<0> -gpua039:405901:405901 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua039:405901:406004 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.39<0> -gpua039:405901:406004 [2] NCCL INFO Using network IB -gpua039:405901:406004 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua039:405901:406004 [2] NCCL INFO Trees [0] 31/-1/-1->30->29 [1] 31/-1/-1->30->29 -gpua039:405901:406004 [2] NCCL INFO Channel 00/0 : 30[85000] -> 31[c7000] via P2P/IPC/read -gpua039:405901:406004 [2] NCCL INFO Channel 01/0 : 30[85000] -> 31[c7000] via P2P/IPC/read -gpua039:405901:406004 [2] NCCL INFO Connected all rings -gpua039:405901:406004 [2] NCCL INFO Channel 00/0 : 30[85000] -> 29[46000] via P2P/IPC/read -gpua039:405901:406004 [2] NCCL INFO Channel 01/0 : 30[85000] -> 29[46000] via P2P/IPC/read -gpua039:405901:406004 [2] NCCL INFO Connected all trees -gpua039:405901:406004 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua039:405901:406004 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua039:405901:406004 [2] NCCL INFO comm 0x13738500 rank 30 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua043:1858026:1858026 [1] NCCL INFO cudaDriverVersion 12020 -gpua043:1858026:1858026 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.43<0> -gpua043:1858026:1858026 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua043:1858026:1858127 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.43<0> -gpua043:1858026:1858127 [1] NCCL INFO Using network IB -gpua043:1858026:1858127 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua043:1858026:1858127 [1] NCCL INFO Trees [0] 42/36/-1->41->40 [1] 42/-1/-1->41->40 -gpua043:1858026:1858127 [1] NCCL INFO Channel 00/0 : 41[46000] -> 42[85000] via P2P/IPC/read -gpua043:1858026:1858127 [1] NCCL INFO Channel 01/0 : 41[46000] -> 42[85000] via P2P/IPC/read -gpua043:1858026:1858127 [1] NCCL INFO Connected all rings -gpua043:1858026:1858127 [1] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [receive] via NET/IB/0 -gpua043:1858026:1858127 [1] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [send] via NET/IB/0 -gpua043:1858026:1858127 [1] NCCL INFO Channel 00/0 : 41[46000] -> 40[7000] via P2P/IPC/read -gpua043:1858026:1858127 [1] NCCL INFO Channel 01/0 : 41[46000] -> 40[7000] via P2P/IPC/read -gpua043:1858026:1858127 [1] NCCL INFO Connected all trees -gpua043:1858026:1858127 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua043:1858026:1858127 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua043:1858026:1858127 [1] NCCL INFO comm 0x15c58d00 rank 41 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua099:116368:116368 [2] NCCL INFO cudaDriverVersion 12020 -gpua099:116368:116368 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.99<0> -gpua099:116368:116368 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua099:116368:116473 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.99<0> -gpua099:116368:116473 [2] NCCL INFO Using network IB -gpua099:116368:116473 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua099:116368:116473 [2] NCCL INFO Trees [0] 63/-1/-1->62->61 [1] 63/-1/-1->62->61 -gpua099:116368:116473 [2] NCCL INFO Channel 00/0 : 62[85000] -> 63[c7000] via P2P/IPC/read -gpua099:116368:116473 [2] NCCL INFO Channel 01/0 : 62[85000] -> 63[c7000] via P2P/IPC/read -gpua099:116368:116473 [2] NCCL INFO Connected all rings -gpua099:116368:116473 [2] NCCL INFO Channel 00/0 : 62[85000] -> 61[46000] via P2P/IPC/read -gpua099:116368:116473 [2] NCCL INFO Channel 01/0 : 62[85000] -> 61[46000] via P2P/IPC/read -gpua099:116368:116473 [2] NCCL INFO Connected all trees -gpua099:116368:116473 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua099:116368:116473 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua099:116368:116473 [2] NCCL INFO comm 0x14b27160 rank 62 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua069:1351485:1351485 [1] NCCL INFO cudaDriverVersion 12020 -gpua069:1351485:1351485 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.69<0> -gpua069:1351485:1351485 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua069:1351485:1351580 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.69<0> -gpua069:1351485:1351580 [1] NCCL INFO Using network IB -gpua069:1351485:1351580 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua069:1351485:1351580 [1] NCCL INFO Trees [0] 46/-1/-1->45->44 [1] 46/52/-1->45->44 -gpua069:1351485:1351580 [1] NCCL INFO Channel 00/0 : 45[46000] -> 46[85000] via P2P/IPC/read -gpua069:1351485:1351580 [1] NCCL INFO Channel 01/0 : 45[46000] -> 46[85000] via P2P/IPC/read -gpua069:1351485:1351580 [1] NCCL INFO Connected all rings -gpua069:1351485:1351580 [1] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [send] via NET/IB/0 -gpua069:1351485:1351580 [1] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [receive] via NET/IB/0 -gpua069:1351485:1351580 [1] NCCL INFO Channel 00/0 : 45[46000] -> 44[7000] via P2P/IPC/read -gpua069:1351485:1351580 [1] NCCL INFO Channel 01/0 : 45[46000] -> 44[7000] via P2P/IPC/read -gpua069:1351485:1351580 [1] NCCL INFO Connected all trees -gpua069:1351485:1351580 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua069:1351485:1351580 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua069:1351485:1351580 [1] NCCL INFO comm 0xb32c220 rank 45 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua099:116367:116367 [1] NCCL INFO cudaDriverVersion 12020 -gpua099:116367:116367 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.99<0> -gpua099:116367:116367 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua099:116367:116475 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.99<0> -gpua099:116367:116475 [1] NCCL INFO Using network IB -gpua099:116367:116475 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua099:116367:116475 [1] NCCL INFO Trees [0] 62/-1/-1->61->60 [1] 62/-1/-1->61->60 -gpua099:116367:116475 [1] NCCL INFO Channel 00/0 : 61[46000] -> 62[85000] via P2P/IPC/read -gpua099:116367:116475 [1] NCCL INFO Channel 01/0 : 61[46000] -> 62[85000] via P2P/IPC/read -gpua099:116367:116475 [1] NCCL INFO Connected all rings -gpua099:116367:116475 [1] NCCL INFO Channel 00/0 : 61[46000] -> 60[7000] via P2P/IPC/read -gpua099:116367:116475 [1] NCCL INFO Channel 01/0 : 61[46000] -> 60[7000] via P2P/IPC/read -gpua099:116367:116475 [1] NCCL INFO Connected all trees -gpua099:116367:116475 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua099:116367:116475 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua099:116367:116475 [1] NCCL INFO comm 0xd1aea70 rank 61 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua069:1351487:1351487 [3] NCCL INFO cudaDriverVersion 12020 -gpua069:1351487:1351487 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.69<0> -gpua069:1351487:1351487 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua069:1351487:1351581 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.69<0> -gpua069:1351487:1351581 [3] NCCL INFO Using network IB -gpua069:1351487:1351581 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua069:1351487:1351581 [3] NCCL INFO Trees [0] -1/-1/-1->47->46 [1] -1/-1/-1->47->46 -gpua069:1351487:1351581 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 -gpua069:1351487:1351581 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 -gpua069:1351487:1351581 [3] NCCL INFO Connected all rings -gpua069:1351487:1351581 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 46[85000] via P2P/IPC/read -gpua069:1351487:1351581 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 46[85000] via P2P/IPC/read -gpua069:1351487:1351581 [3] NCCL INFO Connected all trees -gpua069:1351487:1351581 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua069:1351487:1351581 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua069:1351487:1351581 [3] NCCL INFO comm 0xf2fa520 rank 47 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua042:320055:320055 [1] NCCL INFO cudaDriverVersion 12020 -gpua042:320055:320055 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.42<0> -gpua042:320055:320055 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua042:320055:320143 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.42<0> -gpua042:320055:320143 [1] NCCL INFO Using network IB -gpua042:320055:320143 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua042:320055:320143 [1] NCCL INFO Trees [0] 38/-1/-1->37->36 [1] 38/40/-1->37->36 -gpua042:320055:320143 [1] NCCL INFO Channel 00/0 : 37[46000] -> 38[85000] via P2P/IPC/read -gpua042:320055:320143 [1] NCCL INFO Channel 01/0 : 37[46000] -> 38[85000] via P2P/IPC/read -gpua042:320055:320143 [1] NCCL INFO Connected all rings -gpua042:320055:320143 [1] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [send] via NET/IB/0 -gpua042:320055:320143 [1] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [receive] via NET/IB/0 -gpua042:320055:320143 [1] NCCL INFO Channel 00/0 : 37[46000] -> 36[7000] via P2P/IPC/read -gpua042:320055:320143 [1] NCCL INFO Channel 01/0 : 37[46000] -> 36[7000] via P2P/IPC/read -gpua042:320055:320143 [1] NCCL INFO Connected all trees -gpua042:320055:320143 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua042:320055:320143 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua042:320055:320143 [1] NCCL INFO comm 0x1fa55e40 rank 37 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua033:812551:812551 [2] NCCL INFO cudaDriverVersion 12020 -gpua033:812551:812551 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.33<0> -gpua033:812551:812551 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua033:812551:812654 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.33<0> -gpua033:812551:812654 [2] NCCL INFO Using network IB -gpua033:812551:812654 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua033:812551:812654 [2] NCCL INFO Trees [0] 19/-1/-1->18->17 [1] 19/-1/-1->18->17 -gpua033:812551:812654 [2] NCCL INFO Channel 00/0 : 18[85000] -> 19[c7000] via P2P/IPC/read -gpua033:812551:812654 [2] NCCL INFO Channel 01/0 : 18[85000] -> 19[c7000] via P2P/IPC/read -gpua033:812551:812654 [2] NCCL INFO Connected all rings -gpua033:812551:812654 [2] NCCL INFO Channel 00/0 : 18[85000] -> 17[46000] via P2P/IPC/read -gpua033:812551:812654 [2] NCCL INFO Channel 01/0 : 18[85000] -> 17[46000] via P2P/IPC/read -gpua033:812551:812654 [2] NCCL INFO Connected all trees -gpua033:812551:812654 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua033:812551:812654 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua033:812551:812654 [2] NCCL INFO comm 0x115cdb20 rank 18 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua039:405899:405899 [0] NCCL INFO cudaDriverVersion 12020 -gpua039:405899:405899 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.39<0> -gpua039:405899:405899 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua039:405899:406002 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.39<0> -gpua039:405899:406002 [0] NCCL INFO Using network IB -gpua039:405899:406002 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua039:405899:406002 [0] NCCL INFO Trees [0] 29/-1/-1->28->24 [1] 29/12/-1->28->60 -gpua039:405899:406002 [0] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 -gpua039:405899:406002 [0] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 -gpua039:405899:406002 [0] NCCL INFO Channel 00/0 : 28[7000] -> 29[46000] via P2P/IPC/read -gpua039:405899:406002 [0] NCCL INFO Channel 01/0 : 28[7000] -> 29[46000] via P2P/IPC/read -gpua039:405899:406002 [0] NCCL INFO Connected all rings -gpua039:405899:406002 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [receive] via NET/IB/0 -gpua039:405899:406002 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [receive] via NET/IB/0 -gpua039:405899:406002 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [receive] via NET/IB/0 -gpua039:405899:406002 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [send] via NET/IB/0 -gpua039:405899:406002 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [send] via NET/IB/0 -gpua039:405899:406002 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [send] via NET/IB/0 -gpua039:405899:406002 [0] NCCL INFO Connected all trees -gpua039:405899:406002 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua039:405899:406002 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua039:405899:406002 [0] NCCL INFO comm 0x194a7bc0 rank 28 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua099:116366:116366 [0] NCCL INFO cudaDriverVersion 12020 -gpua099:116366:116366 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.99<0> -gpua099:116366:116366 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua099:116366:116474 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.99<0> -gpua099:116366:116474 [0] NCCL INFO Using network IB -gpua099:116366:116474 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua099:116366:116474 [0] NCCL INFO Trees [0] 61/-1/-1->60->56 [1] 61/28/-1->60->-1 -gpua099:116366:116474 [0] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 -gpua099:116366:116474 [0] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 -gpua099:116366:116474 [0] NCCL INFO Channel 00/0 : 60[7000] -> 61[46000] via P2P/IPC/read -gpua099:116366:116474 [0] NCCL INFO Channel 01/0 : 60[7000] -> 61[46000] via P2P/IPC/read -gpua099:116366:116474 [0] NCCL INFO Connected all rings -gpua099:116366:116474 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [receive] via NET/IB/0 -gpua099:116366:116474 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [receive] via NET/IB/0 -gpua099:116366:116474 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [send] via NET/IB/0 -gpua099:116366:116474 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [send] via NET/IB/0 -gpua099:116366:116474 [0] NCCL INFO Connected all trees -gpua099:116366:116474 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua099:116366:116474 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua099:116366:116474 [0] NCCL INFO comm 0xe772b30 rank 60 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua042:320054:320054 [0] NCCL INFO cudaDriverVersion 12020 -gpua042:320054:320054 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.42<0> -gpua042:320054:320054 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua042:320054:320144 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.42<0> -gpua042:320054:320144 [0] NCCL INFO Using network IB -gpua042:320054:320144 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua042:320054:320144 [0] NCCL INFO Trees [0] 37/-1/-1->36->41 [1] 37/32/-1->36->44 -gpua042:320054:320144 [0] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 -gpua042:320054:320144 [0] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 -gpua042:320054:320144 [0] NCCL INFO Channel 00/0 : 36[7000] -> 37[46000] via P2P/IPC/read -gpua042:320054:320144 [0] NCCL INFO Channel 01/0 : 36[7000] -> 37[46000] via P2P/IPC/read -gpua042:320054:320144 [0] NCCL INFO Connected all rings -gpua042:320054:320144 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [receive] via NET/IB/0 -gpua042:320054:320144 [0] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [send] via NET/IB/0 -gpua042:320054:320144 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [send] via NET/IB/0 -gpua042:320054:320144 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [receive] via NET/IB/0 -gpua042:320054:320144 [0] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [receive] via NET/IB/0 -gpua042:320054:320144 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [send] via NET/IB/0 -gpua042:320054:320144 [0] NCCL INFO Connected all trees -gpua042:320054:320144 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua042:320054:320144 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua042:320054:320144 [0] NCCL INFO comm 0x19445940 rank 36 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua016:548241:548241 [2] NCCL INFO cudaDriverVersion 12020 -gpua016:548241:548241 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.16<0> -gpua016:548241:548241 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua016:548241:548344 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.16<0> -gpua016:548241:548344 [2] NCCL INFO Using network IB -gpua016:548241:548344 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua016:548241:548344 [2] NCCL INFO Trees [0] 7/-1/-1->6->5 [1] 7/-1/-1->6->5 -gpua016:548241:548344 [2] NCCL INFO Channel 00/0 : 6[85000] -> 7[c7000] via P2P/IPC/read -gpua016:548241:548344 [2] NCCL INFO Channel 01/0 : 6[85000] -> 7[c7000] via P2P/IPC/read -gpua016:548241:548344 [2] NCCL INFO Connected all rings -gpua016:548241:548344 [2] NCCL INFO Channel 00/0 : 6[85000] -> 5[46000] via P2P/IPC/read -gpua016:548241:548344 [2] NCCL INFO Channel 01/0 : 6[85000] -> 5[46000] via P2P/IPC/read -gpua016:548241:548344 [2] NCCL INFO Connected all trees -gpua016:548241:548344 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua016:548241:548344 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua016:548241:548344 [2] NCCL INFO comm 0x1a706d40 rank 6 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua016:548242:548242 [3] NCCL INFO cudaDriverVersion 12020 -gpua016:548242:548242 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.16<0> -gpua016:548242:548242 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua016:548242:548345 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.16<0> -gpua016:548242:548345 [3] NCCL INFO Using network IB -gpua016:548242:548345 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua016:548242:548345 [3] NCCL INFO Trees [0] -1/-1/-1->7->6 [1] -1/-1/-1->7->6 -gpua016:548242:548345 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 -gpua016:548242:548345 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 -gpua016:548242:548345 [3] NCCL INFO Connected all rings -gpua016:548242:548345 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 6[85000] via P2P/IPC/read -gpua016:548242:548345 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 6[85000] via P2P/IPC/read -gpua016:548242:548345 [3] NCCL INFO Connected all trees -gpua016:548242:548345 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua016:548242:548345 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua016:548242:548345 [3] NCCL INFO comm 0x15f2d0d0 rank 7 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua016:548239:548239 [0] NCCL INFO cudaDriverVersion 12020 -gpua016:548239:548239 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.16<0> -gpua016:548239:548239 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua016:548239:548346 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.16<0> -gpua016:548239:548346 [0] NCCL INFO Using network IB -gpua016:548239:548346 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua016:548239:548346 [0] NCCL INFO Trees [0] 5/-1/-1->4->9 [1] 5/0/-1->4->12 -gpua016:548239:548346 [0] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 -gpua016:548239:548346 [0] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 -gpua016:548239:548346 [0] NCCL INFO Channel 00/0 : 4[7000] -> 5[46000] via P2P/IPC/read -gpua016:548239:548346 [0] NCCL INFO Channel 01/0 : 4[7000] -> 5[46000] via P2P/IPC/read -gpua016:548239:548346 [0] NCCL INFO Connected all rings -gpua016:548239:548346 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [receive] via NET/IB/0 -gpua016:548239:548346 [0] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [send] via NET/IB/0 -gpua016:548239:548346 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [send] via NET/IB/0 -gpua016:548239:548346 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [receive] via NET/IB/0 -gpua016:548239:548346 [0] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [receive] via NET/IB/0 -gpua016:548239:548346 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [send] via NET/IB/0 -gpua016:548239:548346 [0] NCCL INFO Connected all trees -gpua016:548239:548346 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua016:548239:548346 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua016:548239:548346 [0] NCCL INFO comm 0xb3f8420 rank 4 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua016:548240:548240 [1] NCCL INFO cudaDriverVersion 12020 -gpua016:548240:548240 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.16<0> -gpua016:548240:548240 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua016:548240:548350 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.16<0> -gpua016:548240:548350 [1] NCCL INFO Using network IB -gpua016:548240:548350 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua016:548240:548350 [1] NCCL INFO Trees [0] 6/-1/-1->5->4 [1] 6/8/-1->5->4 -gpua016:548240:548350 [1] NCCL INFO Channel 00/0 : 5[46000] -> 6[85000] via P2P/IPC/read -gpua016:548240:548350 [1] NCCL INFO Channel 01/0 : 5[46000] -> 6[85000] via P2P/IPC/read -gpua016:548240:548350 [1] NCCL INFO Connected all rings -gpua016:548240:548350 [1] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [send] via NET/IB/0 -gpua016:548240:548350 [1] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [receive] via NET/IB/0 -gpua016:548240:548350 [1] NCCL INFO Channel 00/0 : 5[46000] -> 4[7000] via P2P/IPC/read -gpua016:548240:548350 [1] NCCL INFO Channel 01/0 : 5[46000] -> 4[7000] via P2P/IPC/read -gpua016:548240:548350 [1] NCCL INFO Connected all trees -gpua016:548240:548350 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua016:548240:548350 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua016:548240:548350 [1] NCCL INFO comm 0x1ee0fa90 rank 5 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -[gpua014:0/64] 2023-12-01 14:07:05,937 (distributed:1027) INFO: Reducer buckets have been rebuilt in this iteration. -[gpua014:0/64] 2023-12-01 14:10:44,580 (trainer:735) INFO: 1epoch:train:1-100batch: iter_time=1.242, forward_time=0.241, loss_ctc=6.993e+03, loss_att=381.602, acc=1.508e-05, loss=2.365e+03, backward_time=0.413, grad_norm=1.546e+04, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.080, optim0_lr0=8.583e-08, train_time=6.095 -[gpua014:0/64] 2023-12-01 14:14:42,009 (trainer:735) INFO: 1epoch:train:101-200batch: iter_time=1.204e-04, forward_time=0.183, loss_ctc=1.811e+03, loss_att=370.767, acc=1.847e-05, loss=802.856, backward_time=0.406, grad_norm=1.042e+04, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.079, optim0_lr0=2.525e-07, train_time=2.374 -[gpua014:0/64] 2023-12-01 14:18:34,112 (trainer:735) INFO: 1epoch:train:201-300batch: iter_time=1.045e-04, forward_time=0.163, loss_ctc=363.168, loss_att=377.211, acc=3.199e-05, loss=372.998, backward_time=0.378, grad_norm=295.976, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.077, optim0_lr0=4.192e-07, train_time=2.321 -[gpua014:0/64] 2023-12-01 14:22:07,273 (trainer:735) INFO: 1epoch:train:301-400batch: iter_time=1.014e-04, forward_time=0.143, loss_ctc=312.724, loss_att=342.740, acc=7.256e-05, loss=333.735, backward_time=0.409, grad_norm=247.263, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.077, optim0_lr0=5.858e-07, train_time=2.131 -[gpua014:0/64] 2023-12-01 14:25:12,631 (trainer:735) INFO: 1epoch:train:401-500batch: iter_time=1.021e-04, forward_time=0.146, loss_ctc=396.834, loss_att=429.071, acc=2.900e-04, loss=419.400, backward_time=0.345, grad_norm=278.674, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.077, optim0_lr0=7.525e-07, train_time=1.853 -[gpua014:0/64] 2023-12-01 14:27:52,006 (trainer:735) INFO: 1epoch:train:501-600batch: iter_time=1.146e-04, forward_time=0.195, loss_ctc=356.648, loss_att=393.544, acc=0.002, loss=382.475, backward_time=0.317, grad_norm=299.505, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.079, optim0_lr0=9.192e-07, train_time=1.594 -[gpua014:0/64] 2023-12-01 14:30:28,857 (trainer:735) INFO: 1epoch:train:601-700batch: iter_time=1.154e-04, forward_time=0.164, loss_ctc=380.479, loss_att=405.709, acc=0.019, loss=398.140, backward_time=0.323, grad_norm=313.542, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.078, optim0_lr0=1.086e-06, train_time=1.568 -[gpua014:0/64] 2023-12-01 14:33:38,586 (trainer:735) INFO: 1epoch:train:701-800batch: iter_time=1.180e-04, forward_time=0.152, loss_ctc=340.719, loss_att=371.583, acc=0.056, loss=362.323, backward_time=0.358, grad_norm=213.248, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.078, optim0_lr0=1.252e-06, train_time=1.897 -[gpua014:0/64] 2023-12-01 14:36:33,047 (trainer:735) INFO: 1epoch:train:801-900batch: iter_time=1.176e-04, forward_time=0.166, loss_ctc=343.491, loss_att=376.449, acc=0.068, loss=366.561, backward_time=0.321, grad_norm=204.164, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.077, optim0_lr0=1.419e-06, train_time=1.744 -[gpua014:0/64] 2023-12-01 14:40:05,746 (trainer:735) INFO: 1epoch:train:901-1000batch: iter_time=1.013e-04, forward_time=0.157, loss_ctc=359.642, loss_att=387.993, acc=0.064, loss=379.488, backward_time=0.434, grad_norm=183.143, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.076, optim0_lr0=1.586e-06, train_time=2.126 -[gpua014:0/64] 2023-12-01 14:42:54,192 (trainer:735) INFO: 1epoch:train:1001-1100batch: iter_time=9.634e-05, forward_time=0.145, loss_ctc=339.557, loss_att=371.584, acc=0.070, loss=361.976, backward_time=0.310, grad_norm=173.238, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.075, optim0_lr0=1.752e-06, train_time=1.685 -[gpua014:0/64] 2023-12-01 14:45:50,006 (trainer:735) INFO: 1epoch:train:1101-1200batch: iter_time=8.967e-05, forward_time=0.145, loss_ctc=317.498, loss_att=344.379, acc=0.064, loss=336.314, backward_time=0.326, grad_norm=141.185, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.075, optim0_lr0=1.919e-06, train_time=1.758 -[gpua014:0/64] 2023-12-01 14:47:29,477 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua014:0/64] 2023-12-01 14:47:48,076 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-01 14:47:51,628 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-01 14:47:51,628 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua014:0/64] 2023-12-01 14:47:51,632 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-01 14:57:13,932 (trainer:735) INFO: 1epoch:train:1201-1300batch: iter_time=3.315, forward_time=0.146, loss_ctc=321.550, loss_att=341.589, acc=0.071, loss=335.578, backward_time=0.345, grad_norm=149.664, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.076, optim0_lr0=2.086e-06, train_time=6.839 -[gpua014:0/64] 2023-12-01 14:59:27,200 (trainer:735) INFO: 1epoch:train:1301-1400batch: iter_time=8.772e-05, forward_time=0.147, loss_ctc=286.813, loss_att=302.172, acc=0.080, loss=297.564, backward_time=0.291, grad_norm=115.106, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.076, optim0_lr0=2.253e-06, train_time=1.332 -[gpua014:0/64] 2023-12-01 15:01:40,038 (trainer:735) INFO: 1epoch:train:1401-1500batch: iter_time=8.750e-05, forward_time=0.147, loss_ctc=304.420, loss_att=311.951, acc=0.091, loss=309.692, backward_time=0.293, grad_norm=140.440, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.076, optim0_lr0=2.419e-06, train_time=1.328 -[gpua014:0/64] 2023-12-01 15:04:21,855 (trainer:735) INFO: 1epoch:train:1501-1600batch: iter_time=8.805e-05, forward_time=0.152, loss_ctc=287.974, loss_att=299.681, acc=0.093, loss=296.169, backward_time=0.358, grad_norm=125.737, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.078, optim0_lr0=2.586e-06, train_time=1.618 -[gpua014:0/64] 2023-12-01 15:06:39,059 (trainer:735) INFO: 1epoch:train:1601-1700batch: iter_time=8.334e-05, forward_time=0.158, loss_ctc=289.758, loss_att=292.720, acc=0.100, loss=291.831, backward_time=0.293, grad_norm=116.708, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.076, optim0_lr0=2.752e-06, train_time=1.372 -[gpua014:0/64] 2023-12-01 15:09:05,945 (trainer:735) INFO: 1epoch:train:1701-1800batch: iter_time=1.043e-04, forward_time=0.167, loss_ctc=325.282, loss_att=331.335, acc=0.111, loss=329.519, backward_time=0.325, grad_norm=157.674, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.077, optim0_lr0=2.919e-06, train_time=1.469 -[gpua014:0/64] 2023-12-01 15:11:47,389 (trainer:735) INFO: 1epoch:train:1801-1900batch: iter_time=8.752e-05, forward_time=0.146, loss_ctc=345.654, loss_att=345.640, acc=0.103, loss=345.644, backward_time=0.317, grad_norm=171.828, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.076, optim0_lr0=3.086e-06, train_time=1.614 -[gpua014:0/64] 2023-12-01 15:14:00,617 (trainer:735) INFO: 1epoch:train:1901-2000batch: iter_time=9.435e-05, forward_time=0.152, loss_ctc=289.072, loss_att=289.856, acc=0.118, loss=289.621, backward_time=0.303, grad_norm=105.791, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.076, optim0_lr0=3.253e-06, train_time=1.332 -[gpua014:0/64] 2023-12-01 15:16:31,254 (trainer:735) INFO: 1epoch:train:2001-2100batch: iter_time=9.163e-05, forward_time=0.161, loss_ctc=313.227, loss_att=312.832, acc=0.112, loss=312.951, backward_time=0.314, grad_norm=123.184, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.078, optim0_lr0=3.419e-06, train_time=1.506 -[gpua014:0/64] 2023-12-01 15:18:39,037 (trainer:735) INFO: 1epoch:train:2101-2200batch: iter_time=9.009e-05, forward_time=0.151, loss_ctc=291.892, loss_att=295.907, acc=0.113, loss=294.702, backward_time=0.282, grad_norm=116.813, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.076, optim0_lr0=3.586e-06, train_time=1.277 -[gpua014:0/64] 2023-12-01 15:20:55,100 (trainer:735) INFO: 1epoch:train:2201-2300batch: iter_time=8.270e-05, forward_time=0.150, loss_ctc=280.971, loss_att=277.727, acc=0.118, loss=278.700, backward_time=0.295, grad_norm=99.741, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.076, optim0_lr0=3.753e-06, train_time=1.361 -[gpua014:0/64] 2023-12-01 15:23:14,133 (trainer:735) INFO: 1epoch:train:2301-2400batch: iter_time=8.391e-05, forward_time=0.150, loss_ctc=311.697, loss_att=321.507, acc=0.104, loss=318.564, backward_time=0.328, grad_norm=109.042, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.077, optim0_lr0=3.919e-06, train_time=1.390 -[gpua014:0/64] 2023-12-01 15:25:43,682 (trainer:735) INFO: 1epoch:train:2401-2500batch: iter_time=8.345e-05, forward_time=0.147, loss_ctc=262.194, loss_att=263.233, acc=0.120, loss=262.921, backward_time=0.283, grad_norm=112.427, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.076, optim0_lr0=4.086e-06, train_time=1.495 -[gpua014:0/64] 2023-12-01 15:26:03,710 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua014:0/64] 2023-12-01 15:26:21,911 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-01 15:26:25,296 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-01 15:26:25,296 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua014:0/64] 2023-12-01 15:26:25,301 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-01 15:36:34,037 (trainer:735) INFO: 1epoch:train:2501-2600batch: iter_time=1.496, forward_time=0.146, loss_ctc=264.592, loss_att=275.035, acc=0.117, loss=271.902, backward_time=0.281, grad_norm=95.769, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.076, optim0_lr0=4.253e-06, train_time=6.503 -[gpua014:0/64] 2023-12-01 15:38:34,624 (trainer:735) INFO: 1epoch:train:2601-2700batch: iter_time=8.774e-05, forward_time=0.146, loss_ctc=264.773, loss_att=271.710, acc=0.116, loss=269.629, backward_time=0.277, grad_norm=93.336, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.076, optim0_lr0=4.419e-06, train_time=1.206 -[gpua014:0/64] 2023-12-01 15:40:37,996 (trainer:735) INFO: 1epoch:train:2701-2800batch: iter_time=9.287e-05, forward_time=0.146, loss_ctc=267.997, loss_att=268.393, acc=0.116, loss=268.274, backward_time=0.284, grad_norm=103.328, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.076, optim0_lr0=4.586e-06, train_time=1.233 -[gpua014:0/64] 2023-12-01 15:42:59,661 (trainer:735) INFO: 1epoch:train:2801-2900batch: iter_time=9.152e-05, forward_time=0.146, loss_ctc=240.650, loss_att=247.968, acc=0.129, loss=245.772, backward_time=0.303, grad_norm=92.104, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.076, optim0_lr0=4.752e-06, train_time=1.416 -[gpua014:0/64] 2023-12-01 15:45:36,425 (trainer:735) INFO: 1epoch:train:2901-3000batch: iter_time=9.655e-05, forward_time=0.146, loss_ctc=314.426, loss_att=316.528, acc=0.111, loss=315.898, backward_time=0.346, grad_norm=117.530, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.076, optim0_lr0=4.919e-06, train_time=1.567 -[gpua014:0/64] 2023-12-01 15:47:47,829 (trainer:735) INFO: 1epoch:train:3001-3100batch: iter_time=1.011e-04, forward_time=0.148, loss_ctc=280.513, loss_att=284.128, acc=0.128, loss=283.043, backward_time=0.292, grad_norm=125.652, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.076, optim0_lr0=5.086e-06, train_time=1.314 -[gpua014:0/64] 2023-12-01 15:50:10,399 (trainer:735) INFO: 1epoch:train:3101-3200batch: iter_time=9.077e-05, forward_time=0.147, loss_ctc=301.308, loss_att=299.195, acc=0.125, loss=299.829, backward_time=0.349, grad_norm=118.846, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.076, optim0_lr0=5.252e-06, train_time=1.425 -[gpua014:0/64] 2023-12-01 15:52:27,374 (trainer:735) INFO: 1epoch:train:3201-3300batch: iter_time=8.635e-05, forward_time=0.146, loss_ctc=280.366, loss_att=280.125, acc=0.131, loss=280.197, backward_time=0.291, grad_norm=108.088, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.076, optim0_lr0=5.419e-06, train_time=1.370 -[gpua014:0/64] 2023-12-01 15:54:49,806 (trainer:735) INFO: 1epoch:train:3301-3400batch: iter_time=9.478e-05, forward_time=0.146, loss_ctc=279.437, loss_att=276.236, acc=0.128, loss=277.196, backward_time=0.307, grad_norm=102.923, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.076, optim0_lr0=5.586e-06, train_time=1.424 -[gpua014:0/64] 2023-12-01 15:56:47,942 (trainer:735) INFO: 1epoch:train:3401-3500batch: iter_time=9.538e-05, forward_time=0.147, loss_ctc=293.467, loss_att=292.539, acc=0.123, loss=292.818, backward_time=0.279, grad_norm=104.690, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.077, optim0_lr0=5.753e-06, train_time=1.181 -[gpua014:0/64] 2023-12-01 15:58:46,491 (trainer:735) INFO: 1epoch:train:3501-3600batch: iter_time=1.023e-04, forward_time=0.147, loss_ctc=278.873, loss_att=284.634, acc=0.128, loss=282.906, backward_time=0.282, grad_norm=94.844, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.076, optim0_lr0=5.919e-06, train_time=1.185 -[gpua014:0/64] 2023-12-01 16:01:11,957 (trainer:735) INFO: 1epoch:train:3601-3700batch: iter_time=9.049e-05, forward_time=0.148, loss_ctc=260.060, loss_att=262.142, acc=0.128, loss=261.517, backward_time=0.286, grad_norm=90.731, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.076, optim0_lr0=6.086e-06, train_time=1.454 -[gpua014:0/64] 2023-12-01 16:02:35,807 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua014:0/64] 2023-12-01 16:02:53,787 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-01 16:02:57,193 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-01 16:02:57,193 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua014:0/64] 2023-12-01 16:02:57,236 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-01 16:13:01,414 (trainer:735) INFO: 1epoch:train:3701-3800batch: iter_time=2.215, forward_time=0.179, loss_ctc=270.913, loss_att=278.894, acc=0.131, loss=276.500, backward_time=0.291, grad_norm=119.388, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.077, optim0_lr0=6.253e-06, train_time=7.094 -[gpua014:0/64] 2023-12-01 16:15:29,950 (trainer:735) INFO: 1epoch:train:3801-3900batch: iter_time=8.502e-05, forward_time=0.146, loss_ctc=243.045, loss_att=247.807, acc=0.138, loss=246.378, backward_time=0.320, grad_norm=87.339, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.076, optim0_lr0=6.419e-06, train_time=1.485 -[gpua014:0/64] 2023-12-01 16:17:41,277 (trainer:735) INFO: 1epoch:train:3901-4000batch: iter_time=8.927e-05, forward_time=0.145, loss_ctc=263.178, loss_att=264.345, acc=0.136, loss=263.995, backward_time=0.281, grad_norm=101.626, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.076, optim0_lr0=6.586e-06, train_time=1.313 -[gpua014:0/64] 2023-12-01 16:20:09,808 (trainer:735) INFO: 1epoch:train:4001-4100batch: iter_time=9.263e-05, forward_time=0.147, loss_ctc=248.346, loss_att=254.431, acc=0.137, loss=252.605, backward_time=0.313, grad_norm=97.068, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.075, optim0_lr0=6.752e-06, train_time=1.485 -[gpua014:0/64] 2023-12-01 16:22:36,164 (trainer:735) INFO: 1epoch:train:4101-4200batch: iter_time=9.011e-05, forward_time=0.145, loss_ctc=257.494, loss_att=252.584, acc=0.138, loss=254.057, backward_time=0.297, grad_norm=116.231, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.076, optim0_lr0=6.919e-06, train_time=1.463 -[gpua014:0/64] 2023-12-01 16:25:30,802 (trainer:735) INFO: 1epoch:train:4201-4300batch: iter_time=9.481e-05, forward_time=0.147, loss_ctc=296.357, loss_att=297.721, acc=0.135, loss=297.312, backward_time=0.315, grad_norm=143.612, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.076, optim0_lr0=7.086e-06, train_time=1.746 -[gpua014:0/64] 2023-12-01 16:28:01,737 (trainer:735) INFO: 1epoch:train:4301-4400batch: iter_time=9.558e-05, forward_time=0.145, loss_ctc=311.059, loss_att=307.100, acc=0.134, loss=308.288, backward_time=0.297, grad_norm=161.742, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.076, optim0_lr0=7.253e-06, train_time=1.509 -[gpua014:0/64] 2023-12-01 16:30:36,290 (trainer:735) INFO: 1epoch:train:4401-4500batch: iter_time=1.012e-04, forward_time=0.145, loss_ctc=268.150, loss_att=264.314, acc=0.148, loss=265.465, backward_time=0.337, grad_norm=113.005, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.076, optim0_lr0=7.419e-06, train_time=1.545 -[gpua014:0/64] 2023-12-01 16:32:54,304 (trainer:735) INFO: 1epoch:train:4501-4600batch: iter_time=9.267e-05, forward_time=0.145, loss_ctc=291.569, loss_att=285.391, acc=0.138, loss=287.244, backward_time=0.291, grad_norm=114.494, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.075, optim0_lr0=7.586e-06, train_time=1.380 -[gpua014:0/64] 2023-12-01 16:35:13,427 (trainer:735) INFO: 1epoch:train:4601-4700batch: iter_time=8.826e-05, forward_time=0.147, loss_ctc=271.996, loss_att=268.926, acc=0.142, loss=269.847, backward_time=0.302, grad_norm=121.504, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.075, optim0_lr0=7.753e-06, train_time=1.391 -[gpua014:0/64] 2023-12-01 16:37:43,081 (trainer:735) INFO: 1epoch:train:4701-4800batch: iter_time=1.002e-04, forward_time=0.145, loss_ctc=262.633, loss_att=253.957, acc=0.147, loss=256.560, backward_time=0.290, grad_norm=96.330, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.075, optim0_lr0=7.919e-06, train_time=1.496 -[gpua014:0/64] 2023-12-01 16:40:12,101 (trainer:735) INFO: 1epoch:train:4801-4900batch: iter_time=9.381e-05, forward_time=0.145, loss_ctc=293.784, loss_att=295.921, acc=0.133, loss=295.280, backward_time=0.296, grad_norm=95.278, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.076, optim0_lr0=8.086e-06, train_time=1.490 -[gpua014:0/64] 2023-12-01 16:42:27,223 (trainer:735) INFO: 1epoch:train:4901-5000batch: iter_time=8.765e-05, forward_time=0.145, loss_ctc=252.226, loss_att=245.845, acc=0.152, loss=247.759, backward_time=0.295, grad_norm=110.756, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.075, optim0_lr0=8.252e-06, train_time=1.351 -[gpua014:0/64] 2023-12-01 16:42:28,728 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua014:0/64] 2023-12-01 16:42:47,895 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-01 16:42:51,306 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-01 16:42:51,306 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua014:0/64] 2023-12-01 16:42:51,311 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-01 16:52:38,590 (trainer:735) INFO: 1epoch:train:5001-5100batch: iter_time=1.264, forward_time=0.175, loss_ctc=251.654, loss_att=258.088, acc=0.151, loss=256.158, backward_time=0.290, grad_norm=132.451, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.076, optim0_lr0=8.419e-06, train_time=6.113 -[gpua014:0/64] 2023-12-01 16:55:02,013 (trainer:735) INFO: 1epoch:train:5101-5200batch: iter_time=9.068e-05, forward_time=0.146, loss_ctc=251.067, loss_att=247.905, acc=0.154, loss=248.853, backward_time=0.286, grad_norm=97.586, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.075, optim0_lr0=8.586e-06, train_time=1.434 -[gpua014:0/64] 2023-12-01 16:57:16,146 (trainer:735) INFO: 1epoch:train:5201-5300batch: iter_time=1.102e-04, forward_time=0.146, loss_ctc=260.590, loss_att=250.910, acc=0.151, loss=253.814, backward_time=0.286, grad_norm=125.301, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.075, optim0_lr0=8.753e-06, train_time=1.341 -[gpua014:0/64] 2023-12-01 16:59:13,290 (trainer:735) INFO: 1epoch:train:5301-5400batch: iter_time=1.089e-04, forward_time=0.146, loss_ctc=231.251, loss_att=231.261, acc=0.163, loss=231.258, backward_time=0.274, grad_norm=95.088, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.075, optim0_lr0=8.919e-06, train_time=1.171 -[gpua014:0/64] 2023-12-01 17:01:08,454 (trainer:735) INFO: 1epoch:train:5401-5500batch: iter_time=1.071e-04, forward_time=0.146, loss_ctc=306.272, loss_att=296.034, acc=0.145, loss=299.105, backward_time=0.277, grad_norm=117.660, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.075, optim0_lr0=9.086e-06, train_time=1.151 -[gpua014:0/64] 2023-12-01 17:03:06,813 (trainer:735) INFO: 1epoch:train:5501-5600batch: iter_time=9.199e-05, forward_time=0.146, loss_ctc=273.957, loss_att=267.463, acc=0.156, loss=269.411, backward_time=0.278, grad_norm=130.313, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.076, optim0_lr0=9.252e-06, train_time=1.183 -[gpua014:0/64] 2023-12-01 17:05:16,260 (trainer:735) INFO: 1epoch:train:5601-5700batch: iter_time=9.331e-05, forward_time=0.146, loss_ctc=296.787, loss_att=280.520, acc=0.155, loss=285.400, backward_time=0.287, grad_norm=143.677, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.076, optim0_lr0=9.419e-06, train_time=1.294 -[gpua014:0/64] 2023-12-01 17:07:48,443 (trainer:735) INFO: 1epoch:train:5701-5800batch: iter_time=9.630e-05, forward_time=0.146, loss_ctc=275.486, loss_att=262.430, acc=0.160, loss=266.347, backward_time=0.292, grad_norm=118.419, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.076, optim0_lr0=9.586e-06, train_time=1.522 -[gpua014:0/64] 2023-12-01 17:09:58,908 (trainer:735) INFO: 1epoch:train:5801-5900batch: iter_time=1.080e-04, forward_time=0.177, loss_ctc=273.118, loss_att=256.183, acc=0.156, loss=261.263, backward_time=0.305, grad_norm=124.042, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.078, optim0_lr0=9.753e-06, train_time=1.304 -[gpua014:0/64] 2023-12-01 17:12:03,735 (trainer:735) INFO: 1epoch:train:5901-6000batch: iter_time=9.701e-05, forward_time=0.150, loss_ctc=283.582, loss_att=267.734, acc=0.150, loss=272.488, backward_time=0.292, grad_norm=111.864, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.076, optim0_lr0=9.919e-06, train_time=1.248 -[gpua014:0/64] 2023-12-01 17:14:32,817 (trainer:735) INFO: 1epoch:train:6001-6100batch: iter_time=9.672e-05, forward_time=0.147, loss_ctc=270.667, loss_att=259.890, acc=0.159, loss=263.123, backward_time=0.318, grad_norm=104.617, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.076, optim0_lr0=1.009e-05, train_time=1.491 -[gpua014:0/64] 2023-12-01 17:16:33,534 (trainer:735) INFO: 1epoch:train:6101-6200batch: iter_time=9.243e-05, forward_time=0.146, loss_ctc=253.979, loss_att=240.382, acc=0.159, loss=244.461, backward_time=0.275, grad_norm=99.669, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.076, optim0_lr0=1.025e-05, train_time=1.207 -[gpua014:0/64] 2023-12-01 17:17:58,810 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua014:0/64] 2023-12-01 17:18:16,393 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-01 17:18:19,744 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-01 17:18:19,744 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua014:0/64] 2023-12-01 17:18:19,747 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-01 17:23:13,786 (trainer:735) INFO: 1epoch:train:6201-6300batch: iter_time=2.260, forward_time=0.167, loss_ctc=265.214, loss_att=270.523, acc=0.159, loss=268.931, backward_time=0.286, grad_norm=147.161, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.078, optim0_lr0=1.042e-05, train_time=4.002 -[gpua014:0/64] 2023-12-01 17:25:27,734 (trainer:735) INFO: 1epoch:train:6301-6400batch: iter_time=9.845e-05, forward_time=0.148, loss_ctc=237.668, loss_att=234.540, acc=0.166, loss=235.478, backward_time=0.293, grad_norm=110.388, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.077, optim0_lr0=1.059e-05, train_time=1.339 -[gpua014:0/64] 2023-12-01 17:27:29,426 (trainer:735) INFO: 1epoch:train:6401-6500batch: iter_time=1.037e-04, forward_time=0.146, loss_ctc=258.967, loss_att=257.488, acc=0.166, loss=257.932, backward_time=0.282, grad_norm=156.186, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.077, optim0_lr0=1.075e-05, train_time=1.217 -[gpua014:0/64] 2023-12-01 17:29:52,189 (trainer:735) INFO: 1epoch:train:6501-6600batch: iter_time=9.143e-05, forward_time=0.146, loss_ctc=243.588, loss_att=245.315, acc=0.161, loss=244.797, backward_time=0.298, grad_norm=149.198, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.076, optim0_lr0=1.092e-05, train_time=1.427 -[gpua014:0/64] 2023-12-01 17:32:25,109 (trainer:735) INFO: 1epoch:train:6601-6700batch: iter_time=9.171e-05, forward_time=0.148, loss_ctc=251.352, loss_att=244.576, acc=0.162, loss=246.609, backward_time=0.314, grad_norm=118.494, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.076, optim0_lr0=1.109e-05, train_time=1.529 -[gpua014:0/64] 2023-12-01 17:34:23,597 (trainer:735) INFO: 1epoch:train:6701-6800batch: iter_time=9.960e-05, forward_time=0.145, loss_ctc=290.639, loss_att=286.000, acc=0.165, loss=287.391, backward_time=0.279, grad_norm=152.296, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.076, optim0_lr0=1.125e-05, train_time=1.185 -[gpua014:0/64] 2023-12-01 17:36:30,083 (trainer:735) INFO: 1epoch:train:6801-6900batch: iter_time=9.659e-05, forward_time=0.184, loss_ctc=303.533, loss_att=296.442, acc=0.158, loss=298.570, backward_time=0.291, grad_norm=138.473, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.079, optim0_lr0=1.142e-05, train_time=1.265 -[gpua014:0/64] 2023-12-01 17:39:07,403 (trainer:735) INFO: 1epoch:train:6901-7000batch: iter_time=9.992e-05, forward_time=0.146, loss_ctc=263.260, loss_att=251.031, acc=0.171, loss=254.700, backward_time=0.303, grad_norm=114.045, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.076, optim0_lr0=1.159e-05, train_time=1.573 -[gpua014:0/64] 2023-12-01 17:41:23,492 (trainer:735) INFO: 1epoch:train:7001-7100batch: iter_time=1.056e-04, forward_time=0.146, loss_ctc=286.485, loss_att=276.186, acc=0.160, loss=279.275, backward_time=0.282, grad_norm=128.722, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.076, optim0_lr0=1.175e-05, train_time=1.361 -[gpua014:0/64] 2023-12-01 17:43:20,732 (trainer:735) INFO: 1epoch:train:7101-7200batch: iter_time=9.524e-05, forward_time=0.146, loss_ctc=266.074, loss_att=251.387, acc=0.168, loss=255.793, backward_time=0.275, grad_norm=122.291, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.077, optim0_lr0=1.192e-05, train_time=1.172 -[gpua014:0/64] 2023-12-01 17:46:03,402 (trainer:735) INFO: 1epoch:train:7201-7300batch: iter_time=9.206e-05, forward_time=0.148, loss_ctc=258.402, loss_att=243.885, acc=0.168, loss=248.240, backward_time=0.319, grad_norm=94.645, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.076, optim0_lr0=1.209e-05, train_time=1.626 -[gpua014:0/64] 2023-12-01 17:48:09,912 (trainer:735) INFO: 1epoch:train:7301-7400batch: iter_time=9.867e-05, forward_time=0.149, loss_ctc=287.191, loss_att=281.928, acc=0.159, loss=283.507, backward_time=0.287, grad_norm=122.159, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.077, optim0_lr0=1.225e-05, train_time=1.265 -[gpua014:0/64] 2023-12-01 17:50:39,227 (trainer:735) INFO: 1epoch:train:7401-7500batch: iter_time=9.611e-05, forward_time=0.157, loss_ctc=247.679, loss_att=231.054, acc=0.179, loss=236.042, backward_time=0.290, grad_norm=140.200, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.077, optim0_lr0=1.242e-05, train_time=1.493 -[gpua014:0/64] 2023-12-01 17:50:41,396 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua014:0/64] 2023-12-01 17:50:59,149 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-01 17:51:02,507 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-01 17:51:02,507 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua014:0/64] 2023-12-01 17:51:02,510 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-01 17:57:43,033 (trainer:735) INFO: 1epoch:train:7501-7600batch: iter_time=1.227, forward_time=0.166, loss_ctc=246.492, loss_att=246.093, acc=0.175, loss=246.213, backward_time=0.275, grad_norm=137.566, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.078, optim0_lr0=1.259e-05, train_time=4.238 -[gpua014:0/64] 2023-12-01 17:59:38,199 (trainer:735) INFO: 1epoch:train:7601-7700batch: iter_time=8.441e-05, forward_time=0.145, loss_ctc=247.005, loss_att=230.701, acc=0.173, loss=235.592, backward_time=0.274, grad_norm=97.859, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.076, optim0_lr0=1.275e-05, train_time=1.151 -[gpua014:0/64] 2023-12-01 18:01:51,150 (trainer:735) INFO: 1epoch:train:7701-7800batch: iter_time=8.477e-05, forward_time=0.146, loss_ctc=255.268, loss_att=242.094, acc=0.172, loss=246.046, backward_time=0.293, grad_norm=132.953, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.076, optim0_lr0=1.292e-05, train_time=1.329 -[gpua014:0/64] 2023-12-01 18:03:58,255 (trainer:735) INFO: 1epoch:train:7801-7900batch: iter_time=9.725e-05, forward_time=0.146, loss_ctc=227.749, loss_att=218.347, acc=0.183, loss=221.167, backward_time=0.295, grad_norm=126.035, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.076, optim0_lr0=1.309e-05, train_time=1.271 -[gpua014:0/64] 2023-12-01 18:06:39,739 (trainer:735) INFO: 1epoch:train:7901-8000batch: iter_time=1.014e-04, forward_time=0.146, loss_ctc=299.963, loss_att=281.729, acc=0.163, loss=287.199, backward_time=0.334, grad_norm=116.960, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.076, optim0_lr0=1.325e-05, train_time=1.615 -[gpua014:0/64] 2023-12-01 18:09:01,143 (trainer:735) INFO: 1epoch:train:8001-8100batch: iter_time=8.970e-05, forward_time=0.146, loss_ctc=268.352, loss_att=257.585, acc=0.174, loss=260.815, backward_time=0.291, grad_norm=121.230, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.076, optim0_lr0=1.342e-05, train_time=1.414 -[gpua014:0/64] 2023-12-01 18:11:07,939 (trainer:735) INFO: 1epoch:train:8101-8200batch: iter_time=9.384e-05, forward_time=0.147, loss_ctc=291.624, loss_att=266.127, acc=0.175, loss=273.776, backward_time=0.282, grad_norm=121.262, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.077, optim0_lr0=1.359e-05, train_time=1.268 -[gpua014:0/64] 2023-12-01 18:13:15,295 (trainer:735) INFO: 1epoch:train:8201-8300batch: iter_time=8.868e-05, forward_time=0.146, loss_ctc=268.262, loss_att=245.852, acc=0.178, loss=252.575, backward_time=0.288, grad_norm=121.714, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.076, optim0_lr0=1.375e-05, train_time=1.273 -[gpua014:0/64] 2023-12-01 18:15:34,351 (trainer:735) INFO: 1epoch:train:8301-8400batch: iter_time=9.466e-05, forward_time=0.146, loss_ctc=269.133, loss_att=248.879, acc=0.176, loss=254.955, backward_time=0.303, grad_norm=140.618, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.077, optim0_lr0=1.392e-05, train_time=1.390 -[gpua014:0/64] 2023-12-01 18:18:05,843 (trainer:735) INFO: 1epoch:train:8401-8500batch: iter_time=9.687e-05, forward_time=0.146, loss_ctc=279.170, loss_att=255.702, acc=0.170, loss=262.743, backward_time=0.334, grad_norm=114.836, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.076, optim0_lr0=1.409e-05, train_time=1.515 -[gpua014:0/64] 2023-12-01 18:20:27,499 (trainer:735) INFO: 1epoch:train:8501-8600batch: iter_time=9.098e-05, forward_time=0.167, loss_ctc=267.981, loss_att=249.955, acc=0.177, loss=255.363, backward_time=0.290, grad_norm=121.410, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.077, optim0_lr0=1.425e-05, train_time=1.416 -[gpua014:0/64] 2023-12-01 18:22:46,843 (trainer:735) INFO: 1epoch:train:8601-8700batch: iter_time=9.569e-05, forward_time=0.154, loss_ctc=250.707, loss_att=231.833, acc=0.178, loss=237.495, backward_time=0.303, grad_norm=135.515, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.077, optim0_lr0=1.442e-05, train_time=1.393 -[gpua014:0/64] 2023-12-01 18:24:05,992 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua014:0/64] 2023-12-01 18:24:23,861 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-01 18:24:27,206 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-01 18:24:27,206 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua014:0/64] 2023-12-01 18:24:27,209 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-01 18:30:11,357 (trainer:735) INFO: 1epoch:train:8701-8800batch: iter_time=2.067, forward_time=0.187, loss_ctc=258.394, loss_att=247.375, acc=0.183, loss=250.681, backward_time=0.281, grad_norm=136.599, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.077, optim0_lr0=1.459e-05, train_time=4.445 -[gpua014:0/64] 2023-12-01 18:32:07,162 (trainer:735) INFO: 1epoch:train:8801-8900batch: iter_time=9.005e-05, forward_time=0.147, loss_ctc=234.144, loss_att=215.308, acc=0.187, loss=220.959, backward_time=0.275, grad_norm=116.876, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.077, optim0_lr0=1.475e-05, train_time=1.158 -[gpua014:0/64] 2023-12-01 18:34:16,531 (trainer:735) INFO: 1epoch:train:8901-9000batch: iter_time=9.748e-05, forward_time=0.146, loss_ctc=253.756, loss_att=232.972, acc=0.187, loss=239.207, backward_time=0.294, grad_norm=116.690, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.077, optim0_lr0=1.492e-05, train_time=1.293 -[gpua014:0/64] 2023-12-01 18:36:51,834 (trainer:735) INFO: 1epoch:train:9001-9100batch: iter_time=9.650e-05, forward_time=0.149, loss_ctc=237.440, loss_att=223.361, acc=0.182, loss=227.585, backward_time=0.318, grad_norm=132.493, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.076, optim0_lr0=1.509e-05, train_time=1.553 -[gpua014:0/64] 2023-12-01 18:39:12,439 (trainer:735) INFO: 1epoch:train:9101-9200batch: iter_time=9.300e-05, forward_time=0.157, loss_ctc=246.241, loss_att=222.500, acc=0.185, loss=229.622, backward_time=0.315, grad_norm=99.738, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.081, optim0_lr0=1.525e-05, train_time=1.406 -[gpua014:0/64] 2023-12-01 18:41:20,531 (trainer:735) INFO: 1epoch:train:9201-9300batch: iter_time=9.251e-05, forward_time=0.146, loss_ctc=284.697, loss_att=263.306, acc=0.183, loss=269.723, backward_time=0.299, grad_norm=131.302, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.077, optim0_lr0=1.542e-05, train_time=1.281 -[gpua014:0/64] 2023-12-01 18:43:21,453 (trainer:735) INFO: 1epoch:train:9301-9400batch: iter_time=8.837e-05, forward_time=0.146, loss_ctc=300.923, loss_att=273.795, acc=0.176, loss=281.933, backward_time=0.288, grad_norm=128.529, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.077, optim0_lr0=1.559e-05, train_time=1.209 -[gpua014:0/64] 2023-12-01 18:45:40,977 (trainer:735) INFO: 1epoch:train:9401-9500batch: iter_time=9.160e-05, forward_time=0.148, loss_ctc=254.756, loss_att=229.158, acc=0.193, loss=236.838, backward_time=0.337, grad_norm=115.328, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.076, optim0_lr0=1.575e-05, train_time=1.395 -[gpua014:0/64] 2023-12-01 18:47:45,117 (trainer:735) INFO: 1epoch:train:9501-9600batch: iter_time=9.770e-05, forward_time=0.146, loss_ctc=281.014, loss_att=254.660, acc=0.178, loss=262.566, backward_time=0.280, grad_norm=126.059, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.077, optim0_lr0=1.592e-05, train_time=1.241 -[gpua014:0/64] 2023-12-01 18:50:30,713 (trainer:735) INFO: 1epoch:train:9601-9700batch: iter_time=9.660e-05, forward_time=0.146, loss_ctc=261.619, loss_att=235.483, acc=0.188, loss=243.324, backward_time=0.311, grad_norm=110.424, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.078, optim0_lr0=1.609e-05, train_time=1.656 -[gpua014:0/64] 2023-12-01 18:52:43,958 (trainer:735) INFO: 1epoch:train:9701-9800batch: iter_time=8.890e-05, forward_time=0.146, loss_ctc=252.519, loss_att=224.496, acc=0.186, loss=232.902, backward_time=0.294, grad_norm=105.396, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.077, optim0_lr0=1.625e-05, train_time=1.332 -[gpua014:0/64] 2023-12-01 18:54:50,629 (trainer:735) INFO: 1epoch:train:9801-9900batch: iter_time=1.021e-04, forward_time=0.147, loss_ctc=281.238, loss_att=263.748, acc=0.175, loss=268.995, backward_time=0.291, grad_norm=120.853, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.077, optim0_lr0=1.642e-05, train_time=1.266 -[gpua014:0/64] 2023-12-01 18:57:03,749 (trainer:735) INFO: 1epoch:train:9901-10000batch: iter_time=9.522e-05, forward_time=0.147, loss_ctc=241.093, loss_att=213.843, acc=0.198, loss=222.018, backward_time=0.292, grad_norm=120.530, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.076, optim0_lr0=1.659e-05, train_time=1.331 -[gpua014:0/64] 2023-12-01 18:57:06,044 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua014:0/64] 2023-12-01 18:57:24,012 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-01 18:57:27,677 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-01 18:57:27,677 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua014:0/64] 2023-12-01 18:57:27,680 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-01 19:04:28,341 (trainer:735) INFO: 1epoch:train:10001-10100batch: iter_time=3.040, forward_time=0.181, loss_ctc=243.198, loss_att=227.113, acc=0.184, loss=231.939, backward_time=0.327, grad_norm=122.261, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.079, optim0_lr0=1.675e-05, train_time=4.446 -[gpua014:0/64] 2023-12-01 19:07:14,704 (trainer:735) INFO: 1epoch:train:10101-10200batch: iter_time=8.389e-05, forward_time=0.149, loss_ctc=243.991, loss_att=216.847, acc=0.191, loss=224.990, backward_time=0.337, grad_norm=105.938, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.078, optim0_lr0=1.692e-05, train_time=1.663 -[gpua014:0/64] 2023-12-01 19:10:02,484 (trainer:735) INFO: 1epoch:train:10201-10300batch: iter_time=8.385e-05, forward_time=0.144, loss_ctc=252.366, loss_att=219.695, acc=0.186, loss=229.496, backward_time=0.336, grad_norm=128.780, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.077, optim0_lr0=1.709e-05, train_time=1.678 -[gpua014:0/64] 2023-12-01 19:12:37,605 (trainer:735) INFO: 1epoch:train:10301-10400batch: iter_time=8.707e-05, forward_time=0.144, loss_ctc=222.133, loss_att=201.248, acc=0.200, loss=207.514, backward_time=0.310, grad_norm=100.306, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.077, optim0_lr0=1.725e-05, train_time=1.551 -[gpua014:0/64] 2023-12-01 19:15:32,038 (trainer:735) INFO: 1epoch:train:10401-10500batch: iter_time=8.612e-05, forward_time=0.149, loss_ctc=294.038, loss_att=260.403, acc=0.176, loss=270.494, backward_time=0.354, grad_norm=123.488, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.078, optim0_lr0=1.742e-05, train_time=1.744 -[gpua014:0/64] 2023-12-01 19:18:31,957 (trainer:735) INFO: 1epoch:train:10501-10600batch: iter_time=8.372e-05, forward_time=0.155, loss_ctc=264.668, loss_att=235.517, acc=0.190, loss=244.262, backward_time=0.331, grad_norm=137.498, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.077, optim0_lr0=1.759e-05, train_time=1.799 -[gpua014:0/64] 2023-12-01 19:21:02,246 (trainer:735) INFO: 1epoch:train:10601-10700batch: iter_time=7.738e-05, forward_time=0.182, loss_ctc=288.489, loss_att=245.227, acc=0.191, loss=258.206, backward_time=0.328, grad_norm=139.840, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.079, optim0_lr0=1.775e-05, train_time=1.503 -[gpua014:0/64] 2023-12-01 19:23:50,799 (trainer:735) INFO: 1epoch:train:10701-10800batch: iter_time=7.935e-05, forward_time=0.159, loss_ctc=261.749, loss_att=227.897, acc=0.192, loss=238.053, backward_time=0.321, grad_norm=111.292, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.076, optim0_lr0=1.792e-05, train_time=1.685 -[gpua014:0/64] 2023-12-01 19:26:23,475 (trainer:735) INFO: 1epoch:train:10801-10900batch: iter_time=8.446e-05, forward_time=0.149, loss_ctc=263.830, loss_att=225.232, acc=0.189, loss=236.812, backward_time=0.306, grad_norm=103.300, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.077, optim0_lr0=1.809e-05, train_time=1.527 -[gpua014:0/64] 2023-12-01 19:28:59,105 (trainer:735) INFO: 1epoch:train:10901-11000batch: iter_time=8.685e-05, forward_time=0.146, loss_ctc=274.453, loss_att=237.166, acc=0.183, loss=248.352, backward_time=0.322, grad_norm=94.833, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.077, optim0_lr0=1.825e-05, train_time=1.556 -[gpua014:0/64] 2023-12-01 19:31:17,072 (trainer:735) INFO: 1epoch:train:11001-11100batch: iter_time=8.357e-05, forward_time=0.146, loss_ctc=262.077, loss_att=230.818, acc=0.188, loss=240.196, backward_time=0.296, grad_norm=109.526, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.077, optim0_lr0=1.842e-05, train_time=1.379 -[gpua014:0/64] 2023-12-01 19:33:46,226 (trainer:735) INFO: 1epoch:train:11101-11200batch: iter_time=8.363e-05, forward_time=0.146, loss_ctc=244.855, loss_att=213.987, acc=0.193, loss=223.247, backward_time=0.304, grad_norm=102.767, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.077, optim0_lr0=1.859e-05, train_time=1.491 -[gpua014:0/64] 2023-12-01 19:35:19,270 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua014:0/64] 2023-12-01 19:35:37,491 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-01 19:35:41,161 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-01 19:35:41,161 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua014:0/64] 2023-12-01 19:35:41,164 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-01 19:42:43,690 (trainer:735) INFO: 1epoch:train:11201-11300batch: iter_time=2.229, forward_time=0.146, loss_ctc=253.190, loss_att=227.129, acc=0.194, loss=234.947, backward_time=0.314, grad_norm=118.394, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.077, optim0_lr0=1.875e-05, train_time=5.374 -[gpua014:0/64] 2023-12-01 19:44:57,343 (trainer:735) INFO: 1epoch:train:11301-11400batch: iter_time=9.029e-05, forward_time=0.146, loss_ctc=227.449, loss_att=200.357, acc=0.199, loss=208.485, backward_time=0.286, grad_norm=93.892, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.076, optim0_lr0=1.892e-05, train_time=1.336 -[gpua014:0/64] 2023-12-01 19:47:30,367 (trainer:735) INFO: 1epoch:train:11401-11500batch: iter_time=8.404e-05, forward_time=0.146, loss_ctc=248.403, loss_att=215.263, acc=0.200, loss=225.205, backward_time=0.307, grad_norm=109.611, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.077, optim0_lr0=1.909e-05, train_time=1.530 -[gpua014:0/64] 2023-12-01 19:50:29,642 (trainer:735) INFO: 1epoch:train:11501-11600batch: iter_time=9.730e-05, forward_time=0.163, loss_ctc=233.548, loss_att=206.293, acc=0.194, loss=214.469, backward_time=0.302, grad_norm=111.326, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.080, optim0_lr0=1.925e-05, train_time=1.793 -[gpua014:0/64] 2023-12-01 19:52:59,164 (trainer:735) INFO: 1epoch:train:11601-11700batch: iter_time=9.853e-05, forward_time=0.146, loss_ctc=240.373, loss_att=205.553, acc=0.196, loss=215.999, backward_time=0.326, grad_norm=91.335, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.076, optim0_lr0=1.942e-05, train_time=1.495 -[gpua014:0/64] 2023-12-01 19:55:32,243 (trainer:735) INFO: 1epoch:train:11701-11800batch: iter_time=9.460e-05, forward_time=0.178, loss_ctc=277.699, loss_att=242.968, acc=0.194, loss=253.387, backward_time=0.352, grad_norm=119.000, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.079, optim0_lr0=1.959e-05, train_time=1.530 -[gpua014:0/64] 2023-12-01 19:58:05,866 (trainer:735) INFO: 1epoch:train:11801-11900batch: iter_time=9.228e-05, forward_time=0.162, loss_ctc=296.193, loss_att=253.638, acc=0.190, loss=266.404, backward_time=0.321, grad_norm=111.885, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.077, optim0_lr0=1.975e-05, train_time=1.536 -[gpua014:0/64] 2023-12-01 20:01:09,296 (trainer:735) INFO: 1epoch:train:11901-12000batch: iter_time=9.786e-05, forward_time=0.150, loss_ctc=251.110, loss_att=215.937, acc=0.201, loss=226.489, backward_time=0.311, grad_norm=104.710, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.077, optim0_lr0=1.992e-05, train_time=1.834 -[gpua014:0/64] 2023-12-01 20:04:05,807 (trainer:735) INFO: 1epoch:train:12001-12100batch: iter_time=9.768e-05, forward_time=0.147, loss_ctc=277.105, loss_att=236.050, acc=0.188, loss=248.367, backward_time=0.339, grad_norm=95.426, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.077, optim0_lr0=2.009e-05, train_time=1.765 -[gpua014:0/64] 2023-12-01 20:06:49,090 (trainer:735) INFO: 1epoch:train:12101-12200batch: iter_time=1.027e-04, forward_time=0.146, loss_ctc=255.002, loss_att=220.086, acc=0.196, loss=230.561, backward_time=0.342, grad_norm=93.660, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.077, optim0_lr0=2.025e-05, train_time=1.633 -[gpua014:0/64] 2023-12-01 20:09:45,786 (trainer:735) INFO: 1epoch:train:12201-12300batch: iter_time=9.897e-05, forward_time=0.146, loss_ctc=248.810, loss_att=209.401, acc=0.195, loss=221.224, backward_time=0.326, grad_norm=99.296, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.077, optim0_lr0=2.042e-05, train_time=1.767 -[gpua014:0/64] 2023-12-01 20:12:37,436 (trainer:735) INFO: 1epoch:train:12301-12400batch: iter_time=1.074e-04, forward_time=0.148, loss_ctc=271.778, loss_att=241.634, acc=0.187, loss=250.677, backward_time=0.310, grad_norm=93.476, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.077, optim0_lr0=2.059e-05, train_time=1.716 -[gpua014:0/64] 2023-12-01 20:15:10,941 (trainer:735) INFO: 1epoch:train:12401-12500batch: iter_time=9.798e-05, forward_time=0.147, loss_ctc=236.291, loss_att=201.831, acc=0.207, loss=212.169, backward_time=0.323, grad_norm=88.501, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.077, optim0_lr0=2.075e-05, train_time=1.535 -[gpua014:0/64] 2023-12-01 20:15:30,969 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua014:0/64] 2023-12-01 20:15:49,033 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-01 20:15:52,675 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-01 20:15:52,675 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua014:0/64] 2023-12-01 20:15:52,678 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-01 20:21:56,835 (trainer:735) INFO: 1epoch:train:12501-12600batch: iter_time=2.575, forward_time=0.180, loss_ctc=237.115, loss_att=223.677, acc=0.196, loss=227.708, backward_time=0.317, grad_norm=91.014, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.077, optim0_lr0=2.092e-05, train_time=4.059 -[gpua014:0/64] 2023-12-01 20:24:20,234 (trainer:735) INFO: 1epoch:train:12601-12700batch: iter_time=8.269e-05, forward_time=0.145, loss_ctc=238.303, loss_att=209.478, acc=0.203, loss=218.125, backward_time=0.332, grad_norm=87.628, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.075, optim0_lr0=2.109e-05, train_time=1.434 -[gpua014:0/64] 2023-12-01 20:26:51,137 (trainer:735) INFO: 1epoch:train:12701-12800batch: iter_time=8.317e-05, forward_time=0.145, loss_ctc=245.225, loss_att=218.841, acc=0.194, loss=226.756, backward_time=0.287, grad_norm=89.958, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.075, optim0_lr0=2.125e-05, train_time=1.509 -[gpua014:0/64] 2023-12-01 20:29:53,714 (trainer:735) INFO: 1epoch:train:12801-12900batch: iter_time=9.426e-05, forward_time=0.146, loss_ctc=216.298, loss_att=195.958, acc=0.210, loss=202.060, backward_time=0.347, grad_norm=82.993, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.076, optim0_lr0=2.142e-05, train_time=1.826 -[gpua014:0/64] 2023-12-01 20:32:55,062 (trainer:735) INFO: 1epoch:train:12901-13000batch: iter_time=1.017e-04, forward_time=0.147, loss_ctc=286.479, loss_att=254.755, acc=0.188, loss=264.272, backward_time=0.327, grad_norm=100.950, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.076, optim0_lr0=2.159e-05, train_time=1.813 -[gpua014:0/64] 2023-12-01 20:35:14,287 (trainer:735) INFO: 1epoch:train:13001-13100batch: iter_time=1.002e-04, forward_time=0.158, loss_ctc=257.878, loss_att=232.308, acc=0.199, loss=239.979, backward_time=0.303, grad_norm=97.473, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.075, optim0_lr0=2.175e-05, train_time=1.392 -[gpua014:0/64] 2023-12-01 20:37:43,130 (trainer:735) INFO: 1epoch:train:13101-13200batch: iter_time=9.748e-05, forward_time=0.145, loss_ctc=282.708, loss_att=242.343, acc=0.199, loss=254.453, backward_time=0.372, grad_norm=107.639, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.075, optim0_lr0=2.192e-05, train_time=1.488 -[gpua014:0/64] 2023-12-01 20:40:05,003 (trainer:735) INFO: 1epoch:train:13201-13300batch: iter_time=1.014e-04, forward_time=0.145, loss_ctc=254.669, loss_att=221.948, acc=0.199, loss=231.765, backward_time=0.283, grad_norm=105.612, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.076, optim0_lr0=2.209e-05, train_time=1.419 -[gpua014:0/64] 2023-12-01 20:42:15,158 (trainer:735) INFO: 1epoch:train:13301-13400batch: iter_time=9.791e-05, forward_time=0.145, loss_ctc=258.364, loss_att=227.424, acc=0.195, loss=236.706, backward_time=0.297, grad_norm=105.310, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.076, optim0_lr0=2.225e-05, train_time=1.301 -[gpua014:0/64] 2023-12-01 20:45:19,629 (trainer:735) INFO: 1epoch:train:13401-13500batch: iter_time=1.073e-04, forward_time=0.161, loss_ctc=266.952, loss_att=232.710, acc=0.193, loss=242.982, backward_time=0.367, grad_norm=93.457, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.081, optim0_lr0=2.242e-05, train_time=1.844 -[gpua014:0/64] 2023-12-01 20:47:51,216 (trainer:735) INFO: 1epoch:train:13501-13600batch: iter_time=1.025e-04, forward_time=0.172, loss_ctc=253.742, loss_att=226.403, acc=0.199, loss=234.605, backward_time=0.359, grad_norm=94.120, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.081, optim0_lr0=2.259e-05, train_time=1.516 -[gpua014:0/64] 2023-12-01 20:50:04,612 (trainer:735) INFO: 1epoch:train:13601-13700batch: iter_time=1.122e-04, forward_time=0.148, loss_ctc=238.514, loss_att=211.688, acc=0.202, loss=219.736, backward_time=0.289, grad_norm=82.262, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.076, optim0_lr0=2.275e-05, train_time=1.334 -[gpua014:0/64] 2023-12-01 20:51:49,714 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua014:0/64] 2023-12-01 20:52:07,806 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-01 20:52:11,487 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-01 20:52:11,487 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua014:0/64] 2023-12-01 20:52:11,491 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-01 20:58:24,207 (trainer:735) INFO: 1epoch:train:13701-13800batch: iter_time=2.851, forward_time=0.197, loss_ctc=246.645, loss_att=222.845, acc=0.205, loss=229.985, backward_time=0.353, grad_norm=100.254, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.079, optim0_lr0=2.292e-05, train_time=4.996 -[gpua014:0/64] 2023-12-01 21:00:30,597 (trainer:735) INFO: 1epoch:train:13801-13900batch: iter_time=8.952e-05, forward_time=0.147, loss_ctc=223.636, loss_att=195.963, acc=0.205, loss=204.265, backward_time=0.277, grad_norm=74.092, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.077, optim0_lr0=2.309e-05, train_time=1.264 -[gpua014:0/64] 2023-12-01 21:02:53,908 (trainer:735) INFO: 1epoch:train:13901-14000batch: iter_time=1.040e-04, forward_time=0.146, loss_ctc=241.966, loss_att=213.252, acc=0.207, loss=221.866, backward_time=0.324, grad_norm=83.624, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.077, optim0_lr0=2.325e-05, train_time=1.433 -[gpua014:0/64] 2023-12-01 21:05:47,156 (trainer:735) INFO: 1epoch:train:14001-14100batch: iter_time=1.037e-04, forward_time=0.147, loss_ctc=226.181, loss_att=202.817, acc=0.204, loss=209.826, backward_time=0.319, grad_norm=83.280, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.077, optim0_lr0=2.342e-05, train_time=1.732 -[gpua014:0/64] 2023-12-01 21:07:58,884 (trainer:735) INFO: 1epoch:train:14101-14200batch: iter_time=1.052e-04, forward_time=0.146, loss_ctc=235.935, loss_att=205.310, acc=0.203, loss=214.497, backward_time=0.299, grad_norm=90.214, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.077, optim0_lr0=2.359e-05, train_time=1.317 -[gpua014:0/64] 2023-12-01 21:10:37,432 (trainer:735) INFO: 1epoch:train:14201-14300batch: iter_time=9.612e-05, forward_time=0.238, loss_ctc=272.481, loss_att=240.489, acc=0.202, loss=250.087, backward_time=0.337, grad_norm=111.087, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.081, optim0_lr0=2.375e-05, train_time=1.585 -[gpua014:0/64] 2023-12-01 21:13:33,671 (trainer:735) INFO: 1epoch:train:14301-14400batch: iter_time=9.259e-05, forward_time=0.155, loss_ctc=289.643, loss_att=252.224, acc=0.196, loss=263.449, backward_time=0.338, grad_norm=92.412, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.077, optim0_lr0=2.392e-05, train_time=1.763 -[gpua014:0/64] 2023-12-01 21:16:54,066 (trainer:735) INFO: 1epoch:train:14401-14500batch: iter_time=1.039e-04, forward_time=0.147, loss_ctc=245.397, loss_att=211.125, acc=0.209, loss=221.407, backward_time=0.339, grad_norm=99.188, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.077, optim0_lr0=2.409e-05, train_time=2.004 -[gpua014:0/64] 2023-12-01 21:19:15,519 (trainer:735) INFO: 1epoch:train:14501-14600batch: iter_time=9.136e-05, forward_time=0.147, loss_ctc=270.904, loss_att=235.653, acc=0.195, loss=246.228, backward_time=0.299, grad_norm=93.683, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.077, optim0_lr0=2.425e-05, train_time=1.414 -[gpua014:0/64] 2023-12-01 21:22:15,529 (trainer:735) INFO: 1epoch:train:14601-14700batch: iter_time=9.465e-05, forward_time=0.146, loss_ctc=249.068, loss_att=215.629, acc=0.206, loss=225.661, backward_time=0.316, grad_norm=93.945, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.077, optim0_lr0=2.442e-05, train_time=1.800 -[gpua014:0/64] 2023-12-01 21:24:53,300 (trainer:735) INFO: 1epoch:train:14701-14800batch: iter_time=9.322e-05, forward_time=0.147, loss_ctc=243.617, loss_att=207.677, acc=0.203, loss=218.459, backward_time=0.359, grad_norm=95.568, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.077, optim0_lr0=2.459e-05, train_time=1.577 -[gpua014:0/64] 2023-12-01 21:27:49,230 (trainer:735) INFO: 1epoch:train:14801-14900batch: iter_time=9.348e-05, forward_time=0.148, loss_ctc=266.488, loss_att=242.287, acc=0.193, loss=249.547, backward_time=0.308, grad_norm=79.637, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.077, optim0_lr0=2.475e-05, train_time=1.759 -[gpua014:0/64] 2023-12-01 21:30:09,111 (trainer:735) INFO: 1epoch:train:14901-15000batch: iter_time=9.008e-05, forward_time=0.245, loss_ctc=232.766, loss_att=198.490, acc=0.214, loss=208.773, backward_time=0.312, grad_norm=85.173, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.081, optim0_lr0=2.492e-05, train_time=1.399 -[gpua014:0/64] 2023-12-01 21:55:50,872 (trainer:341) INFO: 1epoch results: [train] iter_time=0.172, forward_time=0.153, loss_ctc=326.964, loss_att=260.915, acc=0.155, loss=280.730, backward_time=0.311, grad_norm=291.862, clip=100.000, loss_scale=1.669e+06, optim_step_time=0.077, optim0_lr0=1.250e-05, train_time=1.798, time=7 hours, 29 minutes and 58.73 seconds, total_count=15000, gpu_max_cached_mem_GB=35.859, [valid] loss_ctc=191.709, cer_ctc=0.978, loss_att=165.154, acc=0.172, cer=0.718, wer=1.000, loss=173.120, time=25 minutes and 17.19 seconds, total_count=4671, gpu_max_cached_mem_GB=35.859 -[gpua014:0/64] 2023-12-01 21:56:19,038 (trainer:389) INFO: The best model has been updated: valid.acc, valid.total_count -[gpua014:0/64] 2023-12-01 21:56:19,038 (trainer:272) INFO: 2/40epoch started. Estimated time to finish: 1 week, 5 days and 21 hours -[gpua014:0/64] 2023-12-01 21:56:19,051 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua014:0/64] 2023-12-01 21:56:36,952 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-01 21:56:40,494 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-01 21:56:40,495 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua014:0/64] 2023-12-01 21:56:40,498 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-01 22:03:51,400 (trainer:735) INFO: 2epoch:train:1-100batch: iter_time=2.691, forward_time=0.161, loss_ctc=228.644, loss_att=195.283, acc=0.204, loss=205.291, backward_time=0.289, grad_norm=83.175, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.082, optim0_lr0=2.509e-05, train_time=4.523 -[gpua014:0/64] 2023-12-01 22:06:24,168 (trainer:735) INFO: 2epoch:train:101-200batch: iter_time=9.058e-05, forward_time=0.149, loss_ctc=240.878, loss_att=203.028, acc=0.210, loss=214.383, backward_time=0.306, grad_norm=69.135, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.081, optim0_lr0=2.525e-05, train_time=1.527 -[gpua014:0/64] 2023-12-01 22:08:39,132 (trainer:735) INFO: 2epoch:train:201-300batch: iter_time=1.029e-04, forward_time=0.148, loss_ctc=268.580, loss_att=226.868, acc=0.205, loss=239.382, backward_time=0.303, grad_norm=85.677, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.080, optim0_lr0=2.542e-05, train_time=1.349 -[gpua014:0/64] 2023-12-01 22:11:45,692 (trainer:735) INFO: 2epoch:train:301-400batch: iter_time=1.074e-04, forward_time=0.147, loss_ctc=247.907, loss_att=204.109, acc=0.209, loss=217.248, backward_time=0.322, grad_norm=86.384, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.081, optim0_lr0=2.559e-05, train_time=1.865 -[gpua014:0/64] 2023-12-01 22:13:59,499 (trainer:735) INFO: 2epoch:train:401-500batch: iter_time=9.850e-05, forward_time=0.147, loss_ctc=239.530, loss_att=203.112, acc=0.203, loss=214.038, backward_time=0.290, grad_norm=90.194, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.080, optim0_lr0=2.575e-05, train_time=1.338 -[gpua014:0/64] 2023-12-01 22:16:21,967 (trainer:735) INFO: 2epoch:train:501-600batch: iter_time=9.841e-05, forward_time=0.147, loss_ctc=228.462, loss_att=193.843, acc=0.211, loss=204.229, backward_time=0.302, grad_norm=73.001, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.080, optim0_lr0=2.592e-05, train_time=1.424 -[gpua014:0/64] 2023-12-01 22:18:52,279 (trainer:735) INFO: 2epoch:train:601-700batch: iter_time=9.178e-05, forward_time=0.151, loss_ctc=230.352, loss_att=194.108, acc=0.212, loss=204.981, backward_time=0.314, grad_norm=79.025, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.080, optim0_lr0=2.609e-05, train_time=1.503 -[gpua014:0/64] 2023-12-01 22:21:12,734 (trainer:735) INFO: 2epoch:train:701-800batch: iter_time=9.955e-05, forward_time=0.206, loss_ctc=255.727, loss_att=225.291, acc=0.207, loss=234.422, backward_time=0.312, grad_norm=74.980, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.083, optim0_lr0=2.625e-05, train_time=1.403 -[gpua014:0/64] 2023-12-01 22:23:53,428 (trainer:735) INFO: 2epoch:train:801-900batch: iter_time=8.980e-05, forward_time=0.153, loss_ctc=235.261, loss_att=200.125, acc=0.211, loss=210.666, backward_time=0.306, grad_norm=75.219, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.080, optim0_lr0=2.642e-05, train_time=1.608 -[gpua014:0/64] 2023-12-01 22:26:14,584 (trainer:735) INFO: 2epoch:train:901-1000batch: iter_time=0.001, forward_time=0.166, loss_ctc=245.922, loss_att=212.928, acc=0.203, loss=222.826, backward_time=0.336, grad_norm=78.526, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.094, optim0_lr0=2.659e-05, train_time=1.411 -[gpua014:0/64] 2023-12-01 22:28:31,295 (trainer:735) INFO: 2epoch:train:1001-1100batch: iter_time=9.864e-05, forward_time=0.148, loss_ctc=251.165, loss_att=211.892, acc=0.196, loss=223.674, backward_time=0.292, grad_norm=80.387, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.079, optim0_lr0=2.675e-05, train_time=1.367 -[gpua014:0/64] 2023-12-01 22:31:29,071 (trainer:735) INFO: 2epoch:train:1101-1200batch: iter_time=9.653e-05, forward_time=0.148, loss_ctc=266.125, loss_att=227.850, acc=0.202, loss=239.333, backward_time=0.334, grad_norm=70.179, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.080, optim0_lr0=2.692e-05, train_time=1.778 -[gpua014:0/64] 2023-12-01 22:32:56,941 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua014:0/64] 2023-12-01 22:33:14,694 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-01 22:33:18,324 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-01 22:33:18,324 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua014:0/64] 2023-12-01 22:33:18,327 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 - -gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active -[gpua014:0/64] 2023-12-01 22:42:43,228 (trainer:735) INFO: 2epoch:train:1201-1300batch: iter_time=2.513, forward_time=0.147, loss_ctc=250.076, loss_att=205.528, acc=0.206, loss=218.892, backward_time=0.307, grad_norm=102.304, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.080, optim0_lr0=2.709e-05, train_time=6.741 -[gpua014:0/64] 2023-12-01 22:44:38,267 (trainer:735) INFO: 2epoch:train:1301-1400batch: iter_time=8.209e-05, forward_time=0.148, loss_ctc=229.910, loss_att=200.217, acc=0.209, loss=209.125, backward_time=0.279, grad_norm=71.530, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.079, optim0_lr0=2.725e-05, train_time=1.150 -[gpua014:0/64] 2023-12-01 22:46:37,970 (trainer:735) INFO: 2epoch:train:1401-1500batch: iter_time=8.550e-05, forward_time=0.147, loss_ctc=248.199, loss_att=208.432, acc=0.217, loss=220.362, backward_time=0.279, grad_norm=76.550, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.079, optim0_lr0=2.742e-05, train_time=1.197 -[gpua014:0/64] 2023-12-01 22:49:01,564 (trainer:735) INFO: 2epoch:train:1501-1600batch: iter_time=8.857e-05, forward_time=0.147, loss_ctc=234.812, loss_att=204.335, acc=0.212, loss=213.478, backward_time=0.299, grad_norm=78.784, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.079, optim0_lr0=2.759e-05, train_time=1.436 -[gpua014:0/64] 2023-12-01 22:51:28,912 (trainer:735) INFO: 2epoch:train:1601-1700batch: iter_time=9.151e-05, forward_time=0.147, loss_ctc=248.393, loss_att=209.799, acc=0.208, loss=221.377, backward_time=0.306, grad_norm=83.875, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.079, optim0_lr0=2.775e-05, train_time=1.473 -[gpua014:0/64] 2023-12-01 22:54:06,356 (trainer:735) INFO: 2epoch:train:1701-1800batch: iter_time=8.225e-05, forward_time=0.150, loss_ctc=237.501, loss_att=213.146, acc=0.206, loss=220.453, backward_time=0.344, grad_norm=72.037, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.079, optim0_lr0=2.792e-05, train_time=1.574 -[gpua014:0/64] 2023-12-01 22:56:10,676 (trainer:735) INFO: 2epoch:train:1801-1900batch: iter_time=8.748e-05, forward_time=0.148, loss_ctc=225.275, loss_att=192.357, acc=0.215, loss=202.232, backward_time=0.286, grad_norm=74.895, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.079, optim0_lr0=2.809e-05, train_time=1.243 -[gpua014:0/64] 2023-12-01 22:58:43,994 (trainer:735) INFO: 2epoch:train:1901-2000batch: iter_time=9.041e-05, forward_time=0.148, loss_ctc=247.026, loss_att=223.054, acc=0.207, loss=230.245, backward_time=0.302, grad_norm=72.679, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.080, optim0_lr0=2.825e-05, train_time=1.533 -[gpua014:0/64] 2023-12-01 23:01:26,657 (trainer:735) INFO: 2epoch:train:2001-2100batch: iter_time=8.789e-05, forward_time=0.147, loss_ctc=245.911, loss_att=211.953, acc=0.211, loss=222.140, backward_time=0.309, grad_norm=73.699, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.080, optim0_lr0=2.842e-05, train_time=1.626 -[gpua014:0/64] 2023-12-01 23:04:12,421 (trainer:735) INFO: 2epoch:train:2101-2200batch: iter_time=8.606e-05, forward_time=0.147, loss_ctc=232.767, loss_att=206.003, acc=0.213, loss=214.032, backward_time=0.297, grad_norm=70.048, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.079, optim0_lr0=2.859e-05, train_time=1.657 -[gpua014:0/64] 2023-12-01 23:06:25,180 (trainer:735) INFO: 2epoch:train:2201-2300batch: iter_time=8.863e-05, forward_time=0.147, loss_ctc=258.437, loss_att=219.707, acc=0.200, loss=231.326, backward_time=0.278, grad_norm=70.992, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.080, optim0_lr0=2.875e-05, train_time=1.327 -[gpua014:0/64] 2023-12-01 23:09:18,352 (trainer:735) INFO: 2epoch:train:2301-2400batch: iter_time=8.908e-05, forward_time=0.150, loss_ctc=245.686, loss_att=213.864, acc=0.206, loss=223.411, backward_time=0.335, grad_norm=70.380, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.080, optim0_lr0=2.892e-05, train_time=1.732 -[gpua014:0/64] 2023-12-01 23:11:39,174 (trainer:735) INFO: 2epoch:train:2401-2500batch: iter_time=8.654e-05, forward_time=0.147, loss_ctc=252.775, loss_att=210.243, acc=0.208, loss=223.002, backward_time=0.304, grad_norm=93.371, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.079, optim0_lr0=2.909e-05, train_time=1.408 -[gpua014:0/64] 2023-12-01 23:11:40,734 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua014:0/64] 2023-12-01 23:11:58,701 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-01 23:12:02,154 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-01 23:12:02,154 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua014:0/64] 2023-12-01 23:12:02,158 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-01 23:21:42,061 (trainer:735) INFO: 2epoch:train:2501-2600batch: iter_time=1.364, forward_time=0.192, loss_ctc=223.606, loss_att=188.011, acc=0.213, loss=198.690, backward_time=0.286, grad_norm=80.384, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.082, optim0_lr0=2.925e-05, train_time=6.029 -[gpua014:0/64] 2023-12-01 23:23:42,343 (trainer:735) INFO: 2epoch:train:2601-2700batch: iter_time=9.384e-05, forward_time=0.148, loss_ctc=237.671, loss_att=201.886, acc=0.219, loss=212.621, backward_time=0.278, grad_norm=72.238, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.080, optim0_lr0=2.942e-05, train_time=1.203 -[gpua014:0/64] 2023-12-01 23:25:37,843 (trainer:735) INFO: 2epoch:train:2701-2800batch: iter_time=9.825e-05, forward_time=0.150, loss_ctc=264.972, loss_att=222.378, acc=0.210, loss=235.157, backward_time=0.278, grad_norm=93.355, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.080, optim0_lr0=2.959e-05, train_time=1.155 -[gpua014:0/64] 2023-12-01 23:28:01,374 (trainer:735) INFO: 2epoch:train:2801-2900batch: iter_time=9.435e-05, forward_time=0.148, loss_ctc=245.617, loss_att=206.694, acc=0.216, loss=218.371, backward_time=0.329, grad_norm=78.479, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.080, optim0_lr0=2.975e-05, train_time=1.435 -[gpua014:0/64] 2023-12-01 23:30:36,252 (trainer:735) INFO: 2epoch:train:2901-3000batch: iter_time=1.108e-04, forward_time=0.148, loss_ctc=233.442, loss_att=203.443, acc=0.208, loss=212.443, backward_time=0.312, grad_norm=76.552, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.080, optim0_lr0=2.992e-05, train_time=1.549 -[gpua014:0/64] 2023-12-01 23:33:27,184 (trainer:735) INFO: 2epoch:train:3001-3100batch: iter_time=9.405e-05, forward_time=0.147, loss_ctc=226.758, loss_att=192.107, acc=0.216, loss=202.502, backward_time=0.337, grad_norm=66.891, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.080, optim0_lr0=3.009e-05, train_time=1.709 -[gpua014:0/64] 2023-12-01 23:35:54,706 (trainer:735) INFO: 2epoch:train:3101-3200batch: iter_time=9.386e-05, forward_time=0.147, loss_ctc=226.839, loss_att=194.471, acc=0.217, loss=204.181, backward_time=0.322, grad_norm=73.900, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.080, optim0_lr0=3.025e-05, train_time=1.475 -[gpua014:0/64] 2023-12-01 23:38:04,111 (trainer:735) INFO: 2epoch:train:3201-3300batch: iter_time=1.033e-04, forward_time=0.148, loss_ctc=251.664, loss_att=223.729, acc=0.211, loss=232.109, backward_time=0.296, grad_norm=73.527, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.080, optim0_lr0=3.042e-05, train_time=1.294 -[gpua014:0/64] 2023-12-01 23:40:00,542 (trainer:735) INFO: 2epoch:train:3301-3400batch: iter_time=9.540e-05, forward_time=0.154, loss_ctc=230.236, loss_att=199.438, acc=0.216, loss=208.678, backward_time=0.280, grad_norm=71.614, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.080, optim0_lr0=3.059e-05, train_time=1.164 -[gpua014:0/64] 2023-12-01 23:42:04,006 (trainer:735) INFO: 2epoch:train:3401-3500batch: iter_time=9.647e-05, forward_time=0.148, loss_ctc=243.553, loss_att=209.801, acc=0.211, loss=219.926, backward_time=0.285, grad_norm=75.907, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.081, optim0_lr0=3.075e-05, train_time=1.234 -[gpua014:0/64] 2023-12-01 23:44:39,013 (trainer:735) INFO: 2epoch:train:3501-3600batch: iter_time=9.791e-05, forward_time=0.149, loss_ctc=247.101, loss_att=210.720, acc=0.205, loss=221.635, backward_time=0.293, grad_norm=73.155, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.081, optim0_lr0=3.092e-05, train_time=1.550 -[gpua014:0/64] 2023-12-01 23:47:10,822 (trainer:735) INFO: 2epoch:train:3601-3700batch: iter_time=9.270e-05, forward_time=0.148, loss_ctc=262.162, loss_att=225.901, acc=0.208, loss=236.779, backward_time=0.303, grad_norm=67.333, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.080, optim0_lr0=3.109e-05, train_time=1.518 -[gpua014:0/64] 2023-12-01 23:48:40,944 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua014:0/64] 2023-12-01 23:48:59,027 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-01 23:49:02,660 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-01 23:49:02,660 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua014:0/64] 2023-12-01 23:49:02,663 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-01 23:55:14,226 (trainer:735) INFO: 2epoch:train:3701-3800batch: iter_time=3.257, forward_time=0.149, loss_ctc=247.356, loss_att=199.929, acc=0.214, loss=214.157, backward_time=0.289, grad_norm=89.676, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.080, optim0_lr0=3.125e-05, train_time=4.834 -[gpua014:0/64] 2023-12-01 23:57:15,504 (trainer:735) INFO: 2epoch:train:3801-3900batch: iter_time=8.677e-05, forward_time=0.148, loss_ctc=225.847, loss_att=193.260, acc=0.217, loss=203.037, backward_time=0.279, grad_norm=69.774, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.080, optim0_lr0=3.142e-05, train_time=1.213 -[gpua014:0/64] 2023-12-01 23:59:53,844 (trainer:735) INFO: 2epoch:train:3901-4000batch: iter_time=9.093e-05, forward_time=0.148, loss_ctc=245.914, loss_att=202.953, acc=0.224, loss=215.841, backward_time=0.306, grad_norm=72.863, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.080, optim0_lr0=3.159e-05, train_time=1.583 -[gpua014:0/64] 2023-12-02 00:02:22,419 (trainer:735) INFO: 2epoch:train:4001-4100batch: iter_time=9.981e-05, forward_time=0.179, loss_ctc=232.332, loss_att=197.134, acc=0.220, loss=207.693, backward_time=0.353, grad_norm=69.783, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.085, optim0_lr0=3.175e-05, train_time=1.486 -[gpua014:0/64] 2023-12-02 00:04:50,780 (trainer:735) INFO: 2epoch:train:4101-4200batch: iter_time=9.903e-05, forward_time=0.148, loss_ctc=244.448, loss_att=203.453, acc=0.215, loss=215.751, backward_time=0.343, grad_norm=92.936, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.081, optim0_lr0=3.192e-05, train_time=1.483 -[gpua014:0/64] 2023-12-02 00:06:47,970 (trainer:735) INFO: 2epoch:train:4201-4300batch: iter_time=9.718e-05, forward_time=0.148, loss_ctc=234.535, loss_att=205.321, acc=0.214, loss=214.085, backward_time=0.279, grad_norm=73.847, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.081, optim0_lr0=3.209e-05, train_time=1.172 -[gpua014:0/64] 2023-12-02 00:09:26,651 (trainer:735) INFO: 2epoch:train:4301-4400batch: iter_time=9.709e-05, forward_time=0.188, loss_ctc=221.989, loss_att=186.475, acc=0.221, loss=197.129, backward_time=0.297, grad_norm=70.250, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.083, optim0_lr0=3.225e-05, train_time=1.587 -[gpua014:0/64] 2023-12-02 00:11:28,877 (trainer:735) INFO: 2epoch:train:4401-4500batch: iter_time=9.968e-05, forward_time=0.158, loss_ctc=243.156, loss_att=215.855, acc=0.215, loss=224.046, backward_time=0.282, grad_norm=70.949, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.081, optim0_lr0=3.242e-05, train_time=1.222 -[gpua014:0/64] 2023-12-02 00:13:53,007 (trainer:735) INFO: 2epoch:train:4501-4600batch: iter_time=9.926e-05, forward_time=0.148, loss_ctc=241.251, loss_att=204.829, acc=0.220, loss=215.755, backward_time=0.328, grad_norm=72.101, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.081, optim0_lr0=3.259e-05, train_time=1.441 -[gpua014:0/64] 2023-12-02 00:16:03,216 (trainer:735) INFO: 2epoch:train:4601-4700batch: iter_time=8.818e-05, forward_time=0.147, loss_ctc=230.488, loss_att=199.625, acc=0.221, loss=208.884, backward_time=0.281, grad_norm=66.316, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.080, optim0_lr0=3.275e-05, train_time=1.302 -[gpua014:0/64] 2023-12-02 00:18:44,535 (trainer:735) INFO: 2epoch:train:4701-4800batch: iter_time=9.296e-05, forward_time=0.153, loss_ctc=256.278, loss_att=213.687, acc=0.207, loss=226.464, backward_time=0.307, grad_norm=65.439, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.081, optim0_lr0=3.292e-05, train_time=1.613 -[gpua014:0/64] 2023-12-02 00:21:01,124 (trainer:735) INFO: 2epoch:train:4801-4900batch: iter_time=9.584e-05, forward_time=0.148, loss_ctc=242.734, loss_att=207.358, acc=0.215, loss=217.971, backward_time=0.306, grad_norm=67.244, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.081, optim0_lr0=3.309e-05, train_time=1.366 -[gpua014:0/64] 2023-12-02 00:23:01,787 (trainer:735) INFO: 2epoch:train:4901-5000batch: iter_time=9.531e-05, forward_time=0.148, loss_ctc=248.684, loss_att=202.796, acc=0.217, loss=216.562, backward_time=0.279, grad_norm=87.974, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.081, optim0_lr0=3.325e-05, train_time=1.206 -[gpua014:0/64] 2023-12-02 00:23:05,471 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua014:0/64] 2023-12-02 00:23:23,904 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 00:23:27,701 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 00:23:27,701 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua014:0/64] 2023-12-02 00:23:27,704 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 00:30:07,634 (trainer:735) INFO: 2epoch:train:5001-5100batch: iter_time=1.349, forward_time=0.147, loss_ctc=221.059, loss_att=182.902, acc=0.217, loss=194.349, backward_time=0.279, grad_norm=80.393, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.081, optim0_lr0=3.342e-05, train_time=4.258 -[gpua014:0/64] 2023-12-02 00:32:08,605 (trainer:735) INFO: 2epoch:train:5101-5200batch: iter_time=8.465e-05, forward_time=0.147, loss_ctc=234.121, loss_att=192.629, acc=0.223, loss=205.077, backward_time=0.282, grad_norm=61.792, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.081, optim0_lr0=3.359e-05, train_time=1.209 -[gpua014:0/64] 2023-12-02 00:34:42,981 (trainer:735) INFO: 2epoch:train:5201-5300batch: iter_time=8.962e-05, forward_time=0.147, loss_ctc=260.220, loss_att=213.440, acc=0.218, loss=227.474, backward_time=0.310, grad_norm=81.529, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.081, optim0_lr0=3.375e-05, train_time=1.544 -[gpua014:0/64] 2023-12-02 00:36:53,562 (trainer:735) INFO: 2epoch:train:5301-5400batch: iter_time=9.651e-05, forward_time=0.147, loss_ctc=241.713, loss_att=195.402, acc=0.222, loss=209.295, backward_time=0.284, grad_norm=70.639, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.081, optim0_lr0=3.392e-05, train_time=1.306 -[gpua014:0/64] 2023-12-02 00:39:13,177 (trainer:735) INFO: 2epoch:train:5401-5500batch: iter_time=8.999e-05, forward_time=0.147, loss_ctc=230.876, loss_att=192.603, acc=0.217, loss=204.085, backward_time=0.287, grad_norm=69.493, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.081, optim0_lr0=3.409e-05, train_time=1.396 -[gpua014:0/64] 2023-12-02 00:41:42,117 (trainer:735) INFO: 2epoch:train:5501-5600batch: iter_time=8.357e-05, forward_time=0.147, loss_ctc=224.522, loss_att=184.251, acc=0.225, loss=196.332, backward_time=0.337, grad_norm=69.842, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.081, optim0_lr0=3.425e-05, train_time=1.489 -[gpua014:0/64] 2023-12-02 00:44:09,123 (trainer:735) INFO: 2epoch:train:5601-5700batch: iter_time=8.358e-05, forward_time=0.147, loss_ctc=222.750, loss_att=183.919, acc=0.226, loss=195.568, backward_time=0.284, grad_norm=69.726, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.081, optim0_lr0=3.442e-05, train_time=1.470 -[gpua014:0/64] 2023-12-02 00:46:42,243 (trainer:735) INFO: 2epoch:train:5701-5800batch: iter_time=8.957e-05, forward_time=0.147, loss_ctc=247.615, loss_att=212.301, acc=0.221, loss=222.895, backward_time=0.298, grad_norm=68.786, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.081, optim0_lr0=3.459e-05, train_time=1.531 -[gpua014:0/64] 2023-12-02 00:49:01,750 (trainer:735) INFO: 2epoch:train:5801-5900batch: iter_time=9.011e-05, forward_time=0.146, loss_ctc=225.968, loss_att=189.054, acc=0.226, loss=200.128, backward_time=0.288, grad_norm=65.127, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.081, optim0_lr0=3.475e-05, train_time=1.395 -[gpua014:0/64] 2023-12-02 00:51:21,460 (trainer:735) INFO: 2epoch:train:5901-6000batch: iter_time=8.938e-05, forward_time=0.147, loss_ctc=237.548, loss_att=200.642, acc=0.218, loss=211.714, backward_time=0.310, grad_norm=69.078, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.081, optim0_lr0=3.492e-05, train_time=1.397 -[gpua014:0/64] 2023-12-02 00:53:24,295 (trainer:735) INFO: 2epoch:train:6001-6100batch: iter_time=9.136e-05, forward_time=0.161, loss_ctc=242.830, loss_att=200.738, acc=0.208, loss=213.366, backward_time=0.288, grad_norm=61.544, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.083, optim0_lr0=3.509e-05, train_time=1.228 -[gpua014:0/64] 2023-12-02 00:55:48,969 (trainer:735) INFO: 2epoch:train:6101-6200batch: iter_time=8.399e-05, forward_time=0.188, loss_ctc=259.777, loss_att=216.552, acc=0.217, loss=229.520, backward_time=0.326, grad_norm=71.651, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.082, optim0_lr0=3.525e-05, train_time=1.447 -[gpua014:0/64] 2023-12-02 00:57:19,062 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua014:0/64] 2023-12-02 00:57:37,767 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 00:57:41,273 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 00:57:41,273 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua014:0/64] 2023-12-02 00:57:41,276 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 01:08:10,562 (trainer:735) INFO: 2epoch:train:6201-6300batch: iter_time=2.441, forward_time=0.178, loss_ctc=241.465, loss_att=191.547, acc=0.220, loss=206.522, backward_time=0.282, grad_norm=81.766, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.081, optim0_lr0=3.542e-05, train_time=7.416 -[gpua014:0/64] 2023-12-02 01:10:42,894 (trainer:735) INFO: 2epoch:train:6301-6400batch: iter_time=9.147e-05, forward_time=0.148, loss_ctc=221.845, loss_att=183.584, acc=0.225, loss=195.062, backward_time=0.289, grad_norm=71.025, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.081, optim0_lr0=3.559e-05, train_time=1.523 -[gpua014:0/64] 2023-12-02 01:12:55,494 (trainer:735) INFO: 2epoch:train:6401-6500batch: iter_time=7.902e-05, forward_time=0.147, loss_ctc=240.874, loss_att=194.487, acc=0.230, loss=208.403, backward_time=0.307, grad_norm=65.711, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.080, optim0_lr0=3.575e-05, train_time=1.326 -[gpua014:0/64] 2023-12-02 01:15:48,127 (trainer:735) INFO: 2epoch:train:6501-6600batch: iter_time=9.108e-05, forward_time=0.146, loss_ctc=227.752, loss_att=186.977, acc=0.225, loss=199.209, backward_time=0.325, grad_norm=66.908, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.080, optim0_lr0=3.592e-05, train_time=1.726 -[gpua014:0/64] 2023-12-02 01:18:26,629 (trainer:735) INFO: 2epoch:train:6601-6700batch: iter_time=8.833e-05, forward_time=0.148, loss_ctc=238.884, loss_att=192.097, acc=0.224, loss=206.133, backward_time=0.340, grad_norm=72.355, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.080, optim0_lr0=3.609e-05, train_time=1.585 -[gpua014:0/64] 2023-12-02 01:20:56,274 (trainer:735) INFO: 2epoch:train:6701-6800batch: iter_time=8.333e-05, forward_time=0.146, loss_ctc=230.530, loss_att=195.255, acc=0.222, loss=205.837, backward_time=0.295, grad_norm=61.058, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.080, optim0_lr0=3.625e-05, train_time=1.496 -[gpua014:0/64] 2023-12-02 01:22:54,259 (trainer:735) INFO: 2epoch:train:6801-6900batch: iter_time=8.795e-05, forward_time=0.146, loss_ctc=219.372, loss_att=177.274, acc=0.231, loss=189.904, backward_time=0.277, grad_norm=61.259, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.080, optim0_lr0=3.642e-05, train_time=1.180 -[gpua014:0/64] 2023-12-02 01:25:15,693 (trainer:735) INFO: 2epoch:train:6901-7000batch: iter_time=8.409e-05, forward_time=0.154, loss_ctc=239.938, loss_att=204.390, acc=0.222, loss=215.054, backward_time=0.298, grad_norm=69.962, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.083, optim0_lr0=3.659e-05, train_time=1.414 -[gpua014:0/64] 2023-12-02 01:27:44,967 (trainer:735) INFO: 2epoch:train:7001-7100batch: iter_time=8.631e-05, forward_time=0.156, loss_ctc=237.995, loss_att=196.664, acc=0.225, loss=209.064, backward_time=0.321, grad_norm=75.602, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.082, optim0_lr0=3.675e-05, train_time=1.493 -[gpua014:0/64] 2023-12-02 01:30:32,086 (trainer:735) INFO: 2epoch:train:7101-7200batch: iter_time=8.559e-05, forward_time=0.146, loss_ctc=228.761, loss_att=190.563, acc=0.227, loss=202.023, backward_time=0.315, grad_norm=76.526, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.080, optim0_lr0=3.692e-05, train_time=1.671 -[gpua014:0/64] 2023-12-02 01:32:50,665 (trainer:735) INFO: 2epoch:train:7201-7300batch: iter_time=8.294e-05, forward_time=0.173, loss_ctc=253.301, loss_att=204.932, acc=0.214, loss=219.443, backward_time=0.294, grad_norm=71.420, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.084, optim0_lr0=3.709e-05, train_time=1.386 -[gpua014:0/64] 2023-12-02 01:35:34,542 (trainer:735) INFO: 2epoch:train:7301-7400batch: iter_time=7.885e-05, forward_time=0.157, loss_ctc=239.139, loss_att=197.836, acc=0.220, loss=210.227, backward_time=0.341, grad_norm=71.179, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.081, optim0_lr0=3.725e-05, train_time=1.639 -[gpua014:0/64] 2023-12-02 01:37:55,373 (trainer:735) INFO: 2epoch:train:7401-7500batch: iter_time=8.261e-05, forward_time=0.158, loss_ctc=245.797, loss_att=197.295, acc=0.221, loss=211.846, backward_time=0.299, grad_norm=83.041, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.081, optim0_lr0=3.742e-05, train_time=1.408 -[gpua014:0/64] 2023-12-02 01:38:15,401 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua014:0/64] 2023-12-02 01:38:34,255 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 01:38:37,789 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 01:38:37,789 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua014:0/64] 2023-12-02 01:38:37,793 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 01:48:49,335 (trainer:735) INFO: 2epoch:train:7501-7600batch: iter_time=2.931, forward_time=0.158, loss_ctc=218.394, loss_att=177.916, acc=0.226, loss=190.059, backward_time=0.280, grad_norm=82.764, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.081, optim0_lr0=3.759e-05, train_time=6.539 -[gpua014:0/64] 2023-12-02 01:51:20,423 (trainer:735) INFO: 2epoch:train:7601-7700batch: iter_time=7.649e-05, forward_time=0.147, loss_ctc=231.850, loss_att=187.301, acc=0.230, loss=200.666, backward_time=0.304, grad_norm=63.484, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.081, optim0_lr0=3.775e-05, train_time=1.511 -[gpua014:0/64] 2023-12-02 01:53:57,815 (trainer:735) INFO: 2epoch:train:7701-7800batch: iter_time=8.629e-05, forward_time=0.150, loss_ctc=257.279, loss_att=207.481, acc=0.226, loss=222.420, backward_time=0.309, grad_norm=74.649, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.081, optim0_lr0=3.792e-05, train_time=1.574 -[gpua014:0/64] 2023-12-02 01:55:56,250 (trainer:735) INFO: 2epoch:train:7801-7900batch: iter_time=8.550e-05, forward_time=0.147, loss_ctc=239.273, loss_att=190.039, acc=0.229, loss=204.809, backward_time=0.277, grad_norm=72.661, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.081, optim0_lr0=3.809e-05, train_time=1.184 -[gpua014:0/64] 2023-12-02 01:57:56,483 (trainer:735) INFO: 2epoch:train:7901-8000batch: iter_time=9.193e-05, forward_time=0.161, loss_ctc=228.484, loss_att=187.044, acc=0.225, loss=199.476, backward_time=0.293, grad_norm=68.615, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.082, optim0_lr0=3.825e-05, train_time=1.202 -[gpua014:0/64] 2023-12-02 02:00:57,204 (trainer:735) INFO: 2epoch:train:8001-8100batch: iter_time=9.195e-05, forward_time=0.157, loss_ctc=221.475, loss_att=179.126, acc=0.231, loss=191.831, backward_time=0.334, grad_norm=64.708, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.082, optim0_lr0=3.842e-05, train_time=1.807 -[gpua014:0/64] 2023-12-02 02:03:02,372 (trainer:735) INFO: 2epoch:train:8101-8200batch: iter_time=8.904e-05, forward_time=0.148, loss_ctc=220.783, loss_att=180.198, acc=0.231, loss=192.374, backward_time=0.293, grad_norm=66.597, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.081, optim0_lr0=3.859e-05, train_time=1.251 -[gpua014:0/64] 2023-12-02 02:05:08,600 (trainer:735) INFO: 2epoch:train:8201-8300batch: iter_time=9.210e-05, forward_time=0.153, loss_ctc=246.553, loss_att=206.866, acc=0.228, loss=218.772, backward_time=0.279, grad_norm=73.119, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.081, optim0_lr0=3.875e-05, train_time=1.262 -[gpua014:0/64] 2023-12-02 02:07:18,631 (trainer:735) INFO: 2epoch:train:8301-8400batch: iter_time=8.935e-05, forward_time=0.162, loss_ctc=225.541, loss_att=184.626, acc=0.231, loss=196.901, backward_time=0.287, grad_norm=68.424, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.081, optim0_lr0=3.892e-05, train_time=1.300 -[gpua014:0/64] 2023-12-02 02:09:42,402 (trainer:735) INFO: 2epoch:train:8401-8500batch: iter_time=8.607e-05, forward_time=0.161, loss_ctc=236.798, loss_att=196.524, acc=0.225, loss=208.606, backward_time=0.308, grad_norm=71.861, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.081, optim0_lr0=3.909e-05, train_time=1.437 -[gpua014:0/64] 2023-12-02 02:12:13,383 (trainer:735) INFO: 2epoch:train:8501-8600batch: iter_time=8.177e-05, forward_time=0.152, loss_ctc=240.447, loss_att=195.912, acc=0.215, loss=209.273, backward_time=0.310, grad_norm=67.109, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.083, optim0_lr0=3.925e-05, train_time=1.510 -[gpua014:0/64] 2023-12-02 02:14:43,881 (trainer:735) INFO: 2epoch:train:8601-8700batch: iter_time=8.509e-05, forward_time=0.169, loss_ctc=257.881, loss_att=212.598, acc=0.220, loss=226.183, backward_time=0.297, grad_norm=68.781, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.081, optim0_lr0=3.942e-05, train_time=1.505 -[gpua014:0/64] 2023-12-02 02:16:14,302 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua014:0/64] 2023-12-02 02:16:33,043 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 02:16:36,583 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 02:16:36,583 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua014:0/64] 2023-12-02 02:16:36,586 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 02:25:56,609 (trainer:735) INFO: 2epoch:train:8701-8800batch: iter_time=2.558, forward_time=0.180, loss_ctc=239.401, loss_att=187.972, acc=0.226, loss=203.401, backward_time=0.289, grad_norm=80.779, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.082, optim0_lr0=3.959e-05, train_time=6.727 -[gpua014:0/64] 2023-12-02 02:28:31,976 (trainer:735) INFO: 2epoch:train:8801-8900batch: iter_time=8.428e-05, forward_time=0.146, loss_ctc=219.763, loss_att=179.970, acc=0.232, loss=191.908, backward_time=0.294, grad_norm=60.203, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.081, optim0_lr0=3.975e-05, train_time=1.553 -[gpua014:0/64] 2023-12-02 02:31:00,501 (trainer:735) INFO: 2epoch:train:8901-9000batch: iter_time=8.274e-05, forward_time=0.146, loss_ctc=239.862, loss_att=191.197, acc=0.237, loss=205.797, backward_time=0.295, grad_norm=63.272, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.081, optim0_lr0=3.992e-05, train_time=1.485 -[gpua014:0/64] 2023-12-02 02:33:30,484 (trainer:735) INFO: 2epoch:train:9001-9100batch: iter_time=9.331e-05, forward_time=0.146, loss_ctc=224.986, loss_att=182.375, acc=0.234, loss=195.159, backward_time=0.351, grad_norm=64.582, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.081, optim0_lr0=4.009e-05, train_time=1.500 -[gpua014:0/64] 2023-12-02 02:35:30,668 (trainer:735) INFO: 2epoch:train:9101-9200batch: iter_time=1.636e-04, forward_time=0.151, loss_ctc=237.631, loss_att=187.697, acc=0.231, loss=202.677, backward_time=0.285, grad_norm=73.417, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.082, optim0_lr0=4.025e-05, train_time=1.202 -[gpua014:0/64] 2023-12-02 02:38:20,659 (trainer:735) INFO: 2epoch:train:9201-9300batch: iter_time=9.910e-05, forward_time=0.169, loss_ctc=228.789, loss_att=190.748, acc=0.227, loss=202.161, backward_time=0.345, grad_norm=68.091, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.084, optim0_lr0=4.042e-05, train_time=1.700 -[gpua014:0/64] 2023-12-02 02:40:50,045 (trainer:735) INFO: 2epoch:train:9301-9400batch: iter_time=9.506e-05, forward_time=0.147, loss_ctc=216.909, loss_att=172.652, acc=0.235, loss=185.929, backward_time=0.319, grad_norm=64.914, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.081, optim0_lr0=4.059e-05, train_time=1.494 -[gpua014:0/64] 2023-12-02 02:43:14,550 (trainer:735) INFO: 2epoch:train:9401-9500batch: iter_time=8.891e-05, forward_time=0.159, loss_ctc=238.009, loss_att=198.947, acc=0.227, loss=210.665, backward_time=0.302, grad_norm=75.124, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.085, optim0_lr0=4.075e-05, train_time=1.445 -[gpua014:0/64] 2023-12-02 02:46:10,183 (trainer:735) INFO: 2epoch:train:9501-9600batch: iter_time=9.554e-05, forward_time=0.166, loss_ctc=234.781, loss_att=192.019, acc=0.231, loss=204.848, backward_time=0.396, grad_norm=69.015, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.081, optim0_lr0=4.092e-05, train_time=1.756 -[gpua014:0/64] 2023-12-02 02:48:29,507 (trainer:735) INFO: 2epoch:train:9601-9700batch: iter_time=8.529e-05, forward_time=0.148, loss_ctc=225.321, loss_att=186.867, acc=0.231, loss=198.403, backward_time=0.308, grad_norm=67.728, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.081, optim0_lr0=4.109e-05, train_time=1.393 -[gpua014:0/64] 2023-12-02 02:51:17,556 (trainer:735) INFO: 2epoch:train:9701-9800batch: iter_time=9.664e-05, forward_time=0.162, loss_ctc=247.546, loss_att=199.617, acc=0.220, loss=213.995, backward_time=0.324, grad_norm=61.871, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.084, optim0_lr0=4.125e-05, train_time=1.680 -[gpua014:0/64] 2023-12-02 02:53:42,625 (trainer:735) INFO: 2epoch:train:9801-9900batch: iter_time=9.966e-05, forward_time=0.155, loss_ctc=236.207, loss_att=192.527, acc=0.225, loss=205.631, backward_time=0.286, grad_norm=71.278, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.081, optim0_lr0=4.142e-05, train_time=1.450 -[gpua014:0/64] 2023-12-02 02:56:05,620 (trainer:735) INFO: 2epoch:train:9901-10000batch: iter_time=9.653e-05, forward_time=0.148, loss_ctc=244.276, loss_att=194.147, acc=0.227, loss=209.186, backward_time=0.294, grad_norm=80.165, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.081, optim0_lr0=4.159e-05, train_time=1.430 -[gpua014:0/64] 2023-12-02 02:56:25,644 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua014:0/64] 2023-12-02 02:56:44,354 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 02:56:47,904 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 02:56:47,904 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua014:0/64] 2023-12-02 02:56:47,907 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 03:05:20,532 (trainer:735) INFO: 2epoch:train:10001-10100batch: iter_time=2.373, forward_time=0.173, loss_ctc=215.414, loss_att=176.840, acc=0.230, loss=188.412, backward_time=0.286, grad_norm=83.590, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.081, optim0_lr0=4.175e-05, train_time=5.549 -[gpua014:0/64] 2023-12-02 03:07:58,160 (trainer:735) INFO: 2epoch:train:10101-10200batch: iter_time=9.056e-05, forward_time=0.149, loss_ctc=229.134, loss_att=190.145, acc=0.235, loss=201.842, backward_time=0.295, grad_norm=68.041, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.080, optim0_lr0=4.192e-05, train_time=1.576 -[gpua014:0/64] 2023-12-02 03:10:00,765 (trainer:735) INFO: 2epoch:train:10201-10300batch: iter_time=8.568e-05, forward_time=0.150, loss_ctc=255.535, loss_att=209.303, acc=0.230, loss=223.172, backward_time=0.279, grad_norm=81.680, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.080, optim0_lr0=4.209e-05, train_time=1.226 -[gpua014:0/64] 2023-12-02 03:12:01,737 (trainer:735) INFO: 2epoch:train:10301-10400batch: iter_time=9.543e-05, forward_time=0.164, loss_ctc=237.059, loss_att=193.617, acc=0.235, loss=206.650, backward_time=0.279, grad_norm=84.855, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.081, optim0_lr0=4.225e-05, train_time=1.209 -[gpua014:0/64] 2023-12-02 03:14:26,629 (trainer:735) INFO: 2epoch:train:10401-10500batch: iter_time=8.130e-05, forward_time=0.162, loss_ctc=226.466, loss_att=191.518, acc=0.227, loss=202.002, backward_time=0.319, grad_norm=76.493, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.081, optim0_lr0=4.242e-05, train_time=1.448 -[gpua014:0/64] 2023-12-02 03:16:57,673 (trainer:735) INFO: 2epoch:train:10501-10600batch: iter_time=8.432e-05, forward_time=0.148, loss_ctc=219.094, loss_att=180.626, acc=0.234, loss=192.167, backward_time=0.309, grad_norm=66.937, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.080, optim0_lr0=4.259e-05, train_time=1.511 -[gpua014:0/64] 2023-12-02 03:19:42,357 (trainer:735) INFO: 2epoch:train:10601-10700batch: iter_time=8.551e-05, forward_time=0.166, loss_ctc=217.550, loss_att=183.549, acc=0.234, loss=193.749, backward_time=0.330, grad_norm=69.588, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.082, optim0_lr0=4.275e-05, train_time=1.647 -[gpua014:0/64] 2023-12-02 03:22:25,789 (trainer:735) INFO: 2epoch:train:10701-10800batch: iter_time=8.976e-05, forward_time=0.151, loss_ctc=245.019, loss_att=208.709, acc=0.231, loss=219.602, backward_time=0.319, grad_norm=67.640, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.080, optim0_lr0=4.292e-05, train_time=1.634 -[gpua014:0/64] 2023-12-02 03:24:45,187 (trainer:735) INFO: 2epoch:train:10801-10900batch: iter_time=9.381e-05, forward_time=0.148, loss_ctc=222.546, loss_att=186.369, acc=0.236, loss=197.222, backward_time=0.296, grad_norm=61.782, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.080, optim0_lr0=4.309e-05, train_time=1.394 -[gpua014:0/64] 2023-12-02 03:27:13,107 (trainer:735) INFO: 2epoch:train:10901-11000batch: iter_time=8.975e-05, forward_time=0.153, loss_ctc=233.232, loss_att=196.138, acc=0.230, loss=207.266, backward_time=0.322, grad_norm=65.380, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.080, optim0_lr0=4.325e-05, train_time=1.479 -[gpua014:0/64] 2023-12-02 03:29:14,847 (trainer:735) INFO: 2epoch:train:11001-11100batch: iter_time=8.128e-05, forward_time=0.148, loss_ctc=237.065, loss_att=197.035, acc=0.222, loss=209.044, backward_time=0.279, grad_norm=65.562, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.080, optim0_lr0=4.342e-05, train_time=1.217 -[gpua014:0/64] 2023-12-02 03:31:24,806 (trainer:735) INFO: 2epoch:train:11101-11200batch: iter_time=8.888e-05, forward_time=0.179, loss_ctc=254.756, loss_att=212.779, acc=0.225, loss=225.372, backward_time=0.287, grad_norm=66.141, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.082, optim0_lr0=4.359e-05, train_time=1.299 -[gpua014:0/64] 2023-12-02 03:33:07,175 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua014:0/64] 2023-12-02 03:33:25,693 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 03:33:29,351 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 03:33:29,351 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua014:0/64] 2023-12-02 03:33:29,355 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 03:38:28,541 (trainer:735) INFO: 2epoch:train:11201-11300batch: iter_time=2.701, forward_time=0.167, loss_ctc=239.228, loss_att=186.575, acc=0.231, loss=202.371, backward_time=0.289, grad_norm=78.544, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.081, optim0_lr0=4.375e-05, train_time=4.236 -[gpua014:0/64] 2023-12-02 03:40:29,668 (trainer:735) INFO: 2epoch:train:11301-11400batch: iter_time=8.144e-05, forward_time=0.148, loss_ctc=218.246, loss_att=181.599, acc=0.235, loss=192.593, backward_time=0.281, grad_norm=68.699, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.081, optim0_lr0=4.392e-05, train_time=1.212 -[gpua014:0/64] 2023-12-02 03:42:30,242 (trainer:735) INFO: 2epoch:train:11401-11500batch: iter_time=9.995e-05, forward_time=0.147, loss_ctc=238.435, loss_att=191.913, acc=0.240, loss=205.869, backward_time=0.278, grad_norm=69.425, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.080, optim0_lr0=4.409e-05, train_time=1.206 -[gpua014:0/64] 2023-12-02 03:44:41,354 (trainer:735) INFO: 2epoch:train:11501-11600batch: iter_time=8.658e-05, forward_time=0.148, loss_ctc=222.352, loss_att=184.327, acc=0.238, loss=195.734, backward_time=0.289, grad_norm=64.163, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.081, optim0_lr0=4.425e-05, train_time=1.311 -[gpua014:0/64] 2023-12-02 03:47:11,392 (trainer:735) INFO: 2epoch:train:11601-11700batch: iter_time=8.793e-05, forward_time=0.165, loss_ctc=235.277, loss_att=190.246, acc=0.233, loss=203.755, backward_time=0.299, grad_norm=69.732, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.083, optim0_lr0=4.442e-05, train_time=1.500 -[gpua014:0/64] 2023-12-02 03:49:22,609 (trainer:735) INFO: 2epoch:train:11701-11800batch: iter_time=9.096e-05, forward_time=0.152, loss_ctc=224.892, loss_att=193.075, acc=0.232, loss=202.620, backward_time=0.283, grad_norm=60.686, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.080, optim0_lr0=4.459e-05, train_time=1.312 -[gpua014:0/64] 2023-12-02 03:51:37,318 (trainer:735) INFO: 2epoch:train:11801-11900batch: iter_time=8.709e-05, forward_time=0.147, loss_ctc=213.435, loss_att=176.042, acc=0.239, loss=187.260, backward_time=0.296, grad_norm=59.199, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.080, optim0_lr0=4.475e-05, train_time=1.347 -[gpua014:0/64] 2023-12-02 03:54:00,662 (trainer:735) INFO: 2epoch:train:11901-12000batch: iter_time=9.203e-05, forward_time=0.147, loss_ctc=233.163, loss_att=201.611, acc=0.231, loss=211.076, backward_time=0.304, grad_norm=65.152, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.080, optim0_lr0=4.492e-05, train_time=1.433 -[gpua014:0/64] 2023-12-02 03:56:06,449 (trainer:735) INFO: 2epoch:train:12001-12100batch: iter_time=8.491e-05, forward_time=0.146, loss_ctc=231.013, loss_att=191.346, acc=0.235, loss=203.246, backward_time=0.283, grad_norm=68.921, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.080, optim0_lr0=4.509e-05, train_time=1.258 -[gpua014:0/64] 2023-12-02 03:58:17,666 (trainer:735) INFO: 2epoch:train:12101-12200batch: iter_time=3.398e-04, forward_time=0.159, loss_ctc=222.465, loss_att=188.126, acc=0.237, loss=198.428, backward_time=0.312, grad_norm=68.942, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.082, optim0_lr0=4.525e-05, train_time=1.312 -[gpua014:0/64] 2023-12-02 04:00:19,047 (trainer:735) INFO: 2epoch:train:12201-12300batch: iter_time=8.117e-05, forward_time=0.147, loss_ctc=242.951, loss_att=201.873, acc=0.225, loss=214.196, backward_time=0.278, grad_norm=63.618, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.080, optim0_lr0=4.542e-05, train_time=1.214 -[gpua014:0/64] 2023-12-02 04:02:49,382 (trainer:735) INFO: 2epoch:train:12301-12400batch: iter_time=8.303e-05, forward_time=0.180, loss_ctc=231.740, loss_att=194.189, acc=0.232, loss=205.454, backward_time=0.293, grad_norm=65.143, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.080, optim0_lr0=4.559e-05, train_time=1.503 -[gpua014:0/64] 2023-12-02 04:05:07,331 (trainer:735) INFO: 2epoch:train:12401-12500batch: iter_time=8.013e-05, forward_time=0.148, loss_ctc=240.400, loss_att=192.567, acc=0.234, loss=206.917, backward_time=0.281, grad_norm=73.166, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.080, optim0_lr0=4.575e-05, train_time=1.380 -[gpua014:0/64] 2023-12-02 04:05:27,357 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua014:0/64] 2023-12-02 04:05:46,130 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 04:05:49,689 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 04:05:49,690 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua014:0/64] 2023-12-02 04:05:49,693 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 04:14:26,754 (trainer:735) INFO: 2epoch:train:12501-12600batch: iter_time=2.727, forward_time=0.170, loss_ctc=210.012, loss_att=170.877, acc=0.237, loss=182.618, backward_time=0.280, grad_norm=69.009, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.081, optim0_lr0=4.592e-05, train_time=5.594 -[gpua014:0/64] 2023-12-02 04:16:28,964 (trainer:735) INFO: 2epoch:train:12601-12700batch: iter_time=7.963e-05, forward_time=0.148, loss_ctc=222.786, loss_att=185.667, acc=0.241, loss=196.803, backward_time=0.286, grad_norm=50.981, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.081, optim0_lr0=4.609e-05, train_time=1.222 -[gpua014:0/64] 2023-12-02 04:18:58,844 (trainer:735) INFO: 2epoch:train:12701-12800batch: iter_time=8.828e-05, forward_time=0.148, loss_ctc=247.718, loss_att=202.908, acc=0.237, loss=216.351, backward_time=0.301, grad_norm=73.443, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.081, optim0_lr0=4.625e-05, train_time=1.499 -[gpua014:0/64] 2023-12-02 04:20:57,856 (trainer:735) INFO: 2epoch:train:12801-12900batch: iter_time=8.825e-05, forward_time=0.150, loss_ctc=232.321, loss_att=188.582, acc=0.242, loss=201.704, backward_time=0.280, grad_norm=64.223, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.081, optim0_lr0=4.642e-05, train_time=1.190 -[gpua014:0/64] 2023-12-02 04:23:01,040 (trainer:735) INFO: 2epoch:train:12901-13000batch: iter_time=8.895e-05, forward_time=0.148, loss_ctc=219.923, loss_att=186.663, acc=0.234, loss=196.641, backward_time=0.289, grad_norm=64.027, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.081, optim0_lr0=4.659e-05, train_time=1.232 -[gpua014:0/64] 2023-12-02 04:25:40,120 (trainer:735) INFO: 2epoch:train:13001-13100batch: iter_time=9.421e-05, forward_time=0.163, loss_ctc=213.606, loss_att=177.116, acc=0.240, loss=188.063, backward_time=0.316, grad_norm=60.814, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.082, optim0_lr0=4.675e-05, train_time=1.591 -[gpua014:0/64] 2023-12-02 04:28:23,721 (trainer:735) INFO: 2epoch:train:13101-13200batch: iter_time=9.327e-05, forward_time=0.148, loss_ctc=208.896, loss_att=178.370, acc=0.241, loss=187.528, backward_time=0.323, grad_norm=54.400, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.081, optim0_lr0=4.692e-05, train_time=1.636 -[gpua014:0/64] 2023-12-02 04:31:05,455 (trainer:735) INFO: 2epoch:train:13201-13300batch: iter_time=8.957e-05, forward_time=0.168, loss_ctc=236.334, loss_att=203.779, acc=0.236, loss=213.546, backward_time=0.389, grad_norm=56.858, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.082, optim0_lr0=4.709e-05, train_time=1.617 -[gpua014:0/64] 2023-12-02 04:33:35,298 (trainer:735) INFO: 2epoch:train:13301-13400batch: iter_time=9.074e-05, forward_time=0.152, loss_ctc=213.057, loss_att=182.659, acc=0.239, loss=191.778, backward_time=0.335, grad_norm=55.252, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.084, optim0_lr0=4.725e-05, train_time=1.498 -[gpua014:0/64] 2023-12-02 04:35:37,634 (trainer:735) INFO: 2epoch:train:13401-13500batch: iter_time=9.692e-05, forward_time=0.148, loss_ctc=223.706, loss_att=191.792, acc=0.236, loss=201.366, backward_time=0.282, grad_norm=54.092, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.081, optim0_lr0=4.742e-05, train_time=1.224 -[gpua014:0/64] 2023-12-02 04:37:36,814 (trainer:735) INFO: 2epoch:train:13501-13600batch: iter_time=9.013e-05, forward_time=0.166, loss_ctc=225.266, loss_att=192.826, acc=0.227, loss=202.558, backward_time=0.284, grad_norm=57.886, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.081, optim0_lr0=4.759e-05, train_time=1.191 -[gpua014:0/64] 2023-12-02 04:40:09,397 (trainer:735) INFO: 2epoch:train:13601-13700batch: iter_time=8.959e-05, forward_time=0.163, loss_ctc=240.199, loss_att=208.808, acc=0.232, loss=218.225, backward_time=0.333, grad_norm=54.543, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.085, optim0_lr0=4.775e-05, train_time=1.526 -[gpua014:0/64] 2023-12-02 04:41:42,718 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua014:0/64] 2023-12-02 04:42:01,741 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 04:42:05,373 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 04:42:05,373 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua014:0/64] 2023-12-02 04:42:05,376 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 04:52:29,984 (trainer:735) INFO: 2epoch:train:13701-13800batch: iter_time=2.648, forward_time=0.176, loss_ctc=225.891, loss_att=181.648, acc=0.236, loss=194.921, backward_time=0.288, grad_norm=76.876, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.082, optim0_lr0=4.792e-05, train_time=7.405 -[gpua014:0/64] 2023-12-02 04:54:31,831 (trainer:735) INFO: 2epoch:train:13801-13900batch: iter_time=8.227e-05, forward_time=0.147, loss_ctc=207.796, loss_att=174.991, acc=0.240, loss=184.832, backward_time=0.279, grad_norm=55.852, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.080, optim0_lr0=4.809e-05, train_time=1.219 -[gpua014:0/64] 2023-12-02 04:57:00,978 (trainer:735) INFO: 2epoch:train:13901-14000batch: iter_time=9.534e-05, forward_time=0.147, loss_ctc=223.416, loss_att=185.815, acc=0.246, loss=197.095, backward_time=0.300, grad_norm=58.444, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.080, optim0_lr0=4.825e-05, train_time=1.491 -[gpua014:0/64] 2023-12-02 04:59:59,580 (trainer:735) INFO: 2epoch:train:14001-14100batch: iter_time=1.035e-04, forward_time=0.147, loss_ctc=210.037, loss_att=176.956, acc=0.243, loss=186.880, backward_time=0.331, grad_norm=60.233, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.081, optim0_lr0=4.842e-05, train_time=1.786 -[gpua014:0/64] 2023-12-02 05:02:16,828 (trainer:735) INFO: 2epoch:train:14101-14200batch: iter_time=9.171e-05, forward_time=0.147, loss_ctc=224.917, loss_att=182.201, acc=0.240, loss=195.015, backward_time=0.295, grad_norm=66.051, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.081, optim0_lr0=4.859e-05, train_time=1.372 -[gpua014:0/64] 2023-12-02 05:04:32,064 (trainer:735) INFO: 2epoch:train:14201-14300batch: iter_time=8.576e-05, forward_time=0.178, loss_ctc=211.782, loss_att=184.378, acc=0.237, loss=192.599, backward_time=0.302, grad_norm=57.782, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.082, optim0_lr0=4.875e-05, train_time=1.352 -[gpua014:0/64] 2023-12-02 05:07:10,007 (trainer:735) INFO: 2epoch:train:14301-14400batch: iter_time=1.037e-04, forward_time=0.147, loss_ctc=199.525, loss_att=168.454, acc=0.244, loss=177.776, backward_time=0.299, grad_norm=52.399, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.080, optim0_lr0=4.892e-05, train_time=1.579 -[gpua014:0/64] 2023-12-02 05:09:40,096 (trainer:735) INFO: 2epoch:train:14401-14500batch: iter_time=9.008e-05, forward_time=0.147, loss_ctc=216.116, loss_att=191.849, acc=0.240, loss=199.129, backward_time=0.319, grad_norm=59.402, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.081, optim0_lr0=4.909e-05, train_time=1.501 -[gpua014:0/64] 2023-12-02 05:11:50,237 (trainer:735) INFO: 2epoch:train:14501-14600batch: iter_time=9.267e-05, forward_time=0.201, loss_ctc=215.338, loss_att=185.502, acc=0.242, loss=194.453, backward_time=0.303, grad_norm=57.580, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.085, optim0_lr0=4.925e-05, train_time=1.299 -[gpua014:0/64] 2023-12-02 05:14:16,493 (trainer:735) INFO: 2epoch:train:14601-14700batch: iter_time=9.552e-05, forward_time=0.147, loss_ctc=203.337, loss_att=180.864, acc=0.244, loss=187.606, backward_time=0.324, grad_norm=52.470, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.080, optim0_lr0=4.942e-05, train_time=1.465 -[gpua014:0/64] 2023-12-02 05:16:46,020 (trainer:735) INFO: 2epoch:train:14701-14800batch: iter_time=1.002e-04, forward_time=0.147, loss_ctc=218.710, loss_att=193.163, acc=0.231, loss=200.827, backward_time=0.322, grad_norm=52.565, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.080, optim0_lr0=4.959e-05, train_time=1.495 -[gpua014:0/64] 2023-12-02 05:18:42,453 (trainer:735) INFO: 2epoch:train:14801-14900batch: iter_time=8.883e-05, forward_time=0.147, loss_ctc=211.646, loss_att=187.683, acc=0.236, loss=194.872, backward_time=0.281, grad_norm=57.378, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.080, optim0_lr0=4.975e-05, train_time=1.164 -[gpua014:0/64] 2023-12-02 05:21:20,463 (trainer:735) INFO: 2epoch:train:14901-15000batch: iter_time=8.682e-05, forward_time=0.149, loss_ctc=218.791, loss_att=186.400, acc=0.237, loss=196.117, backward_time=0.306, grad_norm=69.264, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.080, optim0_lr0=4.992e-05, train_time=1.580 -[gpua014:0/64] 2023-12-02 05:45:46,471 (trainer:341) INFO: 2epoch results: [train] iter_time=0.197, forward_time=0.154, loss_ctc=234.296, loss_att=196.121, acc=0.224, loss=207.573, backward_time=0.303, grad_norm=70.434, clip=100.000, loss_scale=2.847e+08, optim_step_time=0.081, optim0_lr0=3.750e-05, train_time=1.780, time=7 hours, 25 minutes and 25.19 seconds, total_count=30000, gpu_max_cached_mem_GB=35.859, [valid] loss_ctc=171.986, cer_ctc=0.829, loss_att=139.745, acc=0.203, cer=0.685, wer=1.000, loss=149.418, time=24 minutes and 2.18 seconds, total_count=9342, gpu_max_cached_mem_GB=35.859 -[gpua014:0/64] 2023-12-02 05:46:05,135 (trainer:389) INFO: The best model has been updated: valid.acc, valid.total_count -[gpua014:0/64] 2023-12-02 05:46:05,178 (trainer:272) INFO: 3/40epoch started. Estimated time to finish: 1 week, 5 days and 11 hours -[gpua014:0/64] 2023-12-02 05:46:05,242 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua014:0/64] 2023-12-02 05:46:23,227 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 05:46:26,689 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 05:46:26,690 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua014:0/64] 2023-12-02 05:46:26,693 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 05:52:17,015 (trainer:735) INFO: 3epoch:train:1-100batch: iter_time=1.669, forward_time=0.179, loss_ctc=228.002, loss_att=211.268, acc=0.232, loss=216.288, backward_time=0.284, grad_norm=70.299, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.082, optim0_lr0=5.026e-05, train_time=3.718 -[gpua014:0/64] 2023-12-02 05:54:13,793 (trainer:735) INFO: 3epoch:train:101-200batch: iter_time=8.730e-05, forward_time=0.148, loss_ctc=236.157, loss_att=212.825, acc=0.227, loss=219.825, backward_time=0.277, grad_norm=63.819, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.081, optim0_lr0=5.076e-05, train_time=1.168 -[gpua014:0/64] 2023-12-02 05:56:15,052 (trainer:735) INFO: 3epoch:train:201-300batch: iter_time=7.883e-05, forward_time=0.148, loss_ctc=202.633, loss_att=176.869, acc=0.247, loss=184.598, backward_time=0.282, grad_norm=63.862, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.080, optim0_lr0=5.126e-05, train_time=1.212 -[gpua014:0/64] 2023-12-02 05:58:26,067 (trainer:735) INFO: 3epoch:train:301-400batch: iter_time=8.863e-05, forward_time=0.149, loss_ctc=205.745, loss_att=192.161, acc=0.243, loss=196.236, backward_time=0.285, grad_norm=59.050, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.081, optim0_lr0=5.176e-05, train_time=1.310 -[gpua014:0/64] 2023-12-02 06:00:41,729 (trainer:735) INFO: 3epoch:train:401-500batch: iter_time=9.312e-05, forward_time=0.148, loss_ctc=219.160, loss_att=190.235, acc=0.242, loss=198.913, backward_time=0.293, grad_norm=65.805, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.081, optim0_lr0=5.226e-05, train_time=1.356 -[gpua014:0/64] 2023-12-02 06:02:54,578 (trainer:735) INFO: 3epoch:train:501-600batch: iter_time=8.690e-05, forward_time=0.148, loss_ctc=195.180, loss_att=179.330, acc=0.249, loss=184.085, backward_time=0.292, grad_norm=60.019, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.081, optim0_lr0=5.276e-05, train_time=1.328 -[gpua014:0/64] 2023-12-02 06:05:00,713 (trainer:735) INFO: 3epoch:train:601-700batch: iter_time=9.834e-05, forward_time=0.149, loss_ctc=210.221, loss_att=199.872, acc=0.228, loss=202.977, backward_time=0.283, grad_norm=62.172, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.081, optim0_lr0=5.326e-05, train_time=1.261 -[gpua014:0/64] 2023-12-02 06:07:23,366 (trainer:735) INFO: 3epoch:train:701-800batch: iter_time=8.971e-05, forward_time=0.149, loss_ctc=222.312, loss_att=212.251, acc=0.226, loss=215.269, backward_time=0.302, grad_norm=66.625, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.081, optim0_lr0=5.376e-05, train_time=1.426 -[gpua014:0/64] 2023-12-02 06:09:44,292 (trainer:735) INFO: 3epoch:train:801-900batch: iter_time=8.950e-05, forward_time=0.155, loss_ctc=194.497, loss_att=183.477, acc=0.247, loss=186.783, backward_time=0.299, grad_norm=58.676, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.081, optim0_lr0=5.426e-05, train_time=1.409 -[gpua014:0/64] 2023-12-02 06:12:11,370 (trainer:735) INFO: 3epoch:train:901-1000batch: iter_time=8.294e-05, forward_time=0.201, loss_ctc=227.050, loss_att=208.051, acc=0.229, loss=213.750, backward_time=0.340, grad_norm=70.260, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.087, optim0_lr0=5.476e-05, train_time=1.471 -[gpua014:0/64] 2023-12-02 06:14:37,900 (trainer:735) INFO: 3epoch:train:1001-1100batch: iter_time=8.762e-05, forward_time=0.147, loss_ctc=218.079, loss_att=197.897, acc=0.247, loss=203.951, backward_time=0.296, grad_norm=65.801, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.080, optim0_lr0=5.526e-05, train_time=1.465 -[gpua014:0/64] 2023-12-02 06:16:49,421 (trainer:735) INFO: 3epoch:train:1101-1200batch: iter_time=8.435e-05, forward_time=0.147, loss_ctc=200.804, loss_att=185.832, acc=0.237, loss=190.324, backward_time=0.287, grad_norm=54.386, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.080, optim0_lr0=5.576e-05, train_time=1.315 -[gpua014:0/64] 2023-12-02 06:18:17,145 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua014:0/64] 2023-12-02 06:18:35,257 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 06:18:38,936 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 06:18:38,936 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua014:0/64] 2023-12-02 06:18:38,939 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 06:23:20,999 (trainer:735) INFO: 3epoch:train:1201-1300batch: iter_time=2.122, forward_time=0.146, loss_ctc=207.175, loss_att=187.190, acc=0.245, loss=193.185, backward_time=0.279, grad_norm=62.301, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.080, optim0_lr0=5.626e-05, train_time=3.915 -[gpua014:0/64] 2023-12-02 06:25:17,342 (trainer:735) INFO: 3epoch:train:1301-1400batch: iter_time=9.363e-05, forward_time=0.146, loss_ctc=223.158, loss_att=220.472, acc=0.229, loss=221.278, backward_time=0.277, grad_norm=67.856, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.080, optim0_lr0=5.676e-05, train_time=1.163 -[gpua014:0/64] 2023-12-02 06:27:13,486 (trainer:735) INFO: 3epoch:train:1401-1500batch: iter_time=8.885e-05, forward_time=0.147, loss_ctc=218.296, loss_att=198.257, acc=0.235, loss=204.269, backward_time=0.278, grad_norm=67.634, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.080, optim0_lr0=5.726e-05, train_time=1.161 -[gpua014:0/64] 2023-12-02 06:29:31,665 (trainer:735) INFO: 3epoch:train:1501-1600batch: iter_time=8.657e-05, forward_time=0.146, loss_ctc=182.667, loss_att=162.619, acc=0.258, loss=168.633, backward_time=0.281, grad_norm=59.726, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.080, optim0_lr0=5.776e-05, train_time=1.382 -[gpua014:0/64] 2023-12-02 06:31:34,996 (trainer:735) INFO: 3epoch:train:1601-1700batch: iter_time=9.725e-05, forward_time=0.154, loss_ctc=190.371, loss_att=179.515, acc=0.245, loss=182.772, backward_time=0.281, grad_norm=58.683, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.081, optim0_lr0=5.826e-05, train_time=1.233 -[gpua014:0/64] 2023-12-02 06:33:53,420 (trainer:735) INFO: 3epoch:train:1701-1800batch: iter_time=9.940e-05, forward_time=0.149, loss_ctc=202.708, loss_att=181.056, acc=0.248, loss=187.552, backward_time=0.299, grad_norm=66.377, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.080, optim0_lr0=5.876e-05, train_time=1.384 -[gpua014:0/64] 2023-12-02 06:36:22,315 (trainer:735) INFO: 3epoch:train:1801-1900batch: iter_time=1.018e-04, forward_time=0.183, loss_ctc=198.102, loss_att=187.823, acc=0.241, loss=190.907, backward_time=0.299, grad_norm=67.424, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.082, optim0_lr0=5.926e-05, train_time=1.489 -[gpua014:0/64] 2023-12-02 06:38:34,154 (trainer:735) INFO: 3epoch:train:1901-2000batch: iter_time=9.577e-05, forward_time=0.185, loss_ctc=207.249, loss_att=196.113, acc=0.226, loss=199.454, backward_time=0.304, grad_norm=66.198, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.083, optim0_lr0=5.976e-05, train_time=1.318 -[gpua014:0/64] 2023-12-02 06:40:54,142 (trainer:735) INFO: 3epoch:train:2001-2100batch: iter_time=9.229e-05, forward_time=0.147, loss_ctc=189.511, loss_att=194.372, acc=0.238, loss=192.914, backward_time=0.288, grad_norm=54.131, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.081, optim0_lr0=6.026e-05, train_time=1.400 -[gpua014:0/64] 2023-12-02 06:43:15,442 (trainer:735) INFO: 3epoch:train:2101-2200batch: iter_time=9.456e-05, forward_time=0.147, loss_ctc=181.904, loss_att=176.572, acc=0.248, loss=178.172, backward_time=0.287, grad_norm=53.296, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.080, optim0_lr0=6.076e-05, train_time=1.413 -[gpua014:0/64] 2023-12-02 06:45:25,411 (trainer:735) INFO: 3epoch:train:2201-2300batch: iter_time=1.038e-04, forward_time=0.147, loss_ctc=224.185, loss_att=205.200, acc=0.238, loss=210.895, backward_time=0.289, grad_norm=73.181, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.080, optim0_lr0=6.126e-05, train_time=1.299 -[gpua014:0/64] 2023-12-02 06:47:45,077 (trainer:735) INFO: 3epoch:train:2301-2400batch: iter_time=9.596e-05, forward_time=0.147, loss_ctc=214.462, loss_att=202.972, acc=0.240, loss=206.419, backward_time=0.288, grad_norm=72.035, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.081, optim0_lr0=6.176e-05, train_time=1.396 -[gpua014:0/64] 2023-12-02 06:50:07,080 (trainer:735) INFO: 3epoch:train:2401-2500batch: iter_time=8.996e-05, forward_time=0.148, loss_ctc=179.389, loss_att=168.432, acc=0.249, loss=171.719, backward_time=0.294, grad_norm=58.047, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.080, optim0_lr0=6.226e-05, train_time=1.420 -[gpua014:0/64] 2023-12-02 06:50:21,605 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua014:0/64] 2023-12-02 06:50:39,919 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 06:50:43,505 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 06:50:43,505 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua014:0/64] 2023-12-02 06:50:43,509 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 06:56:42,000 (trainer:735) INFO: 3epoch:train:2501-2600batch: iter_time=2.301, forward_time=0.148, loss_ctc=204.502, loss_att=199.310, acc=0.239, loss=200.868, backward_time=0.282, grad_norm=63.914, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.082, optim0_lr0=6.276e-05, train_time=3.949 -[gpua014:0/64] 2023-12-02 06:58:39,772 (trainer:735) INFO: 3epoch:train:2601-2700batch: iter_time=9.687e-05, forward_time=0.148, loss_ctc=210.794, loss_att=204.540, acc=0.232, loss=206.416, backward_time=0.279, grad_norm=63.476, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.081, optim0_lr0=6.326e-05, train_time=1.178 -[gpua014:0/64] 2023-12-02 07:00:43,395 (trainer:735) INFO: 3epoch:train:2701-2800batch: iter_time=8.916e-05, forward_time=0.149, loss_ctc=183.478, loss_att=170.153, acc=0.253, loss=174.151, backward_time=0.277, grad_norm=59.304, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.080, optim0_lr0=6.376e-05, train_time=1.236 -[gpua014:0/64] 2023-12-02 07:03:02,312 (trainer:735) INFO: 3epoch:train:2801-2900batch: iter_time=9.799e-05, forward_time=0.147, loss_ctc=181.866, loss_att=180.270, acc=0.252, loss=180.749, backward_time=0.299, grad_norm=61.074, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.080, optim0_lr0=6.426e-05, train_time=1.389 -[gpua014:0/64] 2023-12-02 07:05:33,867 (trainer:735) INFO: 3epoch:train:2901-3000batch: iter_time=9.989e-05, forward_time=0.149, loss_ctc=198.329, loss_att=181.812, acc=0.247, loss=186.767, backward_time=0.315, grad_norm=65.672, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.081, optim0_lr0=6.476e-05, train_time=1.515 -[gpua014:0/64] 2023-12-02 07:07:55,138 (trainer:735) INFO: 3epoch:train:3001-3100batch: iter_time=9.515e-05, forward_time=0.148, loss_ctc=173.038, loss_att=170.609, acc=0.254, loss=171.338, backward_time=0.316, grad_norm=56.425, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.081, optim0_lr0=6.526e-05, train_time=1.412 -[gpua014:0/64] 2023-12-02 07:09:56,226 (trainer:735) INFO: 3epoch:train:3101-3200batch: iter_time=1.050e-04, forward_time=0.147, loss_ctc=188.454, loss_att=187.081, acc=0.234, loss=187.493, backward_time=0.285, grad_norm=56.743, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.081, optim0_lr0=6.576e-05, train_time=1.211 -[gpua014:0/64] 2023-12-02 07:12:13,872 (trainer:735) INFO: 3epoch:train:3201-3300batch: iter_time=1.064e-04, forward_time=0.157, loss_ctc=195.710, loss_att=201.621, acc=0.231, loss=199.848, backward_time=0.291, grad_norm=64.573, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.080, optim0_lr0=6.626e-05, train_time=1.376 -[gpua014:0/64] 2023-12-02 07:14:19,712 (trainer:735) INFO: 3epoch:train:3301-3400batch: iter_time=5.654e-04, forward_time=0.152, loss_ctc=172.874, loss_att=176.856, acc=0.252, loss=175.662, backward_time=0.282, grad_norm=48.591, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.082, optim0_lr0=6.676e-05, train_time=1.258 -[gpua014:0/64] 2023-12-02 07:16:44,556 (trainer:735) INFO: 3epoch:train:3401-3500batch: iter_time=1.031e-04, forward_time=0.148, loss_ctc=204.747, loss_att=200.606, acc=0.234, loss=201.848, backward_time=0.296, grad_norm=71.815, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.080, optim0_lr0=6.726e-05, train_time=1.448 -[gpua014:0/64] 2023-12-02 07:19:02,005 (trainer:735) INFO: 3epoch:train:3501-3600batch: iter_time=1.014e-04, forward_time=0.148, loss_ctc=195.084, loss_att=191.722, acc=0.252, loss=192.730, backward_time=0.281, grad_norm=61.177, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.080, optim0_lr0=6.776e-05, train_time=1.374 -[gpua014:0/64] 2023-12-02 07:21:08,932 (trainer:735) INFO: 3epoch:train:3601-3700batch: iter_time=1.027e-04, forward_time=0.147, loss_ctc=181.828, loss_att=178.146, acc=0.241, loss=179.251, backward_time=0.289, grad_norm=58.999, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.080, optim0_lr0=6.826e-05, train_time=1.269 -[gpua014:0/64] 2023-12-02 07:22:10,497 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua014:0/64] 2023-12-02 07:22:28,713 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 07:22:32,261 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 07:22:32,261 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua014:0/64] 2023-12-02 07:22:32,264 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 07:28:05,398 (trainer:735) INFO: 3epoch:train:3701-3800batch: iter_time=1.532, forward_time=0.173, loss_ctc=185.226, loss_att=178.957, acc=0.253, loss=180.838, backward_time=0.284, grad_norm=60.657, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.082, optim0_lr0=6.876e-05, train_time=4.164 -[gpua014:0/64] 2023-12-02 07:30:12,898 (trainer:735) INFO: 3epoch:train:3801-3900batch: iter_time=9.228e-05, forward_time=0.148, loss_ctc=199.185, loss_att=214.605, acc=0.235, loss=209.979, backward_time=0.297, grad_norm=61.770, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.080, optim0_lr0=6.926e-05, train_time=1.275 -[gpua014:0/64] 2023-12-02 07:32:28,363 (trainer:735) INFO: 3epoch:train:3901-4000batch: iter_time=9.550e-05, forward_time=0.147, loss_ctc=196.148, loss_att=194.584, acc=0.239, loss=195.053, backward_time=0.303, grad_norm=62.766, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.081, optim0_lr0=6.976e-05, train_time=1.354 -[gpua014:0/64] 2023-12-02 07:34:42,117 (trainer:735) INFO: 3epoch:train:4001-4100batch: iter_time=1.076e-04, forward_time=0.146, loss_ctc=164.864, loss_att=159.754, acc=0.261, loss=161.287, backward_time=0.308, grad_norm=57.145, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.080, optim0_lr0=7.026e-05, train_time=1.337 -[gpua014:0/64] 2023-12-02 07:36:40,702 (trainer:735) INFO: 3epoch:train:4101-4200batch: iter_time=9.920e-05, forward_time=0.147, loss_ctc=170.748, loss_att=174.848, acc=0.253, loss=173.618, backward_time=0.277, grad_norm=60.782, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.080, optim0_lr0=7.076e-05, train_time=1.186 -[gpua014:0/64] 2023-12-02 07:38:45,124 (trainer:735) INFO: 3epoch:train:4201-4300batch: iter_time=1.040e-04, forward_time=0.147, loss_ctc=184.028, loss_att=177.190, acc=0.253, loss=179.242, backward_time=0.279, grad_norm=56.825, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.080, optim0_lr0=7.126e-05, train_time=1.244 -[gpua014:0/64] 2023-12-02 07:41:01,554 (trainer:735) INFO: 3epoch:train:4301-4400batch: iter_time=8.823e-05, forward_time=0.149, loss_ctc=178.232, loss_att=183.838, acc=0.251, loss=182.156, backward_time=0.282, grad_norm=55.913, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.080, optim0_lr0=7.176e-05, train_time=1.364 -[gpua014:0/64] 2023-12-02 07:43:16,160 (trainer:735) INFO: 3epoch:train:4401-4500batch: iter_time=8.796e-05, forward_time=0.147, loss_ctc=186.949, loss_att=191.632, acc=0.231, loss=190.227, backward_time=0.285, grad_norm=68.564, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.080, optim0_lr0=7.226e-05, train_time=1.346 -[gpua014:0/64] 2023-12-02 07:45:57,018 (trainer:735) INFO: 3epoch:train:4501-4600batch: iter_time=9.078e-05, forward_time=0.147, loss_ctc=167.858, loss_att=190.113, acc=0.243, loss=183.436, backward_time=0.309, grad_norm=49.247, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.081, optim0_lr0=7.276e-05, train_time=1.608 -[gpua014:0/64] 2023-12-02 07:48:11,353 (trainer:735) INFO: 3epoch:train:4601-4700batch: iter_time=9.417e-05, forward_time=0.147, loss_ctc=164.286, loss_att=171.875, acc=0.255, loss=169.598, backward_time=0.283, grad_norm=50.524, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.081, optim0_lr0=7.326e-05, train_time=1.343 -[gpua014:0/64] 2023-12-02 07:50:29,218 (trainer:735) INFO: 3epoch:train:4701-4800batch: iter_time=1.009e-04, forward_time=0.147, loss_ctc=204.063, loss_att=201.026, acc=0.242, loss=201.937, backward_time=0.286, grad_norm=67.134, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.081, optim0_lr0=7.376e-05, train_time=1.378 -[gpua014:0/64] 2023-12-02 07:52:40,268 (trainer:735) INFO: 3epoch:train:4801-4900batch: iter_time=9.459e-05, forward_time=0.148, loss_ctc=195.981, loss_att=199.829, acc=0.244, loss=198.675, backward_time=0.287, grad_norm=69.654, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.080, optim0_lr0=7.426e-05, train_time=1.310 -[gpua014:0/64] 2023-12-02 07:54:51,185 (trainer:735) INFO: 3epoch:train:4901-5000batch: iter_time=9.387e-05, forward_time=0.147, loss_ctc=162.098, loss_att=165.972, acc=0.254, loss=164.810, backward_time=0.289, grad_norm=50.323, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.080, optim0_lr0=7.476e-05, train_time=1.309 -[gpua014:0/64] 2023-12-02 07:55:09,452 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua014:0/64] 2023-12-02 07:55:27,460 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 07:55:31,162 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 07:55:31,162 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua014:0/64] 2023-12-02 07:55:31,165 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 - -gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active -[gpua014:0/64] 2023-12-02 08:04:35,430 (trainer:735) INFO: 3epoch:train:5001-5100batch: iter_time=2.277, forward_time=0.181, loss_ctc=185.698, loss_att=204.028, acc=0.241, loss=198.529, backward_time=0.426, grad_norm=61.539, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.083, optim0_lr0=7.526e-05, train_time=5.842 - -gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active -[gpua014:0/64] 2023-12-02 08:07:50,370 (trainer:735) INFO: 3epoch:train:5101-5200batch: iter_time=0.012, forward_time=0.148, loss_ctc=190.325, loss_att=208.522, acc=0.236, loss=203.063, backward_time=0.427, grad_norm=55.142, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.081, optim0_lr0=7.576e-05, train_time=1.949 - -gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active -[gpua014:0/64] 2023-12-02 08:10:48,346 (trainer:735) INFO: 3epoch:train:5201-5300batch: iter_time=8.892e-05, forward_time=0.148, loss_ctc=168.177, loss_att=170.886, acc=0.257, loss=170.073, backward_time=0.319, grad_norm=60.344, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.081, optim0_lr0=7.626e-05, train_time=1.780 -[gpua014:0/64] 2023-12-02 08:14:32,474 (trainer:735) INFO: 3epoch:train:5301-5400batch: iter_time=9.124e-05, forward_time=0.149, loss_ctc=164.046, loss_att=185.511, acc=0.255, loss=179.071, backward_time=0.451, grad_norm=58.907, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.081, optim0_lr0=7.676e-05, train_time=2.241 -[gpua014:0/64] 2023-12-02 08:17:49,065 (trainer:735) INFO: 3epoch:train:5401-5500batch: iter_time=9.177e-05, forward_time=0.151, loss_ctc=181.099, loss_att=182.855, acc=0.252, loss=182.328, backward_time=0.381, grad_norm=58.986, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.081, optim0_lr0=7.726e-05, train_time=1.966 -[gpua014:0/64] 2023-12-02 08:21:14,759 (trainer:735) INFO: 3epoch:train:5501-5600batch: iter_time=9.155e-05, forward_time=0.149, loss_ctc=156.201, loss_att=173.684, acc=0.257, loss=168.439, backward_time=0.381, grad_norm=53.914, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.081, optim0_lr0=7.776e-05, train_time=2.057 -[gpua014:0/64] 2023-12-02 08:25:05,658 (trainer:735) INFO: 3epoch:train:5601-5700batch: iter_time=9.586e-05, forward_time=0.148, loss_ctc=171.206, loss_att=192.834, acc=0.238, loss=186.346, backward_time=0.427, grad_norm=54.920, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.081, optim0_lr0=7.826e-05, train_time=2.309 -[gpua014:0/64] 2023-12-02 08:28:12,077 (trainer:735) INFO: 3epoch:train:5701-5800batch: iter_time=8.964e-05, forward_time=0.148, loss_ctc=178.223, loss_att=205.903, acc=0.232, loss=197.599, backward_time=0.351, grad_norm=61.067, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.081, optim0_lr0=7.876e-05, train_time=1.864 -[gpua014:0/64] 2023-12-02 08:30:47,179 (trainer:735) INFO: 3epoch:train:5801-5900batch: iter_time=9.905e-05, forward_time=0.149, loss_ctc=156.872, loss_att=178.314, acc=0.257, loss=171.881, backward_time=0.326, grad_norm=52.399, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.081, optim0_lr0=7.926e-05, train_time=1.551 -[gpua014:0/64] 2023-12-02 08:33:33,263 (trainer:735) INFO: 3epoch:train:5901-6000batch: iter_time=1.011e-04, forward_time=0.148, loss_ctc=185.679, loss_att=200.314, acc=0.241, loss=195.923, backward_time=0.323, grad_norm=63.377, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.081, optim0_lr0=7.976e-05, train_time=1.661 -[gpua014:0/64] 2023-12-02 08:36:33,229 (trainer:735) INFO: 3epoch:train:6001-6100batch: iter_time=9.723e-05, forward_time=0.148, loss_ctc=180.087, loss_att=191.101, acc=0.255, loss=187.796, backward_time=0.392, grad_norm=65.783, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.081, optim0_lr0=8.026e-05, train_time=1.799 -[gpua014:0/64] 2023-12-02 08:38:58,005 (trainer:735) INFO: 3epoch:train:6101-6200batch: iter_time=9.402e-05, forward_time=0.150, loss_ctc=163.785, loss_att=176.946, acc=0.249, loss=172.998, backward_time=0.314, grad_norm=54.940, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.082, optim0_lr0=8.076e-05, train_time=1.448 -[gpua014:0/64] 2023-12-02 08:40:15,935 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua014:0/64] 2023-12-02 08:40:33,977 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 08:40:37,405 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 08:40:37,406 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua014:0/64] 2023-12-02 08:40:37,409 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 08:46:03,394 (trainer:735) INFO: 3epoch:train:6201-6300batch: iter_time=1.583, forward_time=0.187, loss_ctc=169.222, loss_att=182.573, acc=0.255, loss=178.568, backward_time=0.310, grad_norm=58.498, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.082, optim0_lr0=8.126e-05, train_time=4.253 -[gpua014:0/64] 2023-12-02 08:48:04,838 (trainer:735) INFO: 3epoch:train:6301-6400batch: iter_time=1.024e-04, forward_time=0.149, loss_ctc=181.214, loss_att=219.993, acc=0.238, loss=208.359, backward_time=0.296, grad_norm=56.289, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.081, optim0_lr0=8.176e-05, train_time=1.214 -[gpua014:0/64] 2023-12-02 08:50:01,346 (trainer:735) INFO: 3epoch:train:6401-6500batch: iter_time=9.846e-05, forward_time=0.147, loss_ctc=178.013, loss_att=194.814, acc=0.245, loss=189.774, backward_time=0.277, grad_norm=53.561, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.081, optim0_lr0=8.226e-05, train_time=1.165 -[gpua014:0/64] 2023-12-02 08:52:11,423 (trainer:735) INFO: 3epoch:train:6501-6600batch: iter_time=1.076e-04, forward_time=0.149, loss_ctc=149.002, loss_att=161.095, acc=0.265, loss=157.467, backward_time=0.281, grad_norm=54.043, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.081, optim0_lr0=8.276e-05, train_time=1.301 -[gpua014:0/64] 2023-12-02 08:54:16,465 (trainer:735) INFO: 3epoch:train:6601-6700batch: iter_time=9.897e-05, forward_time=0.147, loss_ctc=155.405, loss_att=177.837, acc=0.258, loss=171.107, backward_time=0.278, grad_norm=51.565, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.081, optim0_lr0=8.326e-05, train_time=1.250 -[gpua014:0/64] 2023-12-02 08:56:32,802 (trainer:735) INFO: 3epoch:train:6701-6800batch: iter_time=9.801e-05, forward_time=0.148, loss_ctc=167.761, loss_att=176.649, acc=0.257, loss=173.983, backward_time=0.292, grad_norm=56.596, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.081, optim0_lr0=8.376e-05, train_time=1.363 -[gpua014:0/64] 2023-12-02 08:58:54,961 (trainer:735) INFO: 3epoch:train:6801-6900batch: iter_time=9.572e-05, forward_time=0.148, loss_ctc=163.001, loss_att=187.700, acc=0.252, loss=180.291, backward_time=0.319, grad_norm=55.662, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.081, optim0_lr0=8.426e-05, train_time=1.421 -[gpua014:0/64] 2023-12-02 09:00:54,148 (trainer:735) INFO: 3epoch:train:6901-7000batch: iter_time=1.020e-04, forward_time=0.148, loss_ctc=170.009, loss_att=197.577, acc=0.237, loss=189.307, backward_time=0.281, grad_norm=59.871, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.081, optim0_lr0=8.476e-05, train_time=1.192 -[gpua014:0/64] 2023-12-02 09:02:55,910 (trainer:735) INFO: 3epoch:train:7001-7100batch: iter_time=9.341e-05, forward_time=0.148, loss_ctc=152.911, loss_att=190.702, acc=0.250, loss=179.364, backward_time=0.278, grad_norm=45.977, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.081, optim0_lr0=8.526e-05, train_time=1.217 -[gpua014:0/64] 2023-12-02 09:05:17,641 (trainer:735) INFO: 3epoch:train:7101-7200batch: iter_time=8.863e-05, forward_time=0.148, loss_ctc=149.389, loss_att=173.076, acc=0.261, loss=165.970, backward_time=0.282, grad_norm=48.395, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.081, optim0_lr0=8.576e-05, train_time=1.417 -[gpua014:0/64] 2023-12-02 09:07:33,094 (trainer:735) INFO: 3epoch:train:7201-7300batch: iter_time=8.313e-05, forward_time=0.149, loss_ctc=187.109, loss_att=199.802, acc=0.248, loss=195.994, backward_time=0.292, grad_norm=62.859, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.080, optim0_lr0=8.626e-05, train_time=1.354 -[gpua014:0/64] 2023-12-02 09:09:49,405 (trainer:735) INFO: 3epoch:train:7301-7400batch: iter_time=8.681e-05, forward_time=0.148, loss_ctc=177.453, loss_att=198.511, acc=0.251, loss=192.194, backward_time=0.290, grad_norm=65.337, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.080, optim0_lr0=8.676e-05, train_time=1.363 -[gpua014:0/64] 2023-12-02 09:11:54,833 (trainer:735) INFO: 3epoch:train:7401-7500batch: iter_time=9.076e-05, forward_time=0.148, loss_ctc=151.150, loss_att=168.808, acc=0.256, loss=163.511, backward_time=0.282, grad_norm=54.731, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.080, optim0_lr0=8.726e-05, train_time=1.254 -[gpua014:0/64] 2023-12-02 09:12:09,835 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua014:0/64] 2023-12-02 09:12:27,948 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 09:12:31,479 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 09:12:31,479 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua014:0/64] 2023-12-02 09:12:31,482 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 09:20:44,891 (trainer:735) INFO: 3epoch:train:7501-7600batch: iter_time=2.188, forward_time=0.177, loss_ctc=172.666, loss_att=199.284, acc=0.247, loss=191.299, backward_time=0.285, grad_norm=61.212, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.080, optim0_lr0=8.776e-05, train_time=5.300 -[gpua014:0/64] 2023-12-02 09:22:43,132 (trainer:735) INFO: 3epoch:train:7601-7700batch: iter_time=9.041e-05, forward_time=0.148, loss_ctc=172.852, loss_att=201.767, acc=0.245, loss=193.093, backward_time=0.279, grad_norm=54.186, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.080, optim0_lr0=8.826e-05, train_time=1.182 -[gpua014:0/64] 2023-12-02 09:24:37,954 (trainer:735) INFO: 3epoch:train:7701-7800batch: iter_time=8.594e-05, forward_time=0.147, loss_ctc=154.703, loss_att=168.147, acc=0.264, loss=164.114, backward_time=0.279, grad_norm=52.409, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.080, optim0_lr0=8.876e-05, train_time=1.148 -[gpua014:0/64] 2023-12-02 09:26:56,737 (trainer:735) INFO: 3epoch:train:7801-7900batch: iter_time=9.889e-05, forward_time=0.147, loss_ctc=149.686, loss_att=181.268, acc=0.260, loss=171.794, backward_time=0.312, grad_norm=56.192, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.079, optim0_lr0=8.926e-05, train_time=1.388 -[gpua014:0/64] 2023-12-02 09:29:26,773 (trainer:735) INFO: 3epoch:train:7901-8000batch: iter_time=8.607e-05, forward_time=0.148, loss_ctc=165.542, loss_att=177.885, acc=0.259, loss=174.182, backward_time=0.303, grad_norm=57.761, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.079, optim0_lr0=8.976e-05, train_time=1.500 -[gpua014:0/64] 2023-12-02 09:31:52,675 (trainer:735) INFO: 3epoch:train:8001-8100batch: iter_time=8.410e-05, forward_time=0.147, loss_ctc=143.544, loss_att=168.700, acc=0.267, loss=161.153, backward_time=0.314, grad_norm=53.308, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.079, optim0_lr0=9.026e-05, train_time=1.459 -[gpua014:0/64] 2023-12-02 09:34:12,338 (trainer:735) INFO: 3epoch:train:8101-8200batch: iter_time=9.791e-05, forward_time=0.147, loss_ctc=157.524, loss_att=187.644, acc=0.246, loss=178.608, backward_time=0.306, grad_norm=51.076, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.079, optim0_lr0=9.076e-05, train_time=1.396 -[gpua014:0/64] 2023-12-02 09:36:35,692 (trainer:735) INFO: 3epoch:train:8201-8300batch: iter_time=8.743e-05, forward_time=0.148, loss_ctc=163.031, loss_att=201.076, acc=0.242, loss=189.662, backward_time=0.309, grad_norm=54.903, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.080, optim0_lr0=9.126e-05, train_time=1.433 -[gpua014:0/64] 2023-12-02 09:39:17,669 (trainer:735) INFO: 3epoch:train:8301-8400batch: iter_time=8.631e-05, forward_time=0.148, loss_ctc=143.837, loss_att=175.360, acc=0.265, loss=165.903, backward_time=0.344, grad_norm=48.711, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.081, optim0_lr0=9.176e-05, train_time=1.620 -[gpua014:0/64] 2023-12-02 09:41:39,397 (trainer:735) INFO: 3epoch:train:8401-8500batch: iter_time=8.646e-05, forward_time=0.184, loss_ctc=174.924, loss_att=195.495, acc=0.248, loss=189.324, backward_time=0.302, grad_norm=63.089, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.083, optim0_lr0=9.226e-05, train_time=1.417 -[gpua014:0/64] 2023-12-02 09:44:21,584 (trainer:735) INFO: 3epoch:train:8501-8600batch: iter_time=7.518e-05, forward_time=0.167, loss_ctc=165.362, loss_att=185.392, acc=0.264, loss=179.383, backward_time=0.334, grad_norm=63.679, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.084, optim0_lr0=9.276e-05, train_time=1.622 -[gpua014:0/64] 2023-12-02 09:46:35,784 (trainer:735) INFO: 3epoch:train:8601-8700batch: iter_time=7.958e-05, forward_time=0.148, loss_ctc=151.720, loss_att=173.935, acc=0.256, loss=167.270, backward_time=0.315, grad_norm=53.130, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.081, optim0_lr0=9.326e-05, train_time=1.342 -[gpua014:0/64] 2023-12-02 09:48:08,689 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua014:0/64] 2023-12-02 09:48:27,249 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 09:48:30,873 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 09:48:30,873 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua014:0/64] 2023-12-02 09:48:30,877 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 09:54:29,914 (trainer:735) INFO: 3epoch:train:8701-8800batch: iter_time=2.298, forward_time=0.148, loss_ctc=159.213, loss_att=177.872, acc=0.264, loss=172.274, backward_time=0.324, grad_norm=61.455, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.081, optim0_lr0=9.376e-05, train_time=4.741 -[gpua014:0/64] 2023-12-02 09:59:02,798 (trainer:735) INFO: 3epoch:train:8801-8900batch: iter_time=9.542e-05, forward_time=0.148, loss_ctc=168.177, loss_att=213.873, acc=0.247, loss=200.164, backward_time=0.446, grad_norm=56.474, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.081, optim0_lr0=9.426e-05, train_time=2.729 -[gpua014:0/64] 2023-12-02 10:04:03,286 (trainer:735) INFO: 3epoch:train:8901-9000batch: iter_time=9.234e-05, forward_time=0.150, loss_ctc=165.558, loss_att=191.251, acc=0.254, loss=183.543, backward_time=0.470, grad_norm=52.706, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.080, optim0_lr0=9.476e-05, train_time=3.005 -[gpua014:0/64] 2023-12-02 10:07:32,809 (trainer:735) INFO: 3epoch:train:9001-9100batch: iter_time=1.020e-04, forward_time=0.148, loss_ctc=141.179, loss_att=157.916, acc=0.274, loss=152.895, backward_time=0.357, grad_norm=56.937, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.081, optim0_lr0=9.526e-05, train_time=2.095 -[gpua014:0/64] 2023-12-02 10:11:06,095 (trainer:735) INFO: 3epoch:train:9101-9200batch: iter_time=9.680e-05, forward_time=0.148, loss_ctc=142.423, loss_att=173.041, acc=0.268, loss=163.856, backward_time=0.331, grad_norm=50.704, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.081, optim0_lr0=9.576e-05, train_time=2.133 -[gpua014:0/64] 2023-12-02 10:14:17,124 (trainer:735) INFO: 3epoch:train:9201-9300batch: iter_time=1.031e-04, forward_time=0.148, loss_ctc=156.876, loss_att=172.231, acc=0.268, loss=167.624, backward_time=0.325, grad_norm=58.780, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.080, optim0_lr0=9.626e-05, train_time=1.910 -[gpua014:0/64] 2023-12-02 10:17:21,935 (trainer:735) INFO: 3epoch:train:9301-9400batch: iter_time=1.025e-04, forward_time=0.148, loss_ctc=150.062, loss_att=182.742, acc=0.263, loss=172.938, backward_time=0.380, grad_norm=49.851, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.080, optim0_lr0=9.676e-05, train_time=1.848 -[gpua014:0/64] 2023-12-02 10:20:20,346 (trainer:735) INFO: 3epoch:train:9401-9500batch: iter_time=1.004e-04, forward_time=0.148, loss_ctc=158.929, loss_att=192.776, acc=0.247, loss=182.622, backward_time=0.332, grad_norm=58.957, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.081, optim0_lr0=9.726e-05, train_time=1.784 -[gpua014:0/64] 2023-12-02 10:23:18,610 (trainer:735) INFO: 3epoch:train:9501-9600batch: iter_time=1.037e-04, forward_time=0.148, loss_ctc=142.286, loss_att=186.684, acc=0.260, loss=173.364, backward_time=0.323, grad_norm=45.102, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.080, optim0_lr0=9.776e-05, train_time=1.782 -[gpua014:0/64] 2023-12-02 10:26:16,537 (trainer:735) INFO: 3epoch:train:9601-9700batch: iter_time=9.187e-05, forward_time=0.188, loss_ctc=138.481, loss_att=168.146, acc=0.273, loss=159.246, backward_time=0.366, grad_norm=46.020, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.083, optim0_lr0=9.826e-05, train_time=1.779 - -gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active -[gpua014:0/64] 2023-12-02 10:29:29,156 (trainer:735) INFO: 3epoch:train:9701-9800batch: iter_time=9.215e-05, forward_time=0.177, loss_ctc=173.922, loss_att=195.208, acc=0.258, loss=188.822, backward_time=0.335, grad_norm=58.375, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.083, optim0_lr0=9.876e-05, train_time=1.926 -[gpua014:0/64] 2023-12-02 10:32:25,423 (trainer:735) INFO: 3epoch:train:9801-9900batch: iter_time=9.065e-05, forward_time=0.148, loss_ctc=165.394, loss_att=192.719, acc=0.263, loss=184.522, backward_time=0.326, grad_norm=63.012, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.080, optim0_lr0=9.926e-05, train_time=1.762 -[gpua014:0/64] 2023-12-02 10:35:02,478 (trainer:735) INFO: 3epoch:train:9901-10000batch: iter_time=9.229e-05, forward_time=0.148, loss_ctc=140.538, loss_att=164.243, acc=0.271, loss=157.131, backward_time=0.314, grad_norm=50.548, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.079, optim0_lr0=9.976e-05, train_time=1.570 -[gpua014:0/64] 2023-12-02 10:35:22,521 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua014:0/64] 2023-12-02 10:35:41,016 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 10:35:44,546 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 10:35:44,546 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua014:0/64] 2023-12-02 10:35:44,549 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 10:42:58,252 (trainer:735) INFO: 3epoch:train:10001-10100batch: iter_time=2.524, forward_time=0.147, loss_ctc=160.571, loss_att=189.574, acc=0.260, loss=180.873, backward_time=0.342, grad_norm=61.213, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.080, optim0_lr0=1.003e-04, train_time=4.758 -[gpua014:0/64] 2023-12-02 10:46:54,314 (trainer:735) INFO: 3epoch:train:10101-10200batch: iter_time=9.102e-05, forward_time=0.149, loss_ctc=163.186, loss_att=195.177, acc=0.255, loss=185.580, backward_time=0.397, grad_norm=59.076, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.080, optim0_lr0=1.008e-04, train_time=2.360 -[gpua014:0/64] 2023-12-02 10:50:40,903 (trainer:735) INFO: 3epoch:train:10201-10300batch: iter_time=9.343e-05, forward_time=0.148, loss_ctc=145.607, loss_att=160.146, acc=0.277, loss=155.784, backward_time=0.485, grad_norm=57.050, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.080, optim0_lr0=1.013e-04, train_time=2.266 -[gpua014:0/64] 2023-12-02 10:55:34,362 (trainer:735) INFO: 3epoch:train:10301-10400batch: iter_time=9.916e-05, forward_time=0.148, loss_ctc=141.139, loss_att=170.487, acc=0.275, loss=161.682, backward_time=0.389, grad_norm=57.496, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.080, optim0_lr0=1.018e-04, train_time=2.934 -[gpua014:0/64] 2023-12-02 10:59:23,901 (trainer:735) INFO: 3epoch:train:10401-10500batch: iter_time=9.167e-05, forward_time=0.148, loss_ctc=157.825, loss_att=169.309, acc=0.274, loss=165.864, backward_time=0.463, grad_norm=56.027, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.080, optim0_lr0=1.023e-04, train_time=2.295 -[gpua014:0/64] 2023-12-02 11:03:04,500 (trainer:735) INFO: 3epoch:train:10501-10600batch: iter_time=9.324e-05, forward_time=0.147, loss_ctc=134.878, loss_att=160.241, acc=0.280, loss=152.632, backward_time=0.360, grad_norm=57.387, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.079, optim0_lr0=1.028e-04, train_time=2.206 -[gpua014:0/64] 2023-12-02 11:06:55,440 (trainer:735) INFO: 3epoch:train:10601-10700batch: iter_time=9.637e-05, forward_time=0.168, loss_ctc=149.469, loss_att=176.660, acc=0.260, loss=168.503, backward_time=0.415, grad_norm=55.830, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.083, optim0_lr0=1.033e-04, train_time=2.309 -[gpua014:0/64] 2023-12-02 11:10:34,972 (trainer:735) INFO: 3epoch:train:10701-10800batch: iter_time=1.011e-04, forward_time=0.180, loss_ctc=152.670, loss_att=190.649, acc=0.256, loss=179.255, backward_time=0.407, grad_norm=54.301, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.083, optim0_lr0=1.038e-04, train_time=2.195 -[gpua014:0/64] 2023-12-02 11:14:37,348 (trainer:735) INFO: 3epoch:train:10801-10900batch: iter_time=9.170e-05, forward_time=0.148, loss_ctc=134.124, loss_att=165.814, acc=0.283, loss=156.307, backward_time=0.492, grad_norm=49.683, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.081, optim0_lr0=1.043e-04, train_time=2.424 -[gpua014:0/64] 2023-12-02 11:17:56,897 (trainer:735) INFO: 3epoch:train:10901-11000batch: iter_time=8.734e-05, forward_time=0.148, loss_ctc=164.031, loss_att=187.434, acc=0.265, loss=180.413, backward_time=0.345, grad_norm=63.483, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.081, optim0_lr0=1.048e-04, train_time=1.995 -[gpua014:0/64] 2023-12-02 11:22:53,796 (trainer:735) INFO: 3epoch:train:11001-11100batch: iter_time=9.598e-05, forward_time=0.148, loss_ctc=155.868, loss_att=177.032, acc=0.283, loss=170.683, backward_time=0.426, grad_norm=56.724, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.081, optim0_lr0=1.053e-04, train_time=2.969 -[gpua014:0/64] 2023-12-02 11:26:49,734 (trainer:735) INFO: 3epoch:train:11101-11200batch: iter_time=9.843e-05, forward_time=0.148, loss_ctc=141.809, loss_att=164.499, acc=0.274, loss=157.692, backward_time=0.440, grad_norm=49.847, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.081, optim0_lr0=1.058e-04, train_time=2.359 -[gpua014:0/64] 2023-12-02 11:28:50,807 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua014:0/64] 2023-12-02 11:29:09,110 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 11:29:12,671 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 11:29:12,671 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua014:0/64] 2023-12-02 11:29:12,674 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 11:35:32,859 (trainer:735) INFO: 3epoch:train:11201-11300batch: iter_time=2.239, forward_time=0.153, loss_ctc=151.191, loss_att=171.157, acc=0.282, loss=165.167, backward_time=0.312, grad_norm=58.014, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.081, optim0_lr0=1.063e-04, train_time=5.231 -[gpua014:0/64] 2023-12-02 11:37:30,265 (trainer:735) INFO: 3epoch:train:11301-11400batch: iter_time=9.261e-05, forward_time=0.147, loss_ctc=157.180, loss_att=206.314, acc=0.267, loss=191.574, backward_time=0.279, grad_norm=56.029, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.081, optim0_lr0=1.068e-04, train_time=1.174 -[gpua014:0/64] 2023-12-02 11:39:35,292 (trainer:735) INFO: 3epoch:train:11401-11500batch: iter_time=2.424e-04, forward_time=0.203, loss_ctc=154.704, loss_att=183.221, acc=0.274, loss=174.666, backward_time=0.307, grad_norm=55.784, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.090, optim0_lr0=1.073e-04, train_time=1.250 -[gpua014:0/64] 2023-12-02 11:41:42,566 (trainer:735) INFO: 3epoch:train:11501-11600batch: iter_time=9.613e-05, forward_time=0.166, loss_ctc=132.223, loss_att=150.771, acc=0.297, loss=145.207, backward_time=0.300, grad_norm=54.751, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.084, optim0_lr0=1.078e-04, train_time=1.273 -[gpua014:0/64] 2023-12-02 11:44:01,861 (trainer:735) INFO: 3epoch:train:11601-11700batch: iter_time=9.784e-05, forward_time=0.149, loss_ctc=135.522, loss_att=166.513, acc=0.294, loss=157.216, backward_time=0.333, grad_norm=52.632, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.081, optim0_lr0=1.083e-04, train_time=1.393 -[gpua014:0/64] 2023-12-02 11:46:16,717 (trainer:735) INFO: 3epoch:train:11701-11800batch: iter_time=9.705e-05, forward_time=0.152, loss_ctc=149.139, loss_att=163.504, acc=0.293, loss=159.195, backward_time=0.296, grad_norm=54.988, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.080, optim0_lr0=1.088e-04, train_time=1.348 -[gpua014:0/64] 2023-12-02 11:48:19,226 (trainer:735) INFO: 3epoch:train:11801-11900batch: iter_time=8.814e-05, forward_time=0.148, loss_ctc=142.518, loss_att=174.564, acc=0.289, loss=164.950, backward_time=0.281, grad_norm=54.088, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.080, optim0_lr0=1.093e-04, train_time=1.225 -[gpua014:0/64] 2023-12-02 11:50:33,655 (trainer:735) INFO: 3epoch:train:11901-12000batch: iter_time=8.651e-05, forward_time=0.148, loss_ctc=149.039, loss_att=184.955, acc=0.272, loss=174.180, backward_time=0.286, grad_norm=56.596, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.081, optim0_lr0=1.098e-04, train_time=1.344 -[gpua014:0/64] 2023-12-02 11:52:54,488 (trainer:735) INFO: 3epoch:train:12001-12100batch: iter_time=8.979e-05, forward_time=0.148, loss_ctc=134.263, loss_att=175.946, acc=0.290, loss=163.441, backward_time=0.312, grad_norm=49.400, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.080, optim0_lr0=1.103e-04, train_time=1.408 -[gpua014:0/64] 2023-12-02 11:55:26,022 (trainer:735) INFO: 3epoch:train:12101-12200batch: iter_time=9.049e-05, forward_time=0.171, loss_ctc=129.888, loss_att=157.381, acc=0.306, loss=149.133, backward_time=0.300, grad_norm=47.194, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.080, optim0_lr0=1.108e-04, train_time=1.515 -[gpua014:0/64] 2023-12-02 11:58:11,500 (trainer:735) INFO: 3epoch:train:12201-12300batch: iter_time=2.307e-04, forward_time=0.251, loss_ctc=167.334, loss_att=185.967, acc=0.289, loss=180.377, backward_time=0.316, grad_norm=60.606, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.101, optim0_lr0=1.113e-04, train_time=1.655 -[gpua014:0/64] 2023-12-02 12:00:27,614 (trainer:735) INFO: 3epoch:train:12301-12400batch: iter_time=8.438e-05, forward_time=0.150, loss_ctc=155.457, loss_att=181.381, acc=0.297, loss=173.604, backward_time=0.302, grad_norm=64.995, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.080, optim0_lr0=1.118e-04, train_time=1.361 -[gpua014:0/64] 2023-12-02 12:02:56,073 (trainer:735) INFO: 3epoch:train:12401-12500batch: iter_time=8.668e-05, forward_time=0.148, loss_ctc=132.483, loss_att=155.799, acc=0.295, loss=148.804, backward_time=0.289, grad_norm=52.817, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.081, optim0_lr0=1.123e-04, train_time=1.484 -[gpua014:0/64] 2023-12-02 12:03:16,101 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua014:0/64] 2023-12-02 12:03:34,758 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 12:03:38,346 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 12:03:38,346 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua014:0/64] 2023-12-02 12:03:38,349 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 12:09:29,478 (trainer:735) INFO: 3epoch:train:12501-12600batch: iter_time=2.364, forward_time=0.148, loss_ctc=151.786, loss_att=177.526, acc=0.287, loss=169.804, backward_time=0.287, grad_norm=62.791, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.081, optim0_lr0=1.128e-04, train_time=3.934 -[gpua014:0/64] 2023-12-02 12:11:43,512 (trainer:735) INFO: 3epoch:train:12601-12700batch: iter_time=8.169e-05, forward_time=0.148, loss_ctc=152.202, loss_att=178.964, acc=0.293, loss=170.935, backward_time=0.306, grad_norm=56.108, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.081, optim0_lr0=1.133e-04, train_time=1.340 -[gpua014:0/64] 2023-12-02 12:13:47,787 (trainer:735) INFO: 3epoch:train:12701-12800batch: iter_time=8.987e-05, forward_time=0.148, loss_ctc=137.069, loss_att=147.854, acc=0.314, loss=144.618, backward_time=0.289, grad_norm=55.040, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.081, optim0_lr0=1.138e-04, train_time=1.243 -[gpua014:0/64] 2023-12-02 12:16:03,711 (trainer:735) INFO: 3epoch:train:12801-12900batch: iter_time=9.256e-05, forward_time=0.150, loss_ctc=134.717, loss_att=157.227, acc=0.316, loss=150.474, backward_time=0.297, grad_norm=62.429, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.080, optim0_lr0=1.143e-04, train_time=1.359 -[gpua014:0/64] 2023-12-02 12:18:11,170 (trainer:735) INFO: 3epoch:train:12901-13000batch: iter_time=8.646e-05, forward_time=0.147, loss_ctc=147.562, loss_att=157.952, acc=0.310, loss=154.835, backward_time=0.285, grad_norm=59.245, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.080, optim0_lr0=1.148e-04, train_time=1.274 -[gpua014:0/64] 2023-12-02 12:20:20,956 (trainer:735) INFO: 3epoch:train:13001-13100batch: iter_time=8.868e-05, forward_time=0.149, loss_ctc=127.606, loss_att=146.213, acc=0.322, loss=140.631, backward_time=0.285, grad_norm=53.187, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.081, optim0_lr0=1.153e-04, train_time=1.298 -[gpua014:0/64] 2023-12-02 12:22:40,033 (trainer:735) INFO: 3epoch:train:13101-13200batch: iter_time=9.189e-05, forward_time=0.249, loss_ctc=141.507, loss_att=165.692, acc=0.292, loss=158.437, backward_time=0.343, grad_norm=54.650, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.091, optim0_lr0=1.158e-04, train_time=1.390 -[gpua014:0/64] 2023-12-02 12:24:56,272 (trainer:735) INFO: 3epoch:train:13201-13300batch: iter_time=8.762e-05, forward_time=0.148, loss_ctc=145.749, loss_att=175.758, acc=0.298, loss=166.755, backward_time=0.286, grad_norm=55.681, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.081, optim0_lr0=1.163e-04, train_time=1.363 -[gpua014:0/64] 2023-12-02 12:27:18,952 (trainer:735) INFO: 3epoch:train:13301-13400batch: iter_time=9.064e-05, forward_time=0.147, loss_ctc=125.851, loss_att=148.720, acc=0.328, loss=141.859, backward_time=0.310, grad_norm=50.288, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.081, optim0_lr0=1.168e-04, train_time=1.427 - -gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active -[gpua014:0/64] 2023-12-02 12:29:55,738 (trainer:735) INFO: 3epoch:train:13401-13500batch: iter_time=9.853e-05, forward_time=0.147, loss_ctc=155.317, loss_att=170.846, acc=0.309, loss=166.187, backward_time=0.290, grad_norm=61.573, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.081, optim0_lr0=1.173e-04, train_time=1.568 - -gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active -[gpua014:0/64] 2023-12-02 12:32:52,615 (trainer:735) INFO: 3epoch:train:13501-13600batch: iter_time=9.719e-05, forward_time=0.147, loss_ctc=148.023, loss_att=161.920, acc=0.330, loss=157.751, backward_time=0.370, grad_norm=64.320, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.081, optim0_lr0=1.178e-04, train_time=1.769 - -gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change - -gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change - -gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change - -gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change - -gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change - -gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change - -gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change - -gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change - -gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change - -gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change - -gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change - -gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change - -gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change - -gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change - -gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change - -gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change - -gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change - -gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change - -gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change - -gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change - -gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change - -gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change - -gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change - -gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change - -gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change - -gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change - -gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change - -gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change - -gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change - -gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change - -gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change - -gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change -[gpua014:0/64] 2023-12-02 12:35:30,083 (trainer:735) INFO: 3epoch:train:13601-13700batch: iter_time=1.018e-04, forward_time=0.147, loss_ctc=134.349, loss_att=151.497, acc=0.315, loss=146.352, backward_time=0.311, grad_norm=56.791, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.081, optim0_lr0=1.183e-04, train_time=1.574 -[gpua014:0/64] 2023-12-02 12:37:11,406 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua014:0/64] 2023-12-02 12:37:30,018 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 12:37:33,579 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 12:37:33,579 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua014:0/64] 2023-12-02 12:37:33,582 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 12:42:48,300 (trainer:735) INFO: 3epoch:train:13701-13800batch: iter_time=2.855, forward_time=0.186, loss_ctc=140.856, loss_att=152.160, acc=0.325, loss=148.769, backward_time=0.293, grad_norm=55.086, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.082, optim0_lr0=1.188e-04, train_time=4.382 -[gpua014:0/64] 2023-12-02 12:44:46,003 (trainer:735) INFO: 3epoch:train:13801-13900batch: iter_time=7.882e-05, forward_time=0.149, loss_ctc=149.397, loss_att=181.390, acc=0.319, loss=171.792, backward_time=0.282, grad_norm=60.156, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.081, optim0_lr0=1.193e-04, train_time=1.177 -[gpua014:0/64] 2023-12-02 12:46:46,457 (trainer:735) INFO: 3epoch:train:13901-14000batch: iter_time=7.959e-05, forward_time=0.148, loss_ctc=147.318, loss_att=165.127, acc=0.316, loss=159.784, backward_time=0.281, grad_norm=61.673, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.081, optim0_lr0=1.198e-04, train_time=1.205 -[gpua014:0/64] 2023-12-02 12:48:58,566 (trainer:735) INFO: 3epoch:train:14001-14100batch: iter_time=8.920e-05, forward_time=0.150, loss_ctc=126.089, loss_att=132.024, acc=0.345, loss=130.244, backward_time=0.290, grad_norm=55.598, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.081, optim0_lr0=1.203e-04, train_time=1.321 -[gpua014:0/64] 2023-12-02 12:51:10,112 (trainer:735) INFO: 3epoch:train:14101-14200batch: iter_time=8.560e-05, forward_time=0.147, loss_ctc=126.480, loss_att=145.040, acc=0.341, loss=139.472, backward_time=0.286, grad_norm=54.950, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.080, optim0_lr0=1.208e-04, train_time=1.315 -[gpua014:0/64] 2023-12-02 12:53:16,552 (trainer:735) INFO: 3epoch:train:14201-14300batch: iter_time=8.435e-05, forward_time=0.147, loss_ctc=138.288, loss_att=142.637, acc=0.343, loss=141.332, backward_time=0.286, grad_norm=59.312, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.080, optim0_lr0=1.213e-04, train_time=1.264 -[gpua014:0/64] 2023-12-02 12:55:41,396 (trainer:735) INFO: 3epoch:train:14301-14400batch: iter_time=8.812e-05, forward_time=0.149, loss_ctc=136.252, loss_att=154.754, acc=0.331, loss=149.204, backward_time=0.299, grad_norm=60.942, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.080, optim0_lr0=1.218e-04, train_time=1.448 -[gpua014:0/64] 2023-12-02 12:57:52,183 (trainer:735) INFO: 3epoch:train:14401-14500batch: iter_time=9.502e-05, forward_time=0.147, loss_ctc=141.488, loss_att=163.728, acc=0.313, loss=157.056, backward_time=0.286, grad_norm=55.353, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.080, optim0_lr0=1.223e-04, train_time=1.307 -[gpua014:0/64] 2023-12-02 13:00:29,349 (trainer:735) INFO: 3epoch:train:14501-14600batch: iter_time=8.521e-05, forward_time=0.147, loss_ctc=127.361, loss_att=153.774, acc=0.344, loss=145.850, backward_time=0.304, grad_norm=53.117, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.080, optim0_lr0=1.228e-04, train_time=1.572 -[gpua014:0/64] 2023-12-02 13:02:47,839 (trainer:735) INFO: 3epoch:train:14601-14700batch: iter_time=8.519e-05, forward_time=0.148, loss_ctc=123.523, loss_att=138.039, acc=0.355, loss=133.684, backward_time=0.287, grad_norm=53.743, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.081, optim0_lr0=1.233e-04, train_time=1.385 -[gpua014:0/64] 2023-12-02 13:05:16,612 (trainer:735) INFO: 3epoch:train:14701-14800batch: iter_time=8.483e-05, forward_time=0.182, loss_ctc=155.128, loss_att=165.373, acc=0.335, loss=162.300, backward_time=0.331, grad_norm=60.285, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.087, optim0_lr0=1.238e-04, train_time=1.488 -[gpua014:0/64] 2023-12-02 13:07:59,486 (trainer:735) INFO: 3epoch:train:14801-14900batch: iter_time=9.191e-05, forward_time=0.156, loss_ctc=148.089, loss_att=161.586, acc=0.346, loss=157.537, backward_time=0.317, grad_norm=69.661, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.081, optim0_lr0=1.243e-04, train_time=1.629 -[gpua014:0/64] 2023-12-02 13:10:17,987 (trainer:735) INFO: 3epoch:train:14901-15000batch: iter_time=9.055e-05, forward_time=0.147, loss_ctc=126.788, loss_att=137.912, acc=0.341, loss=134.575, backward_time=0.297, grad_norm=54.252, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.080, optim0_lr0=1.248e-04, train_time=1.384 -[gpua014:0/64] 2023-12-02 13:36:33,442 (trainer:341) INFO: 3epoch results: [train] iter_time=0.173, forward_time=0.154, loss_ctc=167.745, loss_att=180.270, acc=0.266, loss=176.512, backward_time=0.317, grad_norm=58.242, clip=100.000, loss_scale=5.469e+10, optim_step_time=0.081, optim0_lr0=8.751e-05, train_time=1.777, time=7 hours, 24 minutes and 36.95 seconds, total_count=45000, gpu_max_cached_mem_GB=37.328, [valid] loss_ctc=116.449, cer_ctc=0.563, loss_att=113.783, acc=0.271, cer=0.637, wer=1.000, loss=114.583, time=25 minutes and 51.21 seconds, total_count=14013, gpu_max_cached_mem_GB=37.328 -[gpua014:0/64] 2023-12-02 13:36:56,856 (trainer:389) INFO: The best model has been updated: valid.acc, valid.total_count -[gpua014:0/64] 2023-12-02 13:36:57,028 (trainer:272) INFO: 4/40epoch started. Estimated time to finish: 1 week, 5 days and 3 hours -[gpua014:0/64] 2023-12-02 13:36:58,118 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua014:0/64] 2023-12-02 13:37:16,420 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 13:37:19,878 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 13:37:19,878 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua014:0/64] 2023-12-02 13:37:19,882 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 13:44:34,781 (trainer:735) INFO: 4epoch:train:1-100batch: iter_time=2.620, forward_time=0.180, loss_ctc=138.678, loss_att=148.016, acc=0.348, loss=145.215, backward_time=0.286, grad_norm=70.096, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.080, optim0_lr0=1.253e-04, train_time=4.566 -[gpua014:0/64] 2023-12-02 13:46:32,425 (trainer:735) INFO: 4epoch:train:101-200batch: iter_time=8.942e-05, forward_time=0.148, loss_ctc=129.528, loss_att=153.496, acc=0.344, loss=146.306, backward_time=0.279, grad_norm=61.181, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.080, optim0_lr0=1.258e-04, train_time=1.176 -[gpua014:0/64] 2023-12-02 13:48:28,375 (trainer:735) INFO: 4epoch:train:201-300batch: iter_time=8.966e-05, forward_time=0.148, loss_ctc=136.562, loss_att=150.098, acc=0.372, loss=146.037, backward_time=0.279, grad_norm=59.926, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.080, optim0_lr0=1.263e-04, train_time=1.159 -[gpua014:0/64] 2023-12-02 13:50:27,198 (trainer:735) INFO: 4epoch:train:301-400batch: iter_time=9.546e-05, forward_time=0.148, loss_ctc=141.008, loss_att=156.586, acc=0.360, loss=151.913, backward_time=0.283, grad_norm=60.723, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.080, optim0_lr0=1.268e-04, train_time=1.188 -[gpua014:0/64] 2023-12-02 13:52:39,209 (trainer:735) INFO: 4epoch:train:401-500batch: iter_time=8.476e-05, forward_time=0.147, loss_ctc=118.002, loss_att=131.845, acc=0.367, loss=127.692, backward_time=0.279, grad_norm=50.606, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.080, optim0_lr0=1.273e-04, train_time=1.320 -[gpua014:0/64] 2023-12-02 13:54:56,492 (trainer:735) INFO: 4epoch:train:501-600batch: iter_time=8.831e-05, forward_time=0.149, loss_ctc=123.047, loss_att=134.059, acc=0.365, loss=130.755, backward_time=0.298, grad_norm=56.136, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.080, optim0_lr0=1.278e-04, train_time=1.373 -[gpua014:0/64] 2023-12-02 13:57:22,805 (trainer:735) INFO: 4epoch:train:601-700batch: iter_time=9.415e-05, forward_time=0.147, loss_ctc=133.830, loss_att=150.838, acc=0.357, loss=145.735, backward_time=0.293, grad_norm=54.666, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.080, optim0_lr0=1.283e-04, train_time=1.463 -[gpua014:0/64] 2023-12-02 13:59:43,119 (trainer:735) INFO: 4epoch:train:701-800batch: iter_time=9.223e-05, forward_time=0.147, loss_ctc=120.225, loss_att=129.129, acc=0.380, loss=126.458, backward_time=0.291, grad_norm=59.766, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.080, optim0_lr0=1.288e-04, train_time=1.403 -[gpua014:0/64] 2023-12-02 14:02:00,524 (trainer:735) INFO: 4epoch:train:801-900batch: iter_time=1.032e-04, forward_time=0.150, loss_ctc=117.609, loss_att=128.477, acc=0.395, loss=125.217, backward_time=0.333, grad_norm=47.611, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.081, optim0_lr0=1.293e-04, train_time=1.374 -[gpua014:0/64] 2023-12-02 14:04:44,092 (trainer:735) INFO: 4epoch:train:901-1000batch: iter_time=9.628e-05, forward_time=0.233, loss_ctc=135.008, loss_att=142.705, acc=0.361, loss=140.396, backward_time=0.359, grad_norm=64.217, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.091, optim0_lr0=1.298e-04, train_time=1.635 -[gpua014:0/64] 2023-12-02 14:07:07,356 (trainer:735) INFO: 4epoch:train:1001-1100batch: iter_time=9.881e-05, forward_time=0.147, loss_ctc=130.155, loss_att=140.847, acc=0.362, loss=137.639, backward_time=0.305, grad_norm=53.251, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.079, optim0_lr0=1.303e-04, train_time=1.432 -[gpua014:0/64] 2023-12-02 14:09:31,221 (trainer:735) INFO: 4epoch:train:1101-1200batch: iter_time=9.789e-05, forward_time=0.149, loss_ctc=128.611, loss_att=144.921, acc=0.379, loss=140.028, backward_time=0.299, grad_norm=56.044, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.080, optim0_lr0=1.308e-04, train_time=1.438 -[gpua014:0/64] 2023-12-02 14:10:55,620 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua014:0/64] 2023-12-02 14:11:14,313 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 14:11:17,895 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 14:11:17,895 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua014:0/64] 2023-12-02 14:11:17,898 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 14:21:07,694 (trainer:735) INFO: 4epoch:train:1201-1300batch: iter_time=2.857, forward_time=0.149, loss_ctc=128.423, loss_att=136.282, acc=0.376, loss=133.924, backward_time=0.284, grad_norm=57.022, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.079, optim0_lr0=1.313e-04, train_time=6.965 -[gpua014:0/64] 2023-12-02 14:23:04,615 (trainer:735) INFO: 4epoch:train:1301-1400batch: iter_time=7.990e-05, forward_time=0.147, loss_ctc=126.913, loss_att=137.683, acc=0.374, loss=134.452, backward_time=0.278, grad_norm=56.571, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.079, optim0_lr0=1.318e-04, train_time=1.169 -[gpua014:0/64] 2023-12-02 14:25:08,104 (trainer:735) INFO: 4epoch:train:1401-1500batch: iter_time=8.614e-05, forward_time=0.146, loss_ctc=135.103, loss_att=140.843, acc=0.373, loss=139.121, backward_time=0.284, grad_norm=62.983, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.079, optim0_lr0=1.323e-04, train_time=1.235 -[gpua014:0/64] 2023-12-02 14:27:18,021 (trainer:735) INFO: 4epoch:train:1501-1600batch: iter_time=8.612e-05, forward_time=0.149, loss_ctc=118.244, loss_att=126.987, acc=0.406, loss=124.364, backward_time=0.291, grad_norm=53.009, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.080, optim0_lr0=1.328e-04, train_time=1.299 -[gpua014:0/64] 2023-12-02 14:29:20,955 (trainer:735) INFO: 4epoch:train:1601-1700batch: iter_time=9.039e-05, forward_time=0.146, loss_ctc=145.046, loss_att=150.803, acc=0.376, loss=149.076, backward_time=0.277, grad_norm=63.942, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.079, optim0_lr0=1.333e-04, train_time=1.229 -[gpua014:0/64] 2023-12-02 14:31:16,888 (trainer:735) INFO: 4epoch:train:1701-1800batch: iter_time=9.123e-05, forward_time=0.149, loss_ctc=109.009, loss_att=113.098, acc=0.394, loss=111.871, backward_time=0.278, grad_norm=45.146, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.079, optim0_lr0=1.338e-04, train_time=1.159 -[gpua014:0/64] 2023-12-02 14:33:38,302 (trainer:735) INFO: 4epoch:train:1801-1900batch: iter_time=8.453e-05, forward_time=0.148, loss_ctc=130.677, loss_att=142.843, acc=0.373, loss=139.193, backward_time=0.308, grad_norm=55.075, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.080, optim0_lr0=1.343e-04, train_time=1.414 -[gpua014:0/64] 2023-12-02 14:35:59,944 (trainer:735) INFO: 4epoch:train:1901-2000batch: iter_time=8.592e-05, forward_time=0.146, loss_ctc=118.240, loss_att=116.488, acc=0.409, loss=117.014, backward_time=0.298, grad_norm=53.935, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.079, optim0_lr0=1.348e-04, train_time=1.416 -[gpua014:0/64] 2023-12-02 14:38:06,895 (trainer:735) INFO: 4epoch:train:2001-2100batch: iter_time=8.710e-05, forward_time=0.147, loss_ctc=115.378, loss_att=124.558, acc=0.399, loss=121.804, backward_time=0.279, grad_norm=50.468, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.080, optim0_lr0=1.353e-04, train_time=1.269 -[gpua014:0/64] 2023-12-02 14:40:36,415 (trainer:735) INFO: 4epoch:train:2101-2200batch: iter_time=9.054e-05, forward_time=0.199, loss_ctc=135.370, loss_att=135.077, acc=0.408, loss=135.165, backward_time=0.344, grad_norm=67.864, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.086, optim0_lr0=1.358e-04, train_time=1.495 -[gpua014:0/64] 2023-12-02 14:42:51,147 (trainer:735) INFO: 4epoch:train:2201-2300batch: iter_time=8.779e-05, forward_time=0.166, loss_ctc=119.471, loss_att=121.296, acc=0.398, loss=120.749, backward_time=0.302, grad_norm=49.943, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.082, optim0_lr0=1.363e-04, train_time=1.347 -[gpua014:0/64] 2023-12-02 14:45:09,003 (trainer:735) INFO: 4epoch:train:2301-2400batch: iter_time=8.554e-05, forward_time=0.148, loss_ctc=128.583, loss_att=133.505, acc=0.396, loss=132.029, backward_time=0.294, grad_norm=53.823, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.080, optim0_lr0=1.368e-04, train_time=1.378 -[gpua014:0/64] 2023-12-02 14:47:13,760 (trainer:735) INFO: 4epoch:train:2401-2500batch: iter_time=8.603e-05, forward_time=0.147, loss_ctc=124.794, loss_att=132.482, acc=0.393, loss=130.176, backward_time=0.280, grad_norm=53.930, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.079, optim0_lr0=1.373e-04, train_time=1.247 -[gpua014:0/64] 2023-12-02 14:47:19,130 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua014:0/64] 2023-12-02 14:47:37,514 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 14:47:41,024 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 14:47:41,025 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua014:0/64] 2023-12-02 14:47:41,028 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 14:54:41,717 (trainer:735) INFO: 4epoch:train:2501-2600batch: iter_time=1.364, forward_time=0.148, loss_ctc=131.506, loss_att=131.674, acc=0.404, loss=131.624, backward_time=0.281, grad_norm=69.023, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.080, optim0_lr0=1.378e-04, train_time=4.479 -[gpua014:0/64] 2023-12-02 14:56:38,972 (trainer:735) INFO: 4epoch:train:2601-2700batch: iter_time=8.186e-05, forward_time=0.147, loss_ctc=123.433, loss_att=140.773, acc=0.389, loss=135.571, backward_time=0.280, grad_norm=62.195, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.080, optim0_lr0=1.383e-04, train_time=1.172 -[gpua014:0/64] 2023-12-02 14:58:55,184 (trainer:735) INFO: 4epoch:train:2701-2800batch: iter_time=8.758e-05, forward_time=0.148, loss_ctc=129.834, loss_att=133.576, acc=0.427, loss=132.453, backward_time=0.287, grad_norm=64.170, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.080, optim0_lr0=1.388e-04, train_time=1.362 -[gpua014:0/64] 2023-12-02 15:00:54,754 (trainer:735) INFO: 4epoch:train:2801-2900batch: iter_time=9.345e-05, forward_time=0.148, loss_ctc=135.437, loss_att=141.995, acc=0.409, loss=140.027, backward_time=0.284, grad_norm=60.393, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.080, optim0_lr0=1.393e-04, train_time=1.195 -[gpua014:0/64] 2023-12-02 15:02:59,560 (trainer:735) INFO: 4epoch:train:2901-3000batch: iter_time=9.119e-05, forward_time=0.147, loss_ctc=113.566, loss_att=121.474, acc=0.410, loss=119.102, backward_time=0.281, grad_norm=49.346, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.080, optim0_lr0=1.398e-04, train_time=1.248 -[gpua014:0/64] 2023-12-02 15:05:10,408 (trainer:735) INFO: 4epoch:train:3001-3100batch: iter_time=1.005e-04, forward_time=0.147, loss_ctc=117.130, loss_att=122.517, acc=0.407, loss=120.901, backward_time=0.278, grad_norm=57.286, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.080, optim0_lr0=1.403e-04, train_time=1.308 -[gpua014:0/64] 2023-12-02 15:07:25,745 (trainer:735) INFO: 4epoch:train:3101-3200batch: iter_time=9.788e-05, forward_time=0.148, loss_ctc=129.097, loss_att=137.807, acc=0.403, loss=135.194, backward_time=0.300, grad_norm=55.630, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.080, optim0_lr0=1.408e-04, train_time=1.353 -[gpua014:0/64] 2023-12-02 15:09:28,430 (trainer:735) INFO: 4epoch:train:3201-3300batch: iter_time=1.002e-04, forward_time=0.147, loss_ctc=113.650, loss_att=112.913, acc=0.437, loss=113.134, backward_time=0.281, grad_norm=51.309, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.080, optim0_lr0=1.413e-04, train_time=1.227 -[gpua014:0/64] 2023-12-02 15:11:33,535 (trainer:735) INFO: 4epoch:train:3301-3400batch: iter_time=1.045e-04, forward_time=0.148, loss_ctc=111.800, loss_att=115.357, acc=0.446, loss=114.290, backward_time=0.277, grad_norm=48.117, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.080, optim0_lr0=1.418e-04, train_time=1.251 -[gpua014:0/64] 2023-12-02 15:13:46,802 (trainer:735) INFO: 4epoch:train:3401-3500batch: iter_time=1.009e-04, forward_time=0.148, loss_ctc=129.051, loss_att=127.189, acc=0.409, loss=127.747, backward_time=0.292, grad_norm=65.007, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.080, optim0_lr0=1.423e-04, train_time=1.332 -[gpua014:0/64] 2023-12-02 15:16:20,239 (trainer:735) INFO: 4epoch:train:3501-3600batch: iter_time=1.064e-04, forward_time=0.150, loss_ctc=123.001, loss_att=129.283, acc=0.406, loss=127.398, backward_time=0.297, grad_norm=48.829, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.080, optim0_lr0=1.428e-04, train_time=1.534 -[gpua014:0/64] 2023-12-02 15:18:41,132 (trainer:735) INFO: 4epoch:train:3601-3700batch: iter_time=5.984e-04, forward_time=0.148, loss_ctc=121.886, loss_att=131.067, acc=0.426, loss=128.313, backward_time=0.300, grad_norm=52.915, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.082, optim0_lr0=1.433e-04, train_time=1.409 -[gpua014:0/64] 2023-12-02 15:20:06,064 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua014:0/64] 2023-12-02 15:20:24,452 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 15:20:28,264 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 15:20:28,264 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua014:0/64] 2023-12-02 15:20:28,267 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 15:30:50,624 (trainer:735) INFO: 4epoch:train:3701-3800batch: iter_time=3.158, forward_time=0.185, loss_ctc=124.110, loss_att=129.212, acc=0.412, loss=127.682, backward_time=0.292, grad_norm=59.247, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.083, optim0_lr0=1.438e-04, train_time=7.295 -[gpua014:0/64] 2023-12-02 15:33:11,250 (trainer:735) INFO: 4epoch:train:3801-3900batch: iter_time=7.697e-05, forward_time=0.148, loss_ctc=122.269, loss_att=130.381, acc=0.422, loss=127.948, backward_time=0.344, grad_norm=54.853, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.081, optim0_lr0=1.443e-04, train_time=1.406 -[gpua014:0/64] 2023-12-02 15:35:11,097 (trainer:735) INFO: 4epoch:train:3901-4000batch: iter_time=8.097e-05, forward_time=0.147, loss_ctc=130.463, loss_att=134.568, acc=0.414, loss=133.337, backward_time=0.279, grad_norm=58.973, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.081, optim0_lr0=1.448e-04, train_time=1.198 -[gpua014:0/64] 2023-12-02 15:37:28,762 (trainer:735) INFO: 4epoch:train:4001-4100batch: iter_time=8.370e-05, forward_time=0.147, loss_ctc=113.481, loss_att=116.255, acc=0.456, loss=115.423, backward_time=0.290, grad_norm=47.643, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.081, optim0_lr0=1.453e-04, train_time=1.376 -[gpua014:0/64] 2023-12-02 15:39:35,254 (trainer:735) INFO: 4epoch:train:4101-4200batch: iter_time=8.549e-05, forward_time=0.150, loss_ctc=138.711, loss_att=143.522, acc=0.415, loss=142.079, backward_time=0.282, grad_norm=64.768, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.081, optim0_lr0=1.458e-04, train_time=1.265 -[gpua014:0/64] 2023-12-02 15:41:56,559 (trainer:735) INFO: 4epoch:train:4201-4300batch: iter_time=8.484e-05, forward_time=0.147, loss_ctc=105.583, loss_att=106.792, acc=0.433, loss=106.429, backward_time=0.324, grad_norm=48.019, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.080, optim0_lr0=1.463e-04, train_time=1.413 -[gpua014:0/64] 2023-12-02 15:43:57,408 (trainer:735) INFO: 4epoch:train:4301-4400batch: iter_time=8.407e-05, forward_time=0.147, loss_ctc=127.064, loss_att=133.506, acc=0.416, loss=131.573, backward_time=0.283, grad_norm=55.278, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.081, optim0_lr0=1.468e-04, train_time=1.208 -[gpua014:0/64] 2023-12-02 15:46:21,984 (trainer:735) INFO: 4epoch:train:4401-4500batch: iter_time=9.300e-05, forward_time=0.147, loss_ctc=112.156, loss_att=110.872, acc=0.449, loss=111.257, backward_time=0.304, grad_norm=50.797, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.081, optim0_lr0=1.473e-04, train_time=1.446 -[gpua014:0/64] 2023-12-02 15:48:37,832 (trainer:735) INFO: 4epoch:train:4501-4600batch: iter_time=8.954e-05, forward_time=0.147, loss_ctc=109.371, loss_att=113.508, acc=0.447, loss=112.267, backward_time=0.293, grad_norm=46.146, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.081, optim0_lr0=1.478e-04, train_time=1.358 -[gpua014:0/64] 2023-12-02 15:51:09,633 (trainer:735) INFO: 4epoch:train:4601-4700batch: iter_time=8.773e-05, forward_time=0.149, loss_ctc=128.300, loss_att=122.535, acc=0.455, loss=124.265, backward_time=0.302, grad_norm=59.883, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.080, optim0_lr0=1.483e-04, train_time=1.518 -[gpua014:0/64] 2023-12-02 15:53:44,631 (trainer:735) INFO: 4epoch:train:4701-4800batch: iter_time=8.396e-05, forward_time=0.146, loss_ctc=114.585, loss_att=112.758, acc=0.438, loss=113.306, backward_time=0.300, grad_norm=48.370, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.080, optim0_lr0=1.488e-04, train_time=1.550 -[gpua014:0/64] 2023-12-02 15:55:53,461 (trainer:735) INFO: 4epoch:train:4801-4900batch: iter_time=8.028e-05, forward_time=0.150, loss_ctc=122.506, loss_att=124.177, acc=0.439, loss=123.676, backward_time=0.279, grad_norm=52.728, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.080, optim0_lr0=1.493e-04, train_time=1.288 -[gpua014:0/64] 2023-12-02 15:58:11,155 (trainer:735) INFO: 4epoch:train:4901-5000batch: iter_time=7.790e-05, forward_time=0.147, loss_ctc=119.962, loss_att=130.880, acc=0.421, loss=127.604, backward_time=0.288, grad_norm=51.414, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.080, optim0_lr0=1.498e-04, train_time=1.377 -[gpua014:0/64] 2023-12-02 15:58:15,925 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua014:0/64] 2023-12-02 15:58:34,695 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 15:58:38,292 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 15:58:38,292 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua014:0/64] 2023-12-02 15:58:38,295 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 16:05:50,591 (trainer:735) INFO: 4epoch:train:5001-5100batch: iter_time=1.421, forward_time=0.194, loss_ctc=123.697, loss_att=116.285, acc=0.444, loss=118.509, backward_time=0.289, grad_norm=59.986, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.082, optim0_lr0=1.503e-04, train_time=4.594 -[gpua014:0/64] 2023-12-02 16:07:56,339 (trainer:735) INFO: 4epoch:train:5101-5200batch: iter_time=8.299e-05, forward_time=0.147, loss_ctc=116.890, loss_att=121.017, acc=0.427, loss=119.779, backward_time=0.296, grad_norm=53.775, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.081, optim0_lr0=1.508e-04, train_time=1.257 -[gpua014:0/64] 2023-12-02 16:09:56,330 (trainer:735) INFO: 4epoch:train:5201-5300batch: iter_time=8.890e-05, forward_time=0.149, loss_ctc=125.129, loss_att=119.386, acc=0.465, loss=121.109, backward_time=0.279, grad_norm=52.282, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.513e-04, train_time=1.200 -[gpua014:0/64] 2023-12-02 16:11:57,286 (trainer:735) INFO: 4epoch:train:5301-5400batch: iter_time=8.569e-05, forward_time=0.146, loss_ctc=129.438, loss_att=128.126, acc=0.448, loss=128.519, backward_time=0.278, grad_norm=54.881, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.518e-04, train_time=1.209 -[gpua014:0/64] 2023-12-02 16:14:04,400 (trainer:735) INFO: 4epoch:train:5401-5500batch: iter_time=8.970e-05, forward_time=0.147, loss_ctc=109.440, loss_att=110.582, acc=0.438, loss=110.240, backward_time=0.297, grad_norm=53.599, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.523e-04, train_time=1.271 -[gpua014:0/64] 2023-12-02 16:16:09,967 (trainer:735) INFO: 4epoch:train:5501-5600batch: iter_time=9.340e-05, forward_time=0.147, loss_ctc=113.191, loss_att=112.258, acc=0.438, loss=112.538, backward_time=0.290, grad_norm=50.801, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.528e-04, train_time=1.255 -[gpua014:0/64] 2023-12-02 16:18:07,095 (trainer:735) INFO: 4epoch:train:5601-5700batch: iter_time=9.679e-05, forward_time=0.147, loss_ctc=122.063, loss_att=124.328, acc=0.432, loss=123.649, backward_time=0.277, grad_norm=49.664, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.533e-04, train_time=1.171 -[gpua014:0/64] 2023-12-02 16:20:37,391 (trainer:735) INFO: 4epoch:train:5701-5800batch: iter_time=8.696e-05, forward_time=0.147, loss_ctc=108.198, loss_att=99.711, acc=0.474, loss=102.257, backward_time=0.300, grad_norm=49.804, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.538e-04, train_time=1.503 -[gpua014:0/64] 2023-12-02 16:23:21,936 (trainer:735) INFO: 4epoch:train:5801-5900batch: iter_time=8.833e-05, forward_time=0.147, loss_ctc=107.963, loss_att=104.882, acc=0.478, loss=105.806, backward_time=0.314, grad_norm=46.591, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.543e-04, train_time=1.645 -[gpua014:0/64] 2023-12-02 16:25:33,553 (trainer:735) INFO: 4epoch:train:5901-6000batch: iter_time=8.629e-05, forward_time=0.150, loss_ctc=124.856, loss_att=116.713, acc=0.438, loss=119.156, backward_time=0.283, grad_norm=63.832, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.548e-04, train_time=1.316 -[gpua014:0/64] 2023-12-02 16:28:13,857 (trainer:735) INFO: 4epoch:train:6001-6100batch: iter_time=9.113e-05, forward_time=0.147, loss_ctc=117.265, loss_att=117.284, acc=0.441, loss=117.278, backward_time=0.307, grad_norm=46.746, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.553e-04, train_time=1.603 -[gpua014:0/64] 2023-12-02 16:30:37,846 (trainer:735) INFO: 4epoch:train:6101-6200batch: iter_time=1.050e-04, forward_time=0.149, loss_ctc=116.763, loss_att=115.901, acc=0.461, loss=116.160, backward_time=0.311, grad_norm=51.698, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.558e-04, train_time=1.440 -[gpua014:0/64] 2023-12-02 16:31:56,196 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua014:0/64] 2023-12-02 16:32:14,729 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 16:32:18,274 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 16:32:18,274 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua014:0/64] 2023-12-02 16:32:18,277 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 16:37:31,869 (trainer:735) INFO: 4epoch:train:6201-6300batch: iter_time=2.771, forward_time=0.147, loss_ctc=119.929, loss_att=112.894, acc=0.447, loss=115.005, backward_time=0.285, grad_norm=54.207, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.563e-04, train_time=4.140 -[gpua014:0/64] 2023-12-02 16:39:33,651 (trainer:735) INFO: 4epoch:train:6301-6400batch: iter_time=8.531e-05, forward_time=0.147, loss_ctc=117.930, loss_att=117.013, acc=0.451, loss=117.288, backward_time=0.278, grad_norm=54.872, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.568e-04, train_time=1.218 -[gpua014:0/64] 2023-12-02 16:41:41,994 (trainer:735) INFO: 4epoch:train:6401-6500batch: iter_time=8.802e-05, forward_time=0.147, loss_ctc=124.353, loss_att=116.238, acc=0.455, loss=118.672, backward_time=0.287, grad_norm=53.128, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.573e-04, train_time=1.283 -[gpua014:0/64] 2023-12-02 16:43:46,918 (trainer:735) INFO: 4epoch:train:6501-6600batch: iter_time=9.544e-05, forward_time=0.148, loss_ctc=109.626, loss_att=106.763, acc=0.483, loss=107.622, backward_time=0.294, grad_norm=47.247, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.578e-04, train_time=1.249 -[gpua014:0/64] 2023-12-02 16:45:44,353 (trainer:735) INFO: 4epoch:train:6601-6700batch: iter_time=1.004e-04, forward_time=0.148, loss_ctc=135.462, loss_att=128.681, acc=0.449, loss=130.715, backward_time=0.280, grad_norm=61.537, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.081, optim0_lr0=1.583e-04, train_time=1.174 -[gpua014:0/64] 2023-12-02 16:47:44,346 (trainer:735) INFO: 4epoch:train:6701-6800batch: iter_time=9.132e-05, forward_time=0.147, loss_ctc=101.900, loss_att=99.961, acc=0.454, loss=100.543, backward_time=0.285, grad_norm=44.839, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.588e-04, train_time=1.200 -[gpua014:0/64] 2023-12-02 16:50:04,730 (trainer:735) INFO: 4epoch:train:6801-6900batch: iter_time=9.217e-05, forward_time=0.147, loss_ctc=121.314, loss_att=122.326, acc=0.442, loss=122.022, backward_time=0.287, grad_norm=54.781, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.593e-04, train_time=1.404 -[gpua014:0/64] 2023-12-02 16:52:27,399 (trainer:735) INFO: 4epoch:train:6901-7000batch: iter_time=9.114e-05, forward_time=0.147, loss_ctc=109.197, loss_att=98.290, acc=0.477, loss=101.562, backward_time=0.304, grad_norm=51.637, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.598e-04, train_time=1.426 -[gpua014:0/64] 2023-12-02 16:54:50,741 (trainer:735) INFO: 4epoch:train:7001-7100batch: iter_time=9.321e-05, forward_time=0.236, loss_ctc=106.980, loss_att=105.158, acc=0.475, loss=105.705, backward_time=0.359, grad_norm=48.822, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.085, optim0_lr0=1.603e-04, train_time=1.433 -[gpua014:0/64] 2023-12-02 16:57:09,895 (trainer:735) INFO: 4epoch:train:7101-7200batch: iter_time=9.285e-05, forward_time=0.147, loss_ctc=123.681, loss_att=114.008, acc=0.477, loss=116.910, backward_time=0.292, grad_norm=60.814, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.079, optim0_lr0=1.608e-04, train_time=1.391 -[gpua014:0/64] 2023-12-02 16:59:22,128 (trainer:735) INFO: 4epoch:train:7201-7300batch: iter_time=9.212e-05, forward_time=0.146, loss_ctc=110.584, loss_att=104.204, acc=0.465, loss=106.118, backward_time=0.281, grad_norm=49.744, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.079, optim0_lr0=1.613e-04, train_time=1.322 -[gpua014:0/64] 2023-12-02 17:01:33,916 (trainer:735) INFO: 4epoch:train:7301-7400batch: iter_time=8.770e-05, forward_time=0.147, loss_ctc=119.263, loss_att=115.800, acc=0.462, loss=116.839, backward_time=0.287, grad_norm=52.155, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.079, optim0_lr0=1.618e-04, train_time=1.318 -[gpua014:0/64] 2023-12-02 17:03:44,565 (trainer:735) INFO: 4epoch:train:7401-7500batch: iter_time=8.884e-05, forward_time=0.147, loss_ctc=116.281, loss_att=115.212, acc=0.455, loss=115.533, backward_time=0.277, grad_norm=49.512, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.079, optim0_lr0=1.623e-04, train_time=1.306 -[gpua014:0/64] 2023-12-02 17:03:50,058 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua014:0/64] 2023-12-02 17:04:08,708 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 17:04:12,265 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 17:04:12,265 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua014:0/64] 2023-12-02 17:04:12,268 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 17:14:16,741 (trainer:735) INFO: 4epoch:train:7501-7600batch: iter_time=1.400, forward_time=0.150, loss_ctc=118.753, loss_att=106.656, acc=0.474, loss=110.285, backward_time=0.408, grad_norm=54.752, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.080, optim0_lr0=1.628e-04, train_time=6.322 -[gpua014:0/64] 2023-12-02 17:18:55,297 (trainer:735) INFO: 4epoch:train:7601-7700batch: iter_time=8.355e-05, forward_time=0.147, loss_ctc=114.616, loss_att=112.945, acc=0.453, loss=113.446, backward_time=0.469, grad_norm=51.751, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.080, optim0_lr0=1.633e-04, train_time=2.785 -[gpua014:0/64] 2023-12-02 17:22:37,827 (trainer:735) INFO: 4epoch:train:7701-7800batch: iter_time=9.257e-05, forward_time=0.147, loss_ctc=120.973, loss_att=111.815, acc=0.490, loss=114.563, backward_time=0.399, grad_norm=51.579, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.079, optim0_lr0=1.638e-04, train_time=2.225 -[gpua014:0/64] 2023-12-02 17:26:32,034 (trainer:735) INFO: 4epoch:train:7801-7900batch: iter_time=9.408e-05, forward_time=0.149, loss_ctc=126.657, loss_att=120.766, acc=0.475, loss=122.533, backward_time=0.441, grad_norm=57.301, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.080, optim0_lr0=1.643e-04, train_time=2.342 -[gpua014:0/64] 2023-12-02 17:29:51,898 (trainer:735) INFO: 4epoch:train:7901-8000batch: iter_time=9.108e-05, forward_time=0.151, loss_ctc=106.484, loss_att=102.934, acc=0.468, loss=103.999, backward_time=0.397, grad_norm=47.216, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.080, optim0_lr0=1.648e-04, train_time=1.998 -[gpua014:0/64] 2023-12-02 17:33:17,761 (trainer:735) INFO: 4epoch:train:8001-8100batch: iter_time=9.327e-05, forward_time=0.147, loss_ctc=108.255, loss_att=105.586, acc=0.464, loss=106.387, backward_time=0.411, grad_norm=50.759, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.079, optim0_lr0=1.653e-04, train_time=2.058 -[gpua014:0/64] 2023-12-02 17:37:49,424 (trainer:735) INFO: 4epoch:train:8101-8200batch: iter_time=9.500e-05, forward_time=0.147, loss_ctc=119.509, loss_att=115.912, acc=0.458, loss=116.991, backward_time=0.447, grad_norm=51.081, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.079, optim0_lr0=1.658e-04, train_time=2.716 -[gpua014:0/64] 2023-12-02 17:42:28,406 (trainer:735) INFO: 4epoch:train:8201-8300batch: iter_time=8.926e-05, forward_time=0.149, loss_ctc=106.460, loss_att=94.038, acc=0.500, loss=97.765, backward_time=0.468, grad_norm=51.602, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.079, optim0_lr0=1.663e-04, train_time=2.790 -[gpua014:0/64] 2023-12-02 17:46:38,276 (trainer:735) INFO: 4epoch:train:8301-8400batch: iter_time=9.040e-05, forward_time=0.147, loss_ctc=103.390, loss_att=97.239, acc=0.505, loss=99.084, backward_time=0.474, grad_norm=45.119, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.080, optim0_lr0=1.668e-04, train_time=2.498 -[gpua014:0/64] 2023-12-02 17:50:26,249 (trainer:735) INFO: 4epoch:train:8401-8500batch: iter_time=8.744e-05, forward_time=0.147, loss_ctc=119.541, loss_att=107.007, acc=0.470, loss=110.767, backward_time=0.377, grad_norm=59.242, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.079, optim0_lr0=1.673e-04, train_time=2.280 -[gpua014:0/64] 2023-12-02 17:54:35,080 (trainer:735) INFO: 4epoch:train:8501-8600batch: iter_time=9.023e-05, forward_time=0.147, loss_ctc=114.822, loss_att=111.835, acc=0.462, loss=112.731, backward_time=0.498, grad_norm=48.876, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.079, optim0_lr0=1.678e-04, train_time=2.488 -[gpua014:0/64] 2023-12-02 17:58:22,246 (trainer:735) INFO: 4epoch:train:8601-8700batch: iter_time=1.021e-04, forward_time=0.147, loss_ctc=113.143, loss_att=108.742, acc=0.483, loss=110.062, backward_time=0.415, grad_norm=49.032, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.080, optim0_lr0=1.683e-04, train_time=2.271 -[gpua014:0/64] 2023-12-02 18:00:24,985 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua014:0/64] 2023-12-02 18:00:43,342 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 18:00:46,848 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 18:00:46,849 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua014:0/64] 2023-12-02 18:00:46,852 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 18:06:20,624 (trainer:735) INFO: 4epoch:train:8701-8800batch: iter_time=2.813, forward_time=0.186, loss_ctc=116.620, loss_att=108.320, acc=0.472, loss=110.810, backward_time=0.447, grad_norm=54.462, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.082, optim0_lr0=1.688e-04, train_time=4.784 -[gpua014:0/64] 2023-12-02 18:08:15,972 (trainer:735) INFO: 4epoch:train:8801-8900batch: iter_time=8.563e-05, forward_time=0.148, loss_ctc=113.889, loss_att=117.065, acc=0.476, loss=116.112, backward_time=0.278, grad_norm=54.025, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.080, optim0_lr0=1.693e-04, train_time=1.153 -[gpua014:0/64] 2023-12-02 18:10:17,597 (trainer:735) INFO: 4epoch:train:8901-9000batch: iter_time=8.042e-05, forward_time=0.147, loss_ctc=121.284, loss_att=121.350, acc=0.467, loss=121.330, backward_time=0.277, grad_norm=54.603, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.080, optim0_lr0=1.698e-04, train_time=1.216 -[gpua014:0/64] 2023-12-02 18:12:42,342 (trainer:735) INFO: 4epoch:train:9001-9100batch: iter_time=8.946e-05, forward_time=0.147, loss_ctc=107.748, loss_att=103.290, acc=0.506, loss=104.628, backward_time=0.295, grad_norm=47.943, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.703e-04, train_time=1.447 -[gpua014:0/64] 2023-12-02 18:15:04,147 (trainer:735) INFO: 4epoch:train:9101-9200batch: iter_time=9.505e-05, forward_time=0.147, loss_ctc=130.539, loss_att=126.143, acc=0.470, loss=127.462, backward_time=0.290, grad_norm=57.593, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.708e-04, train_time=1.418 -[gpua014:0/64] 2023-12-02 18:17:32,224 (trainer:735) INFO: 4epoch:train:9201-9300batch: iter_time=8.912e-05, forward_time=0.147, loss_ctc=99.151, loss_att=95.097, acc=0.480, loss=96.313, backward_time=0.303, grad_norm=46.428, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.713e-04, train_time=1.481 -[gpua014:0/64] 2023-12-02 18:19:41,861 (trainer:735) INFO: 4epoch:train:9301-9400batch: iter_time=9.240e-05, forward_time=0.147, loss_ctc=119.299, loss_att=118.665, acc=0.469, loss=118.856, backward_time=0.282, grad_norm=51.552, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.718e-04, train_time=1.296 -[gpua014:0/64] 2023-12-02 18:21:59,658 (trainer:735) INFO: 4epoch:train:9401-9500batch: iter_time=9.231e-05, forward_time=0.147, loss_ctc=104.572, loss_att=98.281, acc=0.497, loss=100.168, backward_time=0.300, grad_norm=48.716, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.723e-04, train_time=1.378 -[gpua014:0/64] 2023-12-02 18:24:08,336 (trainer:735) INFO: 4epoch:train:9501-9600batch: iter_time=9.301e-05, forward_time=0.147, loss_ctc=103.689, loss_att=99.005, acc=0.502, loss=100.410, backward_time=0.291, grad_norm=50.102, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.728e-04, train_time=1.287 -[gpua014:0/64] 2023-12-02 18:26:27,234 (trainer:735) INFO: 4epoch:train:9601-9700batch: iter_time=9.086e-05, forward_time=0.148, loss_ctc=121.116, loss_att=109.589, acc=0.501, loss=113.047, backward_time=0.289, grad_norm=58.446, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.733e-04, train_time=1.389 -[gpua014:0/64] 2023-12-02 18:28:26,708 (trainer:735) INFO: 4epoch:train:9701-9800batch: iter_time=8.542e-05, forward_time=0.148, loss_ctc=107.955, loss_att=101.281, acc=0.486, loss=103.283, backward_time=0.280, grad_norm=47.832, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.738e-04, train_time=1.195 -[gpua014:0/64] 2023-12-02 18:30:58,470 (trainer:735) INFO: 4epoch:train:9801-9900batch: iter_time=8.622e-05, forward_time=0.147, loss_ctc=114.206, loss_att=111.097, acc=0.483, loss=112.030, backward_time=0.303, grad_norm=47.750, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.743e-04, train_time=1.517 -[gpua014:0/64] 2023-12-02 18:33:20,862 (trainer:735) INFO: 4epoch:train:9901-10000batch: iter_time=8.672e-05, forward_time=0.147, loss_ctc=112.257, loss_att=117.783, acc=0.466, loss=116.125, backward_time=0.305, grad_norm=50.489, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.748e-04, train_time=1.424 -[gpua014:0/64] 2023-12-02 18:33:26,141 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua014:0/64] 2023-12-02 18:33:44,880 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 18:33:48,441 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 18:33:48,441 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua014:0/64] 2023-12-02 18:33:48,444 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 18:40:23,412 (trainer:735) INFO: 4epoch:train:10001-10100batch: iter_time=1.378, forward_time=0.147, loss_ctc=116.995, loss_att=102.621, acc=0.491, loss=106.933, backward_time=0.286, grad_norm=55.104, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.753e-04, train_time=4.225 -[gpua014:0/64] 2023-12-02 18:42:20,385 (trainer:735) INFO: 4epoch:train:10101-10200batch: iter_time=8.430e-05, forward_time=0.146, loss_ctc=111.902, loss_att=108.955, acc=0.472, loss=109.839, backward_time=0.277, grad_norm=51.795, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.758e-04, train_time=1.170 -[gpua014:0/64] 2023-12-02 18:44:17,903 (trainer:735) INFO: 4epoch:train:10201-10300batch: iter_time=8.349e-05, forward_time=0.147, loss_ctc=117.771, loss_att=106.423, acc=0.507, loss=109.828, backward_time=0.279, grad_norm=52.611, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.763e-04, train_time=1.175 -[gpua014:0/64] 2023-12-02 18:46:45,654 (trainer:735) INFO: 4epoch:train:10301-10400batch: iter_time=8.588e-05, forward_time=0.155, loss_ctc=122.709, loss_att=114.499, acc=0.495, loss=116.962, backward_time=0.313, grad_norm=55.999, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.082, optim0_lr0=1.768e-04, train_time=1.477 -[gpua014:0/64] 2023-12-02 18:49:24,429 (trainer:735) INFO: 4epoch:train:10401-10500batch: iter_time=8.798e-05, forward_time=0.247, loss_ctc=103.011, loss_att=97.584, acc=0.485, loss=99.212, backward_time=0.322, grad_norm=48.671, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.090, optim0_lr0=1.773e-04, train_time=1.587 -[gpua014:0/64] 2023-12-02 18:51:59,547 (trainer:735) INFO: 4epoch:train:10501-10600batch: iter_time=8.589e-05, forward_time=0.146, loss_ctc=107.399, loss_att=100.315, acc=0.479, loss=102.440, backward_time=0.314, grad_norm=50.828, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.778e-04, train_time=1.551 -[gpua014:0/64] 2023-12-02 18:54:21,263 (trainer:735) INFO: 4epoch:train:10601-10700batch: iter_time=8.335e-05, forward_time=0.146, loss_ctc=117.122, loss_att=110.922, acc=0.474, loss=112.782, backward_time=0.292, grad_norm=50.568, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.783e-04, train_time=1.417 -[gpua014:0/64] 2023-12-02 18:56:44,505 (trainer:735) INFO: 4epoch:train:10701-10800batch: iter_time=8.270e-05, forward_time=0.150, loss_ctc=103.728, loss_att=88.584, acc=0.518, loss=93.127, backward_time=0.284, grad_norm=49.668, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.788e-04, train_time=1.432 -[gpua014:0/64] 2023-12-02 18:59:06,494 (trainer:735) INFO: 4epoch:train:10801-10900batch: iter_time=8.053e-05, forward_time=0.146, loss_ctc=102.418, loss_att=93.562, acc=0.523, loss=96.219, backward_time=0.310, grad_norm=45.565, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.793e-04, train_time=1.420 -[gpua014:0/64] 2023-12-02 19:01:17,834 (trainer:735) INFO: 4epoch:train:10901-11000batch: iter_time=8.209e-05, forward_time=0.148, loss_ctc=119.151, loss_att=103.355, acc=0.485, loss=108.094, backward_time=0.293, grad_norm=62.478, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.798e-04, train_time=1.313 -[gpua014:0/64] 2023-12-02 19:03:24,634 (trainer:735) INFO: 4epoch:train:11001-11100batch: iter_time=8.398e-05, forward_time=0.147, loss_ctc=111.818, loss_att=106.497, acc=0.479, loss=108.093, backward_time=0.289, grad_norm=46.925, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.081, optim0_lr0=1.803e-04, train_time=1.268 -[gpua014:0/64] 2023-12-02 19:05:54,212 (trainer:735) INFO: 4epoch:train:11101-11200batch: iter_time=8.379e-05, forward_time=0.147, loss_ctc=110.631, loss_att=103.821, acc=0.500, loss=105.864, backward_time=0.282, grad_norm=49.942, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.080, optim0_lr0=1.808e-04, train_time=1.496 -[gpua014:0/64] 2023-12-02 19:07:35,986 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua014:0/64] 2023-12-02 19:07:54,995 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 19:07:58,541 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 19:07:58,541 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua014:0/64] 2023-12-02 19:07:58,545 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 19:15:48,092 (trainer:735) INFO: 4epoch:train:11201-11300batch: iter_time=2.512, forward_time=0.147, loss_ctc=113.200, loss_att=99.576, acc=0.494, loss=103.664, backward_time=0.335, grad_norm=51.391, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.080, optim0_lr0=1.813e-04, train_time=5.939 -[gpua014:0/64] 2023-12-02 19:18:03,048 (trainer:735) INFO: 4epoch:train:11301-11400batch: iter_time=7.548e-05, forward_time=0.147, loss_ctc=110.500, loss_att=104.599, acc=0.492, loss=106.370, backward_time=0.293, grad_norm=52.494, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.080, optim0_lr0=1.818e-04, train_time=1.349 -[gpua014:0/64] 2023-12-02 19:20:17,807 (trainer:735) INFO: 4epoch:train:11401-11500batch: iter_time=8.214e-05, forward_time=0.146, loss_ctc=118.935, loss_att=105.294, acc=0.493, loss=109.386, backward_time=0.339, grad_norm=50.675, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.080, optim0_lr0=1.823e-04, train_time=1.347 -[gpua014:0/64] 2023-12-02 19:22:43,063 (trainer:735) INFO: 4epoch:train:11501-11600batch: iter_time=9.268e-05, forward_time=0.146, loss_ctc=104.433, loss_att=96.899, acc=0.520, loss=99.160, backward_time=0.321, grad_norm=48.715, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.080, optim0_lr0=1.828e-04, train_time=1.452 -[gpua014:0/64] 2023-12-02 19:25:03,065 (trainer:735) INFO: 4epoch:train:11601-11700batch: iter_time=9.023e-05, forward_time=0.146, loss_ctc=129.251, loss_att=116.128, acc=0.487, loss=120.065, backward_time=0.285, grad_norm=61.110, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.080, optim0_lr0=1.833e-04, train_time=1.400 -[gpua014:0/64] 2023-12-02 19:27:34,592 (trainer:735) INFO: 4epoch:train:11701-11800batch: iter_time=9.513e-05, forward_time=0.146, loss_ctc=97.063, loss_att=90.911, acc=0.491, loss=92.756, backward_time=0.312, grad_norm=46.061, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.080, optim0_lr0=1.838e-04, train_time=1.515 -[gpua014:0/64] 2023-12-02 19:29:35,880 (trainer:735) INFO: 4epoch:train:11801-11900batch: iter_time=9.686e-05, forward_time=0.146, loss_ctc=115.954, loss_att=112.584, acc=0.478, loss=113.595, backward_time=0.278, grad_norm=50.509, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.080, optim0_lr0=1.843e-04, train_time=1.213 -[gpua014:0/64] 2023-12-02 19:32:04,597 (trainer:735) INFO: 4epoch:train:11901-12000batch: iter_time=9.099e-05, forward_time=0.146, loss_ctc=104.448, loss_att=87.947, acc=0.517, loss=92.897, backward_time=0.325, grad_norm=49.418, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.080, optim0_lr0=1.848e-04, train_time=1.487 -[gpua014:0/64] 2023-12-02 19:34:15,386 (trainer:735) INFO: 4epoch:train:12001-12100batch: iter_time=8.316e-05, forward_time=0.146, loss_ctc=101.240, loss_att=93.807, acc=0.515, loss=96.037, backward_time=0.290, grad_norm=47.784, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.080, optim0_lr0=1.853e-04, train_time=1.308 -[gpua014:0/64] 2023-12-02 19:36:30,702 (trainer:735) INFO: 4epoch:train:12101-12200batch: iter_time=8.624e-05, forward_time=0.147, loss_ctc=117.844, loss_att=104.479, acc=0.512, loss=108.489, backward_time=0.289, grad_norm=57.134, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.080, optim0_lr0=1.858e-04, train_time=1.353 -[gpua014:0/64] 2023-12-02 19:38:57,636 (trainer:735) INFO: 4epoch:train:12201-12300batch: iter_time=9.031e-05, forward_time=0.166, loss_ctc=105.354, loss_att=94.435, acc=0.505, loss=97.711, backward_time=0.305, grad_norm=46.823, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.082, optim0_lr0=1.863e-04, train_time=1.469 -[gpua014:0/64] 2023-12-02 19:41:50,296 (trainer:735) INFO: 4epoch:train:12301-12400batch: iter_time=8.712e-05, forward_time=0.166, loss_ctc=112.662, loss_att=105.197, acc=0.495, loss=107.436, backward_time=0.354, grad_norm=49.673, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.084, optim0_lr0=1.868e-04, train_time=1.726 -[gpua014:0/64] 2023-12-02 19:44:34,994 (trainer:735) INFO: 4epoch:train:12401-12500batch: iter_time=8.528e-05, forward_time=0.185, loss_ctc=110.136, loss_att=103.808, acc=0.492, loss=105.706, backward_time=0.309, grad_norm=47.508, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.081, optim0_lr0=1.873e-04, train_time=1.647 -[gpua014:0/64] 2023-12-02 19:44:40,269 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua014:0/64] 2023-12-02 19:44:58,504 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 19:45:02,045 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 19:45:02,045 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua014:0/64] 2023-12-02 19:45:02,048 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 19:51:37,584 (trainer:735) INFO: 4epoch:train:12501-12600batch: iter_time=1.365, forward_time=0.159, loss_ctc=113.665, loss_att=101.677, acc=0.510, loss=105.273, backward_time=0.280, grad_norm=53.686, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.080, optim0_lr0=1.878e-04, train_time=4.226 -[gpua014:0/64] 2023-12-02 19:53:36,056 (trainer:735) INFO: 4epoch:train:12601-12700batch: iter_time=7.495e-05, forward_time=0.147, loss_ctc=109.263, loss_att=115.184, acc=0.484, loss=113.408, backward_time=0.284, grad_norm=52.643, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.080, optim0_lr0=1.883e-04, train_time=1.185 -[gpua014:0/64] 2023-12-02 19:55:39,693 (trainer:735) INFO: 4epoch:train:12701-12800batch: iter_time=7.979e-05, forward_time=0.149, loss_ctc=114.353, loss_att=103.743, acc=0.531, loss=106.926, backward_time=0.279, grad_norm=51.472, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.080, optim0_lr0=1.888e-04, train_time=1.236 -[gpua014:0/64] 2023-12-02 19:57:46,745 (trainer:735) INFO: 4epoch:train:12801-12900batch: iter_time=9.210e-05, forward_time=0.147, loss_ctc=119.646, loss_att=113.461, acc=0.508, loss=115.317, backward_time=0.282, grad_norm=55.010, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.080, optim0_lr0=1.893e-04, train_time=1.270 -[gpua014:0/64] 2023-12-02 20:00:02,200 (trainer:735) INFO: 4epoch:train:12901-13000batch: iter_time=8.790e-05, forward_time=0.147, loss_ctc=101.919, loss_att=98.354, acc=0.499, loss=99.423, backward_time=0.300, grad_norm=48.798, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.081, optim0_lr0=1.898e-04, train_time=1.354 -[gpua014:0/64] 2023-12-02 20:02:42,832 (trainer:735) INFO: 4epoch:train:13001-13100batch: iter_time=8.852e-05, forward_time=0.147, loss_ctc=103.696, loss_att=97.070, acc=0.502, loss=99.058, backward_time=0.312, grad_norm=49.688, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.903e-04, train_time=1.606 -[gpua014:0/64] 2023-12-02 20:05:20,109 (trainer:735) INFO: 4epoch:train:13101-13200batch: iter_time=8.665e-05, forward_time=0.147, loss_ctc=114.256, loss_att=110.700, acc=0.494, loss=111.767, backward_time=0.293, grad_norm=49.722, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.908e-04, train_time=1.573 -[gpua014:0/64] 2023-12-02 20:07:46,743 (trainer:735) INFO: 4epoch:train:13201-13300batch: iter_time=8.349e-05, forward_time=0.147, loss_ctc=100.597, loss_att=87.391, acc=0.531, loss=91.353, backward_time=0.286, grad_norm=48.320, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.913e-04, train_time=1.466 -[gpua014:0/64] 2023-12-02 20:10:02,229 (trainer:735) INFO: 4epoch:train:13301-13400batch: iter_time=8.087e-05, forward_time=0.147, loss_ctc=99.182, loss_att=91.570, acc=0.538, loss=93.854, backward_time=0.282, grad_norm=45.973, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.918e-04, train_time=1.355 -[gpua014:0/64] 2023-12-02 20:12:09,479 (trainer:735) INFO: 4epoch:train:13401-13500batch: iter_time=8.730e-05, forward_time=0.148, loss_ctc=116.088, loss_att=101.225, acc=0.503, loss=105.684, backward_time=0.286, grad_norm=61.258, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.923e-04, train_time=1.272 -[gpua014:0/64] 2023-12-02 20:14:32,372 (trainer:735) INFO: 4epoch:train:13501-13600batch: iter_time=8.944e-05, forward_time=0.149, loss_ctc=109.986, loss_att=104.582, acc=0.491, loss=106.203, backward_time=0.311, grad_norm=48.928, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.928e-04, train_time=1.429 -[gpua014:0/64] 2023-12-02 20:16:47,277 (trainer:735) INFO: 4epoch:train:13601-13700batch: iter_time=8.771e-05, forward_time=0.147, loss_ctc=108.483, loss_att=107.134, acc=0.509, loss=107.538, backward_time=0.299, grad_norm=51.752, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.933e-04, train_time=1.349 -[gpua014:0/64] 2023-12-02 20:18:27,255 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua014:0/64] 2023-12-02 20:18:46,330 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 20:18:49,946 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 20:18:49,946 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua014:0/64] 2023-12-02 20:18:49,949 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 20:24:01,121 (trainer:735) INFO: 4epoch:train:13701-13800batch: iter_time=2.851, forward_time=0.180, loss_ctc=111.219, loss_att=101.474, acc=0.504, loss=104.397, backward_time=0.295, grad_norm=54.144, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.081, optim0_lr0=1.938e-04, train_time=4.338 -[gpua014:0/64] 2023-12-02 20:26:00,023 (trainer:735) INFO: 4epoch:train:13801-13900batch: iter_time=0.002, forward_time=0.148, loss_ctc=109.238, loss_att=104.344, acc=0.513, loss=105.812, backward_time=0.279, grad_norm=54.421, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.943e-04, train_time=1.189 -[gpua014:0/64] 2023-12-02 20:28:07,691 (trainer:735) INFO: 4epoch:train:13901-14000batch: iter_time=8.126e-05, forward_time=0.149, loss_ctc=116.187, loss_att=108.753, acc=0.504, loss=110.984, backward_time=0.284, grad_norm=54.897, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.948e-04, train_time=1.276 -[gpua014:0/64] 2023-12-02 20:30:37,527 (trainer:735) INFO: 4epoch:train:14001-14100batch: iter_time=8.912e-05, forward_time=0.147, loss_ctc=102.260, loss_att=94.218, acc=0.536, loss=96.631, backward_time=0.316, grad_norm=45.882, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.953e-04, train_time=1.498 -[gpua014:0/64] 2023-12-02 20:33:02,898 (trainer:735) INFO: 4epoch:train:14101-14200batch: iter_time=9.148e-05, forward_time=0.147, loss_ctc=125.911, loss_att=115.543, acc=0.500, loss=118.653, backward_time=0.334, grad_norm=56.970, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.958e-04, train_time=1.453 -[gpua014:0/64] 2023-12-02 20:35:15,665 (trainer:735) INFO: 4epoch:train:14201-14300batch: iter_time=9.597e-05, forward_time=0.146, loss_ctc=95.288, loss_att=86.461, acc=0.515, loss=89.109, backward_time=0.288, grad_norm=45.196, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.963e-04, train_time=1.327 -[gpua014:0/64] 2023-12-02 20:37:11,801 (trainer:735) INFO: 4epoch:train:14301-14400batch: iter_time=8.727e-05, forward_time=0.150, loss_ctc=113.768, loss_att=108.266, acc=0.503, loss=109.916, backward_time=0.278, grad_norm=50.368, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.968e-04, train_time=1.161 -[gpua014:0/64] 2023-12-02 20:39:42,318 (trainer:735) INFO: 4epoch:train:14401-14500batch: iter_time=8.353e-05, forward_time=0.263, loss_ctc=100.585, loss_att=90.152, acc=0.525, loss=93.282, backward_time=0.332, grad_norm=49.297, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.084, optim0_lr0=1.973e-04, train_time=1.505 -[gpua014:0/64] 2023-12-02 20:42:04,100 (trainer:735) INFO: 4epoch:train:14501-14600batch: iter_time=9.199e-05, forward_time=0.148, loss_ctc=98.499, loss_att=91.770, acc=0.530, loss=93.789, backward_time=0.336, grad_norm=46.575, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.978e-04, train_time=1.417 -[gpua014:0/64] 2023-12-02 20:44:33,881 (trainer:735) INFO: 4epoch:train:14601-14700batch: iter_time=9.473e-05, forward_time=0.146, loss_ctc=114.948, loss_att=100.431, acc=0.531, loss=104.786, backward_time=0.334, grad_norm=55.750, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.983e-04, train_time=1.498 -[gpua014:0/64] 2023-12-02 20:47:23,757 (trainer:735) INFO: 4epoch:train:14701-14800batch: iter_time=8.770e-05, forward_time=0.149, loss_ctc=103.978, loss_att=92.965, acc=0.517, loss=96.269, backward_time=0.374, grad_norm=47.948, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.988e-04, train_time=1.699 -[gpua014:0/64] 2023-12-02 20:49:33,493 (trainer:735) INFO: 4epoch:train:14801-14900batch: iter_time=8.120e-05, forward_time=0.150, loss_ctc=109.127, loss_att=103.414, acc=0.509, loss=105.128, backward_time=0.282, grad_norm=48.830, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.993e-04, train_time=1.297 -[gpua014:0/64] 2023-12-02 20:52:05,795 (trainer:735) INFO: 4epoch:train:14901-15000batch: iter_time=8.120e-05, forward_time=0.147, loss_ctc=108.337, loss_att=108.815, acc=0.497, loss=108.672, backward_time=0.311, grad_norm=49.029, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.998e-04, train_time=1.523 -[gpua014:0/64] 2023-12-02 21:18:10,699 (trainer:341) INFO: 4epoch results: [train] iter_time=0.177, forward_time=0.152, loss_ctc=116.786, loss_att=114.897, acc=0.457, loss=115.464, backward_time=0.308, grad_norm=53.077, clip=100.000, loss_scale=9.328e+12, optim_step_time=0.080, optim0_lr0=1.625e-04, train_time=1.740, time=7 hours, 15 minutes and 32.49 seconds, total_count=60000, gpu_max_cached_mem_GB=37.328, [valid] loss_ctc=91.652, cer_ctc=0.445, loss_att=77.951, acc=0.427, cer=0.532, wer=1.000, loss=82.061, time=25 minutes and 40.95 seconds, total_count=18684, gpu_max_cached_mem_GB=37.328 -[gpua014:0/64] 2023-12-02 21:18:31,751 (trainer:389) INFO: The best model has been updated: valid.acc, valid.total_count -[gpua014:0/64] 2023-12-02 21:18:31,837 (trainer:272) INFO: 5/40epoch started. Estimated time to finish: 1 week, 4 days and 17 hours -[gpua014:0/64] 2023-12-02 21:18:31,914 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua014:0/64] 2023-12-02 21:18:49,997 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 21:18:53,775 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 21:18:53,775 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua014:0/64] 2023-12-02 21:18:53,778 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 21:25:13,054 (trainer:735) INFO: 5epoch:train:1-100batch: iter_time=2.543, forward_time=0.170, loss_ctc=109.786, loss_att=95.078, acc=0.488, loss=99.490, backward_time=0.284, grad_norm=60.128, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.082, optim0_lr0=1.999e-04, train_time=4.011 -[gpua014:0/64] 2023-12-02 21:27:10,724 (trainer:735) INFO: 5epoch:train:101-200batch: iter_time=8.415e-05, forward_time=0.147, loss_ctc=117.489, loss_att=114.207, acc=0.485, loss=115.192, backward_time=0.277, grad_norm=56.160, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.080, optim0_lr0=1.997e-04, train_time=1.177 -[gpua014:0/64] 2023-12-02 21:29:20,423 (trainer:735) INFO: 5epoch:train:201-300batch: iter_time=8.843e-05, forward_time=0.255, loss_ctc=112.078, loss_att=103.130, acc=0.502, loss=105.814, backward_time=0.302, grad_norm=48.697, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.087, optim0_lr0=1.996e-04, train_time=1.296 -[gpua014:0/64] 2023-12-02 21:31:27,019 (trainer:735) INFO: 5epoch:train:301-400batch: iter_time=8.703e-05, forward_time=0.168, loss_ctc=130.047, loss_att=119.893, acc=0.496, loss=122.940, backward_time=0.289, grad_norm=62.472, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.082, optim0_lr0=1.994e-04, train_time=1.266 -[gpua014:0/64] 2023-12-02 21:33:44,144 (trainer:735) INFO: 5epoch:train:401-500batch: iter_time=8.175e-05, forward_time=0.146, loss_ctc=112.137, loss_att=104.134, acc=0.523, loss=106.535, backward_time=0.287, grad_norm=49.256, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.080, optim0_lr0=1.993e-04, train_time=1.371 -[gpua014:0/64] 2023-12-02 21:35:56,122 (trainer:735) INFO: 5epoch:train:501-600batch: iter_time=8.423e-05, forward_time=0.146, loss_ctc=98.811, loss_att=94.922, acc=0.502, loss=96.089, backward_time=0.294, grad_norm=44.748, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.080, optim0_lr0=1.991e-04, train_time=1.320 -[gpua014:0/64] 2023-12-02 21:38:12,878 (trainer:735) INFO: 5epoch:train:601-700batch: iter_time=8.923e-05, forward_time=0.146, loss_ctc=133.458, loss_att=107.378, acc=0.502, loss=115.202, backward_time=0.288, grad_norm=61.860, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.080, optim0_lr0=1.989e-04, train_time=1.367 -[gpua014:0/64] 2023-12-02 21:40:21,799 (trainer:735) INFO: 5epoch:train:701-800batch: iter_time=8.425e-05, forward_time=0.146, loss_ctc=114.878, loss_att=103.549, acc=0.524, loss=106.948, backward_time=0.282, grad_norm=51.135, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.080, optim0_lr0=1.988e-04, train_time=1.289 -[gpua014:0/64] 2023-12-02 21:43:06,872 (trainer:735) INFO: 5epoch:train:801-900batch: iter_time=5.886e-04, forward_time=0.218, loss_ctc=100.453, loss_att=83.157, acc=0.531, loss=88.346, backward_time=0.320, grad_norm=47.226, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.085, optim0_lr0=1.986e-04, train_time=1.651 -[gpua014:0/64] 2023-12-02 21:45:39,067 (trainer:735) INFO: 5epoch:train:901-1000batch: iter_time=8.360e-05, forward_time=0.161, loss_ctc=118.688, loss_att=108.715, acc=0.496, loss=111.707, backward_time=0.314, grad_norm=54.989, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.082, optim0_lr0=1.984e-04, train_time=1.521 -[gpua014:0/64] 2023-12-02 21:48:01,408 (trainer:735) INFO: 5epoch:train:1001-1100batch: iter_time=8.699e-05, forward_time=0.153, loss_ctc=117.521, loss_att=107.935, acc=0.507, loss=110.811, backward_time=0.297, grad_norm=50.178, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.081, optim0_lr0=1.983e-04, train_time=1.424 -[gpua014:0/64] 2023-12-02 21:50:17,105 (trainer:735) INFO: 5epoch:train:1101-1200batch: iter_time=9.116e-05, forward_time=0.148, loss_ctc=96.952, loss_att=80.224, acc=0.566, loss=85.243, backward_time=0.285, grad_norm=41.041, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.081, optim0_lr0=1.981e-04, train_time=1.357 -[gpua014:0/64] 2023-12-02 21:51:43,289 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua014:0/64] 2023-12-02 21:52:01,348 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 21:52:04,793 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 21:52:04,793 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua014:0/64] 2023-12-02 21:52:04,796 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 22:01:10,001 (trainer:735) INFO: 5epoch:train:1201-1300batch: iter_time=2.375, forward_time=0.148, loss_ctc=104.222, loss_att=85.740, acc=0.531, loss=91.285, backward_time=0.305, grad_norm=53.141, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.081, optim0_lr0=1.979e-04, train_time=6.529 -[gpua014:0/64] 2023-12-02 22:03:26,502 (trainer:735) INFO: 5epoch:train:1301-1400batch: iter_time=8.742e-05, forward_time=0.147, loss_ctc=107.829, loss_att=102.140, acc=0.476, loss=103.847, backward_time=0.290, grad_norm=53.323, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.081, optim0_lr0=1.978e-04, train_time=1.365 -[gpua014:0/64] 2023-12-02 22:06:12,008 (trainer:735) INFO: 5epoch:train:1401-1500batch: iter_time=9.178e-05, forward_time=0.148, loss_ctc=110.784, loss_att=102.111, acc=0.508, loss=104.713, backward_time=0.415, grad_norm=51.788, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.080, optim0_lr0=1.976e-04, train_time=1.655 -[gpua014:0/64] 2023-12-02 22:08:24,345 (trainer:735) INFO: 5epoch:train:1501-1600batch: iter_time=9.597e-05, forward_time=0.147, loss_ctc=127.398, loss_att=112.015, acc=0.495, loss=116.630, backward_time=0.292, grad_norm=66.333, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.080, optim0_lr0=1.975e-04, train_time=1.323 -[gpua014:0/64] 2023-12-02 22:10:46,150 (trainer:735) INFO: 5epoch:train:1601-1700batch: iter_time=8.880e-05, forward_time=0.147, loss_ctc=112.139, loss_att=111.340, acc=0.506, loss=111.580, backward_time=0.292, grad_norm=49.645, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.081, optim0_lr0=1.973e-04, train_time=1.418 -[gpua014:0/64] 2023-12-02 22:13:13,881 (trainer:735) INFO: 5epoch:train:1701-1800batch: iter_time=8.792e-05, forward_time=0.147, loss_ctc=99.274, loss_att=92.790, acc=0.524, loss=94.735, backward_time=0.301, grad_norm=46.354, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.080, optim0_lr0=1.971e-04, train_time=1.477 -[gpua014:0/64] 2023-12-02 22:15:38,945 (trainer:735) INFO: 5epoch:train:1801-1900batch: iter_time=9.107e-05, forward_time=0.148, loss_ctc=116.253, loss_att=94.823, acc=0.498, loss=101.252, backward_time=0.315, grad_norm=56.448, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.081, optim0_lr0=1.970e-04, train_time=1.450 -[gpua014:0/64] 2023-12-02 22:18:05,830 (trainer:735) INFO: 5epoch:train:1901-2000batch: iter_time=9.015e-05, forward_time=0.163, loss_ctc=119.214, loss_att=110.864, acc=0.496, loss=113.369, backward_time=0.294, grad_norm=56.177, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.081, optim0_lr0=1.968e-04, train_time=1.469 -[gpua014:0/64] 2023-12-02 22:21:16,149 (trainer:735) INFO: 5epoch:train:2001-2100batch: iter_time=1.009e-04, forward_time=0.226, loss_ctc=100.068, loss_att=85.879, acc=0.546, loss=90.136, backward_time=0.334, grad_norm=46.835, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.083, optim0_lr0=1.967e-04, train_time=1.903 -[gpua014:0/64] 2023-12-02 22:24:07,980 (trainer:735) INFO: 5epoch:train:2101-2200batch: iter_time=8.767e-05, forward_time=0.177, loss_ctc=109.160, loss_att=96.207, acc=0.499, loss=100.093, backward_time=0.414, grad_norm=51.968, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.083, optim0_lr0=1.965e-04, train_time=1.718 -[gpua014:0/64] 2023-12-02 22:26:36,158 (trainer:735) INFO: 5epoch:train:2201-2300batch: iter_time=9.696e-05, forward_time=0.147, loss_ctc=110.828, loss_att=94.971, acc=0.512, loss=99.728, backward_time=0.289, grad_norm=50.086, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.081, optim0_lr0=1.963e-04, train_time=1.482 -[gpua014:0/64] 2023-12-02 22:29:26,049 (trainer:735) INFO: 5epoch:train:2301-2400batch: iter_time=8.902e-05, forward_time=0.146, loss_ctc=110.614, loss_att=96.346, acc=0.542, loss=100.626, backward_time=0.341, grad_norm=49.599, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.081, optim0_lr0=1.962e-04, train_time=1.698 -[gpua014:0/64] 2023-12-02 22:32:00,900 (trainer:735) INFO: 5epoch:train:2401-2500batch: iter_time=9.152e-05, forward_time=0.147, loss_ctc=90.713, loss_att=76.251, acc=0.554, loss=80.590, backward_time=0.300, grad_norm=44.094, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.081, optim0_lr0=1.960e-04, train_time=1.549 -[gpua014:0/64] 2023-12-02 22:32:20,928 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua014:0/64] 2023-12-02 22:32:39,533 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 22:32:43,071 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 22:32:43,071 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua014:0/64] 2023-12-02 22:32:43,075 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 22:40:13,705 (trainer:735) INFO: 5epoch:train:2501-2600batch: iter_time=2.483, forward_time=0.147, loss_ctc=103.848, loss_att=87.966, acc=0.505, loss=92.731, backward_time=0.291, grad_norm=52.754, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.081, optim0_lr0=1.959e-04, train_time=4.928 -[gpua014:0/64] 2023-12-02 22:42:22,058 (trainer:735) INFO: 5epoch:train:2601-2700batch: iter_time=8.133e-05, forward_time=0.147, loss_ctc=112.698, loss_att=107.127, acc=0.502, loss=108.798, backward_time=0.286, grad_norm=55.854, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.081, optim0_lr0=1.957e-04, train_time=1.283 -[gpua014:0/64] 2023-12-02 22:44:24,166 (trainer:735) INFO: 5epoch:train:2701-2800batch: iter_time=7.829e-05, forward_time=0.146, loss_ctc=106.664, loss_att=96.902, acc=0.514, loss=99.831, backward_time=0.287, grad_norm=47.583, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.081, optim0_lr0=1.956e-04, train_time=1.221 -[gpua014:0/64] 2023-12-02 22:46:28,469 (trainer:735) INFO: 5epoch:train:2801-2900batch: iter_time=8.753e-05, forward_time=0.147, loss_ctc=122.852, loss_att=114.924, acc=0.505, loss=117.303, backward_time=0.282, grad_norm=60.588, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.082, optim0_lr0=1.954e-04, train_time=1.243 -[gpua014:0/64] 2023-12-02 22:48:41,574 (trainer:735) INFO: 5epoch:train:2901-3000batch: iter_time=8.426e-05, forward_time=0.148, loss_ctc=108.580, loss_att=99.240, acc=0.531, loss=102.042, backward_time=0.295, grad_norm=47.464, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.081, optim0_lr0=1.953e-04, train_time=1.331 -[gpua014:0/64] 2023-12-02 22:50:44,408 (trainer:735) INFO: 5epoch:train:3001-3100batch: iter_time=8.272e-05, forward_time=0.149, loss_ctc=95.845, loss_att=88.957, acc=0.516, loss=91.023, backward_time=0.277, grad_norm=43.993, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.081, optim0_lr0=1.951e-04, train_time=1.228 -[gpua014:0/64] 2023-12-02 22:52:50,551 (trainer:735) INFO: 5epoch:train:3101-3200batch: iter_time=8.174e-05, forward_time=0.147, loss_ctc=121.930, loss_att=97.876, acc=0.518, loss=105.092, backward_time=0.291, grad_norm=64.464, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.081, optim0_lr0=1.949e-04, train_time=1.261 -[gpua014:0/64] 2023-12-02 22:54:55,109 (trainer:735) INFO: 5epoch:train:3201-3300batch: iter_time=9.005e-05, forward_time=0.148, loss_ctc=107.702, loss_att=96.965, acc=0.531, loss=100.186, backward_time=0.280, grad_norm=49.099, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.081, optim0_lr0=1.948e-04, train_time=1.245 -[gpua014:0/64] 2023-12-02 22:57:09,488 (trainer:735) INFO: 5epoch:train:3301-3400batch: iter_time=8.815e-05, forward_time=0.147, loss_ctc=95.758, loss_att=78.849, acc=0.542, loss=83.922, backward_time=0.282, grad_norm=42.029, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.081, optim0_lr0=1.946e-04, train_time=1.344 -[gpua014:0/64] 2023-12-02 22:59:39,260 (trainer:735) INFO: 5epoch:train:3401-3500batch: iter_time=8.155e-05, forward_time=0.147, loss_ctc=113.475, loss_att=100.097, acc=0.507, loss=104.110, backward_time=0.312, grad_norm=54.744, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.081, optim0_lr0=1.945e-04, train_time=1.498 -[gpua014:0/64] 2023-12-02 23:01:51,046 (trainer:735) INFO: 5epoch:train:3501-3600batch: iter_time=8.410e-05, forward_time=0.154, loss_ctc=112.172, loss_att=102.030, acc=0.516, loss=105.073, backward_time=0.283, grad_norm=50.074, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.081, optim0_lr0=1.943e-04, train_time=1.318 -[gpua014:0/64] 2023-12-02 23:04:43,798 (trainer:735) INFO: 5epoch:train:3601-3700batch: iter_time=8.192e-05, forward_time=0.196, loss_ctc=93.780, loss_att=75.578, acc=0.578, loss=81.039, backward_time=0.450, grad_norm=39.885, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.090, optim0_lr0=1.942e-04, train_time=1.727 -[gpua014:0/64] 2023-12-02 23:05:50,085 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua014:0/64] 2023-12-02 23:06:08,647 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 23:06:12,156 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 23:06:12,157 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua014:0/64] 2023-12-02 23:06:12,160 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 23:14:01,263 (trainer:735) INFO: 5epoch:train:3701-3800batch: iter_time=1.318, forward_time=0.190, loss_ctc=99.844, loss_att=80.580, acc=0.544, loss=86.359, backward_time=0.291, grad_norm=49.397, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.082, optim0_lr0=1.940e-04, train_time=5.574 -[gpua014:0/64] 2023-12-02 23:15:58,727 (trainer:735) INFO: 5epoch:train:3801-3900batch: iter_time=7.886e-05, forward_time=0.146, loss_ctc=102.800, loss_att=95.147, acc=0.497, loss=97.442, backward_time=0.276, grad_norm=51.200, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.081, optim0_lr0=1.939e-04, train_time=1.175 -[gpua014:0/64] 2023-12-02 23:17:58,819 (trainer:735) INFO: 5epoch:train:3901-4000batch: iter_time=7.950e-05, forward_time=0.146, loss_ctc=107.442, loss_att=96.401, acc=0.526, loss=99.713, backward_time=0.277, grad_norm=54.408, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.080, optim0_lr0=1.937e-04, train_time=1.201 -[gpua014:0/64] 2023-12-02 23:20:02,565 (trainer:735) INFO: 5epoch:train:4001-4100batch: iter_time=8.264e-05, forward_time=0.148, loss_ctc=122.133, loss_att=106.846, acc=0.513, loss=111.432, backward_time=0.278, grad_norm=58.939, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.080, optim0_lr0=1.936e-04, train_time=1.237 -[gpua014:0/64] 2023-12-02 23:22:41,597 (trainer:735) INFO: 5epoch:train:4101-4200batch: iter_time=8.341e-05, forward_time=0.146, loss_ctc=108.007, loss_att=104.629, acc=0.525, loss=105.643, backward_time=0.327, grad_norm=46.565, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.080, optim0_lr0=1.934e-04, train_time=1.590 -[gpua014:0/64] 2023-12-02 23:24:51,722 (trainer:735) INFO: 5epoch:train:4201-4300batch: iter_time=8.133e-05, forward_time=0.145, loss_ctc=96.327, loss_att=87.514, acc=0.543, loss=90.158, backward_time=0.283, grad_norm=43.057, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.081, optim0_lr0=1.933e-04, train_time=1.301 -[gpua014:0/64] 2023-12-02 23:27:13,960 (trainer:735) INFO: 5epoch:train:4301-4400batch: iter_time=9.028e-05, forward_time=0.146, loss_ctc=111.265, loss_att=88.522, acc=0.519, loss=95.345, backward_time=0.287, grad_norm=50.357, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.081, optim0_lr0=1.931e-04, train_time=1.422 -[gpua014:0/64] 2023-12-02 23:29:21,180 (trainer:735) INFO: 5epoch:train:4401-4500batch: iter_time=8.659e-05, forward_time=0.146, loss_ctc=115.042, loss_att=105.613, acc=0.514, loss=108.442, backward_time=0.279, grad_norm=53.217, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.081, optim0_lr0=1.930e-04, train_time=1.272 -[gpua014:0/64] 2023-12-02 23:31:26,728 (trainer:735) INFO: 5epoch:train:4501-4600batch: iter_time=8.134e-05, forward_time=0.146, loss_ctc=95.745, loss_att=80.494, acc=0.565, loss=85.069, backward_time=0.279, grad_norm=42.330, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.081, optim0_lr0=1.928e-04, train_time=1.255 -[gpua014:0/64] 2023-12-02 23:33:50,789 (trainer:735) INFO: 5epoch:train:4601-4700batch: iter_time=7.782e-05, forward_time=0.149, loss_ctc=104.190, loss_att=91.003, acc=0.515, loss=94.959, backward_time=0.293, grad_norm=52.464, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.080, optim0_lr0=1.927e-04, train_time=1.440 -[gpua014:0/64] 2023-12-02 23:36:03,477 (trainer:735) INFO: 5epoch:train:4701-4800batch: iter_time=8.568e-05, forward_time=0.148, loss_ctc=106.443, loss_att=89.843, acc=0.531, loss=94.823, backward_time=0.301, grad_norm=48.980, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.080, optim0_lr0=1.925e-04, train_time=1.327 -[gpua014:0/64] 2023-12-02 23:38:34,688 (trainer:735) INFO: 5epoch:train:4801-4900batch: iter_time=8.245e-05, forward_time=0.146, loss_ctc=107.894, loss_att=91.112, acc=0.559, loss=96.147, backward_time=0.304, grad_norm=48.763, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.081, optim0_lr0=1.924e-04, train_time=1.512 -[gpua014:0/64] 2023-12-02 23:40:50,624 (trainer:735) INFO: 5epoch:train:4901-5000batch: iter_time=8.559e-05, forward_time=0.145, loss_ctc=87.074, loss_att=72.664, acc=0.570, loss=76.987, backward_time=0.287, grad_norm=42.296, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.080, optim0_lr0=1.922e-04, train_time=1.359 -[gpua014:0/64] 2023-12-02 23:41:10,429 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua014:0/64] 2023-12-02 23:41:28,760 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-02 23:41:32,253 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-02 23:41:32,253 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua014:0/64] 2023-12-02 23:41:32,256 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-02 23:48:58,597 (trainer:735) INFO: 5epoch:train:5001-5100batch: iter_time=3.656, forward_time=0.185, loss_ctc=100.104, loss_att=85.929, acc=0.520, loss=90.181, backward_time=0.290, grad_norm=49.081, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.083, optim0_lr0=1.921e-04, train_time=4.879 -[gpua014:0/64] 2023-12-02 23:50:59,056 (trainer:735) INFO: 5epoch:train:5101-5200batch: iter_time=8.819e-05, forward_time=0.146, loss_ctc=108.283, loss_att=106.533, acc=0.523, loss=107.058, backward_time=0.278, grad_norm=52.062, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.080, optim0_lr0=1.919e-04, train_time=1.204 -[gpua014:0/64] 2023-12-02 23:52:57,871 (trainer:735) INFO: 5epoch:train:5201-5300batch: iter_time=9.174e-05, forward_time=0.147, loss_ctc=102.005, loss_att=95.928, acc=0.532, loss=97.751, backward_time=0.277, grad_norm=45.203, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.080, optim0_lr0=1.918e-04, train_time=1.188 -[gpua014:0/64] 2023-12-02 23:55:09,066 (trainer:735) INFO: 5epoch:train:5301-5400batch: iter_time=1.060e-04, forward_time=0.148, loss_ctc=119.577, loss_att=111.700, acc=0.526, loss=114.063, backward_time=0.282, grad_norm=56.202, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.081, optim0_lr0=1.916e-04, train_time=1.312 -[gpua014:0/64] 2023-12-02 23:57:40,537 (trainer:735) INFO: 5epoch:train:5401-5500batch: iter_time=9.868e-05, forward_time=0.148, loss_ctc=104.058, loss_att=97.256, acc=0.553, loss=99.297, backward_time=0.299, grad_norm=47.754, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.080, optim0_lr0=1.915e-04, train_time=1.514 -[gpua014:0/64] 2023-12-02 23:59:45,452 (trainer:735) INFO: 5epoch:train:5501-5600batch: iter_time=8.972e-05, forward_time=0.163, loss_ctc=91.515, loss_att=87.067, acc=0.539, loss=88.401, backward_time=0.313, grad_norm=41.983, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.085, optim0_lr0=1.913e-04, train_time=1.249 -[gpua014:0/64] 2023-12-03 00:02:07,331 (trainer:735) INFO: 5epoch:train:5601-5700batch: iter_time=9.249e-05, forward_time=0.147, loss_ctc=118.320, loss_att=96.896, acc=0.536, loss=103.323, backward_time=0.300, grad_norm=66.101, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.081, optim0_lr0=1.912e-04, train_time=1.419 -[gpua014:0/64] 2023-12-03 00:04:25,136 (trainer:735) INFO: 5epoch:train:5701-5800batch: iter_time=1.015e-04, forward_time=0.161, loss_ctc=105.254, loss_att=95.240, acc=0.555, loss=98.244, backward_time=0.309, grad_norm=48.976, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.083, optim0_lr0=1.911e-04, train_time=1.378 -[gpua014:0/64] 2023-12-03 00:06:31,867 (trainer:735) INFO: 5epoch:train:5801-5900batch: iter_time=9.639e-05, forward_time=0.168, loss_ctc=93.398, loss_att=76.373, acc=0.561, loss=81.480, backward_time=0.311, grad_norm=41.320, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.082, optim0_lr0=1.909e-04, train_time=1.267 -[gpua014:0/64] 2023-12-03 00:08:30,155 (trainer:735) INFO: 5epoch:train:5901-6000batch: iter_time=9.549e-05, forward_time=0.147, loss_ctc=108.050, loss_att=97.723, acc=0.527, loss=100.821, backward_time=0.278, grad_norm=51.406, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.080, optim0_lr0=1.908e-04, train_time=1.183 -[gpua014:0/64] 2023-12-03 00:11:14,901 (trainer:735) INFO: 5epoch:train:6001-6100batch: iter_time=9.184e-05, forward_time=0.147, loss_ctc=109.043, loss_att=99.410, acc=0.540, loss=102.300, backward_time=0.351, grad_norm=48.952, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.080, optim0_lr0=1.906e-04, train_time=1.647 -[gpua014:0/64] 2023-12-03 00:13:38,347 (trainer:735) INFO: 5epoch:train:6101-6200batch: iter_time=8.680e-05, forward_time=0.196, loss_ctc=90.610, loss_att=72.813, acc=0.600, loss=78.152, backward_time=0.322, grad_norm=39.080, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.082, optim0_lr0=1.905e-04, train_time=1.434 -[gpua014:0/64] 2023-12-03 00:15:02,840 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua014:0/64] 2023-12-03 00:15:21,031 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-03 00:15:24,571 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-03 00:15:24,572 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua014:0/64] 2023-12-03 00:15:24,575 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-03 00:20:22,824 (trainer:735) INFO: 5epoch:train:6201-6300batch: iter_time=2.607, forward_time=0.148, loss_ctc=96.392, loss_att=77.839, acc=0.561, loss=83.405, backward_time=0.279, grad_norm=50.390, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.080, optim0_lr0=1.903e-04, train_time=4.045 -[gpua014:0/64] 2023-12-03 00:22:18,390 (trainer:735) INFO: 5epoch:train:6301-6400batch: iter_time=7.433e-05, forward_time=0.146, loss_ctc=100.079, loss_att=92.963, acc=0.510, loss=95.098, backward_time=0.277, grad_norm=51.488, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.080, optim0_lr0=1.902e-04, train_time=1.155 -[gpua014:0/64] 2023-12-03 00:24:15,498 (trainer:735) INFO: 5epoch:train:6401-6500batch: iter_time=7.772e-05, forward_time=0.146, loss_ctc=102.114, loss_att=93.530, acc=0.541, loss=96.105, backward_time=0.277, grad_norm=47.072, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.080, optim0_lr0=1.900e-04, train_time=1.171 -[gpua014:0/64] 2023-12-03 00:26:13,443 (trainer:735) INFO: 5epoch:train:6501-6600batch: iter_time=8.273e-05, forward_time=0.146, loss_ctc=117.959, loss_att=103.830, acc=0.524, loss=108.069, backward_time=0.278, grad_norm=62.431, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.080, optim0_lr0=1.899e-04, train_time=1.179 -[gpua014:0/64] 2023-12-03 00:28:46,449 (trainer:735) INFO: 5epoch:train:6601-6700batch: iter_time=8.456e-05, forward_time=0.147, loss_ctc=103.505, loss_att=100.403, acc=0.539, loss=101.334, backward_time=0.291, grad_norm=45.497, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.080, optim0_lr0=1.898e-04, train_time=1.530 -[gpua014:0/64] 2023-12-03 00:30:54,765 (trainer:735) INFO: 5epoch:train:6701-6800batch: iter_time=8.493e-05, forward_time=0.147, loss_ctc=93.986, loss_att=85.633, acc=0.556, loss=88.139, backward_time=0.279, grad_norm=41.541, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.080, optim0_lr0=1.896e-04, train_time=1.283 -[gpua014:0/64] 2023-12-03 00:33:25,367 (trainer:735) INFO: 5epoch:train:6801-6900batch: iter_time=9.429e-05, forward_time=0.177, loss_ctc=106.935, loss_att=84.965, acc=0.535, loss=91.556, backward_time=0.318, grad_norm=48.987, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.082, optim0_lr0=1.895e-04, train_time=1.506 -[gpua014:0/64] 2023-12-03 00:35:37,088 (trainer:735) INFO: 5epoch:train:6901-7000batch: iter_time=8.528e-05, forward_time=0.187, loss_ctc=111.565, loss_att=100.022, acc=0.531, loss=103.485, backward_time=0.315, grad_norm=56.642, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.083, optim0_lr0=1.893e-04, train_time=1.317 -[gpua014:0/64] 2023-12-03 00:37:36,997 (trainer:735) INFO: 5epoch:train:7001-7100batch: iter_time=8.900e-05, forward_time=0.147, loss_ctc=93.324, loss_att=77.796, acc=0.577, loss=82.454, backward_time=0.280, grad_norm=42.727, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.080, optim0_lr0=1.892e-04, train_time=1.199 -[gpua014:0/64] 2023-12-03 00:39:48,643 (trainer:735) INFO: 5epoch:train:7101-7200batch: iter_time=8.385e-05, forward_time=0.147, loss_ctc=101.865, loss_att=88.511, acc=0.528, loss=92.517, backward_time=0.296, grad_norm=47.727, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.081, optim0_lr0=1.891e-04, train_time=1.316 -[gpua014:0/64] 2023-12-03 00:42:38,454 (trainer:735) INFO: 5epoch:train:7201-7300batch: iter_time=8.416e-05, forward_time=0.178, loss_ctc=103.315, loss_att=86.719, acc=0.545, loss=91.698, backward_time=0.357, grad_norm=47.072, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.084, optim0_lr0=1.889e-04, train_time=1.698 -[gpua014:0/64] 2023-12-03 00:44:45,810 (trainer:735) INFO: 5epoch:train:7301-7400batch: iter_time=8.296e-05, forward_time=0.147, loss_ctc=104.482, loss_att=88.572, acc=0.570, loss=93.345, backward_time=0.284, grad_norm=43.631, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.080, optim0_lr0=1.888e-04, train_time=1.273 -[gpua014:0/64] 2023-12-03 00:47:04,442 (trainer:735) INFO: 5epoch:train:7401-7500batch: iter_time=8.236e-05, forward_time=0.146, loss_ctc=84.201, loss_att=69.642, acc=0.583, loss=74.010, backward_time=0.289, grad_norm=41.467, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.081, optim0_lr0=1.886e-04, train_time=1.386 -[gpua014:0/64] 2023-12-03 00:47:22,067 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua014:0/64] 2023-12-03 00:47:40,711 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-03 00:47:44,335 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-03 00:47:44,335 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua014:0/64] 2023-12-03 00:47:44,338 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-03 00:54:03,683 (trainer:735) INFO: 5epoch:train:7501-7600batch: iter_time=2.944, forward_time=0.169, loss_ctc=96.894, loss_att=81.138, acc=0.534, loss=85.865, backward_time=0.281, grad_norm=49.279, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.080, optim0_lr0=1.885e-04, train_time=4.192 -[gpua014:0/64] 2023-12-03 00:56:02,867 (trainer:735) INFO: 5epoch:train:7601-7700batch: iter_time=9.003e-05, forward_time=0.147, loss_ctc=105.252, loss_att=98.143, acc=0.535, loss=100.276, backward_time=0.278, grad_norm=51.734, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.080, optim0_lr0=1.884e-04, train_time=1.192 -[gpua014:0/64] 2023-12-03 00:57:58,395 (trainer:735) INFO: 5epoch:train:7701-7800batch: iter_time=8.573e-05, forward_time=0.147, loss_ctc=100.074, loss_att=88.568, acc=0.545, loss=92.020, backward_time=0.279, grad_norm=47.761, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.080, optim0_lr0=1.882e-04, train_time=1.155 -[gpua014:0/64] 2023-12-03 01:00:16,377 (trainer:735) INFO: 5epoch:train:7801-7900batch: iter_time=8.622e-05, forward_time=0.147, loss_ctc=116.888, loss_att=107.667, acc=0.531, loss=110.434, backward_time=0.287, grad_norm=55.767, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.080, optim0_lr0=1.881e-04, train_time=1.380 -[gpua014:0/64] 2023-12-03 01:02:48,955 (trainer:735) INFO: 5epoch:train:7901-8000batch: iter_time=8.966e-05, forward_time=0.147, loss_ctc=102.369, loss_att=91.704, acc=0.559, loss=94.903, backward_time=0.286, grad_norm=46.825, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.080, optim0_lr0=1.879e-04, train_time=1.526 -[gpua014:0/64] 2023-12-03 01:04:55,550 (trainer:735) INFO: 5epoch:train:8001-8100batch: iter_time=9.746e-05, forward_time=0.183, loss_ctc=89.244, loss_att=81.696, acc=0.547, loss=83.960, backward_time=0.295, grad_norm=41.196, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.083, optim0_lr0=1.878e-04, train_time=1.266 -[gpua014:0/64] 2023-12-03 01:07:25,740 (trainer:735) INFO: 5epoch:train:8101-8200batch: iter_time=9.594e-05, forward_time=0.148, loss_ctc=113.849, loss_att=90.734, acc=0.547, loss=97.669, backward_time=0.293, grad_norm=60.822, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.080, optim0_lr0=1.877e-04, train_time=1.502 -[gpua014:0/64] 2023-12-03 01:09:38,435 (trainer:735) INFO: 5epoch:train:8201-8300batch: iter_time=9.492e-05, forward_time=0.147, loss_ctc=102.706, loss_att=90.387, acc=0.559, loss=94.083, backward_time=0.288, grad_norm=50.183, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.080, optim0_lr0=1.875e-04, train_time=1.327 -[gpua014:0/64] 2023-12-03 01:11:53,487 (trainer:735) INFO: 5epoch:train:8301-8400batch: iter_time=8.637e-05, forward_time=0.147, loss_ctc=89.781, loss_att=71.770, acc=0.571, loss=77.173, backward_time=0.313, grad_norm=42.223, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.080, optim0_lr0=1.874e-04, train_time=1.350 -[gpua014:0/64] 2023-12-03 01:13:53,101 (trainer:735) INFO: 5epoch:train:8401-8500batch: iter_time=9.098e-05, forward_time=0.147, loss_ctc=106.994, loss_att=93.122, acc=0.534, loss=97.284, backward_time=0.279, grad_norm=51.829, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.080, optim0_lr0=1.872e-04, train_time=1.196 -[gpua014:0/64] 2023-12-03 01:16:19,357 (trainer:735) INFO: 5epoch:train:8501-8600batch: iter_time=9.139e-05, forward_time=0.147, loss_ctc=106.216, loss_att=94.423, acc=0.546, loss=97.961, backward_time=0.304, grad_norm=47.540, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.080, optim0_lr0=1.871e-04, train_time=1.462 -[gpua014:0/64] 2023-12-03 01:18:34,178 (trainer:735) INFO: 5epoch:train:8601-8700batch: iter_time=8.909e-05, forward_time=0.202, loss_ctc=87.658, loss_att=69.305, acc=0.609, loss=74.811, backward_time=0.322, grad_norm=39.086, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.087, optim0_lr0=1.870e-04, train_time=1.348 -[gpua014:0/64] 2023-12-03 01:19:53,195 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua014:0/64] 2023-12-03 01:20:12,003 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-03 01:20:15,670 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-03 01:20:15,670 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua014:0/64] 2023-12-03 01:20:15,674 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-03 01:25:20,181 (trainer:735) INFO: 5epoch:train:8701-8800batch: iter_time=2.303, forward_time=0.178, loss_ctc=93.312, loss_att=74.929, acc=0.576, loss=80.444, backward_time=0.283, grad_norm=47.399, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.082, optim0_lr0=1.868e-04, train_time=4.060 -[gpua014:0/64] 2023-12-03 01:27:15,366 (trainer:735) INFO: 5epoch:train:8801-8900batch: iter_time=7.643e-05, forward_time=0.147, loss_ctc=96.233, loss_att=92.820, acc=0.520, loss=93.844, backward_time=0.277, grad_norm=47.224, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.081, optim0_lr0=1.867e-04, train_time=1.152 -[gpua014:0/64] 2023-12-03 01:29:24,360 (trainer:735) INFO: 5epoch:train:8901-9000batch: iter_time=7.996e-05, forward_time=0.147, loss_ctc=99.131, loss_att=92.896, acc=0.556, loss=94.766, backward_time=0.280, grad_norm=45.312, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.080, optim0_lr0=1.866e-04, train_time=1.290 -[gpua014:0/64] 2023-12-03 01:31:29,584 (trainer:735) INFO: 5epoch:train:9001-9100batch: iter_time=7.818e-05, forward_time=0.147, loss_ctc=116.536, loss_att=104.030, acc=0.542, loss=107.781, backward_time=0.279, grad_norm=69.595, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.080, optim0_lr0=1.864e-04, train_time=1.252 -[gpua014:0/64] 2023-12-03 01:33:33,472 (trainer:735) INFO: 5epoch:train:9101-9200batch: iter_time=8.497e-05, forward_time=0.147, loss_ctc=102.740, loss_att=100.954, acc=0.555, loss=101.490, backward_time=0.293, grad_norm=45.642, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.080, optim0_lr0=1.863e-04, train_time=1.239 -[gpua014:0/64] 2023-12-03 01:35:34,433 (trainer:735) INFO: 5epoch:train:9201-9300batch: iter_time=8.740e-05, forward_time=0.147, loss_ctc=90.758, loss_att=83.266, acc=0.575, loss=85.514, backward_time=0.285, grad_norm=40.360, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.080, optim0_lr0=1.862e-04, train_time=1.209 -[gpua014:0/64] 2023-12-03 01:37:44,488 (trainer:735) INFO: 5epoch:train:9301-9400batch: iter_time=8.180e-05, forward_time=0.192, loss_ctc=105.255, loss_att=83.833, acc=0.556, loss=90.259, backward_time=0.333, grad_norm=48.719, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.086, optim0_lr0=1.860e-04, train_time=1.300 -[gpua014:0/64] 2023-12-03 01:39:50,805 (trainer:735) INFO: 5epoch:train:9401-9500batch: iter_time=7.740e-05, forward_time=0.164, loss_ctc=109.705, loss_att=100.969, acc=0.546, loss=103.590, backward_time=0.293, grad_norm=55.096, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.080, optim0_lr0=1.859e-04, train_time=1.263 -[gpua014:0/64] 2023-12-03 01:42:15,231 (trainer:735) INFO: 5epoch:train:9501-9600batch: iter_time=8.291e-05, forward_time=0.146, loss_ctc=90.888, loss_att=76.529, acc=0.599, loss=80.836, backward_time=0.288, grad_norm=40.278, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.081, optim0_lr0=1.858e-04, train_time=1.444 -[gpua014:0/64] 2023-12-03 01:44:26,811 (trainer:735) INFO: 5epoch:train:9601-9700batch: iter_time=8.187e-05, forward_time=0.146, loss_ctc=98.432, loss_att=87.252, acc=0.542, loss=90.606, backward_time=0.284, grad_norm=52.089, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.080, optim0_lr0=1.856e-04, train_time=1.316 -[gpua014:0/64] 2023-12-03 01:46:41,795 (trainer:735) INFO: 5epoch:train:9701-9800batch: iter_time=7.987e-05, forward_time=0.146, loss_ctc=100.615, loss_att=85.238, acc=0.560, loss=89.851, backward_time=0.281, grad_norm=45.534, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.080, optim0_lr0=1.855e-04, train_time=1.350 -[gpua014:0/64] 2023-12-03 01:49:06,760 (trainer:735) INFO: 5epoch:train:9801-9900batch: iter_time=7.981e-05, forward_time=0.147, loss_ctc=101.893, loss_att=86.447, acc=0.588, loss=91.081, backward_time=0.306, grad_norm=45.398, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.080, optim0_lr0=1.854e-04, train_time=1.449 -[gpua014:0/64] 2023-12-03 01:51:23,199 (trainer:735) INFO: 5epoch:train:9901-10000batch: iter_time=8.891e-05, forward_time=0.191, loss_ctc=82.366, loss_att=68.740, acc=0.601, loss=72.828, backward_time=0.285, grad_norm=39.810, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.089, optim0_lr0=1.852e-04, train_time=1.364 -[gpua014:0/64] 2023-12-03 01:51:43,259 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua014:0/64] 2023-12-03 01:52:01,973 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-03 01:52:05,602 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-03 01:52:05,603 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua014:0/64] 2023-12-03 01:52:05,606 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-03 01:58:11,854 (trainer:735) INFO: 5epoch:train:10001-10100batch: iter_time=2.745, forward_time=0.147, loss_ctc=94.105, loss_att=78.990, acc=0.550, loss=83.524, backward_time=0.279, grad_norm=49.626, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.080, optim0_lr0=1.851e-04, train_time=4.087 -[gpua014:0/64] 2023-12-03 02:00:15,541 (trainer:735) INFO: 5epoch:train:10101-10200batch: iter_time=8.204e-05, forward_time=0.147, loss_ctc=103.487, loss_att=96.929, acc=0.552, loss=98.896, backward_time=0.278, grad_norm=52.996, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.080, optim0_lr0=1.850e-04, train_time=1.237 -[gpua014:0/64] 2023-12-03 02:02:20,218 (trainer:735) INFO: 5epoch:train:10201-10300batch: iter_time=8.035e-05, forward_time=0.147, loss_ctc=97.395, loss_att=87.491, acc=0.560, loss=90.462, backward_time=0.284, grad_norm=45.554, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.080, optim0_lr0=1.848e-04, train_time=1.247 -[gpua014:0/64] 2023-12-03 02:04:39,610 (trainer:735) INFO: 5epoch:train:10301-10400batch: iter_time=8.290e-05, forward_time=0.147, loss_ctc=113.820, loss_att=105.534, acc=0.548, loss=108.020, backward_time=0.287, grad_norm=55.513, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.080, optim0_lr0=1.847e-04, train_time=1.394 -[gpua014:0/64] 2023-12-03 02:06:41,122 (trainer:735) INFO: 5epoch:train:10401-10500batch: iter_time=8.723e-05, forward_time=0.147, loss_ctc=99.636, loss_att=90.884, acc=0.575, loss=93.510, backward_time=0.287, grad_norm=43.331, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.080, optim0_lr0=1.846e-04, train_time=1.215 -[gpua014:0/64] 2023-12-03 02:08:50,879 (trainer:735) INFO: 5epoch:train:10501-10600batch: iter_time=8.097e-05, forward_time=0.192, loss_ctc=86.957, loss_att=80.673, acc=0.567, loss=82.558, backward_time=0.318, grad_norm=38.507, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.083, optim0_lr0=1.844e-04, train_time=1.297 -[gpua014:0/64] 2023-12-03 02:10:56,209 (trainer:735) INFO: 5epoch:train:10601-10700batch: iter_time=7.810e-05, forward_time=0.148, loss_ctc=112.108, loss_att=90.172, acc=0.563, loss=96.753, backward_time=0.282, grad_norm=59.905, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.080, optim0_lr0=1.843e-04, train_time=1.253 -[gpua014:0/64] 2023-12-03 02:13:06,800 (trainer:735) INFO: 5epoch:train:10701-10800batch: iter_time=8.172e-05, forward_time=0.148, loss_ctc=100.617, loss_att=89.607, acc=0.579, loss=92.910, backward_time=0.299, grad_norm=46.384, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.080, optim0_lr0=1.842e-04, train_time=1.306 -[gpua014:0/64] 2023-12-03 02:15:17,705 (trainer:735) INFO: 5epoch:train:10801-10900batch: iter_time=8.352e-05, forward_time=0.147, loss_ctc=88.190, loss_att=70.617, acc=0.586, loss=75.889, backward_time=0.288, grad_norm=39.917, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.080, optim0_lr0=1.840e-04, train_time=1.309 -[gpua014:0/64] 2023-12-03 02:17:34,612 (trainer:735) INFO: 5epoch:train:10901-11000batch: iter_time=8.618e-05, forward_time=0.148, loss_ctc=103.820, loss_att=91.822, acc=0.551, loss=95.422, backward_time=0.284, grad_norm=51.342, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.080, optim0_lr0=1.839e-04, train_time=1.369 -[gpua014:0/64] 2023-12-03 02:20:09,438 (trainer:735) INFO: 5epoch:train:11001-11100batch: iter_time=8.539e-05, forward_time=0.147, loss_ctc=103.451, loss_att=93.492, acc=0.563, loss=96.480, backward_time=0.321, grad_norm=47.185, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.080, optim0_lr0=1.838e-04, train_time=1.548 -[gpua014:0/64] 2023-12-03 02:22:30,559 (trainer:735) INFO: 5epoch:train:11101-11200batch: iter_time=8.884e-05, forward_time=0.159, loss_ctc=86.625, loss_att=68.512, acc=0.624, loss=73.946, backward_time=0.303, grad_norm=37.413, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.083, optim0_lr0=1.837e-04, train_time=1.411 -[gpua014:0/64] 2023-12-03 02:24:24,667 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua014:0/64] 2023-12-03 02:24:43,661 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-03 02:24:47,290 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-03 02:24:47,290 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua014:0/64] 2023-12-03 02:24:47,293 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-03 02:34:04,767 (trainer:735) INFO: 5epoch:train:11201-11300batch: iter_time=1.635, forward_time=0.202, loss_ctc=90.797, loss_att=73.580, acc=0.585, loss=78.745, backward_time=0.312, grad_norm=45.645, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.081, optim0_lr0=1.835e-04, train_time=6.942 -[gpua014:0/64] 2023-12-03 02:36:00,723 (trainer:735) INFO: 5epoch:train:11301-11400batch: iter_time=7.543e-05, forward_time=0.147, loss_ctc=94.369, loss_att=87.566, acc=0.533, loss=89.607, backward_time=0.278, grad_norm=50.053, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.080, optim0_lr0=1.834e-04, train_time=1.159 -[gpua014:0/64] 2023-12-03 02:37:55,972 (trainer:735) INFO: 5epoch:train:11401-11500batch: iter_time=8.467e-05, forward_time=0.147, loss_ctc=97.362, loss_att=88.194, acc=0.565, loss=90.945, backward_time=0.278, grad_norm=45.373, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.080, optim0_lr0=1.833e-04, train_time=1.152 -[gpua014:0/64] 2023-12-03 02:39:58,799 (trainer:735) INFO: 5epoch:train:11501-11600batch: iter_time=8.374e-05, forward_time=0.154, loss_ctc=112.328, loss_att=98.091, acc=0.548, loss=102.362, backward_time=0.299, grad_norm=60.002, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.081, optim0_lr0=1.831e-04, train_time=1.228 -[gpua014:0/64] 2023-12-03 02:42:06,613 (trainer:735) INFO: 5epoch:train:11601-11700batch: iter_time=8.452e-05, forward_time=0.147, loss_ctc=99.950, loss_att=96.572, acc=0.559, loss=97.586, backward_time=0.301, grad_norm=44.279, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.080, optim0_lr0=1.830e-04, train_time=1.278 -[gpua014:0/64] 2023-12-03 02:44:22,163 (trainer:735) INFO: 5epoch:train:11701-11800batch: iter_time=9.163e-05, forward_time=0.148, loss_ctc=89.373, loss_att=79.972, acc=0.579, loss=82.792, backward_time=0.284, grad_norm=42.702, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.080, optim0_lr0=1.829e-04, train_time=1.355 -[gpua014:0/64] 2023-12-03 02:46:32,096 (trainer:735) INFO: 5epoch:train:11801-11900batch: iter_time=9.334e-05, forward_time=0.148, loss_ctc=102.756, loss_att=79.930, acc=0.559, loss=86.777, backward_time=0.290, grad_norm=47.849, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.080, optim0_lr0=1.828e-04, train_time=1.299 -[gpua014:0/64] 2023-12-03 02:49:14,900 (trainer:735) INFO: 5epoch:train:11901-12000batch: iter_time=1.027e-04, forward_time=0.147, loss_ctc=105.631, loss_att=96.110, acc=0.550, loss=98.966, backward_time=0.325, grad_norm=54.837, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.080, optim0_lr0=1.826e-04, train_time=1.628 -[gpua014:0/64] 2023-12-03 02:51:39,015 (trainer:735) INFO: 5epoch:train:12001-12100batch: iter_time=1.081e-04, forward_time=0.150, loss_ctc=89.915, loss_att=74.404, acc=0.596, loss=79.057, backward_time=0.308, grad_norm=41.062, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.080, optim0_lr0=1.825e-04, train_time=1.441 -[gpua014:0/64] 2023-12-03 02:53:52,602 (trainer:735) INFO: 5epoch:train:12101-12200batch: iter_time=1.020e-04, forward_time=0.162, loss_ctc=96.899, loss_att=83.504, acc=0.550, loss=87.523, backward_time=0.282, grad_norm=48.257, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.081, optim0_lr0=1.824e-04, train_time=1.336 -[gpua014:0/64] 2023-12-03 02:55:59,837 (trainer:735) INFO: 5epoch:train:12201-12300batch: iter_time=1.021e-04, forward_time=0.163, loss_ctc=97.734, loss_att=81.795, acc=0.566, loss=86.577, backward_time=0.282, grad_norm=47.691, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.082, optim0_lr0=1.823e-04, train_time=1.272 -[gpua014:0/64] 2023-12-03 02:58:35,755 (trainer:735) INFO: 5epoch:train:12301-12400batch: iter_time=8.333e-05, forward_time=0.147, loss_ctc=100.118, loss_att=83.887, acc=0.592, loss=88.756, backward_time=0.319, grad_norm=47.628, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.081, optim0_lr0=1.821e-04, train_time=1.559 -[gpua014:0/64] 2023-12-03 03:00:45,747 (trainer:735) INFO: 5epoch:train:12401-12500batch: iter_time=7.893e-05, forward_time=0.191, loss_ctc=79.990, loss_att=65.802, acc=0.605, loss=70.058, backward_time=0.307, grad_norm=37.151, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.083, optim0_lr0=1.820e-04, train_time=1.300 -[gpua014:0/64] 2023-12-03 03:01:05,777 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua014:0/64] 2023-12-03 03:01:24,660 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-03 03:01:28,304 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-03 03:01:28,304 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua014:0/64] 2023-12-03 03:01:28,307 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-03 03:07:33,915 (trainer:735) INFO: 5epoch:train:12501-12600batch: iter_time=2.825, forward_time=0.162, loss_ctc=92.262, loss_att=78.244, acc=0.557, loss=82.449, backward_time=0.281, grad_norm=47.638, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.081, optim0_lr0=1.819e-04, train_time=4.082 -[gpua014:0/64] 2023-12-03 03:09:31,457 (trainer:735) INFO: 5epoch:train:12601-12700batch: iter_time=7.974e-05, forward_time=0.147, loss_ctc=100.633, loss_att=96.188, acc=0.559, loss=97.521, backward_time=0.286, grad_norm=52.079, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.081, optim0_lr0=1.818e-04, train_time=1.175 -[gpua014:0/64] 2023-12-03 03:11:39,373 (trainer:735) INFO: 5epoch:train:12701-12800batch: iter_time=8.358e-05, forward_time=0.148, loss_ctc=95.691, loss_att=87.752, acc=0.565, loss=90.134, backward_time=0.283, grad_norm=46.598, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.081, optim0_lr0=1.816e-04, train_time=1.279 -[gpua014:0/64] 2023-12-03 03:13:36,824 (trainer:735) INFO: 5epoch:train:12801-12900batch: iter_time=8.940e-05, forward_time=0.147, loss_ctc=110.113, loss_att=103.035, acc=0.557, loss=105.158, backward_time=0.283, grad_norm=55.483, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.080, optim0_lr0=1.815e-04, train_time=1.174 -[gpua014:0/64] 2023-12-03 03:15:45,664 (trainer:735) INFO: 5epoch:train:12901-13000batch: iter_time=8.969e-05, forward_time=0.156, loss_ctc=97.654, loss_att=87.920, acc=0.586, loss=90.840, backward_time=0.315, grad_norm=42.477, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.085, optim0_lr0=1.814e-04, train_time=1.288 -[gpua014:0/64] 2023-12-03 03:18:10,773 (trainer:735) INFO: 5epoch:train:13001-13100batch: iter_time=8.860e-05, forward_time=0.163, loss_ctc=85.289, loss_att=79.516, acc=0.572, loss=81.248, backward_time=0.295, grad_norm=39.716, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.081, optim0_lr0=1.813e-04, train_time=1.451 -[gpua014:0/64] 2023-12-03 03:20:37,517 (trainer:735) INFO: 5epoch:train:13101-13200batch: iter_time=8.264e-05, forward_time=0.185, loss_ctc=107.983, loss_att=87.991, acc=0.572, loss=93.988, backward_time=0.324, grad_norm=54.231, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.085, optim0_lr0=1.811e-04, train_time=1.467 -[gpua014:0/64] 2023-12-03 03:22:56,520 (trainer:735) INFO: 5epoch:train:13201-13300batch: iter_time=7.944e-05, forward_time=0.149, loss_ctc=98.543, loss_att=87.848, acc=0.589, loss=91.057, backward_time=0.286, grad_norm=45.520, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.081, optim0_lr0=1.810e-04, train_time=1.390 -[gpua014:0/64] 2023-12-03 03:25:35,409 (trainer:735) INFO: 5epoch:train:13301-13400batch: iter_time=8.606e-05, forward_time=0.159, loss_ctc=86.218, loss_att=69.137, acc=0.594, loss=74.262, backward_time=0.312, grad_norm=40.860, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.081, optim0_lr0=1.809e-04, train_time=1.589 -[gpua014:0/64] 2023-12-03 03:27:39,841 (trainer:735) INFO: 5epoch:train:13401-13500batch: iter_time=8.818e-05, forward_time=0.149, loss_ctc=101.606, loss_att=89.706, acc=0.557, loss=93.276, backward_time=0.284, grad_norm=53.566, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.081, optim0_lr0=1.808e-04, train_time=1.244 -[gpua014:0/64] 2023-12-03 03:29:56,026 (trainer:735) INFO: 5epoch:train:13501-13600batch: iter_time=8.137e-05, forward_time=0.148, loss_ctc=101.660, loss_att=91.116, acc=0.572, loss=94.279, backward_time=0.306, grad_norm=48.751, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.081, optim0_lr0=1.806e-04, train_time=1.362 -[gpua014:0/64] 2023-12-03 03:32:18,452 (trainer:735) INFO: 5epoch:train:13601-13700batch: iter_time=8.454e-05, forward_time=0.148, loss_ctc=84.220, loss_att=66.068, acc=0.633, loss=71.513, backward_time=0.295, grad_norm=39.834, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.080, optim0_lr0=1.805e-04, train_time=1.424 -[gpua014:0/64] 2023-12-03 03:33:37,187 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua014:0/64] 2023-12-03 03:33:55,894 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-03 03:33:59,565 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-03 03:33:59,565 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua014:0/64] 2023-12-03 03:33:59,568 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-03 03:38:22,710 (trainer:735) INFO: 5epoch:train:13701-13800batch: iter_time=2.389, forward_time=0.174, loss_ctc=89.117, loss_att=70.284, acc=0.602, loss=75.934, backward_time=0.281, grad_norm=42.954, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.083, optim0_lr0=1.804e-04, train_time=3.642 -[gpua014:0/64] 2023-12-03 03:40:19,195 (trainer:735) INFO: 5epoch:train:13801-13900batch: iter_time=7.928e-05, forward_time=0.148, loss_ctc=92.929, loss_att=85.969, acc=0.546, loss=88.057, backward_time=0.280, grad_norm=46.583, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.082, optim0_lr0=1.803e-04, train_time=1.165 -[gpua014:0/64] 2023-12-03 03:42:15,544 (trainer:735) INFO: 5epoch:train:13901-14000batch: iter_time=8.967e-05, forward_time=0.147, loss_ctc=95.315, loss_att=87.135, acc=0.579, loss=89.589, backward_time=0.281, grad_norm=44.465, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.081, optim0_lr0=1.801e-04, train_time=1.163 -[gpua014:0/64] 2023-12-03 03:44:24,164 (trainer:735) INFO: 5epoch:train:14001-14100batch: iter_time=8.654e-05, forward_time=0.180, loss_ctc=109.162, loss_att=95.988, acc=0.563, loss=99.940, backward_time=0.311, grad_norm=57.173, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.086, optim0_lr0=1.800e-04, train_time=1.286 -[gpua014:0/64] 2023-12-03 03:46:34,212 (trainer:735) INFO: 5epoch:train:14101-14200batch: iter_time=8.525e-05, forward_time=0.148, loss_ctc=98.019, loss_att=94.552, acc=0.576, loss=95.592, backward_time=0.306, grad_norm=44.238, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.082, optim0_lr0=1.799e-04, train_time=1.300 -[gpua014:0/64] 2023-12-03 03:48:47,884 (trainer:735) INFO: 5epoch:train:14201-14300batch: iter_time=9.061e-05, forward_time=0.155, loss_ctc=87.534, loss_att=78.716, acc=0.593, loss=81.362, backward_time=0.313, grad_norm=40.796, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.081, optim0_lr0=1.798e-04, train_time=1.337 -[gpua014:0/64] 2023-12-03 03:51:17,947 (trainer:735) INFO: 5epoch:train:14301-14400batch: iter_time=1.010e-04, forward_time=0.149, loss_ctc=100.734, loss_att=78.621, acc=0.579, loss=85.255, backward_time=0.298, grad_norm=46.543, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.080, optim0_lr0=1.797e-04, train_time=1.500 -[gpua014:0/64] 2023-12-03 03:53:47,579 (trainer:735) INFO: 5epoch:train:14401-14500batch: iter_time=8.581e-05, forward_time=0.148, loss_ctc=103.762, loss_att=96.024, acc=0.567, loss=98.345, backward_time=0.319, grad_norm=57.764, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.081, optim0_lr0=1.795e-04, train_time=1.496 -[gpua014:0/64] 2023-12-03 03:56:05,521 (trainer:735) INFO: 5epoch:train:14501-14600batch: iter_time=9.278e-05, forward_time=0.148, loss_ctc=87.391, loss_att=71.730, acc=0.617, loss=76.428, backward_time=0.293, grad_norm=43.253, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.081, optim0_lr0=1.794e-04, train_time=1.379 -[gpua014:0/64] 2023-12-03 03:58:17,798 (trainer:735) INFO: 5epoch:train:14601-14700batch: iter_time=9.586e-05, forward_time=0.178, loss_ctc=94.924, loss_att=81.839, acc=0.566, loss=85.765, backward_time=0.300, grad_norm=47.647, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.085, optim0_lr0=1.793e-04, train_time=1.323 -[gpua014:0/64] 2023-12-03 04:01:08,052 (trainer:735) INFO: 5epoch:train:14701-14800batch: iter_time=8.936e-05, forward_time=0.148, loss_ctc=96.038, loss_att=79.770, acc=0.582, loss=84.650, backward_time=0.327, grad_norm=42.676, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.080, optim0_lr0=1.792e-04, train_time=1.702 -[gpua014:0/64] 2023-12-03 04:03:11,382 (trainer:735) INFO: 5epoch:train:14801-14900batch: iter_time=9.307e-05, forward_time=0.148, loss_ctc=98.470, loss_att=82.243, acc=0.608, loss=87.111, backward_time=0.303, grad_norm=42.806, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.081, optim0_lr0=1.791e-04, train_time=1.233 -[gpua014:0/64] 2023-12-03 04:05:17,246 (trainer:735) INFO: 5epoch:train:14901-15000batch: iter_time=8.643e-05, forward_time=0.148, loss_ctc=79.032, loss_att=64.330, acc=0.625, loss=68.741, backward_time=0.293, grad_norm=38.285, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.080, optim0_lr0=1.789e-04, train_time=1.258 -[gpua014:0/64] 2023-12-03 04:31:08,629 (trainer:341) INFO: 5epoch results: [train] iter_time=0.199, forward_time=0.156, loss_ctc=102.385, loss_att=90.109, acc=0.548, loss=93.792, backward_time=0.297, grad_norm=48.785, clip=100.000, loss_scale=1.792e+15, optim_step_time=0.081, optim0_lr0=1.889e-04, train_time=1.627, time=6 hours, 47 minutes and 8.81 seconds, total_count=75000, gpu_max_cached_mem_GB=37.328, [valid] loss_ctc=74.504, cer_ctc=0.370, loss_att=62.989, acc=0.510, cer=0.471, wer=1.000, loss=66.443, time=25 minutes and 27.92 seconds, total_count=23355, gpu_max_cached_mem_GB=37.328 -[gpua014:0/64] 2023-12-03 04:31:27,927 (trainer:389) INFO: The best model has been updated: valid.acc, valid.total_count -[gpua014:0/64] 2023-12-03 04:31:28,144 (trainer:272) INFO: 6/40epoch started. Estimated time to finish: 1 week, 4 days and 5 hours -[gpua014:0/64] 2023-12-03 04:31:28,233 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua014:0/64] 2023-12-03 04:31:46,647 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-03 04:31:50,130 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-03 04:31:50,130 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua014:0/64] 2023-12-03 04:31:50,133 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-03 04:37:46,148 (trainer:735) INFO: 6epoch:train:1-100batch: iter_time=2.404, forward_time=0.174, loss_ctc=115.849, loss_att=102.776, acc=0.569, loss=106.698, backward_time=0.286, grad_norm=57.860, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.081, optim0_lr0=1.788e-04, train_time=3.779 -[gpua014:0/64] 2023-12-03 04:39:43,692 (trainer:735) INFO: 6epoch:train:101-200batch: iter_time=7.958e-05, forward_time=0.148, loss_ctc=97.285, loss_att=84.853, acc=0.568, loss=88.582, backward_time=0.278, grad_norm=45.392, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.080, optim0_lr0=1.787e-04, train_time=1.175 -[gpua014:0/64] 2023-12-03 04:41:39,339 (trainer:735) INFO: 6epoch:train:201-300batch: iter_time=8.239e-05, forward_time=0.148, loss_ctc=108.478, loss_att=87.219, acc=0.565, loss=93.597, backward_time=0.280, grad_norm=53.761, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.081, optim0_lr0=1.786e-04, train_time=1.156 -[gpua014:0/64] 2023-12-03 04:43:41,538 (trainer:735) INFO: 6epoch:train:301-400batch: iter_time=9.078e-05, forward_time=0.148, loss_ctc=104.228, loss_att=89.628, acc=0.567, loss=94.008, backward_time=0.283, grad_norm=52.684, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.081, optim0_lr0=1.785e-04, train_time=1.222 -[gpua014:0/64] 2023-12-03 04:45:47,073 (trainer:735) INFO: 6epoch:train:401-500batch: iter_time=9.404e-05, forward_time=0.163, loss_ctc=97.324, loss_att=82.691, acc=0.543, loss=87.081, backward_time=0.281, grad_norm=51.570, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.081, optim0_lr0=1.783e-04, train_time=1.255 -[gpua014:0/64] 2023-12-03 04:48:05,825 (trainer:735) INFO: 6epoch:train:501-600batch: iter_time=9.766e-05, forward_time=0.149, loss_ctc=114.950, loss_att=98.720, acc=0.559, loss=103.589, backward_time=0.296, grad_norm=57.647, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.082, optim0_lr0=1.782e-04, train_time=1.387 -[gpua014:0/64] 2023-12-03 04:50:25,636 (trainer:735) INFO: 6epoch:train:601-700batch: iter_time=9.215e-05, forward_time=0.158, loss_ctc=81.577, loss_att=71.935, acc=0.566, loss=74.828, backward_time=0.299, grad_norm=43.778, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.080, optim0_lr0=1.781e-04, train_time=1.398 -[gpua014:0/64] 2023-12-03 04:52:30,607 (trainer:735) INFO: 6epoch:train:701-800batch: iter_time=8.709e-05, forward_time=0.147, loss_ctc=81.775, loss_att=70.805, acc=0.584, loss=74.096, backward_time=0.281, grad_norm=41.882, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.080, optim0_lr0=1.780e-04, train_time=1.249 -[gpua014:0/64] 2023-12-03 04:54:40,234 (trainer:735) INFO: 6epoch:train:801-900batch: iter_time=9.078e-05, forward_time=0.149, loss_ctc=122.259, loss_att=118.090, acc=0.529, loss=119.341, backward_time=0.290, grad_norm=62.638, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.080, optim0_lr0=1.779e-04, train_time=1.297 -[gpua014:0/64] 2023-12-03 04:57:07,076 (trainer:735) INFO: 6epoch:train:901-1000batch: iter_time=8.575e-05, forward_time=0.168, loss_ctc=85.877, loss_att=74.088, acc=0.572, loss=77.625, backward_time=0.343, grad_norm=40.192, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.088, optim0_lr0=1.778e-04, train_time=1.468 -[gpua014:0/64] 2023-12-03 04:59:29,968 (trainer:735) INFO: 6epoch:train:1001-1100batch: iter_time=8.864e-05, forward_time=0.169, loss_ctc=88.318, loss_att=75.104, acc=0.594, loss=79.068, backward_time=0.308, grad_norm=41.635, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.082, optim0_lr0=1.776e-04, train_time=1.429 -[gpua014:0/64] 2023-12-03 05:01:45,323 (trainer:735) INFO: 6epoch:train:1101-1200batch: iter_time=9.102e-05, forward_time=0.147, loss_ctc=98.316, loss_att=90.779, acc=0.565, loss=93.040, backward_time=0.286, grad_norm=44.835, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.080, optim0_lr0=1.775e-04, train_time=1.353 -[gpua014:0/64] 2023-12-03 05:03:09,098 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua014:0/64] 2023-12-03 05:03:27,374 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-03 05:03:30,968 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-03 05:03:30,968 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua014:0/64] 2023-12-03 05:03:30,971 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-03 05:07:42,239 (trainer:735) INFO: 6epoch:train:1201-1300batch: iter_time=2.151, forward_time=0.148, loss_ctc=111.141, loss_att=98.672, acc=0.573, loss=102.413, backward_time=0.300, grad_norm=51.513, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.081, optim0_lr0=1.774e-04, train_time=3.569 -[gpua014:0/64] 2023-12-03 05:09:43,160 (trainer:735) INFO: 6epoch:train:1301-1400batch: iter_time=8.298e-05, forward_time=0.147, loss_ctc=106.668, loss_att=95.952, acc=0.573, loss=99.167, backward_time=0.280, grad_norm=53.549, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.081, optim0_lr0=1.773e-04, train_time=1.209 -[gpua014:0/64] 2023-12-03 05:11:46,450 (trainer:735) INFO: 6epoch:train:1401-1500batch: iter_time=9.565e-05, forward_time=0.146, loss_ctc=109.127, loss_att=89.126, acc=0.588, loss=95.126, backward_time=0.280, grad_norm=51.531, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.081, optim0_lr0=1.772e-04, train_time=1.233 -[gpua014:0/64] 2023-12-03 05:13:53,427 (trainer:735) INFO: 6epoch:train:1501-1600batch: iter_time=8.765e-05, forward_time=0.146, loss_ctc=92.288, loss_att=81.321, acc=0.576, loss=84.611, backward_time=0.280, grad_norm=47.029, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.080, optim0_lr0=1.771e-04, train_time=1.270 -[gpua014:0/64] 2023-12-03 05:15:53,130 (trainer:735) INFO: 6epoch:train:1601-1700batch: iter_time=1.053e-04, forward_time=0.157, loss_ctc=103.139, loss_att=86.025, acc=0.566, loss=91.159, backward_time=0.278, grad_norm=53.946, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.081, optim0_lr0=1.769e-04, train_time=1.197 -[gpua014:0/64] 2023-12-03 05:17:55,384 (trainer:735) INFO: 6epoch:train:1701-1800batch: iter_time=9.467e-05, forward_time=0.148, loss_ctc=102.636, loss_att=92.514, acc=0.576, loss=95.550, backward_time=0.281, grad_norm=52.663, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.082, optim0_lr0=1.768e-04, train_time=1.222 -[gpua014:0/64] 2023-12-03 05:20:00,859 (trainer:735) INFO: 6epoch:train:1801-1900batch: iter_time=8.834e-05, forward_time=0.146, loss_ctc=98.808, loss_att=78.807, acc=0.584, loss=84.807, backward_time=0.286, grad_norm=49.358, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.081, optim0_lr0=1.767e-04, train_time=1.255 -[gpua014:0/64] 2023-12-03 05:22:07,915 (trainer:735) INFO: 6epoch:train:1901-2000batch: iter_time=8.179e-05, forward_time=0.146, loss_ctc=75.937, loss_att=70.313, acc=0.577, loss=72.000, backward_time=0.296, grad_norm=41.681, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.080, optim0_lr0=1.766e-04, train_time=1.270 -[gpua014:0/64] 2023-12-03 05:24:32,042 (trainer:735) INFO: 6epoch:train:2001-2100batch: iter_time=8.844e-05, forward_time=0.147, loss_ctc=86.522, loss_att=78.420, acc=0.598, loss=80.851, backward_time=0.299, grad_norm=38.680, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.081, optim0_lr0=1.765e-04, train_time=1.441 -[gpua014:0/64] 2023-12-03 05:26:51,758 (trainer:735) INFO: 6epoch:train:2101-2200batch: iter_time=8.693e-05, forward_time=0.147, loss_ctc=113.256, loss_att=102.341, acc=0.538, loss=105.616, backward_time=0.298, grad_norm=60.046, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.081, optim0_lr0=1.764e-04, train_time=1.397 -[gpua014:0/64] 2023-12-03 05:28:55,447 (trainer:735) INFO: 6epoch:train:2201-2300batch: iter_time=9.693e-05, forward_time=0.149, loss_ctc=88.509, loss_att=76.489, acc=0.601, loss=80.095, backward_time=0.287, grad_norm=39.210, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.081, optim0_lr0=1.763e-04, train_time=1.237 -[gpua014:0/64] 2023-12-03 05:31:02,693 (trainer:735) INFO: 6epoch:train:2301-2400batch: iter_time=8.774e-05, forward_time=0.149, loss_ctc=94.129, loss_att=81.415, acc=0.589, loss=85.229, backward_time=0.280, grad_norm=42.658, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.082, optim0_lr0=1.761e-04, train_time=1.272 -[gpua014:0/64] 2023-12-03 05:33:03,998 (trainer:735) INFO: 6epoch:train:2401-2500batch: iter_time=8.608e-05, forward_time=0.147, loss_ctc=94.808, loss_att=89.386, acc=0.593, loss=91.013, backward_time=0.283, grad_norm=44.111, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.081, optim0_lr0=1.760e-04, train_time=1.213 -[gpua014:0/64] 2023-12-03 05:33:05,753 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua014:0/64] 2023-12-03 05:33:23,965 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-03 05:33:27,778 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-03 05:33:27,779 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua014:0/64] 2023-12-03 05:33:27,782 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-03 05:40:07,958 (trainer:735) INFO: 6epoch:train:2501-2600batch: iter_time=1.325, forward_time=0.161, loss_ctc=111.287, loss_att=95.982, acc=0.591, loss=100.573, backward_time=0.297, grad_norm=49.130, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.081, optim0_lr0=1.759e-04, train_time=4.239 -[gpua014:0/64] 2023-12-03 05:42:04,413 (trainer:735) INFO: 6epoch:train:2601-2700batch: iter_time=8.549e-05, forward_time=0.147, loss_ctc=95.997, loss_att=81.786, acc=0.597, loss=86.049, backward_time=0.277, grad_norm=45.181, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.081, optim0_lr0=1.758e-04, train_time=1.164 -[gpua014:0/64] 2023-12-03 05:44:04,016 (trainer:735) INFO: 6epoch:train:2701-2800batch: iter_time=9.357e-05, forward_time=0.148, loss_ctc=104.678, loss_att=85.035, acc=0.581, loss=90.928, backward_time=0.278, grad_norm=50.336, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.081, optim0_lr0=1.757e-04, train_time=1.196 -[gpua014:0/64] 2023-12-03 05:46:11,798 (trainer:735) INFO: 6epoch:train:2801-2900batch: iter_time=1.020e-04, forward_time=0.147, loss_ctc=97.640, loss_att=84.010, acc=0.590, loss=88.099, backward_time=0.278, grad_norm=48.658, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.081, optim0_lr0=1.756e-04, train_time=1.278 -[gpua014:0/64] 2023-12-03 05:48:33,278 (trainer:735) INFO: 6epoch:train:2901-3000batch: iter_time=8.205e-05, forward_time=0.149, loss_ctc=93.012, loss_att=78.715, acc=0.565, loss=83.004, backward_time=0.292, grad_norm=51.222, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.081, optim0_lr0=1.755e-04, train_time=1.415 -[gpua014:0/64] 2023-12-03 05:50:31,589 (trainer:735) INFO: 6epoch:train:3001-3100batch: iter_time=8.899e-05, forward_time=0.159, loss_ctc=110.878, loss_att=92.058, acc=0.586, loss=97.704, backward_time=0.284, grad_norm=55.244, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.083, optim0_lr0=1.754e-04, train_time=1.183 -[gpua014:0/64] 2023-12-03 05:52:50,811 (trainer:735) INFO: 6epoch:train:3101-3200batch: iter_time=8.861e-05, forward_time=0.157, loss_ctc=77.976, loss_att=69.441, acc=0.585, loss=72.002, backward_time=0.299, grad_norm=39.579, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.082, optim0_lr0=1.752e-04, train_time=1.392 -[gpua014:0/64] 2023-12-03 05:55:11,925 (trainer:735) INFO: 6epoch:train:3201-3300batch: iter_time=8.851e-05, forward_time=0.171, loss_ctc=79.217, loss_att=68.599, acc=0.601, loss=71.784, backward_time=0.301, grad_norm=38.176, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.083, optim0_lr0=1.751e-04, train_time=1.411 -[gpua014:0/64] 2023-12-03 05:57:17,693 (trainer:735) INFO: 6epoch:train:3301-3400batch: iter_time=9.215e-05, forward_time=0.152, loss_ctc=116.400, loss_att=111.125, acc=0.552, loss=112.707, backward_time=0.293, grad_norm=59.848, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.080, optim0_lr0=1.750e-04, train_time=1.257 -[gpua014:0/64] 2023-12-03 05:59:21,510 (trainer:735) INFO: 6epoch:train:3401-3500batch: iter_time=9.673e-05, forward_time=0.148, loss_ctc=83.889, loss_att=71.930, acc=0.589, loss=75.518, backward_time=0.280, grad_norm=38.883, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.081, optim0_lr0=1.749e-04, train_time=1.238 -[gpua014:0/64] 2023-12-03 06:01:37,415 (trainer:735) INFO: 6epoch:train:3501-3600batch: iter_time=8.394e-05, forward_time=0.150, loss_ctc=85.132, loss_att=71.626, acc=0.618, loss=75.678, backward_time=0.291, grad_norm=36.649, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.081, optim0_lr0=1.748e-04, train_time=1.359 -[gpua014:0/64] 2023-12-03 06:04:11,886 (trainer:735) INFO: 6epoch:train:3601-3700batch: iter_time=9.007e-05, forward_time=0.148, loss_ctc=96.330, loss_att=87.371, acc=0.586, loss=90.059, backward_time=0.279, grad_norm=43.275, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.081, optim0_lr0=1.747e-04, train_time=1.544 -[gpua014:0/64] 2023-12-03 06:05:24,956 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua014:0/64] 2023-12-03 06:05:43,702 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-03 06:05:47,242 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-03 06:05:47,242 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua014:0/64] 2023-12-03 06:05:47,245 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-03 06:10:43,980 (trainer:735) INFO: 6epoch:train:3701-3800batch: iter_time=2.641, forward_time=0.164, loss_ctc=106.313, loss_att=95.175, acc=0.590, loss=98.517, backward_time=0.280, grad_norm=47.895, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.081, optim0_lr0=1.746e-04, train_time=3.921 -[gpua014:0/64] 2023-12-03 06:12:41,710 (trainer:735) INFO: 6epoch:train:3801-3900batch: iter_time=8.200e-05, forward_time=0.148, loss_ctc=103.879, loss_att=92.226, acc=0.574, loss=95.722, backward_time=0.280, grad_norm=52.985, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.081, optim0_lr0=1.745e-04, train_time=1.177 -[gpua014:0/64] 2023-12-03 06:14:56,556 (trainer:735) INFO: 6epoch:train:3901-4000batch: iter_time=7.878e-05, forward_time=0.148, loss_ctc=106.338, loss_att=85.258, acc=0.590, loss=91.582, backward_time=0.334, grad_norm=49.635, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.082, optim0_lr0=1.744e-04, train_time=1.348 -[gpua014:0/64] 2023-12-03 06:17:11,222 (trainer:735) INFO: 6epoch:train:4001-4100batch: iter_time=8.222e-05, forward_time=0.148, loss_ctc=88.674, loss_att=77.651, acc=0.582, loss=80.958, backward_time=0.331, grad_norm=46.122, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.082, optim0_lr0=1.742e-04, train_time=1.346 -[gpua014:0/64] 2023-12-03 06:19:20,450 (trainer:735) INFO: 6epoch:train:4101-4200batch: iter_time=9.147e-05, forward_time=0.148, loss_ctc=100.219, loss_att=84.247, acc=0.574, loss=89.039, backward_time=0.307, grad_norm=50.220, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.082, optim0_lr0=1.741e-04, train_time=1.292 -[gpua014:0/64] 2023-12-03 06:21:28,911 (trainer:735) INFO: 6epoch:train:4201-4300batch: iter_time=9.528e-05, forward_time=0.149, loss_ctc=99.121, loss_att=90.607, acc=0.571, loss=93.161, backward_time=0.291, grad_norm=52.381, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.082, optim0_lr0=1.740e-04, train_time=1.284 -[gpua014:0/64] 2023-12-03 06:23:37,132 (trainer:735) INFO: 6epoch:train:4301-4400batch: iter_time=9.177e-05, forward_time=0.157, loss_ctc=96.643, loss_att=77.485, acc=0.585, loss=83.233, backward_time=0.280, grad_norm=48.643, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.081, optim0_lr0=1.739e-04, train_time=1.282 -[gpua014:0/64] 2023-12-03 06:25:53,210 (trainer:735) INFO: 6epoch:train:4401-4500batch: iter_time=1.005e-04, forward_time=0.146, loss_ctc=74.208, loss_att=66.161, acc=0.585, loss=68.575, backward_time=0.277, grad_norm=41.056, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.080, optim0_lr0=1.738e-04, train_time=1.361 -[gpua014:0/64] 2023-12-03 06:28:22,710 (trainer:735) INFO: 6epoch:train:4501-4600batch: iter_time=9.810e-05, forward_time=0.147, loss_ctc=84.738, loss_att=76.887, acc=0.601, loss=79.242, backward_time=0.316, grad_norm=40.046, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.080, optim0_lr0=1.737e-04, train_time=1.495 -[gpua014:0/64] 2023-12-03 06:30:39,453 (trainer:735) INFO: 6epoch:train:4601-4700batch: iter_time=8.809e-05, forward_time=0.147, loss_ctc=109.603, loss_att=98.923, acc=0.540, loss=102.127, backward_time=0.281, grad_norm=59.150, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.080, optim0_lr0=1.736e-04, train_time=1.367 -[gpua014:0/64] 2023-12-03 06:32:46,468 (trainer:735) INFO: 6epoch:train:4701-4800batch: iter_time=8.587e-05, forward_time=0.146, loss_ctc=86.504, loss_att=73.440, acc=0.606, loss=77.359, backward_time=0.285, grad_norm=38.910, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.080, optim0_lr0=1.735e-04, train_time=1.270 -[gpua014:0/64] 2023-12-03 06:34:58,900 (trainer:735) INFO: 6epoch:train:4801-4900batch: iter_time=8.829e-05, forward_time=0.153, loss_ctc=91.959, loss_att=79.304, acc=0.587, loss=83.100, backward_time=0.300, grad_norm=42.484, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.080, optim0_lr0=1.734e-04, train_time=1.324 -[gpua014:0/64] 2023-12-03 06:37:18,135 (trainer:735) INFO: 6epoch:train:4901-5000batch: iter_time=8.585e-05, forward_time=0.159, loss_ctc=93.969, loss_att=87.698, acc=0.591, loss=89.579, backward_time=0.299, grad_norm=46.199, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.082, optim0_lr0=1.733e-04, train_time=1.392 -[gpua014:0/64] 2023-12-03 06:37:19,890 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua014:0/64] 2023-12-03 06:37:38,477 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-03 06:37:41,979 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-03 06:37:41,979 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua014:0/64] 2023-12-03 06:37:41,982 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-03 06:44:25,941 (trainer:735) INFO: 6epoch:train:5001-5100batch: iter_time=1.327, forward_time=0.172, loss_ctc=109.331, loss_att=95.504, acc=0.598, loss=99.652, backward_time=0.284, grad_norm=54.432, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.081, optim0_lr0=1.731e-04, train_time=4.278 -[gpua014:0/64] 2023-12-03 06:46:23,752 (trainer:735) INFO: 6epoch:train:5101-5200batch: iter_time=8.970e-05, forward_time=0.148, loss_ctc=94.939, loss_att=81.181, acc=0.603, loss=85.308, backward_time=0.278, grad_norm=44.514, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.080, optim0_lr0=1.730e-04, train_time=1.178 -[gpua014:0/64] 2023-12-03 06:48:38,069 (trainer:735) INFO: 6epoch:train:5201-5300batch: iter_time=8.394e-05, forward_time=0.148, loss_ctc=100.552, loss_att=83.300, acc=0.590, loss=88.476, backward_time=0.292, grad_norm=49.994, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.080, optim0_lr0=1.729e-04, train_time=1.343 -[gpua014:0/64] 2023-12-03 06:50:52,726 (trainer:735) INFO: 6epoch:train:5301-5400batch: iter_time=8.745e-05, forward_time=0.147, loss_ctc=96.763, loss_att=83.207, acc=0.596, loss=87.274, backward_time=0.301, grad_norm=53.773, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.080, optim0_lr0=1.728e-04, train_time=1.346 -[gpua014:0/64] 2023-12-03 06:52:56,429 (trainer:735) INFO: 6epoch:train:5401-5500batch: iter_time=8.784e-05, forward_time=0.147, loss_ctc=89.702, loss_att=76.889, acc=0.575, loss=80.733, backward_time=0.286, grad_norm=50.829, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.080, optim0_lr0=1.727e-04, train_time=1.237 -[gpua014:0/64] 2023-12-03 06:55:16,465 (trainer:735) INFO: 6epoch:train:5501-5600batch: iter_time=9.313e-05, forward_time=0.148, loss_ctc=108.033, loss_att=90.450, acc=0.593, loss=95.724, backward_time=0.331, grad_norm=54.985, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.080, optim0_lr0=1.726e-04, train_time=1.400 -[gpua014:0/64] 2023-12-03 06:57:15,434 (trainer:735) INFO: 6epoch:train:5601-5700batch: iter_time=8.888e-05, forward_time=0.147, loss_ctc=76.524, loss_att=69.037, acc=0.590, loss=71.283, backward_time=0.278, grad_norm=39.031, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.080, optim0_lr0=1.725e-04, train_time=1.189 -[gpua014:0/64] 2023-12-03 06:59:37,056 (trainer:735) INFO: 6epoch:train:5701-5800batch: iter_time=7.820e-05, forward_time=0.147, loss_ctc=78.568, loss_att=67.758, acc=0.608, loss=71.001, backward_time=0.296, grad_norm=39.127, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.080, optim0_lr0=1.724e-04, train_time=1.416 -[gpua014:0/64] 2023-12-03 07:01:59,084 (trainer:735) INFO: 6epoch:train:5801-5900batch: iter_time=8.870e-05, forward_time=0.148, loss_ctc=116.272, loss_att=108.902, acc=0.563, loss=111.113, backward_time=0.306, grad_norm=56.561, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.080, optim0_lr0=1.723e-04, train_time=1.420 -[gpua014:0/64] 2023-12-03 07:04:07,316 (trainer:735) INFO: 6epoch:train:5901-6000batch: iter_time=9.515e-05, forward_time=0.148, loss_ctc=82.036, loss_att=70.187, acc=0.597, loss=73.742, backward_time=0.302, grad_norm=39.246, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.081, optim0_lr0=1.722e-04, train_time=1.282 -[gpua014:0/64] 2023-12-03 07:06:14,145 (trainer:735) INFO: 6epoch:train:6001-6100batch: iter_time=8.966e-05, forward_time=0.165, loss_ctc=83.828, loss_att=70.107, acc=0.623, loss=74.223, backward_time=0.293, grad_norm=38.532, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.084, optim0_lr0=1.721e-04, train_time=1.268 -[gpua014:0/64] 2023-12-03 07:08:37,612 (trainer:735) INFO: 6epoch:train:6101-6200batch: iter_time=9.435e-05, forward_time=0.148, loss_ctc=93.974, loss_att=85.556, acc=0.596, loss=88.082, backward_time=0.301, grad_norm=43.224, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.081, optim0_lr0=1.720e-04, train_time=1.434 -[gpua014:0/64] 2023-12-03 07:09:58,054 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua014:0/64] 2023-12-03 07:10:16,148 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua014:0/64] 2023-12-03 07:10:19,736 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua014:0/64] 2023-12-03 07:10:19,736 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua014:0/64] 2023-12-03 07:10:19,739 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua014:0/64] 2023-12-03 07:15:53,332 (trainer:735) INFO: 6epoch:train:6201-6300batch: iter_time=2.114, forward_time=0.172, loss_ctc=104.536, loss_att=93.071, acc=0.600, loss=96.511, backward_time=0.285, grad_norm=50.403, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.082, optim0_lr0=1.719e-04, train_time=4.357 -[gpua014:0/64] 2023-12-03 07:17:49,674 (trainer:735) INFO: 6epoch:train:6301-6400batch: iter_time=9.459e-05, forward_time=0.147, loss_ctc=103.191, loss_att=88.870, acc=0.594, loss=93.167, backward_time=0.278, grad_norm=49.930, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.080, optim0_lr0=1.718e-04, train_time=1.163 -[gpua014:0/64] 2023-12-03 07:20:05,952 (trainer:735) INFO: 6epoch:train:6401-6500batch: iter_time=8.970e-05, forward_time=0.147, loss_ctc=104.693, loss_att=83.583, acc=0.607, loss=89.916, backward_time=0.288, grad_norm=50.439, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.080, optim0_lr0=1.717e-04, train_time=1.363 -[gpua014:0/64] 2023-12-03 07:22:09,746 (trainer:735) INFO: 6epoch:train:6501-6600batch: iter_time=9.357e-05, forward_time=0.147, loss_ctc=87.000, loss_att=75.555, acc=0.594, loss=78.989, backward_time=0.280, grad_norm=46.451, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.081, optim0_lr0=1.715e-04, train_time=1.238 -[gpua014:0/64] 2023-12-03 07:24:18,665 (trainer:735) INFO: 6epoch:train:6601-6700batch: iter_time=9.390e-05, forward_time=0.147, loss_ctc=97.938, loss_att=81.148, acc=0.589, loss=86.185, backward_time=0.305, grad_norm=50.959, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.080, optim0_lr0=1.714e-04, train_time=1.289 -[gpua014:0/64] 2023-12-03 07:26:33,140 (trainer:735) INFO: 6epoch:train:6701-6800batch: iter_time=8.798e-05, forward_time=0.147, loss_ctc=96.721, loss_att=86.772, acc=0.596, loss=89.757, backward_time=0.324, grad_norm=47.676, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.080, optim0_lr0=1.713e-04, train_time=1.345 -[gpua014:0/64] 2023-12-03 07:28:43,800 (trainer:735) INFO: 6epoch:train:6801-6900batch: iter_time=8.177e-05, forward_time=0.160, loss_ctc=94.243, loss_att=73.716, acc=0.606, loss=79.874, backward_time=0.318, grad_norm=47.492, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.081, optim0_lr0=1.712e-04, train_time=1.306 - -gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active -srun: Job step aborted: Waiting up to 32 seconds for job step to finish. diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.2.log b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.2.log deleted file mode 100644 index e3ec24ba3ab806aaaa717b10da18821f6437576e..0000000000000000000000000000000000000000 --- a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.2.log +++ /dev/null @@ -1,3054 +0,0 @@ -# Running on gpua002.delta.ncsa.illinois.edu -# Started at Sun Dec 17 23:16:52 CST 2023 -# SLURMD_NODENAME=gpua002 -# SLURM_CLUSTER_NAME=delta -# SLURM_CONF=/var/spool/slurmd/conf-cache/slurm.conf -# SLURM_CPUS_ON_NODE=64 -# SLURM_CPUS_PER_TASK=64 -# SLURM_EXPORT_ENV=PATH -# SLURM_GET_USER_ENV=1 -# SLURM_GPUS_ON_NODE=4 -# SLURM_GTIDS=0 -# SLURM_JOBID=2754724 -# SLURM_JOB_ACCOUNT=bbjs-delta-gpu -# SLURM_JOB_CPUS_PER_NODE='64(x16)' -# SLURM_JOB_END_TIME=1702934193 -# SLURM_JOB_GID=202 -# SLURM_JOB_GPUS=0,1,2,3 -# SLURM_JOB_ID=2754724 -# SLURM_JOB_NAME=exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.log -# SLURM_JOB_NODELIST='gpua[002,005,009,021-023,038-039,047,052,055,060,083,087,092,096]' -# SLURM_JOB_NUM_NODES=16 -# SLURM_JOB_PARTITION=gpuA100x4 -# SLURM_JOB_QOS=bbjs-delta-gpu -# SLURM_JOB_START_TIME=1702876593 -# SLURM_JOB_UID=68077 -# SLURM_JOB_USER=peng6 -# SLURM_LOCALID=0 -# SLURM_MEM_PER_NODE=240000 -# SLURM_NNODES=16 -# SLURM_NODEID=0 -# SLURM_NODELIST='gpua[002,005,009,021-023,038-039,047,052,055,060,083,087,092,096]' -# SLURM_NODE_ALIASES='(null)' -# SLURM_OPEN_MODE=a -# SLURM_PRIO_PROCESS=0 -# SLURM_PROCID=0 -# SLURM_SUBMIT_DIR=/scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1 -# SLURM_SUBMIT_HOST=dt-login01.delta.ncsa.illinois.edu -# SLURM_TASKS_PER_NODE='1(x16)' -# SLURM_TASK_PID=1291931 -# SLURM_TOPOLOGY_ADDR=ss00.ss05.gpua002 -# SLURM_TOPOLOGY_ADDR_PATTERN=switch.switch.node -# SLURM_WORKING_CLUSTER=delta:dt-sched:6817:9984:109 -# srun --export=ALL python3 -m espnet2.bin.s2t_train --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 -/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 -[gpua002:0/64] 2023-12-17 23:20:54,304 (distributed_c10d:319) INFO: Added key: store_based_barrier_key:1 to store for rank: 0 -[gpua002:0/64] 2023-12-17 23:20:54,488 (distributed_c10d:353) INFO: Rank 0: Completed store-based barrier for key:store_based_barrier_key:1 with 64 nodes. -[gpua002:0/64] 2023-12-17 23:20:54,518 (s2t:464) INFO: Vocabulary size: 50002 -[gpua002:0/64] 2023-12-17 23:21:06,832 (abs_task:1231) INFO: pytorch.version=1.13.1, cuda.available=True, cudnn.version=8500, cudnn.benchmark=False, cudnn.deterministic=True -[gpua002:0/64] 2023-12-17 23:21:06,842 (abs_task:1232) INFO: Model structure: -ESPnetS2TModel( - (frontend): DefaultFrontend( - (stft): Stft(n_fft=512, win_length=400, hop_length=160, center=True, normalized=False, onesided=True) - (frontend): Frontend() - (logmel): LogMel(sr=16000, n_fft=512, n_mels=80, fmin=0, fmax=8000.0, htk=False) - ) - (specaug): SpecAug( - (freq_mask): MaskAlongAxis(mask_width_range=[0, 27], num_mask=2, axis=freq) - (time_mask): MaskAlongAxisVariableMaxWidth(mask_width_ratio_range=[0.0, 0.05], num_mask=10, axis=time) - ) - (normalize): GlobalMVN(stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz, norm_means=True, norm_vars=True) - (encoder): EBranchformerEncoder( - (embed): Conv2dSubsampling( - (conv): Sequential( - (0): Conv2d(1, 1024, kernel_size=(3, 3), stride=(2, 2)) - (1): ReLU() - (2): Conv2d(1024, 1024, kernel_size=(3, 3), stride=(2, 2)) - (3): ReLU() - ) - (out): Sequential( - (0): Linear(in_features=19456, out_features=1024, bias=True) - (1): PositionalEncoding( - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - ) - (encoders): MultiSequential( - (0): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (1): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (2): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (3): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (4): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (5): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (6): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (7): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (8): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (9): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (10): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (11): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (12): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (13): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (14): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (15): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (16): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (17): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - ) - (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - ) - (decoder): TransformerDecoder( - (embed): Sequential( - (0): Embedding(50002, 1024) - (1): PositionalEncoding( - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (output_layer): Linear(in_features=1024, out_features=50002, bias=True) - (decoders): MultiSequential( - (0): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (1): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (2): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (3): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (4): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (5): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (6): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (7): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (8): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (9): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (10): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (11): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (12): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (13): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (14): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (15): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (16): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (17): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - ) - (criterion_att): LabelSmoothingLoss( - (criterion): KLDivLoss() - ) - (ctc): CTC( - (ctc_lo): Linear(in_features=1024, out_features=50002, bias=True) - (ctc_loss): CTCLoss() - ) -) - -Model summary: - Class Name: ESPnetS2TModel - Total Number of model parameters: 1.02 B - Number of trainable parameters: 1.02 B (100.0%) - Size: 4.07 GB - Type: torch.float32 -[gpua002:0/64] 2023-12-17 23:21:06,843 (abs_task:1235) INFO: Optimizer: -AdamW ( -Parameter Group 0 - amsgrad: False - betas: [0.9, 0.98] - capturable: False - eps: 1e-06 - foreach: None - initial_lr: 0.0002 - lr: 1.6666666666666667e-09 - maximize: False - weight_decay: 0.0 -) -[gpua002:0/64] 2023-12-17 23:21:06,843 (abs_task:1236) INFO: Scheduler: PiecewiseLinearWarmupLR(warmup_steps_list=[0, 30000, 60000], warmup_lr_list=[0.0, 5e-05, 0.0002]) -[gpua002:0/64] 2023-12-17 23:21:06,850 (abs_task:1245) INFO: Saving the configuration in exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/config.yaml -[gpua002:0/64] 2023-12-17 23:21:12,866 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-17 23:21:13,836 (abs_task:1616) INFO: [valid] dataset: -ESPnetDataset( - speech: {"path": "dump/raw/dev_v3/wav.scp", "type": "kaldi_ark"} - text_prev: {"path": "dump/raw/dev_v3/text.prev", "type": "text"} - text_ctc: {"path": "dump/raw/dev_v3/text.ctc", "type": "text"} - text: {"path": "dump/raw/dev_v3/text", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-17 23:21:13,836 (abs_task:1617) INFO: [valid] Batch sampler: UnsortedBatchSampler(N-batch=4671, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/valid/speech_shape, -[gpua002:0/64] 2023-12-17 23:21:13,837 (abs_task:1618) INFO: [valid] mini-batch sizes summary: N-batch=4671, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-17 23:21:42,614 (trainer:159) INFO: The training was resumed using exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/checkpoint.pth -gpua002:1292077:1292077 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.2<0> -gpua002:1292077:1292077 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua002:1292077:1292077 [0] NCCL INFO cudaDriverVersion 12020 -NCCL version 2.14.3+cuda11.7 -[gpua002:0/64] 2023-12-17 23:21:49,652 (trainer:284) INFO: 40/40epoch started -[gpua002:0/64] 2023-12-17 23:21:49,701 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua002:0/64] 2023-12-17 23:22:08,542 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-17 23:22:12,111 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-17 23:22:12,111 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua002:0/64] 2023-12-17 23:22:12,114 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -gpua092:995444:995444 [2] NCCL INFO cudaDriverVersion 12020 -gpua092:995444:995444 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.92<0> -gpua092:995444:995444 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua092:995444:995514 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.92<0> -gpua092:995444:995514 [2] NCCL INFO Using network IB -gpua092:995444:995514 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua092:995444:995514 [2] NCCL INFO Trees [0] 59/-1/-1->58->57 [1] 59/-1/-1->58->57 -gpua092:995444:995514 [2] NCCL INFO Channel 00/0 : 58[85000] -> 59[c7000] via P2P/IPC/read -gpua092:995444:995514 [2] NCCL INFO Channel 01/0 : 58[85000] -> 59[c7000] via P2P/IPC/read -gpua092:995444:995514 [2] NCCL INFO Connected all rings -gpua092:995444:995514 [2] NCCL INFO Channel 00/0 : 58[85000] -> 57[46000] via P2P/IPC/read -gpua092:995444:995514 [2] NCCL INFO Channel 01/0 : 58[85000] -> 57[46000] via P2P/IPC/read -gpua092:995444:995514 [2] NCCL INFO Connected all trees -gpua092:995444:995514 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua092:995444:995514 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua092:995444:995514 [2] NCCL INFO comm 0xcb54010 rank 58 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua039:978774:978774 [3] NCCL INFO cudaDriverVersion 12020 -gpua039:978774:978774 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.39<0> -gpua039:978774:978774 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua039:978774:978843 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.39<0> -gpua039:978774:978843 [3] NCCL INFO Using network IB -gpua039:978774:978843 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua039:978774:978843 [3] NCCL INFO Trees [0] -1/-1/-1->31->30 [1] -1/-1/-1->31->30 -gpua039:978774:978843 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 -gpua039:978774:978843 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 -gpua039:978774:978843 [3] NCCL INFO Connected all rings -gpua039:978774:978843 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 30[85000] via P2P/IPC/read -gpua039:978774:978843 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 30[85000] via P2P/IPC/read -gpua055:1102501:1102501 [0] NCCL INFO cudaDriverVersion 12020 -gpua055:1102501:1102501 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> -gpua055:1102501:1102501 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua055:1102501:1102575 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> -gpua055:1102501:1102575 [0] NCCL INFO Using network IB -gpua055:1102501:1102575 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua055:1102501:1102575 [0] NCCL INFO Trees [0] 41/44/-1->40->49 [1] 41/-1/-1->40->37 -gpua055:1102501:1102575 [0] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 -gpua055:1102501:1102575 [0] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 -gpua055:1102501:1102575 [0] NCCL INFO Channel 00/0 : 40[7000] -> 41[46000] via P2P/IPC/read -gpua055:1102501:1102575 [0] NCCL INFO Channel 01/0 : 40[7000] -> 41[46000] via P2P/IPC/read -gpua055:1102501:1102575 [0] NCCL INFO Connected all rings -gpua038:582873:582873 [2] NCCL INFO cudaDriverVersion 12020 -gpua038:582873:582873 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.38<0> -gpua038:582873:582873 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua038:582873:582945 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.38<0> -gpua038:582873:582945 [2] NCCL INFO Using network IB -gpua038:582873:582945 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua038:582873:582945 [2] NCCL INFO Trees [0] 27/-1/-1->26->25 [1] 27/-1/-1->26->25 -gpua038:582873:582945 [2] NCCL INFO Channel 00/0 : 26[85000] -> 27[c7000] via P2P/IPC/read -gpua038:582873:582945 [2] NCCL INFO Channel 01/0 : 26[85000] -> 27[c7000] via P2P/IPC/read -gpua038:582873:582945 [2] NCCL INFO Connected all rings -gpua038:582873:582945 [2] NCCL INFO Channel 00/0 : 26[85000] -> 25[46000] via P2P/IPC/read -gpua038:582873:582945 [2] NCCL INFO Channel 01/0 : 26[85000] -> 25[46000] via P2P/IPC/read -gpua039:978774:978843 [3] NCCL INFO Connected all trees -gpua039:978774:978843 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua039:978774:978843 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua039:978774:978843 [3] NCCL INFO comm 0x2f577640 rank 31 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua055:1102501:1102575 [0] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [receive] via NET/IB/0 -gpua055:1102501:1102575 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [send] via NET/IB/0 -gpua055:1102501:1102575 [0] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [send] via NET/IB/0 -gpua055:1102501:1102575 [0] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [receive] via NET/IB/0 -gpua055:1102501:1102575 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [receive] via NET/IB/0 -gpua055:1102501:1102575 [0] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [send] via NET/IB/0 -gpua055:1102501:1102575 [0] NCCL INFO Connected all trees -gpua055:1102501:1102575 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua055:1102501:1102575 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua055:1102501:1102575 [0] NCCL INFO comm 0x3c93f2f0 rank 40 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua038:582873:582945 [2] NCCL INFO Connected all trees -gpua038:582873:582945 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua038:582873:582945 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua038:582873:582945 [2] NCCL INFO comm 0xeda6430 rank 26 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua021:382380:382380 [0] NCCL INFO cudaDriverVersion 12020 -gpua021:382380:382380 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.21<0> -gpua021:382380:382380 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua021:382380:382457 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.21<0> -gpua021:382380:382457 [0] NCCL INFO Using network IB -gpua021:382380:382457 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua021:382380:382457 [0] NCCL INFO Trees [0] 13/-1/-1->12->8 [1] 13/4/-1->12->28 -gpua021:382380:382457 [0] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 -gpua021:382380:382457 [0] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 -gpua021:382380:382457 [0] NCCL INFO Channel 00/0 : 12[7000] -> 13[46000] via P2P/IPC/read -gpua021:382380:382457 [0] NCCL INFO Channel 01/0 : 12[7000] -> 13[46000] via P2P/IPC/read -gpua021:382380:382457 [0] NCCL INFO Connected all rings -gpua021:382380:382457 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [receive] via NET/IB/0 -gpua021:382380:382457 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [receive] via NET/IB/0 -gpua021:382380:382457 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [send] via NET/IB/0 -gpua021:382380:382457 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [receive] via NET/IB/0 -gpua021:382380:382457 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [send] via NET/IB/0 -gpua021:382380:382457 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [send] via NET/IB/0 -gpua021:382380:382457 [0] NCCL INFO Connected all trees -gpua021:382380:382457 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua021:382380:382457 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua021:382380:382457 [0] NCCL INFO comm 0xb06cab0 rank 12 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua055:1102503:1102503 [2] NCCL INFO cudaDriverVersion 12020 -gpua055:1102503:1102503 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> -gpua055:1102503:1102503 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua055:1102503:1102580 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> -gpua055:1102503:1102580 [2] NCCL INFO Using network IB -gpua055:1102503:1102580 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua055:1102503:1102580 [2] NCCL INFO Trees [0] 43/-1/-1->42->41 [1] 43/-1/-1->42->41 -gpua055:1102503:1102580 [2] NCCL INFO Channel 00/0 : 42[85000] -> 43[c7000] via P2P/IPC/read -gpua055:1102503:1102580 [2] NCCL INFO Channel 01/0 : 42[85000] -> 43[c7000] via P2P/IPC/read -gpua055:1102503:1102580 [2] NCCL INFO Connected all rings -gpua055:1102503:1102580 [2] NCCL INFO Channel 00/0 : 42[85000] -> 41[46000] via P2P/IPC/read -gpua055:1102503:1102580 [2] NCCL INFO Channel 01/0 : 42[85000] -> 41[46000] via P2P/IPC/read -gpua055:1102503:1102580 [2] NCCL INFO Connected all trees -gpua055:1102503:1102580 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua055:1102503:1102580 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua055:1102503:1102580 [2] NCCL INFO comm 0xd604dd0 rank 42 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua055:1102504:1102504 [3] NCCL INFO cudaDriverVersion 12020 -gpua055:1102504:1102504 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> -gpua055:1102504:1102504 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua055:1102504:1102577 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> -gpua055:1102504:1102577 [3] NCCL INFO Using network IB -gpua055:1102504:1102577 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua055:1102504:1102577 [3] NCCL INFO Trees [0] -1/-1/-1->43->42 [1] -1/-1/-1->43->42 -gpua055:1102504:1102577 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 -gpua055:1102504:1102577 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 -gpua055:1102504:1102577 [3] NCCL INFO Connected all rings -gpua055:1102504:1102577 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 42[85000] via P2P/IPC/read -gpua055:1102504:1102577 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 42[85000] via P2P/IPC/read -gpua055:1102504:1102577 [3] NCCL INFO Connected all trees -gpua055:1102504:1102577 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua055:1102504:1102577 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua055:1102504:1102577 [3] NCCL INFO comm 0xe0116d0 rank 43 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua023:1042027:1042027 [3] NCCL INFO cudaDriverVersion 12020 -gpua023:1042027:1042027 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.23<0> -gpua023:1042027:1042027 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua023:1042027:1042091 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.23<0> -gpua023:1042027:1042091 [3] NCCL INFO Using network IB -gpua023:1042027:1042091 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua023:1042027:1042091 [3] NCCL INFO Trees [0] -1/-1/-1->23->22 [1] -1/-1/-1->23->22 -gpua023:1042027:1042091 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 -gpua023:1042027:1042091 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 -gpua023:1042027:1042091 [3] NCCL INFO Connected all rings -gpua023:1042027:1042091 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 22[85000] via P2P/IPC/read -gpua023:1042027:1042091 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 22[85000] via P2P/IPC/read -gpua023:1042027:1042091 [3] NCCL INFO Connected all trees -gpua023:1042027:1042091 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua023:1042027:1042091 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua023:1042027:1042091 [3] NCCL INFO comm 0xb072fb0 rank 23 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua038:582872:582872 [1] NCCL INFO cudaDriverVersion 12020 -gpua038:582872:582872 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.38<0> -gpua038:582872:582872 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua038:582872:582942 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.38<0> -gpua038:582872:582942 [1] NCCL INFO Using network IB -gpua038:582872:582942 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua038:582872:582942 [1] NCCL INFO Trees [0] 26/20/-1->25->24 [1] 26/-1/-1->25->24 -gpua038:582872:582942 [1] NCCL INFO Channel 00/0 : 25[46000] -> 26[85000] via P2P/IPC/read -gpua038:582872:582942 [1] NCCL INFO Channel 01/0 : 25[46000] -> 26[85000] via P2P/IPC/read -gpua038:582872:582942 [1] NCCL INFO Connected all rings -gpua038:582872:582942 [1] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [receive] via NET/IB/0 -gpua038:582872:582942 [1] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [send] via NET/IB/0 -gpua038:582872:582942 [1] NCCL INFO Channel 00/0 : 25[46000] -> 24[7000] via P2P/IPC/read -gpua038:582872:582942 [1] NCCL INFO Channel 01/0 : 25[46000] -> 24[7000] via P2P/IPC/read -gpua038:582872:582942 [1] NCCL INFO Connected all trees -gpua038:582872:582942 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua038:582872:582942 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua038:582872:582942 [1] NCCL INFO comm 0x94d8a120 rank 25 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua022:1202918:1202918 [1] NCCL INFO cudaDriverVersion 12020 -gpua022:1202918:1202918 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.22<0> -gpua022:1202918:1202918 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua022:1202918:1202987 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.22<0> -gpua022:1202918:1202987 [1] NCCL INFO Using network IB -gpua022:1202918:1202987 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua022:1202918:1202987 [1] NCCL INFO Trees [0] 18/8/-1->17->16 [1] 18/-1/-1->17->16 -gpua022:1202918:1202987 [1] NCCL INFO Channel 00/0 : 17[46000] -> 18[85000] via P2P/IPC/read -gpua022:1202918:1202987 [1] NCCL INFO Channel 01/0 : 17[46000] -> 18[85000] via P2P/IPC/read -gpua022:1202918:1202987 [1] NCCL INFO Connected all rings -gpua022:1202918:1202987 [1] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [receive] via NET/IB/0 -gpua022:1202918:1202987 [1] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [send] via NET/IB/0 -gpua022:1202918:1202987 [1] NCCL INFO Channel 00/0 : 17[46000] -> 16[7000] via P2P/IPC/read -gpua022:1202918:1202987 [1] NCCL INFO Channel 01/0 : 17[46000] -> 16[7000] via P2P/IPC/read -gpua022:1202918:1202987 [1] NCCL INFO Connected all trees -gpua022:1202918:1202987 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua022:1202918:1202987 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua022:1202918:1202987 [1] NCCL INFO comm 0xfffe3d0 rank 17 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua002:1292077:1292149 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.2<0> -gpua002:1292077:1292149 [0] NCCL INFO Using network IB -gpua002:1292077:1292149 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua002:1292077:1292149 [0] NCCL INFO Channel 00/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 -gpua002:1292077:1292149 [0] NCCL INFO Channel 01/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 -gpua002:1292077:1292149 [0] NCCL INFO Trees [0] 1/32/-1->0->-1 [1] 1/-1/-1->0->4 -gpua002:1292077:1292149 [0] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 -gpua002:1292077:1292149 [0] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 -gpua002:1292077:1292149 [0] NCCL INFO Channel 00/0 : 0[7000] -> 1[46000] via P2P/IPC/read -gpua002:1292077:1292149 [0] NCCL INFO Channel 01/0 : 0[7000] -> 1[46000] via P2P/IPC/read -gpua022:1202917:1202917 [0] NCCL INFO cudaDriverVersion 12020 -gpua022:1202917:1202917 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.22<0> -gpua022:1202917:1202917 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua022:1202917:1202989 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.22<0> -gpua022:1202917:1202989 [0] NCCL INFO Using network IB -gpua022:1202917:1202989 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua022:1202917:1202989 [0] NCCL INFO Trees [0] 17/24/-1->16->33 [1] 17/-1/-1->16->20 -gpua022:1202917:1202989 [0] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 -gpua022:1202917:1202989 [0] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 -gpua022:1202917:1202989 [0] NCCL INFO Channel 00/0 : 16[7000] -> 17[46000] via P2P/IPC/read -gpua022:1202917:1202989 [0] NCCL INFO Channel 01/0 : 16[7000] -> 17[46000] via P2P/IPC/read -gpua022:1202917:1202989 [0] NCCL INFO Connected all rings -gpua002:1292077:1292149 [0] NCCL INFO Connected all rings -gpua002:1292077:1292149 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [send] via NET/IB/0 -gpua002:1292077:1292149 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [receive] via NET/IB/0 -gpua002:1292077:1292149 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [send] via NET/IB/0 -gpua002:1292077:1292149 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [receive] via NET/IB/0 -gpua002:1292077:1292149 [0] NCCL INFO Connected all trees -gpua002:1292077:1292149 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua002:1292077:1292149 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua002:1292077:1292149 [0] NCCL INFO comm 0xab674e0 rank 0 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua022:1202917:1202989 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [send] via NET/IB/0 -gpua022:1202917:1202989 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [send] via NET/IB/0 -gpua022:1202917:1202989 [0] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [send] via NET/IB/0 -gpua022:1202917:1202989 [0] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [receive] via NET/IB/0 -gpua022:1202917:1202989 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [receive] via NET/IB/0 -gpua022:1202917:1202989 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [receive] via NET/IB/0 -gpua022:1202917:1202989 [0] NCCL INFO Connected all trees -gpua022:1202917:1202989 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua022:1202917:1202989 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua022:1202917:1202989 [0] NCCL INFO comm 0xc054a20 rank 16 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua002:1292079:1292079 [2] NCCL INFO cudaDriverVersion 12020 -gpua002:1292079:1292079 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.2<0> -gpua002:1292079:1292079 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua002:1292079:1292151 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.2<0> -gpua002:1292079:1292151 [2] NCCL INFO Using network IB -gpua002:1292079:1292151 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua002:1292079:1292151 [2] NCCL INFO Trees [0] 3/-1/-1->2->1 [1] 3/-1/-1->2->1 -gpua002:1292079:1292151 [2] NCCL INFO Channel 00/0 : 2[85000] -> 3[c7000] via P2P/IPC/read -gpua002:1292079:1292151 [2] NCCL INFO Channel 01/0 : 2[85000] -> 3[c7000] via P2P/IPC/read -gpua002:1292079:1292151 [2] NCCL INFO Connected all rings -gpua002:1292079:1292151 [2] NCCL INFO Channel 00/0 : 2[85000] -> 1[46000] via P2P/IPC/read -gpua002:1292079:1292151 [2] NCCL INFO Channel 01/0 : 2[85000] -> 1[46000] via P2P/IPC/read -gpua023:1042026:1042026 [2] NCCL INFO cudaDriverVersion 12020 -gpua023:1042026:1042026 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.23<0> -gpua023:1042026:1042026 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua023:1042026:1042090 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.23<0> -gpua023:1042026:1042090 [2] NCCL INFO Using network IB -gpua023:1042026:1042090 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua023:1042026:1042090 [2] NCCL INFO Trees [0] 23/-1/-1->22->21 [1] 23/-1/-1->22->21 -gpua023:1042026:1042090 [2] NCCL INFO Channel 00/0 : 22[85000] -> 23[c7000] via P2P/IPC/read -gpua023:1042026:1042090 [2] NCCL INFO Channel 01/0 : 22[85000] -> 23[c7000] via P2P/IPC/read -gpua023:1042026:1042090 [2] NCCL INFO Connected all rings -gpua023:1042026:1042090 [2] NCCL INFO Channel 00/0 : 22[85000] -> 21[46000] via P2P/IPC/read -gpua023:1042026:1042090 [2] NCCL INFO Channel 01/0 : 22[85000] -> 21[46000] via P2P/IPC/read -gpua002:1292079:1292151 [2] NCCL INFO Connected all trees -gpua002:1292079:1292151 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua002:1292079:1292151 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua002:1292079:1292151 [2] NCCL INFO comm 0xb1fc5e0 rank 2 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua023:1042026:1042090 [2] NCCL INFO Connected all trees -gpua023:1042026:1042090 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua023:1042026:1042090 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua023:1042026:1042090 [2] NCCL INFO comm 0xe844dd0 rank 22 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua002:1292078:1292078 [1] NCCL INFO cudaDriverVersion 12020 -gpua002:1292078:1292078 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.2<0> -gpua002:1292078:1292078 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua002:1292078:1292152 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.2<0> -gpua002:1292078:1292152 [1] NCCL INFO Using network IB -gpua002:1292078:1292152 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua002:1292078:1292152 [1] NCCL INFO Trees [0] 2/-1/-1->1->0 [1] 2/-1/-1->1->0 -gpua002:1292078:1292152 [1] NCCL INFO Channel 00/0 : 1[46000] -> 2[85000] via P2P/IPC/read -gpua002:1292078:1292152 [1] NCCL INFO Channel 01/0 : 1[46000] -> 2[85000] via P2P/IPC/read -gpua002:1292078:1292152 [1] NCCL INFO Connected all rings -gpua002:1292078:1292152 [1] NCCL INFO Channel 00/0 : 1[46000] -> 0[7000] via P2P/IPC/read -gpua002:1292078:1292152 [1] NCCL INFO Channel 01/0 : 1[46000] -> 0[7000] via P2P/IPC/read -gpua002:1292078:1292152 [1] NCCL INFO Connected all trees -gpua002:1292078:1292152 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua002:1292078:1292152 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua002:1292078:1292152 [1] NCCL INFO comm 0x119cbbf0 rank 1 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua023:1042025:1042025 [1] NCCL INFO cudaDriverVersion 12020 -gpua023:1042025:1042025 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.23<0> -gpua023:1042025:1042025 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua023:1042025:1042092 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.23<0> -gpua023:1042025:1042092 [1] NCCL INFO Using network IB -gpua023:1042025:1042092 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua023:1042025:1042092 [1] NCCL INFO Trees [0] 22/-1/-1->21->20 [1] 22/24/-1->21->20 -gpua023:1042025:1042092 [1] NCCL INFO Channel 00/0 : 21[46000] -> 22[85000] via P2P/IPC/read -gpua023:1042025:1042092 [1] NCCL INFO Channel 01/0 : 21[46000] -> 22[85000] via P2P/IPC/read -gpua023:1042025:1042092 [1] NCCL INFO Connected all rings -gpua023:1042025:1042092 [1] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [send] via NET/IB/0 -gpua023:1042025:1042092 [1] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [receive] via NET/IB/0 -gpua002:1292080:1292080 [3] NCCL INFO cudaDriverVersion 12020 -gpua002:1292080:1292080 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.2<0> -gpua002:1292080:1292080 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua002:1292080:1292150 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.2<0> -gpua002:1292080:1292150 [3] NCCL INFO Using network IB -gpua002:1292080:1292150 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua002:1292080:1292150 [3] NCCL INFO Trees [0] -1/-1/-1->3->2 [1] -1/-1/-1->3->2 -gpua002:1292080:1292150 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 -gpua002:1292080:1292150 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 -gpua002:1292080:1292150 [3] NCCL INFO Connected all rings -gpua002:1292080:1292150 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 2[85000] via P2P/IPC/read -gpua002:1292080:1292150 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 2[85000] via P2P/IPC/read -gpua023:1042025:1042092 [1] NCCL INFO Channel 00/0 : 21[46000] -> 20[7000] via P2P/IPC/read -gpua023:1042025:1042092 [1] NCCL INFO Channel 01/0 : 21[46000] -> 20[7000] via P2P/IPC/read -gpua023:1042025:1042092 [1] NCCL INFO Connected all trees -gpua023:1042025:1042092 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua023:1042025:1042092 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua023:1042025:1042092 [1] NCCL INFO comm 0xe0d111e0 rank 21 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua002:1292080:1292150 [3] NCCL INFO Connected all trees -gpua002:1292080:1292150 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua002:1292080:1292150 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua002:1292080:1292150 [3] NCCL INFO comm 0x96cd5960 rank 3 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua023:1042024:1042024 [0] NCCL INFO cudaDriverVersion 12020 -gpua023:1042024:1042024 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.23<0> -gpua023:1042024:1042024 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua023:1042024:1042093 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.23<0> -gpua023:1042024:1042093 [0] NCCL INFO Using network IB -gpua023:1042024:1042093 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua023:1042024:1042093 [0] NCCL INFO Trees [0] 21/-1/-1->20->25 [1] 21/16/-1->20->13 -gpua023:1042024:1042093 [0] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 -gpua023:1042024:1042093 [0] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 -gpua023:1042024:1042093 [0] NCCL INFO Channel 00/0 : 20[7000] -> 21[46000] via P2P/IPC/read -gpua023:1042024:1042093 [0] NCCL INFO Channel 01/0 : 20[7000] -> 21[46000] via P2P/IPC/read -gpua023:1042024:1042093 [0] NCCL INFO Connected all rings -gpua023:1042024:1042093 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [receive] via NET/IB/0 -gpua023:1042024:1042093 [0] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [send] via NET/IB/0 -gpua023:1042024:1042093 [0] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [receive] via NET/IB/0 -gpua023:1042024:1042093 [0] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [send] via NET/IB/0 -gpua023:1042024:1042093 [0] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [receive] via NET/IB/0 -gpua023:1042024:1042093 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [send] via NET/IB/0 -gpua023:1042024:1042093 [0] NCCL INFO Connected all trees -gpua023:1042024:1042093 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua023:1042024:1042093 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua023:1042024:1042093 [0] NCCL INFO comm 0xe254efd0 rank 20 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua005:2934817:2934817 [2] NCCL INFO cudaDriverVersion 12020 -gpua005:2934817:2934817 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> -gpua005:2934817:2934817 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua005:2934817:2934889 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> -gpua005:2934817:2934889 [2] NCCL INFO Using network IB -gpua005:2934817:2934889 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua005:2934817:2934889 [2] NCCL INFO Trees [0] 7/-1/-1->6->5 [1] 7/-1/-1->6->5 -gpua005:2934817:2934889 [2] NCCL INFO Channel 00/0 : 6[85000] -> 7[c7000] via P2P/IPC/read -gpua005:2934817:2934889 [2] NCCL INFO Channel 01/0 : 6[85000] -> 7[c7000] via P2P/IPC/read -gpua005:2934817:2934889 [2] NCCL INFO Connected all rings -gpua005:2934817:2934889 [2] NCCL INFO Channel 00/0 : 6[85000] -> 5[46000] via P2P/IPC/read -gpua005:2934817:2934889 [2] NCCL INFO Channel 01/0 : 6[85000] -> 5[46000] via P2P/IPC/read -gpua005:2934817:2934889 [2] NCCL INFO Connected all trees -gpua005:2934817:2934889 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua005:2934817:2934889 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua005:2934817:2934889 [2] NCCL INFO comm 0x10441c90 rank 6 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua047:1448196:1448196 [3] NCCL INFO cudaDriverVersion 12020 -gpua047:1448196:1448196 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.47<0> -gpua047:1448196:1448196 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua047:1448196:1448258 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.47<0> -gpua047:1448196:1448258 [3] NCCL INFO Using network IB -gpua047:1448196:1448258 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua047:1448196:1448258 [3] NCCL INFO Trees [0] -1/-1/-1->35->34 [1] -1/-1/-1->35->34 -gpua047:1448196:1448258 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 -gpua047:1448196:1448258 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 -gpua047:1448196:1448258 [3] NCCL INFO Connected all rings -gpua047:1448196:1448258 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 34[85000] via P2P/IPC/read -gpua047:1448196:1448258 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 34[85000] via P2P/IPC/read -gpua047:1448196:1448258 [3] NCCL INFO Connected all trees -gpua047:1448196:1448258 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua047:1448196:1448258 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua047:1448196:1448258 [3] NCCL INFO comm 0xdf3f260 rank 35 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua022:1202919:1202919 [2] NCCL INFO cudaDriverVersion 12020 -gpua022:1202919:1202919 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.22<0> -gpua022:1202919:1202919 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua022:1202919:1202988 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.22<0> -gpua022:1202919:1202988 [2] NCCL INFO Using network IB -gpua022:1202919:1202988 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua022:1202919:1202988 [2] NCCL INFO Trees [0] 19/-1/-1->18->17 [1] 19/-1/-1->18->17 -gpua022:1202919:1202988 [2] NCCL INFO Channel 00/0 : 18[85000] -> 19[c7000] via P2P/IPC/read -gpua022:1202919:1202988 [2] NCCL INFO Channel 01/0 : 18[85000] -> 19[c7000] via P2P/IPC/read -gpua022:1202919:1202988 [2] NCCL INFO Connected all rings -gpua022:1202919:1202988 [2] NCCL INFO Channel 00/0 : 18[85000] -> 17[46000] via P2P/IPC/read -gpua022:1202919:1202988 [2] NCCL INFO Channel 01/0 : 18[85000] -> 17[46000] via P2P/IPC/read -gpua022:1202919:1202988 [2] NCCL INFO Connected all trees -gpua022:1202919:1202988 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua022:1202919:1202988 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua022:1202919:1202988 [2] NCCL INFO comm 0xe63cc7e0 rank 18 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua052:1354356:1354356 [1] NCCL INFO cudaDriverVersion 12020 -gpua052:1354356:1354356 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.52<0> -gpua052:1354356:1354356 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua052:1354356:1354433 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.52<0> -gpua052:1354356:1354433 [1] NCCL INFO Using network IB -gpua052:1354356:1354433 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua052:1354356:1354433 [1] NCCL INFO Trees [0] 38/-1/-1->37->36 [1] 38/40/-1->37->36 -gpua052:1354356:1354433 [1] NCCL INFO Channel 00/0 : 37[46000] -> 38[85000] via P2P/IPC/read -gpua052:1354356:1354433 [1] NCCL INFO Channel 01/0 : 37[46000] -> 38[85000] via P2P/IPC/read -gpua052:1354356:1354433 [1] NCCL INFO Connected all rings -gpua052:1354356:1354433 [1] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [send] via NET/IB/0 -gpua052:1354356:1354433 [1] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [receive] via NET/IB/0 -gpua052:1354356:1354433 [1] NCCL INFO Channel 00/0 : 37[46000] -> 36[7000] via P2P/IPC/read -gpua052:1354356:1354433 [1] NCCL INFO Channel 01/0 : 37[46000] -> 36[7000] via P2P/IPC/read -gpua052:1354356:1354433 [1] NCCL INFO Connected all trees -gpua052:1354356:1354433 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua052:1354356:1354433 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua052:1354356:1354433 [1] NCCL INFO comm 0xd3fcaf0 rank 37 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua052:1354355:1354355 [0] NCCL INFO cudaDriverVersion 12020 -gpua052:1354355:1354355 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.52<0> -gpua052:1354355:1354355 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua052:1354355:1354432 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.52<0> -gpua052:1354355:1354432 [0] NCCL INFO Using network IB -gpua052:1354355:1354432 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua052:1354355:1354432 [0] NCCL INFO Trees [0] 37/-1/-1->36->41 [1] 37/32/-1->36->44 -gpua052:1354355:1354432 [0] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 -gpua052:1354355:1354432 [0] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 -gpua052:1354355:1354432 [0] NCCL INFO Channel 00/0 : 36[7000] -> 37[46000] via P2P/IPC/read -gpua052:1354355:1354432 [0] NCCL INFO Channel 01/0 : 36[7000] -> 37[46000] via P2P/IPC/read -gpua052:1354355:1354432 [0] NCCL INFO Connected all rings -gpua052:1354355:1354432 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [receive] via NET/IB/0 -gpua052:1354355:1354432 [0] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [send] via NET/IB/0 -gpua052:1354355:1354432 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [send] via NET/IB/0 -gpua052:1354355:1354432 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [receive] via NET/IB/0 -gpua052:1354355:1354432 [0] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [receive] via NET/IB/0 -gpua052:1354355:1354432 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [send] via NET/IB/0 -gpua052:1354355:1354432 [0] NCCL INFO Connected all trees -gpua052:1354355:1354432 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua052:1354355:1354432 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua052:1354355:1354432 [0] NCCL INFO comm 0x2432cce0 rank 36 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua038:582874:582874 [3] NCCL INFO cudaDriverVersion 12020 -gpua038:582874:582874 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.38<0> -gpua038:582874:582874 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua038:582874:582944 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.38<0> -gpua038:582874:582944 [3] NCCL INFO Using network IB -gpua038:582874:582944 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua038:582874:582944 [3] NCCL INFO Trees [0] -1/-1/-1->27->26 [1] -1/-1/-1->27->26 -gpua038:582874:582944 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 -gpua038:582874:582944 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 -gpua038:582874:582944 [3] NCCL INFO Connected all rings -gpua038:582874:582944 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 26[85000] via P2P/IPC/read -gpua038:582874:582944 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 26[85000] via P2P/IPC/read -gpua038:582874:582944 [3] NCCL INFO Connected all trees -gpua038:582874:582944 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua038:582874:582944 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua038:582874:582944 [3] NCCL INFO comm 0x102c0810 rank 27 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua009:2527545:2527545 [3] NCCL INFO cudaDriverVersion 12020 -gpua009:2527545:2527545 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.9<0> -gpua009:2527545:2527545 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua009:2527545:2527610 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.9<0> -gpua009:2527545:2527610 [3] NCCL INFO Using network IB -gpua009:2527545:2527610 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua009:2527545:2527610 [3] NCCL INFO Trees [0] -1/-1/-1->11->10 [1] -1/-1/-1->11->10 -gpua009:2527545:2527610 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 -gpua009:2527545:2527610 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 -gpua009:2527545:2527610 [3] NCCL INFO Connected all rings -gpua009:2527545:2527610 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 10[85000] via P2P/IPC/read -gpua009:2527545:2527610 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 10[85000] via P2P/IPC/read -gpua009:2527545:2527610 [3] NCCL INFO Connected all trees -gpua009:2527545:2527610 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua009:2527545:2527610 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua009:2527545:2527610 [3] NCCL INFO comm 0x188b2aa0 rank 11 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua083:2273405:2273405 [1] NCCL INFO cudaDriverVersion 12020 -gpua083:2273405:2273405 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> -gpua083:2273405:2273405 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua083:2273405:2273475 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> -gpua083:2273405:2273475 [1] NCCL INFO Using network IB -gpua083:2273405:2273475 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua083:2273405:2273475 [1] NCCL INFO Trees [0] 50/40/-1->49->48 [1] 50/-1/-1->49->48 -gpua083:2273405:2273475 [1] NCCL INFO Channel 00/0 : 49[46000] -> 50[85000] via P2P/IPC/read -gpua083:2273405:2273475 [1] NCCL INFO Channel 01/0 : 49[46000] -> 50[85000] via P2P/IPC/read -gpua083:2273405:2273475 [1] NCCL INFO Connected all rings -gpua083:2273405:2273475 [1] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [receive] via NET/IB/0 -gpua083:2273405:2273475 [1] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [send] via NET/IB/0 -gpua083:2273405:2273475 [1] NCCL INFO Channel 00/0 : 49[46000] -> 48[7000] via P2P/IPC/read -gpua083:2273405:2273475 [1] NCCL INFO Channel 01/0 : 49[46000] -> 48[7000] via P2P/IPC/read -gpua083:2273405:2273475 [1] NCCL INFO Connected all trees -gpua083:2273405:2273475 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua083:2273405:2273475 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua083:2273405:2273475 [1] NCCL INFO comm 0xc3ecc50 rank 49 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua005:2934818:2934818 [3] NCCL INFO cudaDriverVersion 12020 -gpua005:2934818:2934818 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> -gpua005:2934818:2934818 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua005:2934818:2934891 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> -gpua005:2934818:2934891 [3] NCCL INFO Using network IB -gpua005:2934818:2934891 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua005:2934818:2934891 [3] NCCL INFO Trees [0] -1/-1/-1->7->6 [1] -1/-1/-1->7->6 -gpua005:2934818:2934891 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 -gpua005:2934818:2934891 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 -gpua005:2934818:2934891 [3] NCCL INFO Connected all rings -gpua005:2934818:2934891 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 6[85000] via P2P/IPC/read -gpua005:2934818:2934891 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 6[85000] via P2P/IPC/read -gpua005:2934818:2934891 [3] NCCL INFO Connected all trees -gpua005:2934818:2934891 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua005:2934818:2934891 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua005:2934818:2934891 [3] NCCL INFO comm 0xdfcc020 rank 7 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua052:1354358:1354358 [3] NCCL INFO cudaDriverVersion 12020 -gpua052:1354358:1354358 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.52<0> -gpua052:1354358:1354358 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua052:1354358:1354430 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.52<0> -gpua052:1354358:1354430 [3] NCCL INFO Using network IB -gpua052:1354358:1354430 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua052:1354358:1354430 [3] NCCL INFO Trees [0] -1/-1/-1->39->38 [1] -1/-1/-1->39->38 -gpua052:1354358:1354430 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 -gpua052:1354358:1354430 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 -gpua052:1354358:1354430 [3] NCCL INFO Connected all rings -gpua052:1354358:1354430 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 38[85000] via P2P/IPC/read -gpua052:1354358:1354430 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 38[85000] via P2P/IPC/read -gpua052:1354358:1354430 [3] NCCL INFO Connected all trees -gpua052:1354358:1354430 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua052:1354358:1354430 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua052:1354358:1354430 [3] NCCL INFO comm 0xfb214d0 rank 39 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua039:978772:978772 [1] NCCL INFO cudaDriverVersion 12020 -gpua039:978772:978772 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.39<0> -gpua039:978772:978772 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua039:978772:978845 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.39<0> -gpua039:978772:978845 [1] NCCL INFO Using network IB -gpua039:978772:978845 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua039:978772:978845 [1] NCCL INFO Trees [0] 30/-1/-1->29->28 [1] 30/44/-1->29->28 -gpua039:978772:978845 [1] NCCL INFO Channel 00/0 : 29[46000] -> 30[85000] via P2P/IPC/read -gpua039:978772:978845 [1] NCCL INFO Channel 01/0 : 29[46000] -> 30[85000] via P2P/IPC/read -gpua039:978772:978845 [1] NCCL INFO Connected all rings -gpua039:978772:978845 [1] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [send] via NET/IB/0 -gpua039:978772:978845 [1] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [receive] via NET/IB/0 -gpua039:978772:978845 [1] NCCL INFO Channel 00/0 : 29[46000] -> 28[7000] via P2P/IPC/read -gpua039:978772:978845 [1] NCCL INFO Channel 01/0 : 29[46000] -> 28[7000] via P2P/IPC/read -gpua039:978772:978845 [1] NCCL INFO Connected all trees -gpua039:978772:978845 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua039:978772:978845 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua039:978772:978845 [1] NCCL INFO comm 0x15c17a10 rank 29 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua009:2527544:2527544 [2] NCCL INFO cudaDriverVersion 12020 -gpua009:2527544:2527544 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.9<0> -gpua009:2527544:2527544 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua009:2527544:2527607 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.9<0> -gpua009:2527544:2527607 [2] NCCL INFO Using network IB -gpua009:2527544:2527607 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua009:2527544:2527607 [2] NCCL INFO Trees [0] 11/-1/-1->10->9 [1] 11/-1/-1->10->9 -gpua009:2527544:2527607 [2] NCCL INFO Channel 00/0 : 10[85000] -> 11[c7000] via P2P/IPC/read -gpua009:2527544:2527607 [2] NCCL INFO Channel 01/0 : 10[85000] -> 11[c7000] via P2P/IPC/read -gpua009:2527544:2527607 [2] NCCL INFO Connected all rings -gpua009:2527544:2527607 [2] NCCL INFO Channel 00/0 : 10[85000] -> 9[46000] via P2P/IPC/read -gpua009:2527544:2527607 [2] NCCL INFO Channel 01/0 : 10[85000] -> 9[46000] via P2P/IPC/read -gpua009:2527544:2527607 [2] NCCL INFO Connected all trees -gpua009:2527544:2527607 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua009:2527544:2527607 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua009:2527544:2527607 [2] NCCL INFO comm 0x9831f960 rank 10 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua060:3165197:3165197 [2] NCCL INFO cudaDriverVersion 12020 -gpua060:3165197:3165197 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.60<0> -gpua060:3165197:3165197 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua060:3165197:3165269 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.60<0> -gpua060:3165197:3165269 [2] NCCL INFO Using network IB -gpua060:3165197:3165269 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua060:3165197:3165269 [2] NCCL INFO Trees [0] 47/-1/-1->46->45 [1] 47/-1/-1->46->45 -gpua060:3165197:3165269 [2] NCCL INFO Channel 00/0 : 46[85000] -> 47[c7000] via P2P/IPC/read -gpua060:3165197:3165269 [2] NCCL INFO Channel 01/0 : 46[85000] -> 47[c7000] via P2P/IPC/read -gpua060:3165197:3165269 [2] NCCL INFO Connected all rings -gpua060:3165197:3165269 [2] NCCL INFO Channel 00/0 : 46[85000] -> 45[46000] via P2P/IPC/read -gpua060:3165197:3165269 [2] NCCL INFO Channel 01/0 : 46[85000] -> 45[46000] via P2P/IPC/read -gpua060:3165197:3165269 [2] NCCL INFO Connected all trees -gpua060:3165197:3165269 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua060:3165197:3165269 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua060:3165197:3165269 [2] NCCL INFO comm 0xe0fd470 rank 46 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua005:2934815:2934815 [0] NCCL INFO cudaDriverVersion 12020 -gpua005:2934815:2934815 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> -gpua005:2934815:2934815 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua005:2934815:2934888 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> -gpua005:2934815:2934888 [0] NCCL INFO Using network IB -gpua005:2934815:2934888 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua005:2934815:2934888 [0] NCCL INFO Trees [0] 5/-1/-1->4->9 [1] 5/0/-1->4->12 -gpua005:2934815:2934888 [0] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 -gpua005:2934815:2934888 [0] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 -gpua005:2934815:2934888 [0] NCCL INFO Channel 00/0 : 4[7000] -> 5[46000] via P2P/IPC/read -gpua005:2934815:2934888 [0] NCCL INFO Channel 01/0 : 4[7000] -> 5[46000] via P2P/IPC/read -gpua005:2934815:2934888 [0] NCCL INFO Connected all rings -gpua005:2934815:2934888 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [receive] via NET/IB/0 -gpua005:2934815:2934888 [0] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [send] via NET/IB/0 -gpua005:2934815:2934888 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [send] via NET/IB/0 -gpua005:2934815:2934888 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [receive] via NET/IB/0 -gpua005:2934815:2934888 [0] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [receive] via NET/IB/0 -gpua005:2934815:2934888 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [send] via NET/IB/0 -gpua005:2934815:2934888 [0] NCCL INFO Connected all trees -gpua005:2934815:2934888 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua005:2934815:2934888 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua005:2934815:2934888 [0] NCCL INFO comm 0xfa11910 rank 4 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua047:1448194:1448194 [1] NCCL INFO cudaDriverVersion 12020 -gpua047:1448194:1448194 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.47<0> -gpua047:1448194:1448194 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua047:1448194:1448257 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.47<0> -gpua047:1448194:1448257 [1] NCCL INFO Using network IB -gpua047:1448194:1448257 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua047:1448194:1448257 [1] NCCL INFO Trees [0] 34/16/-1->33->32 [1] 34/-1/-1->33->32 -gpua047:1448194:1448257 [1] NCCL INFO Channel 00/0 : 33[46000] -> 34[85000] via P2P/IPC/read -gpua047:1448194:1448257 [1] NCCL INFO Channel 01/0 : 33[46000] -> 34[85000] via P2P/IPC/read -gpua047:1448194:1448257 [1] NCCL INFO Connected all rings -gpua047:1448194:1448257 [1] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [receive] via NET/IB/0 -gpua047:1448194:1448257 [1] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [send] via NET/IB/0 -gpua047:1448194:1448257 [1] NCCL INFO Channel 00/0 : 33[46000] -> 32[7000] via P2P/IPC/read -gpua047:1448194:1448257 [1] NCCL INFO Channel 01/0 : 33[46000] -> 32[7000] via P2P/IPC/read -gpua047:1448194:1448257 [1] NCCL INFO Connected all trees -gpua047:1448194:1448257 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua047:1448194:1448257 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua047:1448194:1448257 [1] NCCL INFO comm 0x3e099190 rank 33 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua083:2273406:2273406 [2] NCCL INFO cudaDriverVersion 12020 -gpua083:2273406:2273406 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> -gpua083:2273406:2273406 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua083:2273406:2273477 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> -gpua083:2273406:2273477 [2] NCCL INFO Using network IB -gpua083:2273406:2273477 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua083:2273406:2273477 [2] NCCL INFO Trees [0] 51/-1/-1->50->49 [1] 51/-1/-1->50->49 -gpua083:2273406:2273477 [2] NCCL INFO Channel 00/0 : 50[85000] -> 51[c7000] via P2P/IPC/read -gpua083:2273406:2273477 [2] NCCL INFO Channel 01/0 : 50[85000] -> 51[c7000] via P2P/IPC/read -gpua083:2273406:2273477 [2] NCCL INFO Connected all rings -gpua083:2273406:2273477 [2] NCCL INFO Channel 00/0 : 50[85000] -> 49[46000] via P2P/IPC/read -gpua083:2273406:2273477 [2] NCCL INFO Channel 01/0 : 50[85000] -> 49[46000] via P2P/IPC/read -gpua083:2273406:2273477 [2] NCCL INFO Connected all trees -gpua083:2273406:2273477 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua083:2273406:2273477 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua083:2273406:2273477 [2] NCCL INFO comm 0xf2ae290 rank 50 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua047:1448195:1448195 [2] NCCL INFO cudaDriverVersion 12020 -gpua047:1448195:1448195 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.47<0> -gpua047:1448195:1448195 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua047:1448195:1448256 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.47<0> -gpua047:1448195:1448256 [2] NCCL INFO Using network IB -gpua047:1448195:1448256 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua047:1448195:1448256 [2] NCCL INFO Trees [0] 35/-1/-1->34->33 [1] 35/-1/-1->34->33 -gpua047:1448195:1448256 [2] NCCL INFO Channel 00/0 : 34[85000] -> 35[c7000] via P2P/IPC/read -gpua047:1448195:1448256 [2] NCCL INFO Channel 01/0 : 34[85000] -> 35[c7000] via P2P/IPC/read -gpua047:1448195:1448256 [2] NCCL INFO Connected all rings -gpua047:1448195:1448256 [2] NCCL INFO Channel 00/0 : 34[85000] -> 33[46000] via P2P/IPC/read -gpua047:1448195:1448256 [2] NCCL INFO Channel 01/0 : 34[85000] -> 33[46000] via P2P/IPC/read -gpua060:3165195:3165195 [0] NCCL INFO cudaDriverVersion 12020 -gpua060:3165195:3165195 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.60<0> -gpua060:3165195:3165195 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua060:3165195:3165274 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.60<0> -gpua060:3165195:3165274 [0] NCCL INFO Using network IB -gpua060:3165195:3165274 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua060:3165195:3165274 [0] NCCL INFO Trees [0] 45/-1/-1->44->40 [1] 45/36/-1->44->29 -gpua060:3165195:3165274 [0] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 -gpua060:3165195:3165274 [0] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 -gpua060:3165195:3165274 [0] NCCL INFO Channel 00/0 : 44[7000] -> 45[46000] via P2P/IPC/read -gpua060:3165195:3165274 [0] NCCL INFO Channel 01/0 : 44[7000] -> 45[46000] via P2P/IPC/read -gpua060:3165195:3165274 [0] NCCL INFO Connected all rings -gpua047:1448195:1448256 [2] NCCL INFO Connected all trees -gpua047:1448195:1448256 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua047:1448195:1448256 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua047:1448195:1448256 [2] NCCL INFO comm 0xeace2660 rank 34 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua060:3165195:3165274 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [receive] via NET/IB/0 -gpua060:3165195:3165274 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [receive] via NET/IB/0 -gpua060:3165195:3165274 [0] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [receive] via NET/IB/0 -gpua060:3165195:3165274 [0] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [send] via NET/IB/0 -gpua060:3165195:3165274 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [send] via NET/IB/0 -gpua060:3165195:3165274 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [send] via NET/IB/0 -gpua060:3165195:3165274 [0] NCCL INFO Connected all trees -gpua060:3165195:3165274 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua060:3165195:3165274 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua060:3165195:3165274 [0] NCCL INFO comm 0x161cb360 rank 44 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua009:2527543:2527543 [1] NCCL INFO cudaDriverVersion 12020 -gpua009:2527543:2527543 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.9<0> -gpua009:2527543:2527543 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua009:2527543:2527608 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.9<0> -gpua009:2527543:2527608 [1] NCCL INFO Using network IB -gpua009:2527543:2527608 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua009:2527543:2527608 [1] NCCL INFO Trees [0] 10/4/-1->9->8 [1] 10/-1/-1->9->8 -gpua009:2527543:2527608 [1] NCCL INFO Channel 00/0 : 9[46000] -> 10[85000] via P2P/IPC/read -gpua009:2527543:2527608 [1] NCCL INFO Channel 01/0 : 9[46000] -> 10[85000] via P2P/IPC/read -gpua009:2527543:2527608 [1] NCCL INFO Connected all rings -gpua009:2527543:2527608 [1] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [receive] via NET/IB/0 -gpua009:2527543:2527608 [1] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [send] via NET/IB/0 -gpua021:382382:382382 [2] NCCL INFO cudaDriverVersion 12020 -gpua021:382382:382382 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.21<0> -gpua021:382382:382382 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua021:382382:382459 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.21<0> -gpua021:382382:382459 [2] NCCL INFO Using network IB -gpua021:382382:382459 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua021:382382:382459 [2] NCCL INFO Trees [0] 15/-1/-1->14->13 [1] 15/-1/-1->14->13 -gpua021:382382:382459 [2] NCCL INFO Channel 00/0 : 14[85000] -> 15[c7000] via P2P/IPC/read -gpua021:382382:382459 [2] NCCL INFO Channel 01/0 : 14[85000] -> 15[c7000] via P2P/IPC/read -gpua021:382382:382459 [2] NCCL INFO Connected all rings -gpua021:382382:382459 [2] NCCL INFO Channel 00/0 : 14[85000] -> 13[46000] via P2P/IPC/read -gpua021:382382:382459 [2] NCCL INFO Channel 01/0 : 14[85000] -> 13[46000] via P2P/IPC/read -gpua083:2273404:2273404 [0] NCCL INFO cudaDriverVersion 12020 -gpua083:2273404:2273404 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> -gpua083:2273404:2273404 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua083:2273404:2273476 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> -gpua083:2273404:2273476 [0] NCCL INFO Using network IB -gpua083:2273404:2273476 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua083:2273404:2273476 [0] NCCL INFO Trees [0] 49/56/-1->48->32 [1] 49/-1/-1->48->52 -gpua083:2273404:2273476 [0] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 -gpua083:2273404:2273476 [0] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 -gpua083:2273404:2273476 [0] NCCL INFO Channel 00/0 : 48[7000] -> 49[46000] via P2P/IPC/read -gpua083:2273404:2273476 [0] NCCL INFO Channel 01/0 : 48[7000] -> 49[46000] via P2P/IPC/read -gpua083:2273404:2273476 [0] NCCL INFO Connected all rings -gpua009:2527543:2527608 [1] NCCL INFO Channel 00/0 : 9[46000] -> 8[7000] via P2P/IPC/read -gpua009:2527543:2527608 [1] NCCL INFO Channel 01/0 : 9[46000] -> 8[7000] via P2P/IPC/read -gpua009:2527543:2527608 [1] NCCL INFO Connected all trees -gpua009:2527543:2527608 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua009:2527543:2527608 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua009:2527543:2527608 [1] NCCL INFO comm 0xb673fc0 rank 9 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua021:382382:382459 [2] NCCL INFO Connected all trees -gpua021:382382:382459 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua021:382382:382459 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua021:382382:382459 [2] NCCL INFO comm 0x1a8d5890 rank 14 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua083:2273404:2273476 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [send] via NET/IB/0 -gpua083:2273404:2273476 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [send] via NET/IB/0 -gpua083:2273404:2273476 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [receive] via NET/IB/0 -gpua083:2273404:2273476 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [send] via NET/IB/0 -gpua083:2273404:2273476 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [receive] via NET/IB/0 -gpua083:2273404:2273476 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [receive] via NET/IB/0 -gpua083:2273404:2273476 [0] NCCL INFO Connected all trees -gpua083:2273404:2273476 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua083:2273404:2273476 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua083:2273404:2273476 [0] NCCL INFO comm 0x387567a0 rank 48 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua009:2527542:2527542 [0] NCCL INFO cudaDriverVersion 12020 -gpua009:2527542:2527542 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.9<0> -gpua009:2527542:2527542 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua009:2527542:2527609 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.9<0> -gpua009:2527542:2527609 [0] NCCL INFO Using network IB -gpua009:2527542:2527609 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua009:2527542:2527609 [0] NCCL INFO Trees [0] 9/12/-1->8->17 [1] 9/-1/-1->8->5 -gpua009:2527542:2527609 [0] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 -gpua009:2527542:2527609 [0] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 -gpua009:2527542:2527609 [0] NCCL INFO Channel 00/0 : 8[7000] -> 9[46000] via P2P/IPC/read -gpua009:2527542:2527609 [0] NCCL INFO Channel 01/0 : 8[7000] -> 9[46000] via P2P/IPC/read -gpua009:2527542:2527609 [0] NCCL INFO Connected all rings -gpua021:382383:382383 [3] NCCL INFO cudaDriverVersion 12020 -gpua021:382383:382383 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.21<0> -gpua021:382383:382383 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua021:382383:382455 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.21<0> -gpua021:382383:382455 [3] NCCL INFO Using network IB -gpua021:382383:382455 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua021:382383:382455 [3] NCCL INFO Trees [0] -1/-1/-1->15->14 [1] -1/-1/-1->15->14 -gpua021:382383:382455 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 -gpua021:382383:382455 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 -gpua021:382383:382455 [3] NCCL INFO Connected all rings -gpua021:382383:382455 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 14[85000] via P2P/IPC/read -gpua021:382383:382455 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 14[85000] via P2P/IPC/read -gpua009:2527542:2527609 [0] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [receive] via NET/IB/0 -gpua009:2527542:2527609 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [send] via NET/IB/0 -gpua009:2527542:2527609 [0] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [send] via NET/IB/0 -gpua009:2527542:2527609 [0] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [receive] via NET/IB/0 -gpua009:2527542:2527609 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [receive] via NET/IB/0 -gpua009:2527542:2527609 [0] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [send] via NET/IB/0 -gpua009:2527542:2527609 [0] NCCL INFO Connected all trees -gpua009:2527542:2527609 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua009:2527542:2527609 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua009:2527542:2527609 [0] NCCL INFO comm 0xd94d9a0 rank 8 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua021:382383:382455 [3] NCCL INFO Connected all trees -gpua021:382383:382455 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua021:382383:382455 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua021:382383:382455 [3] NCCL INFO comm 0xe4ea8d0 rank 15 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua083:2273407:2273407 [3] NCCL INFO cudaDriverVersion 12020 -gpua083:2273407:2273407 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> -gpua083:2273407:2273407 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua083:2273407:2273474 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> -gpua083:2273407:2273474 [3] NCCL INFO Using network IB -gpua083:2273407:2273474 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua083:2273407:2273474 [3] NCCL INFO Trees [0] -1/-1/-1->51->50 [1] -1/-1/-1->51->50 -gpua083:2273407:2273474 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 -gpua083:2273407:2273474 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 -gpua083:2273407:2273474 [3] NCCL INFO Connected all rings -gpua083:2273407:2273474 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 50[85000] via P2P/IPC/read -gpua083:2273407:2273474 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 50[85000] via P2P/IPC/read -gpua083:2273407:2273474 [3] NCCL INFO Connected all trees -gpua083:2273407:2273474 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua083:2273407:2273474 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua083:2273407:2273474 [3] NCCL INFO comm 0x2e807f90 rank 51 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua021:382381:382381 [1] NCCL INFO cudaDriverVersion 12020 -gpua021:382381:382381 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.21<0> -gpua021:382381:382381 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua021:382381:382460 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.21<0> -gpua021:382381:382460 [1] NCCL INFO Using network IB -gpua021:382381:382460 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua021:382381:382460 [1] NCCL INFO Trees [0] 14/-1/-1->13->12 [1] 14/20/-1->13->12 -gpua021:382381:382460 [1] NCCL INFO Channel 00/0 : 13[46000] -> 14[85000] via P2P/IPC/read -gpua021:382381:382460 [1] NCCL INFO Channel 01/0 : 13[46000] -> 14[85000] via P2P/IPC/read -gpua021:382381:382460 [1] NCCL INFO Connected all rings -gpua021:382381:382460 [1] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [send] via NET/IB/0 -gpua021:382381:382460 [1] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [receive] via NET/IB/0 -gpua021:382381:382460 [1] NCCL INFO Channel 00/0 : 13[46000] -> 12[7000] via P2P/IPC/read -gpua021:382381:382460 [1] NCCL INFO Channel 01/0 : 13[46000] -> 12[7000] via P2P/IPC/read -gpua021:382381:382460 [1] NCCL INFO Connected all trees -gpua021:382381:382460 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua021:382381:382460 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua021:382381:382460 [1] NCCL INFO comm 0xe93eace0 rank 13 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua060:3165198:3165198 [3] NCCL INFO cudaDriverVersion 12020 -gpua060:3165198:3165198 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.60<0> -gpua060:3165198:3165198 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua060:3165198:3165270 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.60<0> -gpua060:3165198:3165270 [3] NCCL INFO Using network IB -gpua060:3165198:3165270 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua060:3165198:3165270 [3] NCCL INFO Trees [0] -1/-1/-1->47->46 [1] -1/-1/-1->47->46 -gpua060:3165198:3165270 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 -gpua060:3165198:3165270 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 -gpua060:3165198:3165270 [3] NCCL INFO Connected all rings -gpua060:3165198:3165270 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 46[85000] via P2P/IPC/read -gpua060:3165198:3165270 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 46[85000] via P2P/IPC/read -gpua060:3165198:3165270 [3] NCCL INFO Connected all trees -gpua060:3165198:3165270 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua060:3165198:3165270 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua060:3165198:3165270 [3] NCCL INFO comm 0xdd5f650 rank 47 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua047:1448193:1448193 [0] NCCL INFO cudaDriverVersion 12020 -gpua047:1448193:1448193 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.47<0> -gpua047:1448193:1448193 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua047:1448193:1448255 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.47<0> -gpua047:1448193:1448255 [0] NCCL INFO Using network IB -gpua047:1448193:1448255 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua047:1448193:1448255 [0] NCCL INFO Trees [0] 33/48/-1->32->0 [1] 33/-1/-1->32->36 -gpua047:1448193:1448255 [0] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 -gpua047:1448193:1448255 [0] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 -gpua047:1448193:1448255 [0] NCCL INFO Channel 00/0 : 32[7000] -> 33[46000] via P2P/IPC/read -gpua047:1448193:1448255 [0] NCCL INFO Channel 01/0 : 32[7000] -> 33[46000] via P2P/IPC/read -gpua047:1448193:1448255 [0] NCCL INFO Connected all rings -gpua047:1448193:1448255 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [send] via NET/IB/0 -gpua047:1448193:1448255 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [send] via NET/IB/0 -gpua047:1448193:1448255 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [receive] via NET/IB/0 -gpua047:1448193:1448255 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [send] via NET/IB/0 -gpua047:1448193:1448255 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [receive] via NET/IB/0 -gpua047:1448193:1448255 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [receive] via NET/IB/0 -gpua047:1448193:1448255 [0] NCCL INFO Connected all trees -gpua047:1448193:1448255 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua047:1448193:1448255 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua047:1448193:1448255 [0] NCCL INFO comm 0xe6fd150 rank 32 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua039:978771:978771 [0] NCCL INFO cudaDriverVersion 12020 -gpua039:978771:978771 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.39<0> -gpua039:978771:978771 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua039:978771:978844 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.39<0> -gpua039:978771:978844 [0] NCCL INFO Using network IB -gpua039:978771:978844 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua039:978771:978844 [0] NCCL INFO Trees [0] 29/-1/-1->28->24 [1] 29/12/-1->28->60 -gpua039:978771:978844 [0] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 -gpua039:978771:978844 [0] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 -gpua039:978771:978844 [0] NCCL INFO Channel 00/0 : 28[7000] -> 29[46000] via P2P/IPC/read -gpua039:978771:978844 [0] NCCL INFO Channel 01/0 : 28[7000] -> 29[46000] via P2P/IPC/read -gpua039:978771:978844 [0] NCCL INFO Connected all rings -gpua039:978771:978844 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [receive] via NET/IB/0 -gpua039:978771:978844 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [receive] via NET/IB/0 -gpua039:978771:978844 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [receive] via NET/IB/0 -gpua039:978771:978844 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [send] via NET/IB/0 -gpua039:978771:978844 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [send] via NET/IB/0 -gpua039:978771:978844 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [send] via NET/IB/0 -gpua039:978771:978844 [0] NCCL INFO Connected all trees -gpua039:978771:978844 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua039:978771:978844 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua039:978771:978844 [0] NCCL INFO comm 0xb0b39f0 rank 28 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua005:2934816:2934816 [1] NCCL INFO cudaDriverVersion 12020 -gpua005:2934816:2934816 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> -gpua005:2934816:2934816 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua005:2934816:2934890 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> -gpua005:2934816:2934890 [1] NCCL INFO Using network IB -gpua005:2934816:2934890 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua005:2934816:2934890 [1] NCCL INFO Trees [0] 6/-1/-1->5->4 [1] 6/8/-1->5->4 -gpua005:2934816:2934890 [1] NCCL INFO Channel 00/0 : 5[46000] -> 6[85000] via P2P/IPC/read -gpua005:2934816:2934890 [1] NCCL INFO Channel 01/0 : 5[46000] -> 6[85000] via P2P/IPC/read -gpua005:2934816:2934890 [1] NCCL INFO Connected all rings -gpua005:2934816:2934890 [1] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [send] via NET/IB/0 -gpua005:2934816:2934890 [1] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [receive] via NET/IB/0 -gpua005:2934816:2934890 [1] NCCL INFO Channel 00/0 : 5[46000] -> 4[7000] via P2P/IPC/read -gpua005:2934816:2934890 [1] NCCL INFO Channel 01/0 : 5[46000] -> 4[7000] via P2P/IPC/read -gpua005:2934816:2934890 [1] NCCL INFO Connected all trees -gpua005:2934816:2934890 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua005:2934816:2934890 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua005:2934816:2934890 [1] NCCL INFO comm 0xddd8560 rank 5 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua055:1102502:1102502 [1] NCCL INFO cudaDriverVersion 12020 -gpua055:1102502:1102502 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> -gpua055:1102502:1102502 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua055:1102502:1102579 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> -gpua055:1102502:1102579 [1] NCCL INFO Using network IB -gpua055:1102502:1102579 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua055:1102502:1102579 [1] NCCL INFO Trees [0] 42/36/-1->41->40 [1] 42/-1/-1->41->40 -gpua055:1102502:1102579 [1] NCCL INFO Channel 00/0 : 41[46000] -> 42[85000] via P2P/IPC/read -gpua055:1102502:1102579 [1] NCCL INFO Channel 01/0 : 41[46000] -> 42[85000] via P2P/IPC/read -gpua055:1102502:1102579 [1] NCCL INFO Connected all rings -gpua055:1102502:1102579 [1] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [receive] via NET/IB/0 -gpua055:1102502:1102579 [1] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [send] via NET/IB/0 -gpua055:1102502:1102579 [1] NCCL INFO Channel 00/0 : 41[46000] -> 40[7000] via P2P/IPC/read -gpua055:1102502:1102579 [1] NCCL INFO Channel 01/0 : 41[46000] -> 40[7000] via P2P/IPC/read -gpua055:1102502:1102579 [1] NCCL INFO Connected all trees -gpua055:1102502:1102579 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua055:1102502:1102579 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua055:1102502:1102579 [1] NCCL INFO comm 0xb099b80 rank 41 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua039:978773:978773 [2] NCCL INFO cudaDriverVersion 12020 -gpua039:978773:978773 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.39<0> -gpua039:978773:978773 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua039:978773:978846 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.39<0> -gpua039:978773:978846 [2] NCCL INFO Using network IB -gpua039:978773:978846 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua039:978773:978846 [2] NCCL INFO Trees [0] 31/-1/-1->30->29 [1] 31/-1/-1->30->29 -gpua039:978773:978846 [2] NCCL INFO Channel 00/0 : 30[85000] -> 31[c7000] via P2P/IPC/read -gpua039:978773:978846 [2] NCCL INFO Channel 01/0 : 30[85000] -> 31[c7000] via P2P/IPC/read -gpua039:978773:978846 [2] NCCL INFO Connected all rings -gpua039:978773:978846 [2] NCCL INFO Channel 00/0 : 30[85000] -> 29[46000] via P2P/IPC/read -gpua039:978773:978846 [2] NCCL INFO Channel 01/0 : 30[85000] -> 29[46000] via P2P/IPC/read -gpua039:978773:978846 [2] NCCL INFO Connected all trees -gpua039:978773:978846 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua039:978773:978846 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua039:978773:978846 [2] NCCL INFO comm 0x317f8b60 rank 30 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua096:538964:538964 [2] NCCL INFO cudaDriverVersion 12020 -gpua096:538964:538964 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.96<0> -gpua096:538964:538964 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua096:538964:539035 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.96<0> -gpua096:538964:539035 [2] NCCL INFO Using network IB -gpua096:538964:539035 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua096:538964:539035 [2] NCCL INFO Trees [0] 63/-1/-1->62->61 [1] 63/-1/-1->62->61 -gpua096:538964:539035 [2] NCCL INFO Channel 00/0 : 62[85000] -> 63[c7000] via P2P/IPC/read -gpua096:538964:539035 [2] NCCL INFO Channel 01/0 : 62[85000] -> 63[c7000] via P2P/IPC/read -gpua096:538964:539035 [2] NCCL INFO Connected all rings -gpua096:538964:539035 [2] NCCL INFO Channel 00/0 : 62[85000] -> 61[46000] via P2P/IPC/read -gpua096:538964:539035 [2] NCCL INFO Channel 01/0 : 62[85000] -> 61[46000] via P2P/IPC/read -gpua096:538964:539035 [2] NCCL INFO Connected all trees -gpua096:538964:539035 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua096:538964:539035 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua096:538964:539035 [2] NCCL INFO comm 0x2d2b4ef0 rank 62 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua096:538965:538965 [3] NCCL INFO cudaDriverVersion 12020 -gpua096:538965:538965 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.96<0> -gpua096:538965:538965 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua096:538965:539034 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.96<0> -gpua096:538965:539034 [3] NCCL INFO Using network IB -gpua096:538965:539034 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua096:538965:539034 [3] NCCL INFO Trees [0] -1/-1/-1->63->62 [1] -1/-1/-1->63->62 -gpua096:538965:539034 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 -gpua096:538965:539034 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 -gpua096:538965:539034 [3] NCCL INFO Connected all rings -gpua096:538965:539034 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 62[85000] via P2P/IPC/read -gpua096:538965:539034 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 62[85000] via P2P/IPC/read -gpua096:538965:539034 [3] NCCL INFO Connected all trees -gpua096:538965:539034 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua096:538965:539034 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua096:538965:539034 [3] NCCL INFO comm 0xe0ea7e20 rank 63 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua096:538962:538962 [0] NCCL INFO cudaDriverVersion 12020 -gpua096:538962:538962 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.96<0> -gpua096:538962:538962 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua096:538962:539038 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.96<0> -gpua096:538962:539038 [0] NCCL INFO Using network IB -gpua096:538962:539038 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua096:538962:539038 [0] NCCL INFO Trees [0] 61/-1/-1->60->56 [1] 61/28/-1->60->-1 -gpua096:538962:539038 [0] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 -gpua096:538962:539038 [0] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 -gpua096:538962:539038 [0] NCCL INFO Channel 00/0 : 60[7000] -> 61[46000] via P2P/IPC/read -gpua096:538962:539038 [0] NCCL INFO Channel 01/0 : 60[7000] -> 61[46000] via P2P/IPC/read -gpua096:538962:539038 [0] NCCL INFO Connected all rings -gpua096:538962:539038 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [receive] via NET/IB/0 -gpua096:538962:539038 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [receive] via NET/IB/0 -gpua096:538962:539038 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [send] via NET/IB/0 -gpua096:538962:539038 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [send] via NET/IB/0 -gpua096:538962:539038 [0] NCCL INFO Connected all trees -gpua096:538962:539038 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua096:538962:539038 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua096:538962:539038 [0] NCCL INFO comm 0x3e6104c0 rank 60 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua092:995443:995443 [1] NCCL INFO cudaDriverVersion 12020 -gpua092:995443:995443 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.92<0> -gpua092:995443:995443 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua092:995443:995512 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.92<0> -gpua092:995443:995512 [1] NCCL INFO Using network IB -gpua092:995443:995512 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua092:995443:995512 [1] NCCL INFO Trees [0] 58/52/-1->57->56 [1] 58/-1/-1->57->56 -gpua092:995443:995512 [1] NCCL INFO Channel 00/0 : 57[46000] -> 58[85000] via P2P/IPC/read -gpua092:995443:995512 [1] NCCL INFO Channel 01/0 : 57[46000] -> 58[85000] via P2P/IPC/read -gpua092:995443:995512 [1] NCCL INFO Connected all rings -gpua092:995443:995512 [1] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [receive] via NET/IB/0 -gpua092:995443:995512 [1] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [send] via NET/IB/0 -gpua092:995443:995512 [1] NCCL INFO Channel 00/0 : 57[46000] -> 56[7000] via P2P/IPC/read -gpua092:995443:995512 [1] NCCL INFO Channel 01/0 : 57[46000] -> 56[7000] via P2P/IPC/read -gpua092:995443:995512 [1] NCCL INFO Connected all trees -gpua092:995443:995512 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua092:995443:995512 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua092:995443:995512 [1] NCCL INFO comm 0xb19e2b0 rank 57 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua092:995445:995445 [3] NCCL INFO cudaDriverVersion 12020 -gpua092:995445:995445 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.92<0> -gpua092:995445:995445 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua092:995445:995513 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.92<0> -gpua092:995445:995513 [3] NCCL INFO Using network IB -gpua092:995445:995513 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua092:995445:995513 [3] NCCL INFO Trees [0] -1/-1/-1->59->58 [1] -1/-1/-1->59->58 -gpua092:995445:995513 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 -gpua092:995445:995513 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 -gpua092:995445:995513 [3] NCCL INFO Connected all rings -gpua092:995445:995513 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 58[85000] via P2P/IPC/read -gpua092:995445:995513 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 58[85000] via P2P/IPC/read -gpua092:995445:995513 [3] NCCL INFO Connected all trees -gpua092:995445:995513 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua092:995445:995513 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua092:995445:995513 [3] NCCL INFO comm 0x2818dff0 rank 59 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua092:995442:995442 [0] NCCL INFO cudaDriverVersion 12020 -gpua092:995442:995442 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.92<0> -gpua092:995442:995442 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua092:995442:995515 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.92<0> -gpua092:995442:995515 [0] NCCL INFO Using network IB -gpua092:995442:995515 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua092:995442:995515 [0] NCCL INFO Trees [0] 57/60/-1->56->48 [1] 57/-1/-1->56->53 -gpua092:995442:995515 [0] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 -gpua092:995442:995515 [0] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 -gpua092:995442:995515 [0] NCCL INFO Channel 00/0 : 56[7000] -> 57[46000] via P2P/IPC/read -gpua092:995442:995515 [0] NCCL INFO Channel 01/0 : 56[7000] -> 57[46000] via P2P/IPC/read -gpua092:995442:995515 [0] NCCL INFO Connected all rings -gpua092:995442:995515 [0] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [receive] via NET/IB/0 -gpua092:995442:995515 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [send] via NET/IB/0 -gpua092:995442:995515 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [receive] via NET/IB/0 -gpua092:995442:995515 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [send] via NET/IB/0 -gpua092:995442:995515 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [receive] via NET/IB/0 -gpua092:995442:995515 [0] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [send] via NET/IB/0 -gpua092:995442:995515 [0] NCCL INFO Connected all trees -gpua092:995442:995515 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua092:995442:995515 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua092:995442:995515 [0] NCCL INFO comm 0x2225ed30 rank 56 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua052:1354357:1354357 [2] NCCL INFO cudaDriverVersion 12020 -gpua052:1354357:1354357 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.52<0> -gpua052:1354357:1354357 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua052:1354357:1354431 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.52<0> -gpua052:1354357:1354431 [2] NCCL INFO Using network IB -gpua052:1354357:1354431 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua052:1354357:1354431 [2] NCCL INFO Trees [0] 39/-1/-1->38->37 [1] 39/-1/-1->38->37 -gpua052:1354357:1354431 [2] NCCL INFO Channel 00/0 : 38[85000] -> 39[c7000] via P2P/IPC/read -gpua052:1354357:1354431 [2] NCCL INFO Channel 01/0 : 38[85000] -> 39[c7000] via P2P/IPC/read -gpua052:1354357:1354431 [2] NCCL INFO Connected all rings -gpua052:1354357:1354431 [2] NCCL INFO Channel 00/0 : 38[85000] -> 37[46000] via P2P/IPC/read -gpua052:1354357:1354431 [2] NCCL INFO Channel 01/0 : 38[85000] -> 37[46000] via P2P/IPC/read -gpua052:1354357:1354431 [2] NCCL INFO Connected all trees -gpua052:1354357:1354431 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua052:1354357:1354431 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua052:1354357:1354431 [2] NCCL INFO comm 0x99564d70 rank 38 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua060:3165196:3165196 [1] NCCL INFO cudaDriverVersion 12020 -gpua060:3165196:3165196 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.60<0> -gpua060:3165196:3165196 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua060:3165196:3165273 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.60<0> -gpua060:3165196:3165273 [1] NCCL INFO Using network IB -gpua060:3165196:3165273 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua060:3165196:3165273 [1] NCCL INFO Trees [0] 46/-1/-1->45->44 [1] 46/52/-1->45->44 -gpua060:3165196:3165273 [1] NCCL INFO Channel 00/0 : 45[46000] -> 46[85000] via P2P/IPC/read -gpua060:3165196:3165273 [1] NCCL INFO Channel 01/0 : 45[46000] -> 46[85000] via P2P/IPC/read -gpua060:3165196:3165273 [1] NCCL INFO Connected all rings -gpua060:3165196:3165273 [1] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [send] via NET/IB/0 -gpua060:3165196:3165273 [1] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [receive] via NET/IB/0 -gpua060:3165196:3165273 [1] NCCL INFO Channel 00/0 : 45[46000] -> 44[7000] via P2P/IPC/read -gpua060:3165196:3165273 [1] NCCL INFO Channel 01/0 : 45[46000] -> 44[7000] via P2P/IPC/read -gpua060:3165196:3165273 [1] NCCL INFO Connected all trees -gpua060:3165196:3165273 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua060:3165196:3165273 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua060:3165196:3165273 [1] NCCL INFO comm 0x1cb87700 rank 45 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua038:582871:582871 [0] NCCL INFO cudaDriverVersion 12020 -gpua038:582871:582871 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.38<0> -gpua038:582871:582871 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua038:582871:582943 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.38<0> -gpua038:582871:582943 [0] NCCL INFO Using network IB -gpua038:582871:582943 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua038:582871:582943 [0] NCCL INFO Trees [0] 25/28/-1->24->16 [1] 25/-1/-1->24->21 -gpua038:582871:582943 [0] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 -gpua038:582871:582943 [0] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 -gpua038:582871:582943 [0] NCCL INFO Channel 00/0 : 24[7000] -> 25[46000] via P2P/IPC/read -gpua038:582871:582943 [0] NCCL INFO Channel 01/0 : 24[7000] -> 25[46000] via P2P/IPC/read -gpua038:582871:582943 [0] NCCL INFO Connected all rings -gpua038:582871:582943 [0] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [receive] via NET/IB/0 -gpua038:582871:582943 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [send] via NET/IB/0 -gpua038:582871:582943 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [receive] via NET/IB/0 -gpua038:582871:582943 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [send] via NET/IB/0 -gpua038:582871:582943 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [receive] via NET/IB/0 -gpua038:582871:582943 [0] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [send] via NET/IB/0 -gpua038:582871:582943 [0] NCCL INFO Connected all trees -gpua038:582871:582943 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua038:582871:582943 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua038:582871:582943 [0] NCCL INFO comm 0xe515370 rank 24 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua096:538963:538963 [1] NCCL INFO cudaDriverVersion 12020 -gpua096:538963:538963 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.96<0> -gpua096:538963:538963 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua096:538963:539040 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.96<0> -gpua096:538963:539040 [1] NCCL INFO Using network IB -gpua096:538963:539040 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua096:538963:539040 [1] NCCL INFO Trees [0] 62/-1/-1->61->60 [1] 62/-1/-1->61->60 -gpua096:538963:539040 [1] NCCL INFO Channel 00/0 : 61[46000] -> 62[85000] via P2P/IPC/read -gpua096:538963:539040 [1] NCCL INFO Channel 01/0 : 61[46000] -> 62[85000] via P2P/IPC/read -gpua096:538963:539040 [1] NCCL INFO Connected all rings -gpua096:538963:539040 [1] NCCL INFO Channel 00/0 : 61[46000] -> 60[7000] via P2P/IPC/read -gpua096:538963:539040 [1] NCCL INFO Channel 01/0 : 61[46000] -> 60[7000] via P2P/IPC/read -gpua096:538963:539040 [1] NCCL INFO Connected all trees -gpua096:538963:539040 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua096:538963:539040 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua096:538963:539040 [1] NCCL INFO comm 0xe6a02d00 rank 61 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua022:1202920:1202920 [3] NCCL INFO cudaDriverVersion 12020 -gpua022:1202920:1202920 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.22<0> -gpua022:1202920:1202920 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua022:1202920:1202985 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.22<0> -gpua022:1202920:1202985 [3] NCCL INFO Using network IB -gpua022:1202920:1202985 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua022:1202920:1202985 [3] NCCL INFO Trees [0] -1/-1/-1->19->18 [1] -1/-1/-1->19->18 -gpua022:1202920:1202985 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 -gpua022:1202920:1202985 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 -gpua022:1202920:1202985 [3] NCCL INFO Connected all rings -gpua022:1202920:1202985 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 18[85000] via P2P/IPC/read -gpua022:1202920:1202985 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 18[85000] via P2P/IPC/read -gpua022:1202920:1202985 [3] NCCL INFO Connected all trees -gpua022:1202920:1202985 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua022:1202920:1202985 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua022:1202920:1202985 [3] NCCL INFO comm 0x98ec14e0 rank 19 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua087:1652757:1652757 [2] NCCL INFO cudaDriverVersion 12020 -gpua087:1652757:1652757 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.87<0> -gpua087:1652757:1652757 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua087:1652757:1652821 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.87<0> -gpua087:1652757:1652821 [2] NCCL INFO Using network IB -gpua087:1652757:1652821 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua087:1652757:1652821 [2] NCCL INFO Trees [0] 55/-1/-1->54->53 [1] 55/-1/-1->54->53 -gpua087:1652757:1652821 [2] NCCL INFO Channel 00/0 : 54[85000] -> 55[c7000] via P2P/IPC/read -gpua087:1652757:1652821 [2] NCCL INFO Channel 01/0 : 54[85000] -> 55[c7000] via P2P/IPC/read -gpua087:1652757:1652821 [2] NCCL INFO Connected all rings -gpua087:1652757:1652821 [2] NCCL INFO Channel 00/0 : 54[85000] -> 53[46000] via P2P/IPC/read -gpua087:1652757:1652821 [2] NCCL INFO Channel 01/0 : 54[85000] -> 53[46000] via P2P/IPC/read -gpua087:1652757:1652821 [2] NCCL INFO Connected all trees -gpua087:1652757:1652821 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua087:1652757:1652821 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua087:1652757:1652821 [2] NCCL INFO comm 0xb1de4f0 rank 54 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua087:1652758:1652758 [3] NCCL INFO cudaDriverVersion 12020 -gpua087:1652758:1652758 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.87<0> -gpua087:1652758:1652758 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua087:1652758:1652819 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.87<0> -gpua087:1652758:1652819 [3] NCCL INFO Using network IB -gpua087:1652758:1652819 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua087:1652758:1652819 [3] NCCL INFO Trees [0] -1/-1/-1->55->54 [1] -1/-1/-1->55->54 -gpua087:1652758:1652819 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 -gpua087:1652758:1652819 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 -gpua087:1652758:1652819 [3] NCCL INFO Connected all rings -gpua087:1652758:1652819 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 54[85000] via P2P/IPC/read -gpua087:1652758:1652819 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 54[85000] via P2P/IPC/read -gpua087:1652758:1652819 [3] NCCL INFO Connected all trees -gpua087:1652758:1652819 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua087:1652758:1652819 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua087:1652758:1652819 [3] NCCL INFO comm 0x38d7de00 rank 55 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua087:1652756:1652756 [1] NCCL INFO cudaDriverVersion 12020 -gpua087:1652756:1652756 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.87<0> -gpua087:1652756:1652756 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua087:1652756:1652822 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.87<0> -gpua087:1652756:1652822 [1] NCCL INFO Using network IB -gpua087:1652756:1652822 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua087:1652756:1652822 [1] NCCL INFO Trees [0] 54/-1/-1->53->52 [1] 54/56/-1->53->52 -gpua087:1652756:1652822 [1] NCCL INFO Channel 00/0 : 53[46000] -> 54[85000] via P2P/IPC/read -gpua087:1652756:1652822 [1] NCCL INFO Channel 01/0 : 53[46000] -> 54[85000] via P2P/IPC/read -gpua087:1652756:1652822 [1] NCCL INFO Connected all rings -gpua087:1652756:1652822 [1] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [send] via NET/IB/0 -gpua087:1652756:1652822 [1] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [receive] via NET/IB/0 -gpua087:1652756:1652822 [1] NCCL INFO Channel 00/0 : 53[46000] -> 52[7000] via P2P/IPC/read -gpua087:1652756:1652822 [1] NCCL INFO Channel 01/0 : 53[46000] -> 52[7000] via P2P/IPC/read -gpua087:1652756:1652822 [1] NCCL INFO Connected all trees -gpua087:1652756:1652822 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua087:1652756:1652822 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua087:1652756:1652822 [1] NCCL INFO comm 0x987f0ee0 rank 53 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua087:1652755:1652755 [0] NCCL INFO cudaDriverVersion 12020 -gpua087:1652755:1652755 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.87<0> -gpua087:1652755:1652755 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua087:1652755:1652820 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.87<0> -gpua087:1652755:1652820 [0] NCCL INFO Using network IB -gpua087:1652755:1652820 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua087:1652755:1652820 [0] NCCL INFO Trees [0] 53/-1/-1->52->57 [1] 53/48/-1->52->45 -gpua087:1652755:1652820 [0] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 -gpua087:1652755:1652820 [0] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 -gpua087:1652755:1652820 [0] NCCL INFO Channel 00/0 : 52[7000] -> 53[46000] via P2P/IPC/read -gpua087:1652755:1652820 [0] NCCL INFO Channel 01/0 : 52[7000] -> 53[46000] via P2P/IPC/read -gpua087:1652755:1652820 [0] NCCL INFO Connected all rings -gpua087:1652755:1652820 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [receive] via NET/IB/0 -gpua087:1652755:1652820 [0] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [send] via NET/IB/0 -gpua087:1652755:1652820 [0] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [receive] via NET/IB/0 -gpua087:1652755:1652820 [0] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [send] via NET/IB/0 -gpua087:1652755:1652820 [0] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [receive] via NET/IB/0 -gpua087:1652755:1652820 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [send] via NET/IB/0 -gpua087:1652755:1652820 [0] NCCL INFO Connected all trees -gpua087:1652755:1652820 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua087:1652755:1652820 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua087:1652755:1652820 [0] NCCL INFO comm 0xd682710 rank 52 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -[gpua002:0/64] 2023-12-17 23:30:29,827 (distributed:1027) INFO: Reducer buckets have been rebuilt in this iteration. -[gpua002:0/64] 2023-12-17 23:32:55,202 (trainer:737) INFO: 40epoch:train:1-100batch: iter_time=3.240, forward_time=0.236, loss_ctc=66.503, loss_att=53.724, acc=0.708, loss=57.558, backward_time=0.319, grad_norm=136.271, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.406e-05, train_time=6.654 -[gpua002:0/64] 2023-12-17 23:35:41,126 (trainer:737) INFO: 40epoch:train:101-200batch: iter_time=8.765e-05, forward_time=0.143, loss_ctc=70.488, loss_att=57.788, acc=0.706, loss=61.598, backward_time=0.317, grad_norm=114.014, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.405e-05, train_time=1.659 -[gpua002:0/64] 2023-12-17 23:38:51,577 (trainer:737) INFO: 40epoch:train:201-300batch: iter_time=8.479e-05, forward_time=0.144, loss_ctc=60.327, loss_att=46.388, acc=0.723, loss=50.570, backward_time=0.372, grad_norm=109.956, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.405e-05, train_time=1.904 -[gpua002:0/64] 2023-12-17 23:42:01,559 (trainer:737) INFO: 40epoch:train:301-400batch: iter_time=8.652e-05, forward_time=0.143, loss_ctc=65.803, loss_att=49.438, acc=0.733, loss=54.348, backward_time=0.363, grad_norm=73.071, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.404e-05, train_time=1.900 -[gpua002:0/64] 2023-12-17 23:45:06,082 (trainer:737) INFO: 40epoch:train:401-500batch: iter_time=8.475e-05, forward_time=0.142, loss_ctc=66.381, loss_att=54.104, acc=0.715, loss=57.787, backward_time=0.309, grad_norm=69.083, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.403e-05, train_time=1.845 -[gpua002:0/64] 2023-12-17 23:48:36,221 (trainer:737) INFO: 40epoch:train:501-600batch: iter_time=8.157e-05, forward_time=0.143, loss_ctc=74.095, loss_att=62.295, acc=0.701, loss=65.835, backward_time=0.388, grad_norm=84.736, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.403e-05, train_time=2.101 -[gpua002:0/64] 2023-12-17 23:51:16,766 (trainer:737) INFO: 40epoch:train:601-700batch: iter_time=8.726e-05, forward_time=0.286, loss_ctc=58.869, loss_att=44.469, acc=0.728, loss=48.789, backward_time=0.326, grad_norm=91.433, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=6.402e-05, train_time=1.605 -[gpua002:0/64] 2023-12-17 23:53:59,196 (trainer:737) INFO: 40epoch:train:701-800batch: iter_time=8.333e-05, forward_time=0.143, loss_ctc=63.253, loss_att=44.765, acc=0.740, loss=50.311, backward_time=0.304, grad_norm=81.894, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.402e-05, train_time=1.624 -[gpua002:0/64] 2023-12-17 23:57:19,610 (trainer:737) INFO: 40epoch:train:801-900batch: iter_time=8.289e-05, forward_time=0.144, loss_ctc=74.013, loss_att=57.868, acc=0.728, loss=62.712, backward_time=0.375, grad_norm=81.435, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.401e-05, train_time=2.003 -[gpua002:0/64] 2023-12-18 00:00:03,136 (trainer:737) INFO: 40epoch:train:901-1000batch: iter_time=7.962e-05, forward_time=0.143, loss_ctc=65.123, loss_att=51.754, acc=0.728, loss=55.765, backward_time=0.301, grad_norm=83.118, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.401e-05, train_time=1.636 -[gpua002:0/64] 2023-12-18 00:02:56,533 (trainer:737) INFO: 40epoch:train:1001-1100batch: iter_time=8.054e-05, forward_time=0.143, loss_ctc=57.907, loss_att=48.281, acc=0.719, loss=51.169, backward_time=0.335, grad_norm=108.464, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.400e-05, train_time=1.734 -[gpua002:0/64] 2023-12-18 00:05:45,623 (trainer:737) INFO: 40epoch:train:1101-1200batch: iter_time=7.334e-05, forward_time=0.144, loss_ctc=76.598, loss_att=66.028, acc=0.700, loss=69.199, backward_time=0.309, grad_norm=126.360, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.400e-05, train_time=1.691 -[gpua002:0/64] 2023-12-18 00:07:13,334 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua002:0/64] 2023-12-18 00:07:32,324 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-18 00:07:35,783 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-18 00:07:35,783 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua002:0/64] 2023-12-18 00:07:35,788 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-18 00:14:33,964 (trainer:737) INFO: 40epoch:train:1201-1300batch: iter_time=2.615, forward_time=0.146, loss_ctc=72.111, loss_att=56.045, acc=0.711, loss=60.865, backward_time=0.286, grad_norm=105.617, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.399e-05, train_time=5.283 -[gpua002:0/64] 2023-12-18 00:17:37,070 (trainer:737) INFO: 40epoch:train:1301-1400batch: iter_time=8.133e-05, forward_time=0.146, loss_ctc=63.699, loss_att=50.863, acc=0.722, loss=54.714, backward_time=0.344, grad_norm=95.018, clip=100.000, loss_scale=2.272e+31, optim_step_time=0.132, optim0_lr0=6.399e-05, train_time=1.831 -[gpua002:0/64] 2023-12-18 00:19:57,050 (trainer:737) INFO: 40epoch:train:1401-1500batch: iter_time=8.382e-05, forward_time=0.233, loss_ctc=63.347, loss_att=52.352, acc=0.720, loss=55.650, backward_time=0.339, grad_norm=99.477, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.398e-05, train_time=1.399 -[gpua002:0/64] 2023-12-18 00:22:43,472 (trainer:737) INFO: 40epoch:train:1501-1600batch: iter_time=8.355e-05, forward_time=0.146, loss_ctc=60.509, loss_att=44.117, acc=0.735, loss=49.034, backward_time=0.319, grad_norm=77.739, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.397e-05, train_time=1.664 -[gpua002:0/64] 2023-12-18 00:24:55,811 (trainer:737) INFO: 40epoch:train:1601-1700batch: iter_time=8.144e-05, forward_time=0.145, loss_ctc=69.127, loss_att=53.992, acc=0.725, loss=58.532, backward_time=0.285, grad_norm=83.853, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.397e-05, train_time=1.323 -[gpua002:0/64] 2023-12-18 00:27:34,336 (trainer:737) INFO: 40epoch:train:1701-1800batch: iter_time=8.180e-05, forward_time=0.145, loss_ctc=71.172, loss_att=56.032, acc=0.715, loss=60.574, backward_time=0.302, grad_norm=95.497, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.396e-05, train_time=1.585 -[gpua002:0/64] 2023-12-18 00:30:35,227 (trainer:737) INFO: 40epoch:train:1801-1900batch: iter_time=8.176e-05, forward_time=0.145, loss_ctc=65.502, loss_att=53.571, acc=0.712, loss=57.151, backward_time=0.314, grad_norm=112.460, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.396e-05, train_time=1.809 -[gpua002:0/64] 2023-12-18 00:33:14,075 (trainer:737) INFO: 40epoch:train:1901-2000batch: iter_time=7.888e-05, forward_time=0.146, loss_ctc=53.718, loss_att=38.312, acc=0.754, loss=42.934, backward_time=0.334, grad_norm=111.132, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=6.395e-05, train_time=1.588 -[gpua002:0/64] 2023-12-18 00:33:55,495 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-18 00:35:51,833 (trainer:737) INFO: 40epoch:train:2001-2100batch: iter_time=8.319e-05, forward_time=0.144, loss_ctc=67.709, loss_att=49.559, acc=0.729, loss=55.004, backward_time=0.314, grad_norm=110.380, clip=100.000, loss_scale=2.499e+31, optim_step_time=0.131, optim0_lr0=6.395e-05, train_time=1.577 -[gpua002:0/64] 2023-12-18 00:38:43,866 (trainer:737) INFO: 40epoch:train:2101-2200batch: iter_time=8.200e-05, forward_time=0.145, loss_ctc=73.413, loss_att=62.456, acc=0.724, loss=65.743, backward_time=0.322, grad_norm=85.051, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.394e-05, train_time=1.720 -[gpua002:0/64] 2023-12-18 00:41:30,635 (trainer:737) INFO: 40epoch:train:2201-2300batch: iter_time=8.208e-05, forward_time=0.144, loss_ctc=62.138, loss_att=47.161, acc=0.734, loss=51.654, backward_time=0.301, grad_norm=115.780, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.394e-05, train_time=1.667 -[gpua002:0/64] 2023-12-18 00:44:06,565 (trainer:737) INFO: 40epoch:train:2301-2400batch: iter_time=4.926e-04, forward_time=0.239, loss_ctc=67.466, loss_att=52.749, acc=0.724, loss=57.164, backward_time=0.329, grad_norm=138.408, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.393e-05, train_time=1.559 -[gpua002:0/64] 2023-12-18 00:46:21,572 (trainer:737) INFO: 40epoch:train:2401-2500batch: iter_time=8.055e-05, forward_time=0.150, loss_ctc=74.355, loss_att=62.859, acc=0.711, loss=66.308, backward_time=0.300, grad_norm=90.306, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.393e-05, train_time=1.350 -[gpua002:0/64] 2023-12-18 00:46:41,619 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua002:0/64] 2023-12-18 00:47:00,774 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-18 00:47:04,421 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-18 00:47:04,421 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua002:0/64] 2023-12-18 00:47:04,424 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-18 00:56:39,384 (trainer:737) INFO: 40epoch:train:2501-2600batch: iter_time=2.534, forward_time=0.146, loss_ctc=64.852, loss_att=53.213, acc=0.725, loss=56.704, backward_time=0.295, grad_norm=75.670, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.392e-05, train_time=6.178 -[gpua002:0/64] 2023-12-18 00:59:28,068 (trainer:737) INFO: 40epoch:train:2601-2700batch: iter_time=7.970e-05, forward_time=0.146, loss_ctc=69.380, loss_att=57.932, acc=0.717, loss=61.366, backward_time=0.313, grad_norm=82.101, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.391e-05, train_time=1.687 -[gpua002:0/64] 2023-12-18 01:01:18,469 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-18 01:02:34,347 (trainer:737) INFO: 40epoch:train:2701-2800batch: iter_time=7.912e-05, forward_time=0.146, loss_ctc=59.364, loss_att=46.252, acc=0.737, loss=50.185, backward_time=0.326, grad_norm=76.594, clip=100.000, loss_scale=1.608e+31, optim_step_time=0.132, optim0_lr0=6.391e-05, train_time=1.863 -[gpua002:0/64] 2023-12-18 01:05:52,645 (trainer:737) INFO: 40epoch:train:2801-2900batch: iter_time=7.802e-05, forward_time=0.164, loss_ctc=64.721, loss_att=50.221, acc=0.742, loss=54.571, backward_time=0.345, grad_norm=72.695, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.390e-05, train_time=1.983 -[gpua002:0/64] 2023-12-18 01:09:03,272 (trainer:737) INFO: 40epoch:train:2901-3000batch: iter_time=8.128e-05, forward_time=0.146, loss_ctc=65.766, loss_att=52.856, acc=0.730, loss=56.729, backward_time=0.384, grad_norm=97.666, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.390e-05, train_time=1.906 -[gpua002:0/64] 2023-12-18 01:09:57,755 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-18 01:11:59,758 (trainer:737) INFO: 40epoch:train:3001-3100batch: iter_time=8.076e-05, forward_time=0.146, loss_ctc=72.599, loss_att=60.844, acc=0.715, loss=64.371, backward_time=0.349, grad_norm=129.313, clip=100.000, loss_scale=6.453e+30, optim_step_time=0.132, optim0_lr0=6.389e-05, train_time=1.765 -[gpua002:0/64] 2023-12-18 01:14:45,562 (trainer:737) INFO: 40epoch:train:3101-3200batch: iter_time=8.420e-05, forward_time=0.146, loss_ctc=58.214, loss_att=44.270, acc=0.737, loss=48.454, backward_time=0.298, grad_norm=105.428, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=6.389e-05, train_time=1.658 -[gpua002:0/64] 2023-12-18 01:17:35,287 (trainer:737) INFO: 40epoch:train:3201-3300batch: iter_time=8.181e-05, forward_time=0.147, loss_ctc=61.702, loss_att=44.500, acc=0.755, loss=49.660, backward_time=0.353, grad_norm=312.606, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=6.388e-05, train_time=1.697 -[gpua002:0/64] 2023-12-18 01:20:27,326 (trainer:737) INFO: 40epoch:train:3301-3400batch: iter_time=8.255e-05, forward_time=0.197, loss_ctc=72.653, loss_att=57.058, acc=0.739, loss=61.736, backward_time=0.324, grad_norm=104.834, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.388e-05, train_time=1.720 -[gpua002:0/64] 2023-12-18 01:23:11,426 (trainer:737) INFO: 40epoch:train:3401-3500batch: iter_time=7.825e-05, forward_time=0.172, loss_ctc=63.633, loss_att=51.018, acc=0.742, loss=54.802, backward_time=0.326, grad_norm=99.216, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=6.387e-05, train_time=1.641 -[gpua002:0/64] 2023-12-18 01:25:56,065 (trainer:737) INFO: 40epoch:train:3501-3600batch: iter_time=8.253e-05, forward_time=0.146, loss_ctc=57.340, loss_att=48.730, acc=0.728, loss=51.313, backward_time=0.317, grad_norm=130.100, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.387e-05, train_time=1.646 -[gpua002:0/64] 2023-12-18 01:28:41,948 (trainer:737) INFO: 40epoch:train:3601-3700batch: iter_time=8.129e-05, forward_time=0.147, loss_ctc=76.086, loss_att=64.951, acc=0.720, loss=68.292, backward_time=0.340, grad_norm=105.389, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.386e-05, train_time=1.659 -[gpua002:0/64] 2023-12-18 01:30:27,963 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua002:0/64] 2023-12-18 01:30:47,101 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-18 01:30:50,690 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-18 01:30:50,691 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua002:0/64] 2023-12-18 01:30:50,694 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-18 01:35:34,692 (trainer:737) INFO: 40epoch:train:3701-3800batch: iter_time=2.480, forward_time=0.147, loss_ctc=71.315, loss_att=57.285, acc=0.719, loss=61.494, backward_time=0.302, grad_norm=137.727, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.386e-05, train_time=4.127 -[gpua002:0/64] 2023-12-18 01:37:59,405 (trainer:737) INFO: 40epoch:train:3801-3900batch: iter_time=8.304e-05, forward_time=0.146, loss_ctc=62.786, loss_att=50.409, acc=0.737, loss=54.122, backward_time=0.300, grad_norm=110.684, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=6.385e-05, train_time=1.447 -[gpua002:0/64] 2023-12-18 01:40:22,252 (trainer:737) INFO: 40epoch:train:3901-4000batch: iter_time=8.249e-05, forward_time=0.223, loss_ctc=62.295, loss_att=51.807, acc=0.730, loss=54.953, backward_time=0.286, grad_norm=73.758, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.384e-05, train_time=1.428 -[gpua002:0/64] 2023-12-18 01:42:47,165 (trainer:737) INFO: 40epoch:train:4001-4100batch: iter_time=8.392e-05, forward_time=0.181, loss_ctc=59.739, loss_att=44.120, acc=0.746, loss=48.806, backward_time=0.306, grad_norm=91.903, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=6.384e-05, train_time=1.449 -[gpua002:0/64] 2023-12-18 01:45:04,855 (trainer:737) INFO: 40epoch:train:4101-4200batch: iter_time=8.386e-05, forward_time=0.159, loss_ctc=68.482, loss_att=55.020, acc=0.734, loss=59.059, backward_time=0.296, grad_norm=117.210, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=6.383e-05, train_time=1.377 -[gpua002:0/64] 2023-12-18 01:47:37,244 (trainer:737) INFO: 40epoch:train:4201-4300batch: iter_time=8.428e-05, forward_time=0.145, loss_ctc=70.442, loss_att=56.089, acc=0.721, loss=60.395, backward_time=0.331, grad_norm=148.402, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=6.383e-05, train_time=1.524 -[gpua002:0/64] 2023-12-18 01:50:12,831 (trainer:737) INFO: 40epoch:train:4301-4400batch: iter_time=7.965e-05, forward_time=0.146, loss_ctc=64.757, loss_att=53.619, acc=0.722, loss=56.961, backward_time=0.307, grad_norm=88.259, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.382e-05, train_time=1.556 -[gpua002:0/64] 2023-12-18 01:52:27,397 (trainer:737) INFO: 40epoch:train:4401-4500batch: iter_time=8.084e-05, forward_time=0.145, loss_ctc=53.355, loss_att=38.227, acc=0.767, loss=42.765, backward_time=0.294, grad_norm=69.996, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.382e-05, train_time=1.345 -[gpua002:0/64] 2023-12-18 01:54:57,885 (trainer:737) INFO: 40epoch:train:4501-4600batch: iter_time=8.151e-05, forward_time=0.146, loss_ctc=67.085, loss_att=49.449, acc=0.741, loss=54.740, backward_time=0.312, grad_norm=95.056, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.381e-05, train_time=1.505 -[gpua002:0/64] 2023-12-18 01:57:51,579 (trainer:737) INFO: 40epoch:train:4601-4700batch: iter_time=8.257e-05, forward_time=0.145, loss_ctc=72.840, loss_att=62.100, acc=0.731, loss=65.322, backward_time=0.337, grad_norm=89.548, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.381e-05, train_time=1.737 -[gpua002:0/64] 2023-12-18 02:00:17,141 (trainer:737) INFO: 40epoch:train:4701-4800batch: iter_time=8.046e-05, forward_time=0.145, loss_ctc=60.884, loss_att=47.061, acc=0.743, loss=51.208, backward_time=0.305, grad_norm=57.959, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.380e-05, train_time=1.455 -[gpua002:0/64] 2023-12-18 02:03:01,350 (trainer:737) INFO: 40epoch:train:4801-4900batch: iter_time=9.082e-05, forward_time=0.149, loss_ctc=67.166, loss_att=53.861, acc=0.734, loss=57.853, backward_time=0.319, grad_norm=74.195, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=6.380e-05, train_time=1.642 -[gpua002:0/64] 2023-12-18 02:05:22,168 (trainer:737) INFO: 40epoch:train:4901-5000batch: iter_time=8.036e-05, forward_time=0.225, loss_ctc=74.111, loss_att=63.609, acc=0.721, loss=66.760, backward_time=0.299, grad_norm=72.864, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.379e-05, train_time=1.408 -[gpua002:0/64] 2023-12-18 02:05:42,197 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua002:0/64] 2023-12-18 02:06:01,449 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-18 02:06:05,002 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-18 02:06:05,002 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua002:0/64] 2023-12-18 02:06:05,006 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-18 02:16:45,411 (trainer:737) INFO: 40epoch:train:5001-5100batch: iter_time=3.162, forward_time=0.203, loss_ctc=64.685, loss_att=52.236, acc=0.721, loss=55.970, backward_time=0.292, grad_norm=73.908, clip=100.000, loss_scale=8.721e+30, optim_step_time=0.133, optim0_lr0=6.378e-05, train_time=6.832 -[gpua002:0/64] 2023-12-18 02:19:33,122 (trainer:737) INFO: 40epoch:train:5101-5200batch: iter_time=8.629e-05, forward_time=0.198, loss_ctc=68.903, loss_att=57.035, acc=0.713, loss=60.595, backward_time=0.409, grad_norm=67.584, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.378e-05, train_time=1.677 -[gpua002:0/64] 2023-12-18 02:22:12,348 (trainer:737) INFO: 40epoch:train:5201-5300batch: iter_time=8.387e-05, forward_time=0.223, loss_ctc=58.950, loss_att=45.375, acc=0.733, loss=49.447, backward_time=0.339, grad_norm=73.893, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.139, optim0_lr0=6.377e-05, train_time=1.592 -[gpua002:0/64] 2023-12-18 02:24:39,406 (trainer:737) INFO: 40epoch:train:5301-5400batch: iter_time=8.339e-05, forward_time=0.163, loss_ctc=64.001, loss_att=47.886, acc=0.745, loss=52.721, backward_time=0.305, grad_norm=86.169, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.377e-05, train_time=1.470 -[gpua002:0/64] 2023-12-18 02:27:36,935 (trainer:737) INFO: 40epoch:train:5401-5500batch: iter_time=8.382e-05, forward_time=0.214, loss_ctc=65.076, loss_att=51.911, acc=0.725, loss=55.860, backward_time=0.324, grad_norm=73.511, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.376e-05, train_time=1.775 -[gpua002:0/64] 2023-12-18 02:30:04,542 (trainer:737) INFO: 40epoch:train:5501-5600batch: iter_time=8.334e-05, forward_time=0.221, loss_ctc=72.054, loss_att=60.211, acc=0.709, loss=63.764, backward_time=0.312, grad_norm=74.018, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.376e-05, train_time=1.476 -[gpua002:0/64] 2023-12-18 02:32:41,305 (trainer:737) INFO: 40epoch:train:5601-5700batch: iter_time=8.434e-05, forward_time=0.158, loss_ctc=57.559, loss_att=43.028, acc=0.739, loss=47.387, backward_time=0.295, grad_norm=65.987, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.375e-05, train_time=1.567 -[gpua002:0/64] 2023-12-18 02:34:50,944 (trainer:737) INFO: 40epoch:train:5701-5800batch: iter_time=8.408e-05, forward_time=0.145, loss_ctc=60.940, loss_att=43.609, acc=0.749, loss=48.808, backward_time=0.285, grad_norm=82.897, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.375e-05, train_time=1.296 -[gpua002:0/64] 2023-12-18 02:37:28,330 (trainer:737) INFO: 40epoch:train:5801-5900batch: iter_time=3.377e-04, forward_time=0.228, loss_ctc=72.980, loss_att=56.846, acc=0.734, loss=61.686, backward_time=0.330, grad_norm=97.641, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.374e-05, train_time=1.572 -[gpua002:0/64] 2023-12-18 02:39:46,793 (trainer:737) INFO: 40epoch:train:5901-6000batch: iter_time=8.176e-05, forward_time=0.169, loss_ctc=62.967, loss_att=50.761, acc=0.736, loss=54.423, backward_time=0.289, grad_norm=77.509, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.374e-05, train_time=1.386 -[gpua002:0/64] 2023-12-18 02:42:22,604 (trainer:737) INFO: 40epoch:train:6001-6100batch: iter_time=3.147e-04, forward_time=0.208, loss_ctc=57.041, loss_att=47.159, acc=0.725, loss=50.124, backward_time=0.363, grad_norm=101.575, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.373e-05, train_time=1.558 -[gpua002:0/64] 2023-12-18 02:44:42,266 (trainer:737) INFO: 40epoch:train:6101-6200batch: iter_time=8.356e-05, forward_time=0.147, loss_ctc=75.324, loss_att=64.320, acc=0.708, loss=67.621, backward_time=0.285, grad_norm=91.135, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.373e-05, train_time=1.396 -[gpua002:0/64] 2023-12-18 02:46:19,430 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua002:0/64] 2023-12-18 02:46:38,566 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-18 02:46:42,112 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-18 02:46:42,112 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua002:0/64] 2023-12-18 02:46:42,118 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-18 02:54:14,652 (trainer:737) INFO: 40epoch:train:6201-6300batch: iter_time=4.282, forward_time=0.177, loss_ctc=71.036, loss_att=56.313, acc=0.721, loss=60.730, backward_time=0.287, grad_norm=81.997, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.140, optim0_lr0=6.372e-05, train_time=5.724 -[gpua002:0/64] 2023-12-18 02:56:36,238 (trainer:737) INFO: 40epoch:train:6301-6400batch: iter_time=3.321e-04, forward_time=0.259, loss_ctc=62.525, loss_att=50.707, acc=0.737, loss=54.252, backward_time=0.304, grad_norm=78.458, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.371e-05, train_time=1.415 -[gpua002:0/64] 2023-12-18 02:58:57,197 (trainer:737) INFO: 40epoch:train:6401-6500batch: iter_time=8.083e-05, forward_time=0.262, loss_ctc=62.038, loss_att=51.736, acc=0.731, loss=54.827, backward_time=0.304, grad_norm=73.884, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.371e-05, train_time=1.408 -[gpua002:0/64] 2023-12-18 03:01:16,091 (trainer:737) INFO: 40epoch:train:6501-6600batch: iter_time=9.501e-05, forward_time=0.174, loss_ctc=59.712, loss_att=43.944, acc=0.747, loss=48.674, backward_time=0.293, grad_norm=84.164, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.370e-05, train_time=1.390 -[gpua002:0/64] 2023-12-18 03:04:00,811 (trainer:737) INFO: 40epoch:train:6601-6700batch: iter_time=8.336e-05, forward_time=0.203, loss_ctc=68.317, loss_att=54.777, acc=0.735, loss=58.839, backward_time=0.302, grad_norm=74.478, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.370e-05, train_time=1.647 -[gpua002:0/64] 2023-12-18 03:06:39,211 (trainer:737) INFO: 40epoch:train:6701-6800batch: iter_time=8.242e-05, forward_time=0.236, loss_ctc=70.236, loss_att=55.846, acc=0.722, loss=60.163, backward_time=0.337, grad_norm=82.553, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.369e-05, train_time=1.584 -[gpua002:0/64] 2023-12-18 03:09:02,089 (trainer:737) INFO: 40epoch:train:6801-6900batch: iter_time=3.695e-04, forward_time=0.166, loss_ctc=64.637, loss_att=53.228, acc=0.723, loss=56.650, backward_time=0.328, grad_norm=75.793, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.369e-05, train_time=1.427 -[gpua002:0/64] 2023-12-18 03:11:41,314 (trainer:737) INFO: 40epoch:train:6901-7000batch: iter_time=7.888e-05, forward_time=0.191, loss_ctc=52.599, loss_att=37.738, acc=0.769, loss=42.197, backward_time=0.375, grad_norm=56.039, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.368e-05, train_time=1.593 -[gpua002:0/64] 2023-12-18 03:14:17,084 (trainer:737) INFO: 40epoch:train:7001-7100batch: iter_time=8.010e-05, forward_time=0.156, loss_ctc=66.632, loss_att=49.604, acc=0.741, loss=54.713, backward_time=0.315, grad_norm=75.025, clip=100.000, loss_scale=1.744e+31, optim_step_time=0.132, optim0_lr0=6.368e-05, train_time=1.558 -[gpua002:0/64] 2023-12-18 03:16:59,151 (trainer:737) INFO: 40epoch:train:7101-7200batch: iter_time=7.039e-04, forward_time=0.224, loss_ctc=73.032, loss_att=62.085, acc=0.732, loss=65.369, backward_time=0.333, grad_norm=72.357, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.367e-05, train_time=1.620 -[gpua002:0/64] 2023-12-18 03:19:50,654 (trainer:737) INFO: 40epoch:train:7201-7300batch: iter_time=3.548e-04, forward_time=0.243, loss_ctc=60.436, loss_att=46.486, acc=0.745, loss=50.671, backward_time=0.335, grad_norm=73.885, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.367e-05, train_time=1.716 -[gpua002:0/64] 2023-12-18 03:22:21,317 (trainer:737) INFO: 40epoch:train:7301-7400batch: iter_time=7.858e-05, forward_time=0.148, loss_ctc=66.756, loss_att=53.637, acc=0.734, loss=57.573, backward_time=0.296, grad_norm=75.143, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.366e-05, train_time=1.504 -[gpua002:0/64] 2023-12-18 03:25:06,261 (trainer:737) INFO: 40epoch:train:7401-7500batch: iter_time=3.865e-04, forward_time=0.211, loss_ctc=73.842, loss_att=62.872, acc=0.723, loss=66.163, backward_time=0.351, grad_norm=123.546, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.366e-05, train_time=1.651 -[gpua002:0/64] 2023-12-18 03:25:26,335 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua002:0/64] 2023-12-18 03:25:46,028 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-18 03:25:49,530 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-18 03:25:49,530 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua002:0/64] 2023-12-18 03:25:49,533 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-18 03:36:07,291 (trainer:737) INFO: 40epoch:train:7501-7600batch: iter_time=3.028, forward_time=0.147, loss_ctc=63.854, loss_att=51.230, acc=0.724, loss=55.017, backward_time=0.279, grad_norm=85.855, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.365e-05, train_time=6.611 -[gpua002:0/64] 2023-12-18 03:38:30,248 (trainer:737) INFO: 40epoch:train:7601-7700batch: iter_time=8.065e-05, forward_time=0.146, loss_ctc=68.702, loss_att=56.665, acc=0.716, loss=60.276, backward_time=0.292, grad_norm=71.840, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.364e-05, train_time=1.429 -[gpua002:0/64] 2023-12-18 03:41:02,926 (trainer:737) INFO: 40epoch:train:7701-7800batch: iter_time=8.101e-05, forward_time=0.147, loss_ctc=58.759, loss_att=45.000, acc=0.736, loss=49.128, backward_time=0.307, grad_norm=70.978, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.364e-05, train_time=1.527 -[gpua002:0/64] 2023-12-18 03:43:26,961 (trainer:737) INFO: 40epoch:train:7801-7900batch: iter_time=8.401e-05, forward_time=0.171, loss_ctc=63.747, loss_att=47.805, acc=0.744, loss=52.587, backward_time=0.287, grad_norm=111.204, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.363e-05, train_time=1.440 -[gpua002:0/64] 2023-12-18 03:45:54,594 (trainer:737) INFO: 40epoch:train:7901-8000batch: iter_time=8.731e-05, forward_time=0.231, loss_ctc=64.589, loss_att=51.615, acc=0.726, loss=55.507, backward_time=0.313, grad_norm=63.360, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.363e-05, train_time=1.476 -[gpua002:0/64] 2023-12-18 03:48:15,817 (trainer:737) INFO: 40epoch:train:8001-8100batch: iter_time=7.954e-05, forward_time=0.167, loss_ctc=71.100, loss_att=59.623, acc=0.711, loss=63.066, backward_time=0.299, grad_norm=79.707, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.362e-05, train_time=1.413 -[gpua002:0/64] 2023-12-18 03:51:00,715 (trainer:737) INFO: 40epoch:train:8101-8200batch: iter_time=7.944e-05, forward_time=0.148, loss_ctc=57.731, loss_att=43.073, acc=0.738, loss=47.471, backward_time=0.315, grad_norm=65.766, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.362e-05, train_time=1.649 -[gpua002:0/64] 2023-12-18 03:53:37,647 (trainer:737) INFO: 40epoch:train:8201-8300batch: iter_time=8.305e-05, forward_time=0.146, loss_ctc=60.698, loss_att=43.167, acc=0.752, loss=48.426, backward_time=0.303, grad_norm=75.985, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.361e-05, train_time=1.569 -[gpua002:0/64] 2023-12-18 03:56:01,451 (trainer:737) INFO: 40epoch:train:8301-8400batch: iter_time=8.557e-05, forward_time=0.158, loss_ctc=72.058, loss_att=55.995, acc=0.738, loss=60.814, backward_time=0.284, grad_norm=71.649, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.361e-05, train_time=1.438 -[gpua002:0/64] 2023-12-18 03:58:39,661 (trainer:737) INFO: 40epoch:train:8401-8500batch: iter_time=8.103e-05, forward_time=0.215, loss_ctc=63.235, loss_att=50.793, acc=0.737, loss=54.526, backward_time=0.347, grad_norm=76.321, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.360e-05, train_time=1.582 -[gpua002:0/64] 2023-12-18 04:01:13,549 (trainer:737) INFO: 40epoch:train:8501-8600batch: iter_time=8.098e-05, forward_time=0.146, loss_ctc=56.581, loss_att=47.146, acc=0.729, loss=49.976, backward_time=0.314, grad_norm=75.180, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.360e-05, train_time=1.538 -[gpua002:0/64] 2023-12-18 04:03:34,040 (trainer:737) INFO: 40epoch:train:8601-8700batch: iter_time=8.269e-05, forward_time=0.146, loss_ctc=75.361, loss_att=64.824, acc=0.707, loss=67.985, backward_time=0.288, grad_norm=98.243, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.359e-05, train_time=1.405 -[gpua002:0/64] 2023-12-18 04:05:04,518 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua002:0/64] 2023-12-18 04:05:24,430 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-18 04:05:27,876 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-18 04:05:27,876 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua002:0/64] 2023-12-18 04:05:27,879 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-18 04:16:53,211 (trainer:737) INFO: 40epoch:train:8701-8800batch: iter_time=2.991, forward_time=0.146, loss_ctc=70.796, loss_att=55.160, acc=0.720, loss=59.851, backward_time=0.284, grad_norm=88.062, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.359e-05, train_time=7.991 -[gpua002:0/64] 2023-12-18 04:19:13,810 (trainer:737) INFO: 40epoch:train:8801-8900batch: iter_time=7.791e-05, forward_time=0.147, loss_ctc=62.613, loss_att=49.755, acc=0.731, loss=53.613, backward_time=0.296, grad_norm=82.556, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.358e-05, train_time=1.406 -[gpua002:0/64] 2023-12-18 04:21:49,824 (trainer:737) INFO: 40epoch:train:8901-9000batch: iter_time=7.945e-05, forward_time=0.147, loss_ctc=61.782, loss_att=51.053, acc=0.729, loss=54.272, backward_time=0.322, grad_norm=64.454, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.357e-05, train_time=1.560 -[gpua002:0/64] 2023-12-18 04:24:21,826 (trainer:737) INFO: 40epoch:train:9001-9100batch: iter_time=7.983e-05, forward_time=0.146, loss_ctc=60.222, loss_att=43.643, acc=0.741, loss=48.617, backward_time=0.307, grad_norm=67.703, clip=100.000, loss_scale=3.489e+31, optim_step_time=0.132, optim0_lr0=6.357e-05, train_time=1.520 -[gpua002:0/64] 2023-12-18 04:26:51,807 (trainer:737) INFO: 40epoch:train:9101-9200batch: iter_time=8.094e-05, forward_time=0.183, loss_ctc=67.726, loss_att=52.756, acc=0.733, loss=57.247, backward_time=0.301, grad_norm=97.827, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.141, optim0_lr0=6.356e-05, train_time=1.497 -[gpua002:0/64] 2023-12-18 04:29:27,422 (trainer:737) INFO: 40epoch:train:9201-9300batch: iter_time=8.180e-05, forward_time=0.233, loss_ctc=69.901, loss_att=55.068, acc=0.720, loss=59.518, backward_time=0.301, grad_norm=77.543, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.356e-05, train_time=1.558 -[gpua002:0/64] 2023-12-18 04:32:10,068 (trainer:737) INFO: 40epoch:train:9301-9400batch: iter_time=8.278e-05, forward_time=0.147, loss_ctc=65.007, loss_att=53.277, acc=0.717, loss=56.796, backward_time=0.295, grad_norm=79.588, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.355e-05, train_time=1.626 -[gpua002:0/64] 2023-12-18 04:34:56,213 (trainer:737) INFO: 40epoch:train:9401-9500batch: iter_time=7.957e-05, forward_time=0.146, loss_ctc=53.097, loss_att=37.813, acc=0.762, loss=42.398, backward_time=0.308, grad_norm=59.349, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.355e-05, train_time=1.662 -[gpua002:0/64] 2023-12-18 04:37:40,006 (trainer:737) INFO: 40epoch:train:9501-9600batch: iter_time=8.095e-05, forward_time=0.146, loss_ctc=65.869, loss_att=48.282, acc=0.736, loss=53.558, backward_time=0.293, grad_norm=81.625, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.354e-05, train_time=1.638 -[gpua002:0/64] 2023-12-18 04:40:21,387 (trainer:737) INFO: 40epoch:train:9601-9700batch: iter_time=8.076e-05, forward_time=0.147, loss_ctc=72.225, loss_att=61.583, acc=0.728, loss=64.776, backward_time=0.316, grad_norm=85.517, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.354e-05, train_time=1.614 -[gpua002:0/64] 2023-12-18 04:42:59,175 (trainer:737) INFO: 40epoch:train:9701-9800batch: iter_time=8.335e-05, forward_time=0.146, loss_ctc=60.145, loss_att=45.924, acc=0.741, loss=50.190, backward_time=0.295, grad_norm=66.831, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.353e-05, train_time=1.578 -[gpua002:0/64] 2023-12-18 04:45:32,175 (trainer:737) INFO: 40epoch:train:9801-9900batch: iter_time=8.034e-05, forward_time=0.147, loss_ctc=66.790, loss_att=52.188, acc=0.729, loss=56.568, backward_time=0.280, grad_norm=64.223, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.353e-05, train_time=1.530 -[gpua002:0/64] 2023-12-18 04:47:58,640 (trainer:737) INFO: 40epoch:train:9901-10000batch: iter_time=8.111e-05, forward_time=0.147, loss_ctc=73.420, loss_att=61.768, acc=0.716, loss=65.264, backward_time=0.301, grad_norm=70.608, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.352e-05, train_time=1.464 -[gpua002:0/64] 2023-12-18 04:48:18,669 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua002:0/64] 2023-12-18 04:48:37,839 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-18 04:48:41,339 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-18 04:48:41,340 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua002:0/64] 2023-12-18 04:48:41,343 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-18 04:58:08,197 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-18 04:59:02,676 (trainer:737) INFO: 40epoch:train:10001-10100batch: iter_time=3.108, forward_time=0.201, loss_ctc=63.680, loss_att=52.487, acc=0.732, loss=55.845, backward_time=0.285, grad_norm=72.039, clip=100.000, loss_scale=3.135e+31, optim_step_time=0.133, optim0_lr0=6.352e-05, train_time=6.640 -[gpua002:0/64] 2023-12-18 05:01:30,075 (trainer:737) INFO: 40epoch:train:10101-10200batch: iter_time=8.184e-05, forward_time=0.146, loss_ctc=68.183, loss_att=56.659, acc=0.725, loss=60.116, backward_time=0.334, grad_norm=73.924, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.351e-05, train_time=1.474 -[gpua002:0/64] 2023-12-18 05:03:38,017 (trainer:737) INFO: 40epoch:train:10201-10300batch: iter_time=7.986e-05, forward_time=0.149, loss_ctc=58.946, loss_att=45.095, acc=0.744, loss=49.250, backward_time=0.288, grad_norm=77.361, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.351e-05, train_time=1.278 -[gpua002:0/64] 2023-12-18 05:06:08,962 (trainer:737) INFO: 40epoch:train:10301-10400batch: iter_time=7.914e-05, forward_time=0.146, loss_ctc=63.516, loss_att=49.118, acc=0.750, loss=53.437, backward_time=0.309, grad_norm=65.490, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.350e-05, train_time=1.510 -[gpua002:0/64] 2023-12-18 05:08:44,583 (trainer:737) INFO: 40epoch:train:10401-10500batch: iter_time=8.121e-05, forward_time=0.146, loss_ctc=64.432, loss_att=52.274, acc=0.734, loss=55.921, backward_time=0.335, grad_norm=62.235, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.349e-05, train_time=1.556 -[gpua002:0/64] 2023-12-18 05:10:57,716 (trainer:737) INFO: 40epoch:train:10501-10600batch: iter_time=8.246e-05, forward_time=0.146, loss_ctc=72.065, loss_att=59.976, acc=0.719, loss=63.602, backward_time=0.295, grad_norm=71.077, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.349e-05, train_time=1.331 -[gpua002:0/64] 2023-12-18 05:14:06,902 (trainer:737) INFO: 40epoch:train:10601-10700batch: iter_time=8.020e-05, forward_time=0.146, loss_ctc=57.053, loss_att=43.473, acc=0.743, loss=47.547, backward_time=0.344, grad_norm=61.842, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.348e-05, train_time=1.892 -[gpua002:0/64] 2023-12-18 05:16:40,444 (trainer:737) INFO: 40epoch:train:10701-10800batch: iter_time=8.024e-05, forward_time=0.146, loss_ctc=60.505, loss_att=43.499, acc=0.760, loss=48.601, backward_time=0.320, grad_norm=66.651, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.348e-05, train_time=1.535 -[gpua002:0/64] 2023-12-18 05:19:07,492 (trainer:737) INFO: 40epoch:train:10801-10900batch: iter_time=8.128e-05, forward_time=0.146, loss_ctc=71.628, loss_att=56.430, acc=0.742, loss=60.989, backward_time=0.299, grad_norm=70.167, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.347e-05, train_time=1.470 -[gpua002:0/64] 2023-12-18 05:21:46,699 (trainer:737) INFO: 40epoch:train:10901-11000batch: iter_time=8.013e-05, forward_time=0.185, loss_ctc=63.259, loss_att=50.518, acc=0.745, loss=54.340, backward_time=0.298, grad_norm=61.268, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.347e-05, train_time=1.592 -[gpua002:0/64] 2023-12-18 05:24:08,893 (trainer:737) INFO: 40epoch:train:11001-11100batch: iter_time=8.356e-05, forward_time=0.211, loss_ctc=56.190, loss_att=47.126, acc=0.737, loss=49.845, backward_time=0.305, grad_norm=65.416, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.346e-05, train_time=1.422 -[gpua002:0/64] 2023-12-18 05:26:49,860 (trainer:737) INFO: 40epoch:train:11101-11200batch: iter_time=8.185e-05, forward_time=0.147, loss_ctc=74.558, loss_att=63.736, acc=0.722, loss=66.983, backward_time=0.309, grad_norm=70.821, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.346e-05, train_time=1.609 -[gpua002:0/64] 2023-12-18 05:28:16,875 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua002:0/64] 2023-12-18 05:28:35,945 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-18 05:28:39,439 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-18 05:28:39,439 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua002:0/64] 2023-12-18 05:28:39,457 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-18 05:37:15,497 (trainer:737) INFO: 40epoch:train:11201-11300batch: iter_time=3.145, forward_time=0.146, loss_ctc=69.981, loss_att=56.710, acc=0.725, loss=60.691, backward_time=0.293, grad_norm=70.197, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.345e-05, train_time=6.256 -[gpua002:0/64] 2023-12-18 05:39:15,880 (trainer:737) INFO: 40epoch:train:11301-11400batch: iter_time=8.120e-05, forward_time=0.146, loss_ctc=62.046, loss_att=49.951, acc=0.741, loss=53.580, backward_time=0.277, grad_norm=68.888, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.345e-05, train_time=1.204 -[gpua002:0/64] 2023-12-18 05:41:44,713 (trainer:737) INFO: 40epoch:train:11401-11500batch: iter_time=8.130e-05, forward_time=0.146, loss_ctc=61.925, loss_att=51.138, acc=0.736, loss=54.374, backward_time=0.303, grad_norm=71.059, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.344e-05, train_time=1.487 -[gpua002:0/64] 2023-12-18 05:44:41,127 (trainer:737) INFO: 40epoch:train:11501-11600batch: iter_time=8.355e-05, forward_time=0.213, loss_ctc=59.591, loss_att=43.611, acc=0.750, loss=48.405, backward_time=0.335, grad_norm=62.671, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.344e-05, train_time=1.765 -[gpua002:0/64] 2023-12-18 05:47:07,505 (trainer:737) INFO: 40epoch:train:11601-11700batch: iter_time=8.326e-05, forward_time=0.146, loss_ctc=67.826, loss_att=54.347, acc=0.737, loss=58.391, backward_time=0.299, grad_norm=69.827, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.343e-05, train_time=1.464 -[gpua002:0/64] 2023-12-18 05:49:32,010 (trainer:737) INFO: 40epoch:train:11701-11800batch: iter_time=8.394e-05, forward_time=0.146, loss_ctc=69.453, loss_att=55.380, acc=0.725, loss=59.602, backward_time=0.282, grad_norm=62.610, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.343e-05, train_time=1.445 -[gpua002:0/64] 2023-12-18 05:52:07,793 (trainer:737) INFO: 40epoch:train:11801-11900batch: iter_time=8.272e-05, forward_time=0.145, loss_ctc=64.765, loss_att=53.140, acc=0.726, loss=56.628, backward_time=0.299, grad_norm=70.513, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.342e-05, train_time=1.558 -[gpua002:0/64] 2023-12-18 05:54:25,213 (trainer:737) INFO: 40epoch:train:11901-12000batch: iter_time=8.240e-05, forward_time=0.146, loss_ctc=52.731, loss_att=37.929, acc=0.769, loss=42.369, backward_time=0.290, grad_norm=67.560, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.341e-05, train_time=1.374 -[gpua002:0/64] 2023-12-18 05:57:00,626 (trainer:737) INFO: 40epoch:train:12001-12100batch: iter_time=8.282e-05, forward_time=0.146, loss_ctc=65.847, loss_att=48.602, acc=0.744, loss=53.776, backward_time=0.287, grad_norm=78.867, clip=100.000, loss_scale=2.941e+31, optim_step_time=0.132, optim0_lr0=6.341e-05, train_time=1.553 -[gpua002:0/64] 2023-12-18 05:59:45,509 (trainer:737) INFO: 40epoch:train:12101-12200batch: iter_time=8.206e-05, forward_time=0.146, loss_ctc=71.863, loss_att=61.452, acc=0.734, loss=64.575, backward_time=0.291, grad_norm=78.286, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.340e-05, train_time=1.649 -[gpua002:0/64] 2023-12-18 06:02:15,375 (trainer:737) INFO: 40epoch:train:12201-12300batch: iter_time=8.069e-05, forward_time=0.216, loss_ctc=60.234, loss_att=46.398, acc=0.746, loss=50.548, backward_time=0.306, grad_norm=58.781, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.340e-05, train_time=1.498 -[gpua002:0/64] 2023-12-18 06:04:53,281 (trainer:737) INFO: 40epoch:train:12301-12400batch: iter_time=8.014e-05, forward_time=0.196, loss_ctc=66.226, loss_att=52.670, acc=0.738, loss=56.737, backward_time=0.355, grad_norm=69.275, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.339e-05, train_time=1.579 -[gpua002:0/64] 2023-12-18 06:07:27,473 (trainer:737) INFO: 40epoch:train:12401-12500batch: iter_time=7.837e-05, forward_time=0.146, loss_ctc=73.308, loss_att=62.766, acc=0.725, loss=65.929, backward_time=0.314, grad_norm=87.701, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=6.339e-05, train_time=1.542 -[gpua002:0/64] 2023-12-18 06:07:47,502 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua002:0/64] 2023-12-18 06:08:07,083 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-18 06:08:10,724 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-18 06:08:10,724 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua002:0/64] 2023-12-18 06:08:10,727 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-18 06:18:16,171 (trainer:737) INFO: 40epoch:train:12501-12600batch: iter_time=5.232, forward_time=0.178, loss_ctc=63.868, loss_att=50.549, acc=0.734, loss=54.545, backward_time=0.282, grad_norm=69.130, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.338e-05, train_time=6.486 -[gpua002:0/64] 2023-12-18 06:18:29,217 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-18 06:20:17,861 (trainer:737) INFO: 40epoch:train:12601-12700batch: iter_time=8.164e-05, forward_time=0.147, loss_ctc=67.916, loss_att=55.729, acc=0.727, loss=59.385, backward_time=0.279, grad_norm=69.129, clip=100.000, loss_scale=2.233e+31, optim_step_time=0.131, optim0_lr0=6.338e-05, train_time=1.217 -[gpua002:0/64] 2023-12-18 06:23:06,484 (trainer:737) INFO: 40epoch:train:12701-12800batch: iter_time=8.631e-05, forward_time=0.235, loss_ctc=58.378, loss_att=44.314, acc=0.746, loss=48.533, backward_time=0.317, grad_norm=67.203, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=6.337e-05, train_time=1.685 -[gpua002:0/64] 2023-12-18 06:25:18,889 (trainer:737) INFO: 40epoch:train:12801-12900batch: iter_time=8.532e-05, forward_time=0.146, loss_ctc=63.466, loss_att=48.755, acc=0.751, loss=53.168, backward_time=0.298, grad_norm=71.250, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.337e-05, train_time=1.325 -[gpua002:0/64] 2023-12-18 06:27:50,759 (trainer:737) INFO: 40epoch:train:12901-13000batch: iter_time=8.515e-05, forward_time=0.146, loss_ctc=64.564, loss_att=51.420, acc=0.737, loss=55.363, backward_time=0.292, grad_norm=63.746, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.336e-05, train_time=1.519 -[gpua002:0/64] 2023-12-18 06:30:11,959 (trainer:737) INFO: 40epoch:train:13001-13100batch: iter_time=8.813e-05, forward_time=0.148, loss_ctc=71.564, loss_att=59.559, acc=0.720, loss=63.161, backward_time=0.286, grad_norm=97.802, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.336e-05, train_time=1.412 -[gpua002:0/64] 2023-12-18 06:32:40,502 (trainer:737) INFO: 40epoch:train:13101-13200batch: iter_time=8.621e-05, forward_time=0.251, loss_ctc=56.994, loss_att=43.050, acc=0.744, loss=47.233, backward_time=0.325, grad_norm=80.697, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.335e-05, train_time=1.485 -[gpua002:0/64] 2023-12-18 06:35:24,421 (trainer:737) INFO: 40epoch:train:13201-13300batch: iter_time=8.364e-05, forward_time=0.145, loss_ctc=60.381, loss_att=43.110, acc=0.762, loss=48.291, backward_time=0.327, grad_norm=79.135, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.335e-05, train_time=1.639 -[gpua002:0/64] 2023-12-18 06:38:00,102 (trainer:737) INFO: 40epoch:train:13301-13400batch: iter_time=8.697e-05, forward_time=0.147, loss_ctc=71.592, loss_att=56.277, acc=0.743, loss=60.872, backward_time=0.289, grad_norm=70.986, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.334e-05, train_time=1.557 -[gpua002:0/64] 2023-12-18 06:40:40,299 (trainer:737) INFO: 40epoch:train:13401-13500batch: iter_time=8.657e-05, forward_time=0.145, loss_ctc=62.896, loss_att=50.554, acc=0.744, loss=54.256, backward_time=0.331, grad_norm=76.864, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.334e-05, train_time=1.602 -[gpua002:0/64] 2023-12-18 06:43:06,818 (trainer:737) INFO: 40epoch:train:13501-13600batch: iter_time=8.316e-05, forward_time=0.220, loss_ctc=56.192, loss_att=46.858, acc=0.738, loss=49.659, backward_time=0.313, grad_norm=59.917, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.333e-05, train_time=1.465 -[gpua002:0/64] 2023-12-18 06:45:28,430 (trainer:737) INFO: 40epoch:train:13601-13700batch: iter_time=8.400e-05, forward_time=0.146, loss_ctc=74.820, loss_att=63.706, acc=0.724, loss=67.040, backward_time=0.292, grad_norm=67.314, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.332e-05, train_time=1.416 -[gpua002:0/64] 2023-12-18 06:46:59,113 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua002:0/64] 2023-12-18 06:47:18,679 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-18 06:47:22,206 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-18 06:47:22,206 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua002:0/64] 2023-12-18 06:47:22,209 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-18 06:54:45,895 (trainer:737) INFO: 40epoch:train:13701-13800batch: iter_time=3.110, forward_time=0.148, loss_ctc=69.760, loss_att=57.253, acc=0.720, loss=61.005, backward_time=0.286, grad_norm=70.417, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.332e-05, train_time=5.575 -[gpua002:0/64] 2023-12-18 06:56:46,550 (trainer:737) INFO: 40epoch:train:13801-13900batch: iter_time=7.872e-05, forward_time=0.145, loss_ctc=61.955, loss_att=50.262, acc=0.733, loss=53.770, backward_time=0.277, grad_norm=75.783, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.331e-05, train_time=1.206 -[gpua002:0/64] 2023-12-18 06:59:44,826 (trainer:737) INFO: 40epoch:train:13901-14000batch: iter_time=7.599e-05, forward_time=0.148, loss_ctc=61.838, loss_att=51.118, acc=0.729, loss=54.334, backward_time=0.333, grad_norm=65.514, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.331e-05, train_time=1.783 -[gpua002:0/64] 2023-12-18 07:02:06,283 (trainer:737) INFO: 40epoch:train:14001-14100batch: iter_time=8.036e-05, forward_time=0.145, loss_ctc=59.461, loss_att=43.814, acc=0.741, loss=48.508, backward_time=0.308, grad_norm=86.042, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.330e-05, train_time=1.414 -[gpua002:0/64] 2023-12-18 07:04:53,126 (trainer:737) INFO: 40epoch:train:14101-14200batch: iter_time=7.988e-05, forward_time=0.233, loss_ctc=67.049, loss_att=53.056, acc=0.732, loss=57.254, backward_time=0.361, grad_norm=67.490, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.330e-05, train_time=1.668 -[gpua002:0/64] 2023-12-18 07:07:33,619 (trainer:737) INFO: 40epoch:train:14201-14300batch: iter_time=8.437e-05, forward_time=0.145, loss_ctc=69.518, loss_att=55.409, acc=0.721, loss=59.642, backward_time=0.301, grad_norm=65.210, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.329e-05, train_time=1.604 -[gpua002:0/64] 2023-12-18 07:10:45,887 (trainer:737) INFO: 40epoch:train:14301-14400batch: iter_time=8.234e-05, forward_time=0.146, loss_ctc=63.508, loss_att=52.936, acc=0.717, loss=56.108, backward_time=0.372, grad_norm=69.398, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.329e-05, train_time=1.923 -[gpua002:0/64] 2023-12-18 07:13:10,735 (trainer:737) INFO: 40epoch:train:14401-14500batch: iter_time=8.288e-05, forward_time=0.146, loss_ctc=52.363, loss_att=37.548, acc=0.761, loss=41.992, backward_time=0.299, grad_norm=57.103, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.328e-05, train_time=1.448 -[gpua002:0/64] 2023-12-18 07:15:50,915 (trainer:737) INFO: 40epoch:train:14501-14600batch: iter_time=7.920e-05, forward_time=0.145, loss_ctc=64.922, loss_att=48.021, acc=0.739, loss=53.092, backward_time=0.327, grad_norm=73.216, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.328e-05, train_time=1.601 -[gpua002:0/64] 2023-12-18 07:18:31,398 (trainer:737) INFO: 40epoch:train:14601-14700batch: iter_time=7.859e-05, forward_time=0.210, loss_ctc=71.325, loss_att=61.559, acc=0.729, loss=64.489, backward_time=0.318, grad_norm=72.146, clip=100.000, loss_scale=3.833e+31, optim_step_time=0.134, optim0_lr0=6.327e-05, train_time=1.605 -[gpua002:0/64] 2023-12-18 07:21:01,357 (trainer:737) INFO: 40epoch:train:14701-14800batch: iter_time=8.075e-05, forward_time=0.198, loss_ctc=59.436, loss_att=45.620, acc=0.744, loss=49.765, backward_time=0.332, grad_norm=71.753, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.327e-05, train_time=1.500 -[gpua002:0/64] 2023-12-18 07:23:33,354 (trainer:737) INFO: 40epoch:train:14801-14900batch: iter_time=7.926e-05, forward_time=0.146, loss_ctc=66.115, loss_att=52.432, acc=0.729, loss=56.537, backward_time=0.293, grad_norm=67.500, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.326e-05, train_time=1.519 -[gpua002:0/64] 2023-12-18 07:26:11,873 (trainer:737) INFO: 40epoch:train:14901-15000batch: iter_time=8.056e-05, forward_time=0.146, loss_ctc=73.421, loss_att=61.858, acc=0.718, loss=65.327, backward_time=0.294, grad_norm=74.345, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.326e-05, train_time=1.586 -[gpua002:0/64] 2023-12-18 07:51:44,442 (trainer:343) INFO: 40epoch results: [train] iter_time=0.260, forward_time=0.167, loss_ctc=65.311, loss_att=51.969, acc=0.732, loss=55.971, backward_time=0.313, grad_norm=83.654, clip=100.000, loss_scale=2.024e+31, optim_step_time=0.133, optim0_lr0=6.365e-05, train_time=1.937, time=8 hours, 4 minutes and 46.36 seconds, total_count=600000, gpu_max_cached_mem_GB=34.973, [valid] loss_ctc=31.615, cer_ctc=0.163, loss_att=30.587, acc=0.736, cer=0.328, wer=0.998, loss=30.895, time=25 minutes and 8.22 seconds, total_count=186840, gpu_max_cached_mem_GB=34.973 -gpua047:1448193:1448266 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua009:2527542:2527618 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua060:3165196:3165279 [1] NCCL INFO [Service thread] Connection closed by localRank 1 -gpua009:2527544:2527616 [2] NCCL INFO [Service thread] Connection closed by localRank 2 -gpua087:1652756:1652830 [1] NCCL INFO [Service thread] Connection closed by localRank 1 -gpua096:538963:539045 [1] NCCL INFO [Service thread] Connection closed by localRank 1 -gpua087:1652756:1652756 [1] NCCL INFO comm 0x987f0ee0 rank 53 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE -gpua009:2527544:2527544 [2] NCCL INFO comm 0x9831f960 rank 10 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE -gpua047:1448193:1448193 [0] NCCL INFO comm 0xe6fd150 rank 32 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -gpua060:3165196:3165196 [1] NCCL INFO comm 0x1cb87700 rank 45 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE -gpua009:2527542:2527542 [0] NCCL INFO comm 0xd94d9a0 rank 8 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -gpua096:538963:538963 [1] NCCL INFO comm 0xe6a02d00 rank 61 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE -gpua038:582871:582952 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua023:1042027:1042101 [3] NCCL INFO [Service thread] Connection closed by localRank 3 -gpua039:978771:978854 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua039:978773:978853 [2] NCCL INFO [Service thread] Connection closed by localRank 2 -gpua055:1102504:1102585 [3] NCCL INFO [Service thread] Connection closed by localRank 3 -gpua002:1292079:1292157 [2] NCCL INFO [Service thread] Connection closed by localRank 2 -gpua083:2273404:2273484 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua055:1102501:1102586 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua009:2527545:2527615 [3] NCCL INFO [Service thread] Connection closed by localRank 3 -gpua092:995444:995520 [2] NCCL INFO [Service thread] Connection closed by localRank 2 -gpua096:538962:539043 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua092:995442:995523 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua060:3165197:3165280 [2] NCCL INFO [Service thread] Connection closed by localRank 2 -gpua047:1448196:1448263 [3] NCCL INFO [Service thread] Connection closed by localRank 3 -gpua002:1292078:1292159 [1] NCCL INFO [Service thread] Connection closed by localRank 1 -gpua039:978772:978852 [1] NCCL INFO [Service thread] Connection closed by localRank 1 -gpua060:3165195:3165278 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua092:995444:995444 [2] NCCL INFO comm 0xcb54010 rank 58 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE -gpua005:2934817:2934899 [2] NCCL INFO [Service thread] Connection closed by localRank 2 -gpua005:2934816:2934898 [1] NCCL INFO [Service thread] Connection closed by localRank 1 -gpua055:1102503:1102584 [2] NCCL INFO [Service thread] Connection closed by localRank 2 -gpua021:382383:382464 [3] NCCL INFO [Service thread] Connection closed by localRank 3 -gpua055:1102504:1102504 [3] NCCL INFO comm 0xe0116d0 rank 43 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE -gpua023:1042027:1042027 [3] NCCL INFO comm 0xb072fb0 rank 23 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE -gpua038:582871:582871 [0] NCCL INFO comm 0xe515370 rank 24 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -gpua039:978774:978851 [3] NCCL INFO [Service thread] Connection closed by localRank 3 -gpua039:978772:978772 [1] NCCL INFO comm 0x15c17a10 rank 29 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE -gpua096:538965:539042 [3] NCCL INFO [Service thread] Connection closed by localRank 3 -gpua039:978773:978773 [2] NCCL INFO comm 0x317f8b60 rank 30 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE -gpua005:2934816:2934816 [1] NCCL INFO comm 0xddd8560 rank 5 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE -gpua083:2273406:2273485 [2] NCCL INFO [Service thread] Connection closed by localRank 2 -gpua038:582874:582951 [3] NCCL INFO [Service thread] Connection closed by localRank 3 -gpua005:2934815:2934897 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua055:1102503:1102503 [2] NCCL INFO comm 0xd604dd0 rank 42 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE -gpua092:995445:995522 [3] NCCL INFO [Service thread] Connection closed by localRank 3 -gpua096:538965:538965 [3] NCCL INFO comm 0xe0ea7e20 rank 63 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE -gpua083:2273406:2273406 [2] NCCL INFO comm 0xf2ae290 rank 50 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE -gpua022:1202920:1202996 [3] NCCL INFO [Service thread] Connection closed by localRank 3 -gpua083:2273405:2273483 [1] NCCL INFO [Service thread] Connection closed by localRank 1 -gpua021:382382:382465 [2] NCCL INFO [Service thread] Connection closed by localRank 2 -gpua092:995442:995442 [0] NCCL INFO comm 0x2225ed30 rank 56 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -gpua002:1292079:1292079 [2] NCCL INFO comm 0xb1fc5e0 rank 2 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE -gpua009:2527545:2527545 [3] NCCL INFO comm 0x188b2aa0 rank 11 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE -gpua060:3165197:3165197 [2] NCCL INFO comm 0xe0fd470 rank 46 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE -gpua021:382383:382383 [3] NCCL INFO comm 0xe4ea8d0 rank 15 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE -gpua055:1102501:1102501 [0] NCCL INFO comm 0x3c93f2f0 rank 40 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -gpua087:1652755:1652828 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua002:1292080:1292158 [3] NCCL INFO [Service thread] Connection closed by localRank 3 -gpua055:1102502:1102583 [1] NCCL INFO [Service thread] Connection closed by localRank 1 -gpua039:978771:978771 [0] NCCL INFO comm 0xb0b39f0 rank 28 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -gpua023:1042024:1042099 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua038:582873:582950 [2] NCCL INFO [Service thread] Connection closed by localRank 2 -gpua009:2527543:2527617 [1] NCCL INFO [Service thread] Connection closed by localRank 1 -gpua021:382380:382466 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua005:2934818:2934896 [3] NCCL INFO [Service thread] Connection closed by localRank 3 -gpua092:995443:995521 [1] NCCL INFO [Service thread] Connection closed by localRank 1 -gpua038:582873:582873 [2] NCCL INFO comm 0xeda6430 rank 26 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE -gpua087:1652757:1652829 [2] NCCL INFO [Service thread] Connection closed by localRank 2 -gpua083:2273405:2273405 [1] NCCL INFO comm 0xc3ecc50 rank 49 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE -gpua096:538962:538962 [0] NCCL INFO comm 0x3e6104c0 rank 60 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -gpua083:2273407:2273482 [3] NCCL INFO [Service thread] Connection closed by localRank 3 -gpua047:1448196:1448196 [3] NCCL INFO comm 0xdf3f260 rank 35 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE -gpua002:1292078:1292078 [1] NCCL INFO comm 0x119cbbf0 rank 1 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE -gpua023:1042026:1042098 [2] NCCL INFO [Service thread] Connection closed by localRank 2 -gpua005:2934817:2934817 [2] NCCL INFO comm 0x10441c90 rank 6 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE -gpua060:3165195:3165195 [0] NCCL INFO comm 0x161cb360 rank 44 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -gpua047:1448195:1448265 [2] NCCL INFO [Service thread] Connection closed by localRank 2 -gpua023:1042025:1042100 [1] NCCL INFO [Service thread] Connection closed by localRank 1 -gpua005:2934815:2934815 [0] NCCL INFO comm 0xfa11910 rank 4 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -gpua096:538964:539044 [2] NCCL INFO [Service thread] Connection closed by localRank 2 -gpua022:1202920:1202920 [3] NCCL INFO comm 0x98ec14e0 rank 19 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE -gpua047:1448194:1448264 [1] NCCL INFO [Service thread] Connection closed by localRank 1 -gpua039:978774:978774 [3] NCCL INFO comm 0x2f577640 rank 31 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE -gpua002:1292080:1292080 [3] NCCL INFO comm 0x96cd5960 rank 3 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE -gpua023:1042026:1042026 [2] NCCL INFO comm 0xe844dd0 rank 22 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE -gpua038:582874:582874 [3] NCCL INFO comm 0x102c0810 rank 27 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE -gpua092:995445:995445 [3] NCCL INFO comm 0x2818dff0 rank 59 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE -gpua021:382382:382382 [2] NCCL INFO comm 0x1a8d5890 rank 14 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE -gpua060:3165198:3165277 [3] NCCL INFO [Service thread] Connection closed by localRank 3 -gpua038:582872:582953 [1] NCCL INFO [Service thread] Connection closed by localRank 1 -gpua047:1448195:1448195 [2] NCCL INFO comm 0xeace2660 rank 34 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE -gpua023:1042024:1042024 [0] NCCL INFO comm 0xe254efd0 rank 20 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -gpua092:995443:995443 [1] NCCL INFO comm 0xb19e2b0 rank 57 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE -gpua055:1102502:1102502 [1] NCCL INFO comm 0xb099b80 rank 41 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE -gpua087:1652757:1652757 [2] NCCL INFO comm 0xb1de4f0 rank 54 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE -gpua087:1652755:1652755 [0] NCCL INFO comm 0xd682710 rank 52 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -gpua083:2273407:2273407 [3] NCCL INFO comm 0x2e807f90 rank 51 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE -gpua005:2934818:2934818 [3] NCCL INFO comm 0xdfcc020 rank 7 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE -gpua009:2527543:2527543 [1] NCCL INFO comm 0xb673fc0 rank 9 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE -gpua083:2273404:2273404 [0] NCCL INFO comm 0x387567a0 rank 48 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -gpua023:1042025:1042025 [1] NCCL INFO comm 0xe0d111e0 rank 21 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE -gpua047:1448194:1448194 [1] NCCL INFO comm 0x3e099190 rank 33 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE -gpua021:382380:382380 [0] NCCL INFO comm 0xb06cab0 rank 12 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -gpua096:538964:538964 [2] NCCL INFO comm 0x2d2b4ef0 rank 62 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE -gpua087:1652758:1652827 [3] NCCL INFO [Service thread] Connection closed by localRank 3 -gpua060:3165198:3165198 [3] NCCL INFO comm 0xdd5f650 rank 47 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE -gpua038:582872:582872 [1] NCCL INFO comm 0x94d8a120 rank 25 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE -gpua087:1652758:1652758 [3] NCCL INFO comm 0x38d7de00 rank 55 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE -gpua021:382381:382463 [1] NCCL INFO [Service thread] Connection closed by localRank 1 -gpua021:382381:382381 [1] NCCL INFO comm 0xe93eace0 rank 13 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE -gpua022:1202917:1202995 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua022:1202919:1202993 [2] NCCL INFO [Service thread] Connection closed by localRank 2 -gpua022:1202918:1202994 [1] NCCL INFO [Service thread] Connection closed by localRank 1 -gpua052:1354358:1354438 [3] NCCL INFO [Service thread] Connection closed by localRank 3 -gpua052:1354357:1354441 [2] NCCL INFO [Service thread] Connection closed by localRank 2 -gpua052:1354356:1354439 [1] NCCL INFO [Service thread] Connection closed by localRank 1 -gpua052:1354355:1354440 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua022:1202918:1202918 [1] NCCL INFO comm 0xfffe3d0 rank 17 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE -gpua052:1354358:1354358 [3] NCCL INFO comm 0xfb214d0 rank 39 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE -gpua052:1354355:1354355 [0] NCCL INFO comm 0x2432cce0 rank 36 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -gpua022:1202919:1202919 [2] NCCL INFO comm 0xe63cc7e0 rank 18 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE -gpua052:1354356:1354356 [1] NCCL INFO comm 0xd3fcaf0 rank 37 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE -gpua052:1354357:1354357 [2] NCCL INFO comm 0x99564d70 rank 38 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE -gpua022:1202917:1202917 [0] NCCL INFO comm 0xc054a20 rank 16 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -[gpua002:0/64] 2023-12-18 07:52:07,931 (trainer:391) INFO: The best model has been updated: valid.total_count -[gpua002:0/64] 2023-12-18 07:52:07,975 (average_nbest_models:69) INFO: Averaging 5best models: criterion="valid.acc": exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.acc.ave_5best.till40epoch.pth -[gpua002:0/64] 2023-12-18 07:52:46,625 (average_nbest_models:69) INFO: Averaging 5best models: criterion="valid.total_count": exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.total_count.ave_5best.till40epoch.pth -[gpua002:0/64] 2023-12-18 07:53:11,702 (trainer:463) INFO: The training was finished at 40 epochs -[gpua002:0/64] 2023-12-18 07:53:11,704 (average_nbest_models:69) INFO: Averaging 5best models: criterion="valid.acc": exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.acc.ave_5best.pth -[gpua002:0/64] 2023-12-18 07:53:23,107 (average_nbest_models:69) INFO: Averaging 5best models: criterion="valid.total_count": exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.total_count.ave_5best.pth -gpua002:1292077:1292160 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua002:1292077:1292077 [0] NCCL INFO comm 0xab674e0 rank 0 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -# Accounting: begin_time=1702876612 -# Accounting: end_time=1702907639 -# Accounting: time=31027 threads=1 -# Finished at Mon Dec 18 07:53:59 CST 2023 with status 0 diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.3.log b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.3.log deleted file mode 100644 index 7f0444814f975de1232527fb4d7e2655b5f49276..0000000000000000000000000000000000000000 --- a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.3.log +++ /dev/null @@ -1,4225 +0,0 @@ -# Running on gpua010.delta.ncsa.illinois.edu -# Started at Fri Dec 15 16:28:29 CST 2023 -# SLURMD_NODENAME=gpua010 -# SLURM_CLUSTER_NAME=delta -# SLURM_CONF=/var/spool/slurmd/conf-cache/slurm.conf -# SLURM_CPUS_ON_NODE=64 -# SLURM_CPUS_PER_TASK=64 -# SLURM_EXPORT_ENV=PATH -# SLURM_GET_USER_ENV=1 -# SLURM_GPUS_ON_NODE=4 -# SLURM_GTIDS=0 -# SLURM_JOBID=2751183 -# SLURM_JOB_ACCOUNT=bbjs-delta-gpu -# SLURM_JOB_CPUS_PER_NODE='64(x16)' -# SLURM_JOB_END_TIME=1702852088 -# SLURM_JOB_GID=202 -# SLURM_JOB_GPUS=0,1,2,3 -# SLURM_JOB_ID=2751183 -# SLURM_JOB_NAME=exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.log -# SLURM_JOB_NODELIST='gpua[010-012,014,028,031-032,054-056,067,080-081,085-086,088]' -# SLURM_JOB_NUM_NODES=16 -# SLURM_JOB_PARTITION=gpuA100x4 -# SLURM_JOB_QOS=bbjs-delta-gpu -# SLURM_JOB_START_TIME=1702679288 -# SLURM_JOB_UID=68077 -# SLURM_JOB_USER=peng6 -# SLURM_LOCALID=0 -# SLURM_MEM_PER_NODE=240000 -# SLURM_NNODES=16 -# SLURM_NODEID=0 -# SLURM_NODELIST='gpua[010-012,014,028,031-032,054-056,067,080-081,085-086,088]' -# SLURM_NODE_ALIASES='(null)' -# SLURM_OPEN_MODE=a -# SLURM_PRIO_PROCESS=0 -# SLURM_PROCID=0 -# SLURM_SUBMIT_DIR=/scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1 -# SLURM_SUBMIT_HOST=dt-login01.delta.ncsa.illinois.edu -# SLURM_TASKS_PER_NODE='1(x16)' -# SLURM_TASK_PID=692842 -# SLURM_TOPOLOGY_ADDR=ss00.ss05.gpua010 -# SLURM_TOPOLOGY_ADDR_PATTERN=switch.switch.node -# SLURM_WORKING_CLUSTER=delta:dt-sched:6817:9984:109 -# srun --export=ALL python3 -m espnet2.bin.s2t_train --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 -/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 -[gpua010:0/64] 2023-12-15 16:32:27,480 (distributed_c10d:319) INFO: Added key: store_based_barrier_key:1 to store for rank: 0 -[gpua010:0/64] 2023-12-15 16:32:29,206 (distributed_c10d:353) INFO: Rank 0: Completed store-based barrier for key:store_based_barrier_key:1 with 64 nodes. -[gpua010:0/64] 2023-12-15 16:32:29,251 (s2t:464) INFO: Vocabulary size: 50002 -[gpua010:0/64] 2023-12-15 16:32:42,873 (abs_task:1231) INFO: pytorch.version=1.13.1, cuda.available=True, cudnn.version=8500, cudnn.benchmark=False, cudnn.deterministic=True -[gpua010:0/64] 2023-12-15 16:32:42,884 (abs_task:1232) INFO: Model structure: -ESPnetS2TModel( - (frontend): DefaultFrontend( - (stft): Stft(n_fft=512, win_length=400, hop_length=160, center=True, normalized=False, onesided=True) - (frontend): Frontend() - (logmel): LogMel(sr=16000, n_fft=512, n_mels=80, fmin=0, fmax=8000.0, htk=False) - ) - (specaug): SpecAug( - (freq_mask): MaskAlongAxis(mask_width_range=[0, 27], num_mask=2, axis=freq) - (time_mask): MaskAlongAxisVariableMaxWidth(mask_width_ratio_range=[0.0, 0.05], num_mask=10, axis=time) - ) - (normalize): GlobalMVN(stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz, norm_means=True, norm_vars=True) - (encoder): EBranchformerEncoder( - (embed): Conv2dSubsampling( - (conv): Sequential( - (0): Conv2d(1, 1024, kernel_size=(3, 3), stride=(2, 2)) - (1): ReLU() - (2): Conv2d(1024, 1024, kernel_size=(3, 3), stride=(2, 2)) - (3): ReLU() - ) - (out): Sequential( - (0): Linear(in_features=19456, out_features=1024, bias=True) - (1): PositionalEncoding( - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - ) - (encoders): MultiSequential( - (0): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (1): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (2): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (3): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (4): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (5): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (6): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (7): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (8): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (9): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (10): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (11): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (12): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (13): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (14): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (15): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (16): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (17): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - ) - (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - ) - (decoder): TransformerDecoder( - (embed): Sequential( - (0): Embedding(50002, 1024) - (1): PositionalEncoding( - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (output_layer): Linear(in_features=1024, out_features=50002, bias=True) - (decoders): MultiSequential( - (0): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (1): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (2): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (3): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (4): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (5): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (6): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (7): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (8): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (9): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (10): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (11): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (12): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (13): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (14): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (15): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (16): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (17): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - ) - (criterion_att): LabelSmoothingLoss( - (criterion): KLDivLoss() - ) - (ctc): CTC( - (ctc_lo): Linear(in_features=1024, out_features=50002, bias=True) - (ctc_loss): CTCLoss() - ) -) - -Model summary: - Class Name: ESPnetS2TModel - Total Number of model parameters: 1.02 B - Number of trainable parameters: 1.02 B (100.0%) - Size: 4.07 GB - Type: torch.float32 -[gpua010:0/64] 2023-12-15 16:32:42,884 (abs_task:1235) INFO: Optimizer: -AdamW ( -Parameter Group 0 - amsgrad: False - betas: [0.9, 0.98] - capturable: False - eps: 1e-06 - foreach: None - initial_lr: 0.0002 - lr: 1.6666666666666667e-09 - maximize: False - weight_decay: 0.0 -) -[gpua010:0/64] 2023-12-15 16:32:42,884 (abs_task:1236) INFO: Scheduler: PiecewiseLinearWarmupLR(warmup_steps_list=[0, 30000, 60000], warmup_lr_list=[0.0, 5e-05, 0.0002]) -[gpua010:0/64] 2023-12-15 16:32:42,928 (abs_task:1245) INFO: Saving the configuration in exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/config.yaml -[gpua010:0/64] 2023-12-15 16:32:50,049 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-15 16:32:51,075 (abs_task:1616) INFO: [valid] dataset: -ESPnetDataset( - speech: {"path": "dump/raw/dev_v3/wav.scp", "type": "kaldi_ark"} - text_prev: {"path": "dump/raw/dev_v3/text.prev", "type": "text"} - text_ctc: {"path": "dump/raw/dev_v3/text.ctc", "type": "text"} - text: {"path": "dump/raw/dev_v3/text", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-15 16:32:51,075 (abs_task:1617) INFO: [valid] Batch sampler: UnsortedBatchSampler(N-batch=4671, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/valid/speech_shape, -[gpua010:0/64] 2023-12-15 16:32:51,076 (abs_task:1618) INFO: [valid] mini-batch sizes summary: N-batch=4671, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-15 16:33:22,606 (trainer:159) INFO: The training was resumed using exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/checkpoint.pth -gpua010:692989:692989 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.10<0> -gpua010:692989:692989 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua010:692989:692989 [0] NCCL INFO cudaDriverVersion 12020 -NCCL version 2.14.3+cuda11.7 -[gpua010:0/64] 2023-12-15 16:33:28,904 (trainer:284) INFO: 35/40epoch started -[gpua010:0/64] 2023-12-15 16:33:28,991 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua010:0/64] 2023-12-15 16:33:46,915 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-15 16:33:50,371 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-15 16:33:50,371 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua010:0/64] 2023-12-15 16:33:50,375 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -gpua011:1214548:1214548 [2] NCCL INFO cudaDriverVersion 12020 -gpua011:1214548:1214548 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.11<0> -gpua011:1214548:1214548 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua011:1214548:1214622 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.11<0> -gpua011:1214548:1214622 [2] NCCL INFO Using network IB -gpua011:1214548:1214622 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua011:1214548:1214622 [2] NCCL INFO Trees [0] 7/-1/-1->6->5 [1] 7/-1/-1->6->5 -gpua011:1214548:1214622 [2] NCCL INFO Channel 00/0 : 6[85000] -> 7[c7000] via P2P/IPC/read -gpua011:1214548:1214622 [2] NCCL INFO Channel 01/0 : 6[85000] -> 7[c7000] via P2P/IPC/read -gpua011:1214548:1214622 [2] NCCL INFO Connected all rings -gpua011:1214548:1214622 [2] NCCL INFO Channel 00/0 : 6[85000] -> 5[46000] via P2P/IPC/read -gpua011:1214548:1214622 [2] NCCL INFO Channel 01/0 : 6[85000] -> 5[46000] via P2P/IPC/read -gpua011:1214548:1214622 [2] NCCL INFO Connected all trees -gpua011:1214548:1214622 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua011:1214548:1214622 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua011:1214548:1214622 [2] NCCL INFO comm 0x132cf540 rank 6 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua010:692992:692992 [3] NCCL INFO cudaDriverVersion 12020 -gpua010:692992:692992 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.10<0> -gpua010:692992:692992 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua010:692992:693066 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.10<0> -gpua010:692992:693066 [3] NCCL INFO Using network IB -gpua010:692992:693066 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua010:692992:693066 [3] NCCL INFO Trees [0] -1/-1/-1->3->2 [1] -1/-1/-1->3->2 -gpua010:692992:693066 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 -gpua010:692992:693066 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 -gpua010:692992:693066 [3] NCCL INFO Connected all rings -gpua010:692992:693066 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 2[85000] via P2P/IPC/read -gpua010:692992:693066 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 2[85000] via P2P/IPC/read -gpua010:692992:693066 [3] NCCL INFO Connected all trees -gpua011:1214549:1214549 [3] NCCL INFO cudaDriverVersion 12020 -gpua011:1214549:1214549 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.11<0> -gpua011:1214549:1214549 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua011:1214549:1214621 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.11<0> -gpua011:1214549:1214621 [3] NCCL INFO Using network IB -gpua011:1214549:1214621 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua011:1214549:1214621 [3] NCCL INFO Trees [0] -1/-1/-1->7->6 [1] -1/-1/-1->7->6 -gpua011:1214549:1214621 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 -gpua011:1214549:1214621 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 -gpua011:1214549:1214621 [3] NCCL INFO Connected all rings -gpua011:1214549:1214621 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 6[85000] via P2P/IPC/read -gpua011:1214549:1214621 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 6[85000] via P2P/IPC/read -gpua012:548191:548191 [3] NCCL INFO cudaDriverVersion 12020 -gpua012:548191:548191 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.12<0> -gpua012:548191:548191 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua012:548191:548256 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.12<0> -gpua012:548191:548256 [3] NCCL INFO Using network IB -gpua012:548191:548256 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua012:548191:548256 [3] NCCL INFO Trees [0] -1/-1/-1->11->10 [1] -1/-1/-1->11->10 -gpua012:548191:548256 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 -gpua012:548191:548256 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 -gpua012:548191:548256 [3] NCCL INFO Connected all rings -gpua012:548191:548256 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 10[85000] via P2P/IPC/read -gpua012:548191:548256 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 10[85000] via P2P/IPC/read -gpua067:1001715:1001715 [1] NCCL INFO cudaDriverVersion 12020 -gpua067:1001715:1001715 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.67<0> -gpua067:1001715:1001715 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua067:1001715:1001793 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.67<0> -gpua067:1001715:1001793 [1] NCCL INFO Using network IB -gpua067:1001715:1001793 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua067:1001715:1001793 [1] NCCL INFO Trees [0] 42/36/-1->41->40 [1] 42/-1/-1->41->40 -gpua067:1001715:1001793 [1] NCCL INFO Channel 00/0 : 41[46000] -> 42[85000] via P2P/IPC/read -gpua067:1001715:1001793 [1] NCCL INFO Channel 01/0 : 41[46000] -> 42[85000] via P2P/IPC/read -gpua067:1001715:1001793 [1] NCCL INFO Connected all rings -gpua067:1001715:1001793 [1] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [receive] via NET/IB/0 -gpua067:1001715:1001793 [1] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [send] via NET/IB/0 -gpua056:1663030:1663030 [0] NCCL INFO cudaDriverVersion 12020 -gpua056:1663030:1663030 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> -gpua056:1663030:1663030 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua056:1663030:1663104 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> -gpua056:1663030:1663104 [0] NCCL INFO Using network IB -gpua056:1663030:1663104 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua056:1663030:1663104 [0] NCCL INFO Trees [0] 37/-1/-1->36->41 [1] 37/32/-1->36->44 -gpua056:1663030:1663104 [0] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 -gpua056:1663030:1663104 [0] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 -gpua056:1663030:1663104 [0] NCCL INFO Channel 00/0 : 36[7000] -> 37[46000] via P2P/IPC/read -gpua056:1663030:1663104 [0] NCCL INFO Channel 01/0 : 36[7000] -> 37[46000] via P2P/IPC/read -gpua056:1663030:1663104 [0] NCCL INFO Connected all rings -gpua081:3492276:3492276 [0] NCCL INFO cudaDriverVersion 12020 -gpua081:3492276:3492276 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.81<0> -gpua081:3492276:3492276 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua081:3492276:3492347 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.81<0> -gpua081:3492276:3492347 [0] NCCL INFO Using network IB -gpua081:3492276:3492347 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua081:3492276:3492347 [0] NCCL INFO Trees [0] 49/56/-1->48->32 [1] 49/-1/-1->48->52 -gpua081:3492276:3492347 [0] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 -gpua081:3492276:3492347 [0] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 -gpua081:3492276:3492347 [0] NCCL INFO Channel 00/0 : 48[7000] -> 49[46000] via P2P/IPC/read -gpua081:3492276:3492347 [0] NCCL INFO Channel 01/0 : 48[7000] -> 49[46000] via P2P/IPC/read -gpua081:3492276:3492347 [0] NCCL INFO Connected all rings -gpua085:1759177:1759177 [3] NCCL INFO cudaDriverVersion 12020 -gpua085:1759177:1759177 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> -gpua085:1759177:1759177 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua085:1759177:1759244 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> -gpua085:1759177:1759244 [3] NCCL INFO Using network IB -gpua085:1759177:1759244 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua085:1759177:1759244 [3] NCCL INFO Trees [0] -1/-1/-1->55->54 [1] -1/-1/-1->55->54 -gpua085:1759177:1759244 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 -gpua085:1759177:1759244 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 -gpua085:1759177:1759244 [3] NCCL INFO Connected all rings -gpua085:1759177:1759244 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 54[85000] via P2P/IPC/read -gpua085:1759177:1759244 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 54[85000] via P2P/IPC/read -gpua080:3575782:3575782 [2] NCCL INFO cudaDriverVersion 12020 -gpua080:3575782:3575782 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.80<0> -gpua080:3575782:3575782 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua080:3575782:3575848 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.80<0> -gpua080:3575782:3575848 [2] NCCL INFO Using network IB -gpua080:3575782:3575848 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua080:3575782:3575848 [2] NCCL INFO Trees [0] 47/-1/-1->46->45 [1] 47/-1/-1->46->45 -gpua080:3575782:3575848 [2] NCCL INFO Channel 00/0 : 46[85000] -> 47[c7000] via P2P/IPC/read -gpua080:3575782:3575848 [2] NCCL INFO Channel 01/0 : 46[85000] -> 47[c7000] via P2P/IPC/read -gpua080:3575782:3575848 [2] NCCL INFO Connected all rings -gpua080:3575782:3575848 [2] NCCL INFO Channel 00/0 : 46[85000] -> 45[46000] via P2P/IPC/read -gpua080:3575782:3575848 [2] NCCL INFO Channel 01/0 : 46[85000] -> 45[46000] via P2P/IPC/read -gpua010:692992:693066 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua010:692992:693066 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua010:692992:693066 [3] NCCL INFO comm 0x4bb064d0 rank 3 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua011:1214549:1214621 [3] NCCL INFO Connected all trees -gpua011:1214549:1214621 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua011:1214549:1214621 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua011:1214549:1214621 [3] NCCL INFO comm 0xcea1f30 rank 7 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua012:548191:548256 [3] NCCL INFO Connected all trees -gpua012:548191:548256 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua012:548191:548256 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua012:548191:548256 [3] NCCL INFO comm 0xe3e9cb40 rank 11 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua012:548188:548188 [0] NCCL INFO cudaDriverVersion 12020 -gpua012:548188:548188 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.12<0> -gpua012:548188:548188 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua012:548188:548260 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.12<0> -gpua012:548188:548260 [0] NCCL INFO Using network IB -gpua012:548188:548260 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua012:548188:548260 [0] NCCL INFO Trees [0] 9/12/-1->8->17 [1] 9/-1/-1->8->5 -gpua012:548188:548260 [0] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 -gpua067:1001715:1001793 [1] NCCL INFO Channel 00/0 : 41[46000] -> 40[7000] via P2P/IPC/read -gpua067:1001715:1001793 [1] NCCL INFO Channel 01/0 : 41[46000] -> 40[7000] via P2P/IPC/read -gpua067:1001715:1001793 [1] NCCL INFO Connected all trees -gpua067:1001715:1001793 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua067:1001715:1001793 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua067:1001715:1001793 [1] NCCL INFO comm 0x4f10c9e0 rank 41 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua056:1663030:1663104 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [receive] via NET/IB/0 -gpua056:1663030:1663104 [0] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [send] via NET/IB/0 -gpua056:1663030:1663104 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [send] via NET/IB/0 -gpua056:1663030:1663104 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [receive] via NET/IB/0 -gpua056:1663030:1663104 [0] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [receive] via NET/IB/0 -gpua056:1663030:1663104 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [send] via NET/IB/0 -gpua056:1663030:1663104 [0] NCCL INFO Connected all trees -gpua056:1663030:1663104 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua056:1663030:1663104 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua056:1663030:1663104 [0] NCCL INFO comm 0x181ebc60 rank 36 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua081:3492276:3492347 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [send] via NET/IB/0 -gpua081:3492276:3492347 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [send] via NET/IB/0 -gpua081:3492276:3492347 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [receive] via NET/IB/0 -gpua081:3492276:3492347 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [send] via NET/IB/0 -gpua081:3492276:3492347 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [receive] via NET/IB/0 -gpua081:3492276:3492347 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [receive] via NET/IB/0 -gpua081:3492276:3492347 [0] NCCL INFO Connected all trees -gpua081:3492276:3492347 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua081:3492276:3492347 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua081:3492276:3492347 [0] NCCL INFO comm 0x4121f1f0 rank 48 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua085:1759177:1759244 [3] NCCL INFO Connected all trees -gpua085:1759177:1759244 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua085:1759177:1759244 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua085:1759177:1759244 [3] NCCL INFO comm 0xdd31def0 rank 55 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua080:3575782:3575848 [2] NCCL INFO Connected all trees -gpua080:3575782:3575848 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua080:3575782:3575848 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua080:3575782:3575848 [2] NCCL INFO comm 0xbdb3680 rank 46 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua011:1214546:1214546 [0] NCCL INFO cudaDriverVersion 12020 -gpua011:1214546:1214546 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.11<0> -gpua011:1214546:1214546 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua011:1214546:1214620 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.11<0> -gpua011:1214546:1214620 [0] NCCL INFO Using network IB -gpua011:1214546:1214620 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua011:1214546:1214620 [0] NCCL INFO Trees [0] 5/-1/-1->4->9 [1] 5/0/-1->4->12 -gpua011:1214546:1214620 [0] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 -gpua011:1214546:1214620 [0] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 -gpua011:1214546:1214620 [0] NCCL INFO Channel 00/0 : 4[7000] -> 5[46000] via P2P/IPC/read -gpua011:1214546:1214620 [0] NCCL INFO Channel 01/0 : 4[7000] -> 5[46000] via P2P/IPC/read -gpua011:1214546:1214620 [0] NCCL INFO Connected all rings -gpua012:548188:548260 [0] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 -gpua012:548188:548260 [0] NCCL INFO Channel 00/0 : 8[7000] -> 9[46000] via P2P/IPC/read -gpua012:548188:548260 [0] NCCL INFO Channel 01/0 : 8[7000] -> 9[46000] via P2P/IPC/read -gpua012:548188:548260 [0] NCCL INFO Connected all rings -gpua012:548188:548260 [0] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [receive] via NET/IB/0 -gpua012:548188:548260 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [send] via NET/IB/0 -gpua012:548188:548260 [0] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [send] via NET/IB/0 -gpua012:548188:548260 [0] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [receive] via NET/IB/0 -gpua012:548188:548260 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [receive] via NET/IB/0 -gpua012:548188:548260 [0] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [send] via NET/IB/0 -gpua012:548188:548260 [0] NCCL INFO Connected all trees -gpua012:548188:548260 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua067:1001714:1001714 [0] NCCL INFO cudaDriverVersion 12020 -gpua067:1001714:1001714 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.67<0> -gpua067:1001714:1001714 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua067:1001714:1001794 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.67<0> -gpua067:1001714:1001794 [0] NCCL INFO Using network IB -gpua067:1001714:1001794 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua067:1001714:1001794 [0] NCCL INFO Trees [0] 41/44/-1->40->49 [1] 41/-1/-1->40->37 -gpua067:1001714:1001794 [0] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 -gpua067:1001714:1001794 [0] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 -gpua067:1001714:1001794 [0] NCCL INFO Channel 00/0 : 40[7000] -> 41[46000] via P2P/IPC/read -gpua067:1001714:1001794 [0] NCCL INFO Channel 01/0 : 40[7000] -> 41[46000] via P2P/IPC/read -gpua067:1001714:1001794 [0] NCCL INFO Connected all rings -gpua085:1759176:1759176 [2] NCCL INFO cudaDriverVersion 12020 -gpua085:1759176:1759176 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> -gpua085:1759176:1759176 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua085:1759176:1759242 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> -gpua085:1759176:1759242 [2] NCCL INFO Using network IB -gpua085:1759176:1759242 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua085:1759176:1759242 [2] NCCL INFO Trees [0] 55/-1/-1->54->53 [1] 55/-1/-1->54->53 -gpua085:1759176:1759242 [2] NCCL INFO Channel 00/0 : 54[85000] -> 55[c7000] via P2P/IPC/read -gpua085:1759176:1759242 [2] NCCL INFO Channel 01/0 : 54[85000] -> 55[c7000] via P2P/IPC/read -gpua085:1759176:1759242 [2] NCCL INFO Connected all rings -gpua085:1759176:1759242 [2] NCCL INFO Channel 00/0 : 54[85000] -> 53[46000] via P2P/IPC/read -gpua085:1759176:1759242 [2] NCCL INFO Channel 01/0 : 54[85000] -> 53[46000] via P2P/IPC/read -gpua011:1214546:1214620 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [receive] via NET/IB/0 -gpua011:1214546:1214620 [0] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [send] via NET/IB/0 -gpua011:1214546:1214620 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [send] via NET/IB/0 -gpua011:1214546:1214620 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [receive] via NET/IB/0 -gpua011:1214546:1214620 [0] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [receive] via NET/IB/0 -gpua011:1214546:1214620 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [send] via NET/IB/0 -gpua011:1214546:1214620 [0] NCCL INFO Connected all trees -gpua011:1214546:1214620 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua011:1214546:1214620 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua011:1214546:1214620 [0] NCCL INFO comm 0x4c492ba0 rank 4 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua012:548188:548260 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua012:548188:548260 [0] NCCL INFO comm 0x14c5d500 rank 8 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua067:1001714:1001794 [0] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [receive] via NET/IB/0 -gpua067:1001714:1001794 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [send] via NET/IB/0 -gpua067:1001714:1001794 [0] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [send] via NET/IB/0 -gpua067:1001714:1001794 [0] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [receive] via NET/IB/0 -gpua067:1001714:1001794 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [receive] via NET/IB/0 -gpua067:1001714:1001794 [0] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [send] via NET/IB/0 -gpua067:1001714:1001794 [0] NCCL INFO Connected all trees -gpua067:1001714:1001794 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua067:1001714:1001794 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua067:1001714:1001794 [0] NCCL INFO comm 0xb3cb830 rank 40 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua085:1759176:1759242 [2] NCCL INFO Connected all trees -gpua085:1759176:1759242 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua085:1759176:1759242 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua085:1759176:1759242 [2] NCCL INFO comm 0xea3e900 rank 54 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua085:1759175:1759175 [1] NCCL INFO cudaDriverVersion 12020 -gpua085:1759175:1759175 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> -gpua085:1759175:1759175 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua085:1759175:1759246 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> -gpua085:1759175:1759246 [1] NCCL INFO Using network IB -gpua085:1759175:1759246 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua085:1759175:1759246 [1] NCCL INFO Trees [0] 54/-1/-1->53->52 [1] 54/56/-1->53->52 -gpua085:1759175:1759246 [1] NCCL INFO Channel 00/0 : 53[46000] -> 54[85000] via P2P/IPC/read -gpua085:1759175:1759246 [1] NCCL INFO Channel 01/0 : 53[46000] -> 54[85000] via P2P/IPC/read -gpua085:1759175:1759246 [1] NCCL INFO Connected all rings -gpua085:1759175:1759246 [1] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [send] via NET/IB/0 -gpua085:1759175:1759246 [1] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [receive] via NET/IB/0 -gpua085:1759175:1759246 [1] NCCL INFO Channel 00/0 : 53[46000] -> 52[7000] via P2P/IPC/read -gpua085:1759175:1759246 [1] NCCL INFO Channel 01/0 : 53[46000] -> 52[7000] via P2P/IPC/read -gpua085:1759175:1759246 [1] NCCL INFO Connected all trees -gpua085:1759175:1759246 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua085:1759175:1759246 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua085:1759175:1759246 [1] NCCL INFO comm 0x99c3ec90 rank 53 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua011:1214547:1214547 [1] NCCL INFO cudaDriverVersion 12020 -gpua011:1214547:1214547 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.11<0> -gpua011:1214547:1214547 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua011:1214547:1214624 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.11<0> -gpua011:1214547:1214624 [1] NCCL INFO Using network IB -gpua011:1214547:1214624 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua011:1214547:1214624 [1] NCCL INFO Trees [0] 6/-1/-1->5->4 [1] 6/8/-1->5->4 -gpua011:1214547:1214624 [1] NCCL INFO Channel 00/0 : 5[46000] -> 6[85000] via P2P/IPC/read -gpua011:1214547:1214624 [1] NCCL INFO Channel 01/0 : 5[46000] -> 6[85000] via P2P/IPC/read -gpua011:1214547:1214624 [1] NCCL INFO Connected all rings -gpua011:1214547:1214624 [1] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [send] via NET/IB/0 -gpua011:1214547:1214624 [1] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [receive] via NET/IB/0 -gpua011:1214547:1214624 [1] NCCL INFO Channel 00/0 : 5[46000] -> 4[7000] via P2P/IPC/read -gpua011:1214547:1214624 [1] NCCL INFO Channel 01/0 : 5[46000] -> 4[7000] via P2P/IPC/read -gpua011:1214547:1214624 [1] NCCL INFO Connected all trees -gpua011:1214547:1214624 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua011:1214547:1214624 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua011:1214547:1214624 [1] NCCL INFO comm 0xd45f020 rank 5 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua080:3575781:3575781 [1] NCCL INFO cudaDriverVersion 12020 -gpua080:3575781:3575781 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.80<0> -gpua080:3575781:3575781 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua080:3575781:3575850 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.80<0> -gpua080:3575781:3575850 [1] NCCL INFO Using network IB -gpua080:3575781:3575850 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua080:3575781:3575850 [1] NCCL INFO Trees [0] 46/-1/-1->45->44 [1] 46/52/-1->45->44 -gpua080:3575781:3575850 [1] NCCL INFO Channel 00/0 : 45[46000] -> 46[85000] via P2P/IPC/read -gpua080:3575781:3575850 [1] NCCL INFO Channel 01/0 : 45[46000] -> 46[85000] via P2P/IPC/read -gpua080:3575781:3575850 [1] NCCL INFO Connected all rings -gpua080:3575781:3575850 [1] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [send] via NET/IB/0 -gpua080:3575781:3575850 [1] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [receive] via NET/IB/0 -gpua080:3575781:3575850 [1] NCCL INFO Channel 00/0 : 45[46000] -> 44[7000] via P2P/IPC/read -gpua080:3575781:3575850 [1] NCCL INFO Channel 01/0 : 45[46000] -> 44[7000] via P2P/IPC/read -gpua080:3575781:3575850 [1] NCCL INFO Connected all trees -gpua080:3575781:3575850 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua080:3575781:3575850 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua080:3575781:3575850 [1] NCCL INFO comm 0x16c4e730 rank 45 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua067:1001717:1001717 [3] NCCL INFO cudaDriverVersion 12020 -gpua067:1001717:1001717 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.67<0> -gpua067:1001717:1001717 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua067:1001717:1001798 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.67<0> -gpua067:1001717:1001798 [3] NCCL INFO Using network IB -gpua067:1001717:1001798 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua067:1001717:1001798 [3] NCCL INFO Trees [0] -1/-1/-1->43->42 [1] -1/-1/-1->43->42 -gpua067:1001717:1001798 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 -gpua067:1001717:1001798 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 -gpua067:1001717:1001798 [3] NCCL INFO Connected all rings -gpua067:1001717:1001798 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 42[85000] via P2P/IPC/read -gpua067:1001717:1001798 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 42[85000] via P2P/IPC/read -gpua028:1145082:1145082 [0] NCCL INFO cudaDriverVersion 12020 -gpua028:1145082:1145082 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.28<0> -gpua028:1145082:1145082 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua028:1145082:1145155 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.28<0> -gpua028:1145082:1145155 [0] NCCL INFO Using network IB -gpua028:1145082:1145155 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua028:1145082:1145155 [0] NCCL INFO Trees [0] 17/24/-1->16->33 [1] 17/-1/-1->16->20 -gpua028:1145082:1145155 [0] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 -gpua028:1145082:1145155 [0] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 -gpua028:1145082:1145155 [0] NCCL INFO Channel 00/0 : 16[7000] -> 17[46000] via P2P/IPC/read -gpua028:1145082:1145155 [0] NCCL INFO Channel 01/0 : 16[7000] -> 17[46000] via P2P/IPC/read -gpua028:1145082:1145155 [0] NCCL INFO Connected all rings -gpua067:1001717:1001798 [3] NCCL INFO Connected all trees -gpua067:1001717:1001798 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua067:1001717:1001798 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua067:1001717:1001798 [3] NCCL INFO comm 0x4c73a120 rank 43 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua080:3575780:3575780 [0] NCCL INFO cudaDriverVersion 12020 -gpua080:3575780:3575780 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.80<0> -gpua080:3575780:3575780 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua080:3575780:3575847 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.80<0> -gpua080:3575780:3575847 [0] NCCL INFO Using network IB -gpua080:3575780:3575847 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua080:3575780:3575847 [0] NCCL INFO Trees [0] 45/-1/-1->44->40 [1] 45/36/-1->44->29 -gpua080:3575780:3575847 [0] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 -gpua080:3575780:3575847 [0] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 -gpua080:3575780:3575847 [0] NCCL INFO Channel 00/0 : 44[7000] -> 45[46000] via P2P/IPC/read -gpua080:3575780:3575847 [0] NCCL INFO Channel 01/0 : 44[7000] -> 45[46000] via P2P/IPC/read -gpua080:3575780:3575847 [0] NCCL INFO Connected all rings -gpua010:692990:692990 [1] NCCL INFO cudaDriverVersion 12020 -gpua010:692990:692990 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.10<0> -gpua010:692990:692990 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua010:692990:693065 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.10<0> -gpua010:692990:693065 [1] NCCL INFO Using network IB -gpua010:692990:693065 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua010:692990:693065 [1] NCCL INFO Trees [0] 2/-1/-1->1->0 [1] 2/-1/-1->1->0 -gpua010:692990:693065 [1] NCCL INFO Channel 00/0 : 1[46000] -> 2[85000] via P2P/IPC/read -gpua010:692990:693065 [1] NCCL INFO Channel 01/0 : 1[46000] -> 2[85000] via P2P/IPC/read -gpua010:692990:693065 [1] NCCL INFO Connected all rings -gpua010:692990:693065 [1] NCCL INFO Channel 00/0 : 1[46000] -> 0[7000] via P2P/IPC/read -gpua010:692990:693065 [1] NCCL INFO Channel 01/0 : 1[46000] -> 0[7000] via P2P/IPC/read -gpua028:1145082:1145155 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [send] via NET/IB/0 -gpua028:1145082:1145155 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [send] via NET/IB/0 -gpua028:1145082:1145155 [0] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [send] via NET/IB/0 -gpua028:1145082:1145155 [0] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [receive] via NET/IB/0 -gpua028:1145082:1145155 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [receive] via NET/IB/0 -gpua028:1145082:1145155 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [receive] via NET/IB/0 -gpua028:1145082:1145155 [0] NCCL INFO Connected all trees -gpua028:1145082:1145155 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua028:1145082:1145155 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua028:1145082:1145155 [0] NCCL INFO comm 0xc9e19d0 rank 16 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua080:3575780:3575847 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [receive] via NET/IB/0 -gpua080:3575780:3575847 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [receive] via NET/IB/0 -gpua080:3575780:3575847 [0] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [receive] via NET/IB/0 -gpua080:3575780:3575847 [0] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [send] via NET/IB/0 -gpua080:3575780:3575847 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [send] via NET/IB/0 -gpua080:3575780:3575847 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [send] via NET/IB/0 -gpua080:3575780:3575847 [0] NCCL INFO Connected all trees -gpua080:3575780:3575847 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua080:3575780:3575847 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua080:3575780:3575847 [0] NCCL INFO comm 0x1d14dea0 rank 44 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua010:692990:693065 [1] NCCL INFO Connected all trees -gpua010:692990:693065 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua010:692990:693065 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua010:692990:693065 [1] NCCL INFO comm 0x24d52510 rank 1 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua080:3575783:3575783 [3] NCCL INFO cudaDriverVersion 12020 -gpua080:3575783:3575783 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.80<0> -gpua080:3575783:3575783 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua080:3575783:3575849 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.80<0> -gpua080:3575783:3575849 [3] NCCL INFO Using network IB -gpua080:3575783:3575849 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua080:3575783:3575849 [3] NCCL INFO Trees [0] -1/-1/-1->47->46 [1] -1/-1/-1->47->46 -gpua080:3575783:3575849 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 -gpua080:3575783:3575849 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 -gpua080:3575783:3575849 [3] NCCL INFO Connected all rings -gpua080:3575783:3575849 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 46[85000] via P2P/IPC/read -gpua080:3575783:3575849 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 46[85000] via P2P/IPC/read -gpua080:3575783:3575849 [3] NCCL INFO Connected all trees -gpua080:3575783:3575849 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua080:3575783:3575849 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua080:3575783:3575849 [3] NCCL INFO comm 0xc4b0cf0 rank 47 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua028:1145084:1145084 [2] NCCL INFO cudaDriverVersion 12020 -gpua028:1145084:1145084 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.28<0> -gpua028:1145084:1145084 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua028:1145084:1145157 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.28<0> -gpua028:1145084:1145157 [2] NCCL INFO Using network IB -gpua028:1145084:1145157 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua028:1145084:1145157 [2] NCCL INFO Trees [0] 19/-1/-1->18->17 [1] 19/-1/-1->18->17 -gpua028:1145084:1145157 [2] NCCL INFO Channel 00/0 : 18[85000] -> 19[c7000] via P2P/IPC/read -gpua028:1145084:1145157 [2] NCCL INFO Channel 01/0 : 18[85000] -> 19[c7000] via P2P/IPC/read -gpua028:1145084:1145157 [2] NCCL INFO Connected all rings -gpua028:1145084:1145157 [2] NCCL INFO Channel 00/0 : 18[85000] -> 17[46000] via P2P/IPC/read -gpua028:1145084:1145157 [2] NCCL INFO Channel 01/0 : 18[85000] -> 17[46000] via P2P/IPC/read -gpua028:1145084:1145157 [2] NCCL INFO Connected all trees -gpua028:1145084:1145157 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua028:1145084:1145157 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua028:1145084:1145157 [2] NCCL INFO comm 0xb6e6630 rank 18 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua014:553261:553261 [2] NCCL INFO cudaDriverVersion 12020 -gpua014:553261:553261 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.14<0> -gpua014:553261:553261 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua014:553261:553340 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.14<0> -gpua014:553261:553340 [2] NCCL INFO Using network IB -gpua014:553261:553340 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua014:553261:553340 [2] NCCL INFO Trees [0] 15/-1/-1->14->13 [1] 15/-1/-1->14->13 -gpua014:553261:553340 [2] NCCL INFO Channel 00/0 : 14[85000] -> 15[c7000] via P2P/IPC/read -gpua014:553261:553340 [2] NCCL INFO Channel 01/0 : 14[85000] -> 15[c7000] via P2P/IPC/read -gpua014:553261:553340 [2] NCCL INFO Connected all rings -gpua014:553261:553340 [2] NCCL INFO Channel 00/0 : 14[85000] -> 13[46000] via P2P/IPC/read -gpua014:553261:553340 [2] NCCL INFO Channel 01/0 : 14[85000] -> 13[46000] via P2P/IPC/read -gpua014:553261:553340 [2] NCCL INFO Connected all trees -gpua014:553261:553340 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua014:553261:553340 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua014:553261:553340 [2] NCCL INFO comm 0x254bfb80 rank 14 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua032:892274:892274 [0] NCCL INFO cudaDriverVersion 12020 -gpua032:892274:892274 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.32<0> -gpua032:892274:892274 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua032:892274:892344 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.32<0> -gpua032:892274:892344 [0] NCCL INFO Using network IB -gpua032:892274:892344 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua032:892274:892344 [0] NCCL INFO Trees [0] 25/28/-1->24->16 [1] 25/-1/-1->24->21 -gpua032:892274:892344 [0] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 -gpua032:892274:892344 [0] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 -gpua032:892274:892344 [0] NCCL INFO Channel 00/0 : 24[7000] -> 25[46000] via P2P/IPC/read -gpua032:892274:892344 [0] NCCL INFO Channel 01/0 : 24[7000] -> 25[46000] via P2P/IPC/read -gpua032:892274:892344 [0] NCCL INFO Connected all rings -gpua032:892274:892344 [0] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [receive] via NET/IB/0 -gpua032:892274:892344 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [send] via NET/IB/0 -gpua032:892274:892344 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [receive] via NET/IB/0 -gpua032:892274:892344 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [send] via NET/IB/0 -gpua032:892274:892344 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [receive] via NET/IB/0 -gpua032:892274:892344 [0] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [send] via NET/IB/0 -gpua032:892274:892344 [0] NCCL INFO Connected all trees -gpua032:892274:892344 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua032:892274:892344 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua032:892274:892344 [0] NCCL INFO comm 0x28dc99a0 rank 24 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua012:548189:548189 [1] NCCL INFO cudaDriverVersion 12020 -gpua012:548189:548189 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.12<0> -gpua012:548189:548189 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua012:548189:548254 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.12<0> -gpua012:548189:548254 [1] NCCL INFO Using network IB -gpua012:548189:548254 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua012:548189:548254 [1] NCCL INFO Trees [0] 10/4/-1->9->8 [1] 10/-1/-1->9->8 -gpua012:548189:548254 [1] NCCL INFO Channel 00/0 : 9[46000] -> 10[85000] via P2P/IPC/read -gpua012:548189:548254 [1] NCCL INFO Channel 01/0 : 9[46000] -> 10[85000] via P2P/IPC/read -gpua012:548189:548254 [1] NCCL INFO Connected all rings -gpua012:548189:548254 [1] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [receive] via NET/IB/0 -gpua012:548189:548254 [1] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [send] via NET/IB/0 -gpua012:548189:548254 [1] NCCL INFO Channel 00/0 : 9[46000] -> 8[7000] via P2P/IPC/read -gpua012:548189:548254 [1] NCCL INFO Channel 01/0 : 9[46000] -> 8[7000] via P2P/IPC/read -gpua012:548189:548254 [1] NCCL INFO Connected all trees -gpua012:548189:548254 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua012:548189:548254 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua012:548189:548254 [1] NCCL INFO comm 0xbc2aa40 rank 9 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua031:1272356:1272356 [0] NCCL INFO cudaDriverVersion 12020 -gpua031:1272356:1272356 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> -gpua031:1272356:1272356 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua031:1272356:1272437 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> -gpua031:1272356:1272437 [0] NCCL INFO Using network IB -gpua031:1272356:1272437 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua031:1272356:1272437 [0] NCCL INFO Trees [0] 21/-1/-1->20->25 [1] 21/16/-1->20->13 -gpua031:1272356:1272437 [0] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 -gpua031:1272356:1272437 [0] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 -gpua031:1272356:1272437 [0] NCCL INFO Channel 00/0 : 20[7000] -> 21[46000] via P2P/IPC/read -gpua031:1272356:1272437 [0] NCCL INFO Channel 01/0 : 20[7000] -> 21[46000] via P2P/IPC/read -gpua031:1272356:1272437 [0] NCCL INFO Connected all rings -gpua031:1272356:1272437 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [receive] via NET/IB/0 -gpua031:1272356:1272437 [0] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [send] via NET/IB/0 -gpua031:1272356:1272437 [0] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [receive] via NET/IB/0 -gpua031:1272356:1272437 [0] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [send] via NET/IB/0 -gpua031:1272356:1272437 [0] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [receive] via NET/IB/0 -gpua031:1272356:1272437 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [send] via NET/IB/0 -gpua031:1272356:1272437 [0] NCCL INFO Connected all trees -gpua031:1272356:1272437 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua031:1272356:1272437 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua031:1272356:1272437 [0] NCCL INFO comm 0xef96050 rank 20 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua067:1001716:1001716 [2] NCCL INFO cudaDriverVersion 12020 -gpua067:1001716:1001716 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.67<0> -gpua067:1001716:1001716 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua067:1001716:1001797 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.67<0> -gpua067:1001716:1001797 [2] NCCL INFO Using network IB -gpua067:1001716:1001797 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua067:1001716:1001797 [2] NCCL INFO Trees [0] 43/-1/-1->42->41 [1] 43/-1/-1->42->41 -gpua067:1001716:1001797 [2] NCCL INFO Channel 00/0 : 42[85000] -> 43[c7000] via P2P/IPC/read -gpua067:1001716:1001797 [2] NCCL INFO Channel 01/0 : 42[85000] -> 43[c7000] via P2P/IPC/read -gpua067:1001716:1001797 [2] NCCL INFO Connected all rings -gpua067:1001716:1001797 [2] NCCL INFO Channel 00/0 : 42[85000] -> 41[46000] via P2P/IPC/read -gpua067:1001716:1001797 [2] NCCL INFO Channel 01/0 : 42[85000] -> 41[46000] via P2P/IPC/read -gpua067:1001716:1001797 [2] NCCL INFO Connected all trees -gpua067:1001716:1001797 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua067:1001716:1001797 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua067:1001716:1001797 [2] NCCL INFO comm 0xea6042a0 rank 42 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua032:892276:892276 [2] NCCL INFO cudaDriverVersion 12020 -gpua032:892276:892276 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.32<0> -gpua032:892276:892276 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua032:892276:892349 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.32<0> -gpua032:892276:892349 [2] NCCL INFO Using network IB -gpua032:892276:892349 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua032:892276:892349 [2] NCCL INFO Trees [0] 27/-1/-1->26->25 [1] 27/-1/-1->26->25 -gpua032:892276:892349 [2] NCCL INFO Channel 00/0 : 26[85000] -> 27[c7000] via P2P/IPC/read -gpua032:892276:892349 [2] NCCL INFO Channel 01/0 : 26[85000] -> 27[c7000] via P2P/IPC/read -gpua032:892276:892349 [2] NCCL INFO Connected all rings -gpua032:892276:892349 [2] NCCL INFO Channel 00/0 : 26[85000] -> 25[46000] via P2P/IPC/read -gpua032:892276:892349 [2] NCCL INFO Channel 01/0 : 26[85000] -> 25[46000] via P2P/IPC/read -gpua032:892276:892349 [2] NCCL INFO Connected all trees -gpua032:892276:892349 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua032:892276:892349 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua032:892276:892349 [2] NCCL INFO comm 0x119add40 rank 26 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua088:2258974:2258974 [0] NCCL INFO cudaDriverVersion 12020 -gpua088:2258974:2258974 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.88<0> -gpua088:2258974:2258974 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua088:2258974:2259045 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.88<0> -gpua088:2258974:2259045 [0] NCCL INFO Using network IB -gpua088:2258974:2259045 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua088:2258974:2259045 [0] NCCL INFO Trees [0] 61/-1/-1->60->56 [1] 61/28/-1->60->-1 -gpua088:2258974:2259045 [0] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 -gpua088:2258974:2259045 [0] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 -gpua088:2258974:2259045 [0] NCCL INFO Channel 00/0 : 60[7000] -> 61[46000] via P2P/IPC/read -gpua088:2258974:2259045 [0] NCCL INFO Channel 01/0 : 60[7000] -> 61[46000] via P2P/IPC/read -gpua088:2258974:2259045 [0] NCCL INFO Connected all rings -gpua088:2258974:2259045 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [receive] via NET/IB/0 -gpua088:2258974:2259045 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [receive] via NET/IB/0 -gpua088:2258974:2259045 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [send] via NET/IB/0 -gpua088:2258974:2259045 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [send] via NET/IB/0 -gpua088:2258974:2259045 [0] NCCL INFO Connected all trees -gpua088:2258974:2259045 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua088:2258974:2259045 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua088:2258974:2259045 [0] NCCL INFO comm 0x997ac020 rank 60 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua056:1663032:1663032 [2] NCCL INFO cudaDriverVersion 12020 -gpua056:1663032:1663032 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> -gpua056:1663032:1663032 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua056:1663032:1663103 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> -gpua056:1663032:1663103 [2] NCCL INFO Using network IB -gpua056:1663032:1663103 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua056:1663032:1663103 [2] NCCL INFO Trees [0] 39/-1/-1->38->37 [1] 39/-1/-1->38->37 -gpua056:1663032:1663103 [2] NCCL INFO Channel 00/0 : 38[85000] -> 39[c7000] via P2P/IPC/read -gpua056:1663032:1663103 [2] NCCL INFO Channel 01/0 : 38[85000] -> 39[c7000] via P2P/IPC/read -gpua056:1663032:1663103 [2] NCCL INFO Connected all rings -gpua056:1663032:1663103 [2] NCCL INFO Channel 00/0 : 38[85000] -> 37[46000] via P2P/IPC/read -gpua056:1663032:1663103 [2] NCCL INFO Channel 01/0 : 38[85000] -> 37[46000] via P2P/IPC/read -gpua056:1663032:1663103 [2] NCCL INFO Connected all trees -gpua056:1663032:1663103 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua056:1663032:1663103 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua056:1663032:1663103 [2] NCCL INFO comm 0x123c37b0 rank 38 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua032:892277:892277 [3] NCCL INFO cudaDriverVersion 12020 -gpua032:892277:892277 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.32<0> -gpua032:892277:892277 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua032:892277:892345 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.32<0> -gpua032:892277:892345 [3] NCCL INFO Using network IB -gpua032:892277:892345 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua032:892277:892345 [3] NCCL INFO Trees [0] -1/-1/-1->27->26 [1] -1/-1/-1->27->26 -gpua032:892277:892345 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 -gpua032:892277:892345 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 -gpua032:892277:892345 [3] NCCL INFO Connected all rings -gpua032:892277:892345 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 26[85000] via P2P/IPC/read -gpua032:892277:892345 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 26[85000] via P2P/IPC/read -gpua032:892277:892345 [3] NCCL INFO Connected all trees -gpua032:892277:892345 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua032:892277:892345 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua032:892277:892345 [3] NCCL INFO comm 0x985f8f0 rank 27 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua056:1663033:1663033 [3] NCCL INFO cudaDriverVersion 12020 -gpua056:1663033:1663033 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> -gpua056:1663033:1663033 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua056:1663033:1663101 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> -gpua056:1663033:1663101 [3] NCCL INFO Using network IB -gpua056:1663033:1663101 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua056:1663033:1663101 [3] NCCL INFO Trees [0] -1/-1/-1->39->38 [1] -1/-1/-1->39->38 -gpua056:1663033:1663101 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 -gpua056:1663033:1663101 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 -gpua056:1663033:1663101 [3] NCCL INFO Connected all rings -gpua056:1663033:1663101 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 38[85000] via P2P/IPC/read -gpua056:1663033:1663101 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 38[85000] via P2P/IPC/read -gpua056:1663033:1663101 [3] NCCL INFO Connected all trees -gpua056:1663033:1663101 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua056:1663033:1663101 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua056:1663033:1663101 [3] NCCL INFO comm 0x22662390 rank 39 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua055:981318:981318 [2] NCCL INFO cudaDriverVersion 12020 -gpua055:981318:981318 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> -gpua055:981318:981318 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua055:981318:981389 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> -gpua055:981318:981389 [2] NCCL INFO Using network IB -gpua055:981318:981389 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua055:981318:981389 [2] NCCL INFO Trees [0] 35/-1/-1->34->33 [1] 35/-1/-1->34->33 -gpua055:981318:981389 [2] NCCL INFO Channel 00/0 : 34[85000] -> 35[c7000] via P2P/IPC/read -gpua055:981318:981389 [2] NCCL INFO Channel 01/0 : 34[85000] -> 35[c7000] via P2P/IPC/read -gpua055:981318:981389 [2] NCCL INFO Connected all rings -gpua055:981318:981389 [2] NCCL INFO Channel 00/0 : 34[85000] -> 33[46000] via P2P/IPC/read -gpua055:981318:981389 [2] NCCL INFO Channel 01/0 : 34[85000] -> 33[46000] via P2P/IPC/read -gpua014:553260:553260 [1] NCCL INFO cudaDriverVersion 12020 -gpua014:553260:553260 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.14<0> -gpua014:553260:553260 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua014:553260:553338 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.14<0> -gpua014:553260:553338 [1] NCCL INFO Using network IB -gpua014:553260:553338 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua014:553260:553338 [1] NCCL INFO Trees [0] 14/-1/-1->13->12 [1] 14/20/-1->13->12 -gpua014:553260:553338 [1] NCCL INFO Channel 00/0 : 13[46000] -> 14[85000] via P2P/IPC/read -gpua014:553260:553338 [1] NCCL INFO Channel 01/0 : 13[46000] -> 14[85000] via P2P/IPC/read -gpua014:553260:553338 [1] NCCL INFO Connected all rings -gpua014:553260:553338 [1] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [send] via NET/IB/0 -gpua014:553260:553338 [1] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [receive] via NET/IB/0 -gpua055:981318:981389 [2] NCCL INFO Connected all trees -gpua055:981318:981389 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua055:981318:981389 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua055:981318:981389 [2] NCCL INFO comm 0x9a193aa0 rank 34 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua014:553260:553338 [1] NCCL INFO Channel 00/0 : 13[46000] -> 12[7000] via P2P/IPC/read -gpua014:553260:553338 [1] NCCL INFO Channel 01/0 : 13[46000] -> 12[7000] via P2P/IPC/read -gpua014:553260:553338 [1] NCCL INFO Connected all trees -gpua014:553260:553338 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua014:553260:553338 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua014:553260:553338 [1] NCCL INFO comm 0x9a4efe10 rank 13 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua012:548190:548190 [2] NCCL INFO cudaDriverVersion 12020 -gpua012:548190:548190 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.12<0> -gpua012:548190:548190 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua012:548190:548255 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.12<0> -gpua012:548190:548255 [2] NCCL INFO Using network IB -gpua012:548190:548255 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua012:548190:548255 [2] NCCL INFO Trees [0] 11/-1/-1->10->9 [1] 11/-1/-1->10->9 -gpua012:548190:548255 [2] NCCL INFO Channel 00/0 : 10[85000] -> 11[c7000] via P2P/IPC/read -gpua012:548190:548255 [2] NCCL INFO Channel 01/0 : 10[85000] -> 11[c7000] via P2P/IPC/read -gpua012:548190:548255 [2] NCCL INFO Connected all rings -gpua012:548190:548255 [2] NCCL INFO Channel 00/0 : 10[85000] -> 9[46000] via P2P/IPC/read -gpua012:548190:548255 [2] NCCL INFO Channel 01/0 : 10[85000] -> 9[46000] via P2P/IPC/read -gpua012:548190:548255 [2] NCCL INFO Connected all trees -gpua012:548190:548255 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua012:548190:548255 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua012:548190:548255 [2] NCCL INFO comm 0xed1f4ee0 rank 10 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua014:553259:553259 [0] NCCL INFO cudaDriverVersion 12020 -gpua014:553259:553259 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.14<0> -gpua014:553259:553259 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua014:553259:553337 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.14<0> -gpua014:553259:553337 [0] NCCL INFO Using network IB -gpua014:553259:553337 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua014:553259:553337 [0] NCCL INFO Trees [0] 13/-1/-1->12->8 [1] 13/4/-1->12->28 -gpua014:553259:553337 [0] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 -gpua014:553259:553337 [0] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 -gpua014:553259:553337 [0] NCCL INFO Channel 00/0 : 12[7000] -> 13[46000] via P2P/IPC/read -gpua014:553259:553337 [0] NCCL INFO Channel 01/0 : 12[7000] -> 13[46000] via P2P/IPC/read -gpua014:553259:553337 [0] NCCL INFO Connected all rings -gpua014:553259:553337 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [receive] via NET/IB/0 -gpua014:553259:553337 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [receive] via NET/IB/0 -gpua014:553259:553337 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [send] via NET/IB/0 -gpua014:553259:553337 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [receive] via NET/IB/0 -gpua014:553259:553337 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [send] via NET/IB/0 -gpua014:553259:553337 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [send] via NET/IB/0 -gpua014:553259:553337 [0] NCCL INFO Connected all trees -gpua014:553259:553337 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua014:553259:553337 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua014:553259:553337 [0] NCCL INFO comm 0xec0bf4e0 rank 12 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua014:553262:553262 [3] NCCL INFO cudaDriverVersion 12020 -gpua014:553262:553262 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.14<0> -gpua014:553262:553262 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua014:553262:553335 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.14<0> -gpua014:553262:553335 [3] NCCL INFO Using network IB -gpua014:553262:553335 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua014:553262:553335 [3] NCCL INFO Trees [0] -1/-1/-1->15->14 [1] -1/-1/-1->15->14 -gpua014:553262:553335 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 -gpua014:553262:553335 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 -gpua014:553262:553335 [3] NCCL INFO Connected all rings -gpua014:553262:553335 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 14[85000] via P2P/IPC/read -gpua014:553262:553335 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 14[85000] via P2P/IPC/read -gpua014:553262:553335 [3] NCCL INFO Connected all trees -gpua014:553262:553335 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua014:553262:553335 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua014:553262:553335 [3] NCCL INFO comm 0xe9270c60 rank 15 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua085:1759174:1759174 [0] NCCL INFO cudaDriverVersion 12020 -gpua085:1759174:1759174 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> -gpua085:1759174:1759174 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua085:1759174:1759245 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> -gpua085:1759174:1759245 [0] NCCL INFO Using network IB -gpua085:1759174:1759245 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua085:1759174:1759245 [0] NCCL INFO Trees [0] 53/-1/-1->52->57 [1] 53/48/-1->52->45 -gpua085:1759174:1759245 [0] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 -gpua085:1759174:1759245 [0] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 -gpua085:1759174:1759245 [0] NCCL INFO Channel 00/0 : 52[7000] -> 53[46000] via P2P/IPC/read -gpua085:1759174:1759245 [0] NCCL INFO Channel 01/0 : 52[7000] -> 53[46000] via P2P/IPC/read -gpua085:1759174:1759245 [0] NCCL INFO Connected all rings -gpua085:1759174:1759245 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [receive] via NET/IB/0 -gpua085:1759174:1759245 [0] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [send] via NET/IB/0 -gpua085:1759174:1759245 [0] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [receive] via NET/IB/0 -gpua085:1759174:1759245 [0] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [send] via NET/IB/0 -gpua085:1759174:1759245 [0] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [receive] via NET/IB/0 -gpua085:1759174:1759245 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [send] via NET/IB/0 -gpua085:1759174:1759245 [0] NCCL INFO Connected all trees -gpua085:1759174:1759245 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua085:1759174:1759245 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua085:1759174:1759245 [0] NCCL INFO comm 0x9d160610 rank 52 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua086:1201709:1201709 [0] NCCL INFO cudaDriverVersion 12020 -gpua086:1201709:1201709 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> -gpua086:1201709:1201709 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua086:1201709:1201777 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> -gpua086:1201709:1201777 [0] NCCL INFO Using network IB -gpua086:1201709:1201777 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua086:1201709:1201777 [0] NCCL INFO Trees [0] 57/60/-1->56->48 [1] 57/-1/-1->56->53 -gpua086:1201709:1201777 [0] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 -gpua086:1201709:1201777 [0] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 -gpua086:1201709:1201777 [0] NCCL INFO Channel 00/0 : 56[7000] -> 57[46000] via P2P/IPC/read -gpua086:1201709:1201777 [0] NCCL INFO Channel 01/0 : 56[7000] -> 57[46000] via P2P/IPC/read -gpua086:1201709:1201777 [0] NCCL INFO Connected all rings -gpua028:1145085:1145085 [3] NCCL INFO cudaDriverVersion 12020 -gpua028:1145085:1145085 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.28<0> -gpua028:1145085:1145085 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua028:1145085:1145153 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.28<0> -gpua028:1145085:1145153 [3] NCCL INFO Using network IB -gpua028:1145085:1145153 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua028:1145085:1145153 [3] NCCL INFO Trees [0] -1/-1/-1->19->18 [1] -1/-1/-1->19->18 -gpua028:1145085:1145153 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 -gpua028:1145085:1145153 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 -gpua028:1145085:1145153 [3] NCCL INFO Connected all rings -gpua028:1145085:1145153 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 18[85000] via P2P/IPC/read -gpua028:1145085:1145153 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 18[85000] via P2P/IPC/read -gpua086:1201709:1201777 [0] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [receive] via NET/IB/0 -gpua086:1201709:1201777 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [send] via NET/IB/0 -gpua086:1201709:1201777 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [receive] via NET/IB/0 -gpua086:1201709:1201777 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [send] via NET/IB/0 -gpua086:1201709:1201777 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [receive] via NET/IB/0 -gpua086:1201709:1201777 [0] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [send] via NET/IB/0 -gpua086:1201709:1201777 [0] NCCL INFO Connected all trees -gpua086:1201709:1201777 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua086:1201709:1201777 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua086:1201709:1201777 [0] NCCL INFO comm 0xca2a370 rank 56 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua028:1145085:1145153 [3] NCCL INFO Connected all trees -gpua028:1145085:1145153 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua028:1145085:1145153 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua028:1145085:1145153 [3] NCCL INFO comm 0x138749d0 rank 19 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua081:3492279:3492279 [3] NCCL INFO cudaDriverVersion 12020 -gpua081:3492279:3492279 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.81<0> -gpua081:3492279:3492279 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua081:3492279:3492346 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.81<0> -gpua081:3492279:3492346 [3] NCCL INFO Using network IB -gpua081:3492279:3492346 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua081:3492279:3492346 [3] NCCL INFO Trees [0] -1/-1/-1->51->50 [1] -1/-1/-1->51->50 -gpua081:3492279:3492346 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 -gpua081:3492279:3492346 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 -gpua081:3492279:3492346 [3] NCCL INFO Connected all rings -gpua081:3492279:3492346 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 50[85000] via P2P/IPC/read -gpua081:3492279:3492346 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 50[85000] via P2P/IPC/read -gpua081:3492279:3492346 [3] NCCL INFO Connected all trees -gpua081:3492279:3492346 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua081:3492279:3492346 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua081:3492279:3492346 [3] NCCL INFO comm 0x4aa52850 rank 51 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua028:1145083:1145083 [1] NCCL INFO cudaDriverVersion 12020 -gpua028:1145083:1145083 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.28<0> -gpua028:1145083:1145083 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua028:1145083:1145159 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.28<0> -gpua028:1145083:1145159 [1] NCCL INFO Using network IB -gpua028:1145083:1145159 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua028:1145083:1145159 [1] NCCL INFO Trees [0] 18/8/-1->17->16 [1] 18/-1/-1->17->16 -gpua028:1145083:1145159 [1] NCCL INFO Channel 00/0 : 17[46000] -> 18[85000] via P2P/IPC/read -gpua028:1145083:1145159 [1] NCCL INFO Channel 01/0 : 17[46000] -> 18[85000] via P2P/IPC/read -gpua028:1145083:1145159 [1] NCCL INFO Connected all rings -gpua028:1145083:1145159 [1] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [receive] via NET/IB/0 -gpua028:1145083:1145159 [1] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [send] via NET/IB/0 -gpua028:1145083:1145159 [1] NCCL INFO Channel 00/0 : 17[46000] -> 16[7000] via P2P/IPC/read -gpua028:1145083:1145159 [1] NCCL INFO Channel 01/0 : 17[46000] -> 16[7000] via P2P/IPC/read -gpua028:1145083:1145159 [1] NCCL INFO Connected all trees -gpua028:1145083:1145159 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua028:1145083:1145159 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua028:1145083:1145159 [1] NCCL INFO comm 0xe27a720 rank 17 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua010:692989:693064 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.10<0> -gpua010:692989:693064 [0] NCCL INFO Using network IB -gpua010:692989:693064 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua010:692989:693064 [0] NCCL INFO Channel 00/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 -gpua010:692989:693064 [0] NCCL INFO Channel 01/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 -gpua010:692989:693064 [0] NCCL INFO Trees [0] 1/32/-1->0->-1 [1] 1/-1/-1->0->4 -gpua010:692989:693064 [0] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 -gpua010:692989:693064 [0] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 -gpua010:692989:693064 [0] NCCL INFO Channel 00/0 : 0[7000] -> 1[46000] via P2P/IPC/read -gpua010:692989:693064 [0] NCCL INFO Channel 01/0 : 0[7000] -> 1[46000] via P2P/IPC/read -gpua010:692989:693064 [0] NCCL INFO Connected all rings -gpua010:692989:693064 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [send] via NET/IB/0 -gpua010:692989:693064 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [receive] via NET/IB/0 -gpua010:692989:693064 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [send] via NET/IB/0 -gpua010:692989:693064 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [receive] via NET/IB/0 -gpua010:692989:693064 [0] NCCL INFO Connected all trees -gpua010:692989:693064 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua010:692989:693064 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua010:692989:693064 [0] NCCL INFO comm 0x40b4a080 rank 0 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua010:692991:692991 [2] NCCL INFO cudaDriverVersion 12020 -gpua010:692991:692991 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.10<0> -gpua010:692991:692991 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua010:692991:693067 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.10<0> -gpua010:692991:693067 [2] NCCL INFO Using network IB -gpua010:692991:693067 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua010:692991:693067 [2] NCCL INFO Trees [0] 3/-1/-1->2->1 [1] 3/-1/-1->2->1 -gpua010:692991:693067 [2] NCCL INFO Channel 00/0 : 2[85000] -> 3[c7000] via P2P/IPC/read -gpua010:692991:693067 [2] NCCL INFO Channel 01/0 : 2[85000] -> 3[c7000] via P2P/IPC/read -gpua010:692991:693067 [2] NCCL INFO Connected all rings -gpua010:692991:693067 [2] NCCL INFO Channel 00/0 : 2[85000] -> 1[46000] via P2P/IPC/read -gpua010:692991:693067 [2] NCCL INFO Channel 01/0 : 2[85000] -> 1[46000] via P2P/IPC/read -gpua010:692991:693067 [2] NCCL INFO Connected all trees -gpua010:692991:693067 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua010:692991:693067 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua010:692991:693067 [2] NCCL INFO comm 0xba5e9d0 rank 2 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua055:981316:981316 [0] NCCL INFO cudaDriverVersion 12020 -gpua055:981316:981316 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> -gpua055:981316:981316 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua055:981316:981387 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> -gpua055:981316:981387 [0] NCCL INFO Using network IB -gpua055:981316:981387 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua055:981316:981387 [0] NCCL INFO Trees [0] 33/48/-1->32->0 [1] 33/-1/-1->32->36 -gpua055:981316:981387 [0] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 -gpua055:981316:981387 [0] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 -gpua055:981316:981387 [0] NCCL INFO Channel 00/0 : 32[7000] -> 33[46000] via P2P/IPC/read -gpua055:981316:981387 [0] NCCL INFO Channel 01/0 : 32[7000] -> 33[46000] via P2P/IPC/read -gpua055:981316:981387 [0] NCCL INFO Connected all rings -gpua055:981316:981387 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [send] via NET/IB/0 -gpua055:981316:981387 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [send] via NET/IB/0 -gpua055:981316:981387 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [receive] via NET/IB/0 -gpua055:981316:981387 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [send] via NET/IB/0 -gpua055:981316:981387 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [receive] via NET/IB/0 -gpua055:981316:981387 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [receive] via NET/IB/0 -gpua055:981316:981387 [0] NCCL INFO Connected all trees -gpua055:981316:981387 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua055:981316:981387 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua055:981316:981387 [0] NCCL INFO comm 0xe653b260 rank 32 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua081:3492278:3492278 [2] NCCL INFO cudaDriverVersion 12020 -gpua081:3492278:3492278 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.81<0> -gpua081:3492278:3492278 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua081:3492278:3492345 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.81<0> -gpua081:3492278:3492345 [2] NCCL INFO Using network IB -gpua081:3492278:3492345 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua081:3492278:3492345 [2] NCCL INFO Trees [0] 51/-1/-1->50->49 [1] 51/-1/-1->50->49 -gpua081:3492278:3492345 [2] NCCL INFO Channel 00/0 : 50[85000] -> 51[c7000] via P2P/IPC/read -gpua081:3492278:3492345 [2] NCCL INFO Channel 01/0 : 50[85000] -> 51[c7000] via P2P/IPC/read -gpua081:3492278:3492345 [2] NCCL INFO Connected all rings -gpua081:3492278:3492345 [2] NCCL INFO Channel 00/0 : 50[85000] -> 49[46000] via P2P/IPC/read -gpua081:3492278:3492345 [2] NCCL INFO Channel 01/0 : 50[85000] -> 49[46000] via P2P/IPC/read -gpua081:3492278:3492345 [2] NCCL INFO Connected all trees -gpua081:3492278:3492345 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua081:3492278:3492345 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua081:3492278:3492345 [2] NCCL INFO comm 0xa1e86d30 rank 50 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua055:981319:981319 [3] NCCL INFO cudaDriverVersion 12020 -gpua055:981319:981319 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> -gpua055:981319:981319 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua055:981319:981390 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> -gpua055:981319:981390 [3] NCCL INFO Using network IB -gpua055:981319:981390 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua055:981319:981390 [3] NCCL INFO Trees [0] -1/-1/-1->35->34 [1] -1/-1/-1->35->34 -gpua055:981319:981390 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 -gpua055:981319:981390 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 -gpua055:981319:981390 [3] NCCL INFO Connected all rings -gpua055:981319:981390 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 34[85000] via P2P/IPC/read -gpua055:981319:981390 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 34[85000] via P2P/IPC/read -gpua055:981319:981390 [3] NCCL INFO Connected all trees -gpua055:981319:981390 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua055:981319:981390 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua055:981319:981390 [3] NCCL INFO comm 0x145781c0 rank 35 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua031:1272357:1272357 [1] NCCL INFO cudaDriverVersion 12020 -gpua031:1272357:1272357 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> -gpua031:1272357:1272357 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua031:1272357:1272438 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> -gpua031:1272357:1272438 [1] NCCL INFO Using network IB -gpua031:1272357:1272438 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua031:1272357:1272438 [1] NCCL INFO Trees [0] 22/-1/-1->21->20 [1] 22/24/-1->21->20 -gpua031:1272357:1272438 [1] NCCL INFO Channel 00/0 : 21[46000] -> 22[85000] via P2P/IPC/read -gpua031:1272357:1272438 [1] NCCL INFO Channel 01/0 : 21[46000] -> 22[85000] via P2P/IPC/read -gpua031:1272357:1272438 [1] NCCL INFO Connected all rings -gpua031:1272357:1272438 [1] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [send] via NET/IB/0 -gpua031:1272357:1272438 [1] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [receive] via NET/IB/0 -gpua031:1272357:1272438 [1] NCCL INFO Channel 00/0 : 21[46000] -> 20[7000] via P2P/IPC/read -gpua031:1272357:1272438 [1] NCCL INFO Channel 01/0 : 21[46000] -> 20[7000] via P2P/IPC/read -gpua031:1272357:1272438 [1] NCCL INFO Connected all trees -gpua031:1272357:1272438 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua031:1272357:1272438 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua031:1272357:1272438 [1] NCCL INFO comm 0xf7869c0 rank 21 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua055:981317:981317 [1] NCCL INFO cudaDriverVersion 12020 -gpua055:981317:981317 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> -gpua055:981317:981317 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua055:981317:981392 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> -gpua055:981317:981392 [1] NCCL INFO Using network IB -gpua055:981317:981392 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua055:981317:981392 [1] NCCL INFO Trees [0] 34/16/-1->33->32 [1] 34/-1/-1->33->32 -gpua055:981317:981392 [1] NCCL INFO Channel 00/0 : 33[46000] -> 34[85000] via P2P/IPC/read -gpua055:981317:981392 [1] NCCL INFO Channel 01/0 : 33[46000] -> 34[85000] via P2P/IPC/read -gpua055:981317:981392 [1] NCCL INFO Connected all rings -gpua055:981317:981392 [1] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [receive] via NET/IB/0 -gpua055:981317:981392 [1] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [send] via NET/IB/0 -gpua055:981317:981392 [1] NCCL INFO Channel 00/0 : 33[46000] -> 32[7000] via P2P/IPC/read -gpua055:981317:981392 [1] NCCL INFO Channel 01/0 : 33[46000] -> 32[7000] via P2P/IPC/read -gpua055:981317:981392 [1] NCCL INFO Connected all trees -gpua055:981317:981392 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua055:981317:981392 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua055:981317:981392 [1] NCCL INFO comm 0xb382580 rank 33 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua081:3492277:3492277 [1] NCCL INFO cudaDriverVersion 12020 -gpua081:3492277:3492277 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.81<0> -gpua081:3492277:3492277 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua081:3492277:3492344 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.81<0> -gpua081:3492277:3492344 [1] NCCL INFO Using network IB -gpua081:3492277:3492344 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua081:3492277:3492344 [1] NCCL INFO Trees [0] 50/40/-1->49->48 [1] 50/-1/-1->49->48 -gpua081:3492277:3492344 [1] NCCL INFO Channel 00/0 : 49[46000] -> 50[85000] via P2P/IPC/read -gpua081:3492277:3492344 [1] NCCL INFO Channel 01/0 : 49[46000] -> 50[85000] via P2P/IPC/read -gpua081:3492277:3492344 [1] NCCL INFO Connected all rings -gpua081:3492277:3492344 [1] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [receive] via NET/IB/0 -gpua081:3492277:3492344 [1] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [send] via NET/IB/0 -gpua081:3492277:3492344 [1] NCCL INFO Channel 00/0 : 49[46000] -> 48[7000] via P2P/IPC/read -gpua081:3492277:3492344 [1] NCCL INFO Channel 01/0 : 49[46000] -> 48[7000] via P2P/IPC/read -gpua081:3492277:3492344 [1] NCCL INFO Connected all trees -gpua081:3492277:3492344 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua081:3492277:3492344 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua081:3492277:3492344 [1] NCCL INFO comm 0x955d8790 rank 49 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua056:1663031:1663031 [1] NCCL INFO cudaDriverVersion 12020 -gpua056:1663031:1663031 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> -gpua056:1663031:1663031 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua056:1663031:1663102 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> -gpua056:1663031:1663102 [1] NCCL INFO Using network IB -gpua056:1663031:1663102 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua056:1663031:1663102 [1] NCCL INFO Trees [0] 38/-1/-1->37->36 [1] 38/40/-1->37->36 -gpua056:1663031:1663102 [1] NCCL INFO Channel 00/0 : 37[46000] -> 38[85000] via P2P/IPC/read -gpua056:1663031:1663102 [1] NCCL INFO Channel 01/0 : 37[46000] -> 38[85000] via P2P/IPC/read -gpua056:1663031:1663102 [1] NCCL INFO Connected all rings -gpua056:1663031:1663102 [1] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [send] via NET/IB/0 -gpua056:1663031:1663102 [1] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [receive] via NET/IB/0 -gpua056:1663031:1663102 [1] NCCL INFO Channel 00/0 : 37[46000] -> 36[7000] via P2P/IPC/read -gpua056:1663031:1663102 [1] NCCL INFO Channel 01/0 : 37[46000] -> 36[7000] via P2P/IPC/read -gpua056:1663031:1663102 [1] NCCL INFO Connected all trees -gpua056:1663031:1663102 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua056:1663031:1663102 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua056:1663031:1663102 [1] NCCL INFO comm 0x140b3bf0 rank 37 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua054:811460:811460 [2] NCCL INFO cudaDriverVersion 12020 -gpua054:811460:811460 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> -gpua054:811460:811460 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua054:811460:811528 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> -gpua054:811460:811528 [2] NCCL INFO Using network IB -gpua054:811460:811528 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua054:811460:811528 [2] NCCL INFO Trees [0] 31/-1/-1->30->29 [1] 31/-1/-1->30->29 -gpua054:811460:811528 [2] NCCL INFO Channel 00/0 : 30[85000] -> 31[c7000] via P2P/IPC/read -gpua054:811460:811528 [2] NCCL INFO Channel 01/0 : 30[85000] -> 31[c7000] via P2P/IPC/read -gpua054:811460:811528 [2] NCCL INFO Connected all rings -gpua054:811460:811528 [2] NCCL INFO Channel 00/0 : 30[85000] -> 29[46000] via P2P/IPC/read -gpua054:811460:811528 [2] NCCL INFO Channel 01/0 : 30[85000] -> 29[46000] via P2P/IPC/read -gpua054:811460:811528 [2] NCCL INFO Connected all trees -gpua054:811460:811528 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua054:811460:811528 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua054:811460:811528 [2] NCCL INFO comm 0x2e40b940 rank 30 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua088:2258976:2258976 [2] NCCL INFO cudaDriverVersion 12020 -gpua088:2258976:2258976 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.88<0> -gpua088:2258976:2258976 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua088:2258976:2259046 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.88<0> -gpua088:2258976:2259046 [2] NCCL INFO Using network IB -gpua088:2258976:2259046 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua088:2258976:2259046 [2] NCCL INFO Trees [0] 63/-1/-1->62->61 [1] 63/-1/-1->62->61 -gpua088:2258976:2259046 [2] NCCL INFO Channel 00/0 : 62[85000] -> 63[c7000] via P2P/IPC/read -gpua088:2258976:2259046 [2] NCCL INFO Channel 01/0 : 62[85000] -> 63[c7000] via P2P/IPC/read -gpua088:2258976:2259046 [2] NCCL INFO Connected all rings -gpua088:2258976:2259046 [2] NCCL INFO Channel 00/0 : 62[85000] -> 61[46000] via P2P/IPC/read -gpua088:2258976:2259046 [2] NCCL INFO Channel 01/0 : 62[85000] -> 61[46000] via P2P/IPC/read -gpua088:2258976:2259046 [2] NCCL INFO Connected all trees -gpua088:2258976:2259046 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua088:2258976:2259046 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua088:2258976:2259046 [2] NCCL INFO comm 0xf888190 rank 62 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua086:1201712:1201712 [3] NCCL INFO cudaDriverVersion 12020 -gpua086:1201712:1201712 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> -gpua086:1201712:1201712 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua086:1201712:1201779 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> -gpua086:1201712:1201779 [3] NCCL INFO Using network IB -gpua086:1201712:1201779 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua086:1201712:1201779 [3] NCCL INFO Trees [0] -1/-1/-1->59->58 [1] -1/-1/-1->59->58 -gpua086:1201712:1201779 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 -gpua086:1201712:1201779 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 -gpua086:1201712:1201779 [3] NCCL INFO Connected all rings -gpua086:1201712:1201779 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 58[85000] via P2P/IPC/read -gpua086:1201712:1201779 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 58[85000] via P2P/IPC/read -gpua086:1201712:1201779 [3] NCCL INFO Connected all trees -gpua086:1201712:1201779 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua086:1201712:1201779 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua086:1201712:1201779 [3] NCCL INFO comm 0xca58790 rank 59 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua054:811459:811459 [1] NCCL INFO cudaDriverVersion 12020 -gpua054:811459:811459 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> -gpua054:811459:811459 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua054:811459:811527 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> -gpua054:811459:811527 [1] NCCL INFO Using network IB -gpua054:811459:811527 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua054:811459:811527 [1] NCCL INFO Trees [0] 30/-1/-1->29->28 [1] 30/44/-1->29->28 -gpua054:811459:811527 [1] NCCL INFO Channel 00/0 : 29[46000] -> 30[85000] via P2P/IPC/read -gpua054:811459:811527 [1] NCCL INFO Channel 01/0 : 29[46000] -> 30[85000] via P2P/IPC/read -gpua054:811459:811527 [1] NCCL INFO Connected all rings -gpua054:811459:811527 [1] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [send] via NET/IB/0 -gpua054:811459:811527 [1] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [receive] via NET/IB/0 -gpua054:811459:811527 [1] NCCL INFO Channel 00/0 : 29[46000] -> 28[7000] via P2P/IPC/read -gpua054:811459:811527 [1] NCCL INFO Channel 01/0 : 29[46000] -> 28[7000] via P2P/IPC/read -gpua054:811459:811527 [1] NCCL INFO Connected all trees -gpua054:811459:811527 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua054:811459:811527 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua054:811459:811527 [1] NCCL INFO comm 0xbded130 rank 29 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua032:892275:892275 [1] NCCL INFO cudaDriverVersion 12020 -gpua032:892275:892275 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.32<0> -gpua032:892275:892275 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua032:892275:892343 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.32<0> -gpua032:892275:892343 [1] NCCL INFO Using network IB -gpua032:892275:892343 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua032:892275:892343 [1] NCCL INFO Trees [0] 26/20/-1->25->24 [1] 26/-1/-1->25->24 -gpua032:892275:892343 [1] NCCL INFO Channel 00/0 : 25[46000] -> 26[85000] via P2P/IPC/read -gpua032:892275:892343 [1] NCCL INFO Channel 01/0 : 25[46000] -> 26[85000] via P2P/IPC/read -gpua032:892275:892343 [1] NCCL INFO Connected all rings -gpua032:892275:892343 [1] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [receive] via NET/IB/0 -gpua032:892275:892343 [1] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [send] via NET/IB/0 -gpua032:892275:892343 [1] NCCL INFO Channel 00/0 : 25[46000] -> 24[7000] via P2P/IPC/read -gpua032:892275:892343 [1] NCCL INFO Channel 01/0 : 25[46000] -> 24[7000] via P2P/IPC/read -gpua032:892275:892343 [1] NCCL INFO Connected all trees -gpua032:892275:892343 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua032:892275:892343 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua032:892275:892343 [1] NCCL INFO comm 0x36dc3f90 rank 25 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua054:811461:811461 [3] NCCL INFO cudaDriverVersion 12020 -gpua054:811461:811461 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> -gpua054:811461:811461 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua054:811461:811526 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> -gpua054:811461:811526 [3] NCCL INFO Using network IB -gpua054:811461:811526 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua054:811461:811526 [3] NCCL INFO Trees [0] -1/-1/-1->31->30 [1] -1/-1/-1->31->30 -gpua054:811461:811526 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 -gpua054:811461:811526 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 -gpua054:811461:811526 [3] NCCL INFO Connected all rings -gpua054:811461:811526 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 30[85000] via P2P/IPC/read -gpua054:811461:811526 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 30[85000] via P2P/IPC/read -gpua054:811461:811526 [3] NCCL INFO Connected all trees -gpua054:811461:811526 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua054:811461:811526 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua054:811461:811526 [3] NCCL INFO comm 0xeb945d20 rank 31 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua088:2258977:2258977 [3] NCCL INFO cudaDriverVersion 12020 -gpua088:2258977:2258977 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.88<0> -gpua088:2258977:2258977 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua088:2258977:2259052 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.88<0> -gpua088:2258977:2259052 [3] NCCL INFO Using network IB -gpua088:2258977:2259052 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua088:2258977:2259052 [3] NCCL INFO Trees [0] -1/-1/-1->63->62 [1] -1/-1/-1->63->62 -gpua088:2258977:2259052 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 -gpua088:2258977:2259052 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 -gpua088:2258977:2259052 [3] NCCL INFO Connected all rings -gpua088:2258977:2259052 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 62[85000] via P2P/IPC/read -gpua088:2258977:2259052 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 62[85000] via P2P/IPC/read -gpua088:2258977:2259052 [3] NCCL INFO Connected all trees -gpua088:2258977:2259052 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua088:2258977:2259052 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua088:2258977:2259052 [3] NCCL INFO comm 0x21dfcba0 rank 63 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua086:1201711:1201711 [2] NCCL INFO cudaDriverVersion 12020 -gpua086:1201711:1201711 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> -gpua086:1201711:1201711 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua086:1201711:1201776 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> -gpua086:1201711:1201776 [2] NCCL INFO Using network IB -gpua086:1201711:1201776 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua086:1201711:1201776 [2] NCCL INFO Trees [0] 59/-1/-1->58->57 [1] 59/-1/-1->58->57 -gpua086:1201711:1201776 [2] NCCL INFO Channel 00/0 : 58[85000] -> 59[c7000] via P2P/IPC/read -gpua086:1201711:1201776 [2] NCCL INFO Channel 01/0 : 58[85000] -> 59[c7000] via P2P/IPC/read -gpua086:1201711:1201776 [2] NCCL INFO Connected all rings -gpua086:1201711:1201776 [2] NCCL INFO Channel 00/0 : 58[85000] -> 57[46000] via P2P/IPC/read -gpua086:1201711:1201776 [2] NCCL INFO Channel 01/0 : 58[85000] -> 57[46000] via P2P/IPC/read -gpua086:1201711:1201776 [2] NCCL INFO Connected all trees -gpua086:1201711:1201776 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua086:1201711:1201776 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua086:1201711:1201776 [2] NCCL INFO comm 0x4dec9510 rank 58 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua031:1272358:1272358 [2] NCCL INFO cudaDriverVersion 12020 -gpua031:1272358:1272358 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> -gpua031:1272358:1272358 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua031:1272358:1272436 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> -gpua031:1272358:1272436 [2] NCCL INFO Using network IB -gpua031:1272358:1272436 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua031:1272358:1272436 [2] NCCL INFO Trees [0] 23/-1/-1->22->21 [1] 23/-1/-1->22->21 -gpua031:1272358:1272436 [2] NCCL INFO Channel 00/0 : 22[85000] -> 23[c7000] via P2P/IPC/read -gpua031:1272358:1272436 [2] NCCL INFO Channel 01/0 : 22[85000] -> 23[c7000] via P2P/IPC/read -gpua031:1272358:1272436 [2] NCCL INFO Connected all rings -gpua031:1272358:1272436 [2] NCCL INFO Channel 00/0 : 22[85000] -> 21[46000] via P2P/IPC/read -gpua031:1272358:1272436 [2] NCCL INFO Channel 01/0 : 22[85000] -> 21[46000] via P2P/IPC/read -gpua031:1272358:1272436 [2] NCCL INFO Connected all trees -gpua031:1272358:1272436 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua031:1272358:1272436 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua031:1272358:1272436 [2] NCCL INFO comm 0xde888f0 rank 22 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua031:1272359:1272359 [3] NCCL INFO cudaDriverVersion 12020 -gpua031:1272359:1272359 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> -gpua031:1272359:1272359 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua031:1272359:1272435 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> -gpua031:1272359:1272435 [3] NCCL INFO Using network IB -gpua031:1272359:1272435 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua031:1272359:1272435 [3] NCCL INFO Trees [0] -1/-1/-1->23->22 [1] -1/-1/-1->23->22 -gpua031:1272359:1272435 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 -gpua086:1201710:1201710 [1] NCCL INFO cudaDriverVersion 12020 -gpua086:1201710:1201710 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> -gpua086:1201710:1201710 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua086:1201710:1201782 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> -gpua086:1201710:1201782 [1] NCCL INFO Using network IB -gpua086:1201710:1201782 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua086:1201710:1201782 [1] NCCL INFO Trees [0] 58/52/-1->57->56 [1] 58/-1/-1->57->56 -gpua086:1201710:1201782 [1] NCCL INFO Channel 00/0 : 57[46000] -> 58[85000] via P2P/IPC/read -gpua086:1201710:1201782 [1] NCCL INFO Channel 01/0 : 57[46000] -> 58[85000] via P2P/IPC/read -gpua086:1201710:1201782 [1] NCCL INFO Connected all rings -gpua086:1201710:1201782 [1] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [receive] via NET/IB/0 -gpua086:1201710:1201782 [1] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [send] via NET/IB/0 -gpua031:1272359:1272435 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 -gpua031:1272359:1272435 [3] NCCL INFO Connected all rings -gpua031:1272359:1272435 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 22[85000] via P2P/IPC/read -gpua031:1272359:1272435 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 22[85000] via P2P/IPC/read -gpua031:1272359:1272435 [3] NCCL INFO Connected all trees -gpua031:1272359:1272435 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua031:1272359:1272435 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua031:1272359:1272435 [3] NCCL INFO comm 0x42c63430 rank 23 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua086:1201710:1201782 [1] NCCL INFO Channel 00/0 : 57[46000] -> 56[7000] via P2P/IPC/read -gpua086:1201710:1201782 [1] NCCL INFO Channel 01/0 : 57[46000] -> 56[7000] via P2P/IPC/read -gpua086:1201710:1201782 [1] NCCL INFO Connected all trees -gpua086:1201710:1201782 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua086:1201710:1201782 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua086:1201710:1201782 [1] NCCL INFO comm 0xe2e04e60 rank 57 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua054:811458:811458 [0] NCCL INFO cudaDriverVersion 12020 -gpua054:811458:811458 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> -gpua054:811458:811458 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua054:811458:811525 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> -gpua054:811458:811525 [0] NCCL INFO Using network IB -gpua054:811458:811525 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua054:811458:811525 [0] NCCL INFO Trees [0] 29/-1/-1->28->24 [1] 29/12/-1->28->60 -gpua054:811458:811525 [0] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 -gpua054:811458:811525 [0] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 -gpua054:811458:811525 [0] NCCL INFO Channel 00/0 : 28[7000] -> 29[46000] via P2P/IPC/read -gpua054:811458:811525 [0] NCCL INFO Channel 01/0 : 28[7000] -> 29[46000] via P2P/IPC/read -gpua054:811458:811525 [0] NCCL INFO Connected all rings -gpua054:811458:811525 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [receive] via NET/IB/0 -gpua054:811458:811525 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [receive] via NET/IB/0 -gpua054:811458:811525 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [receive] via NET/IB/0 -gpua054:811458:811525 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [send] via NET/IB/0 -gpua054:811458:811525 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [send] via NET/IB/0 -gpua054:811458:811525 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [send] via NET/IB/0 -gpua054:811458:811525 [0] NCCL INFO Connected all trees -gpua054:811458:811525 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua054:811458:811525 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua054:811458:811525 [0] NCCL INFO comm 0x19fa01a0 rank 28 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua088:2258975:2258975 [1] NCCL INFO cudaDriverVersion 12020 -gpua088:2258975:2258975 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.88<0> -gpua088:2258975:2258975 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua088:2258975:2259050 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.88<0> -gpua088:2258975:2259050 [1] NCCL INFO Using network IB -gpua088:2258975:2259050 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua088:2258975:2259050 [1] NCCL INFO Trees [0] 62/-1/-1->61->60 [1] 62/-1/-1->61->60 -gpua088:2258975:2259050 [1] NCCL INFO Channel 00/0 : 61[46000] -> 62[85000] via P2P/IPC/read -gpua088:2258975:2259050 [1] NCCL INFO Channel 01/0 : 61[46000] -> 62[85000] via P2P/IPC/read -gpua088:2258975:2259050 [1] NCCL INFO Connected all rings -gpua088:2258975:2259050 [1] NCCL INFO Channel 00/0 : 61[46000] -> 60[7000] via P2P/IPC/read -gpua088:2258975:2259050 [1] NCCL INFO Channel 01/0 : 61[46000] -> 60[7000] via P2P/IPC/read -gpua088:2258975:2259050 [1] NCCL INFO Connected all trees -gpua088:2258975:2259050 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua088:2258975:2259050 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua088:2258975:2259050 [1] NCCL INFO comm 0x22fcddd0 rank 61 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -[gpua010:0/64] 2023-12-15 16:42:55,369 (distributed:1027) INFO: Reducer buckets have been rebuilt in this iteration. -[gpua010:0/64] 2023-12-15 16:46:08,219 (trainer:737) INFO: 35epoch:train:1-100batch: iter_time=3.988, forward_time=0.236, loss_ctc=53.489, loss_att=38.977, acc=0.747, loss=43.331, backward_time=0.330, grad_norm=68.971, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.860e-05, train_time=7.592 - -gpua014:553261:553342 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:553260:553341 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:553259:553339 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:553262:553336 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:553261:553342 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:553260:553341 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:553259:553339 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:553262:553336 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active -[gpua010:0/64] 2023-12-15 16:50:20,095 (trainer:737) INFO: 35epoch:train:101-200batch: iter_time=9.670e-05, forward_time=0.143, loss_ctc=77.006, loss_att=58.117, acc=0.721, loss=63.784, backward_time=0.471, grad_norm=116.463, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.860e-05, train_time=2.519 -[gpua010:0/64] 2023-12-15 16:53:54,409 (trainer:737) INFO: 35epoch:train:201-300batch: iter_time=8.783e-05, forward_time=0.143, loss_ctc=81.648, loss_att=63.284, acc=0.705, loss=68.793, backward_time=0.403, grad_norm=97.454, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.859e-05, train_time=2.143 -[gpua010:0/64] 2023-12-15 16:57:25,924 (trainer:737) INFO: 35epoch:train:301-400batch: iter_time=9.192e-05, forward_time=0.143, loss_ctc=56.860, loss_att=40.509, acc=0.744, loss=45.414, backward_time=0.411, grad_norm=58.616, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.858e-05, train_time=2.115 -[gpua010:0/64] 2023-12-15 17:01:14,608 (trainer:737) INFO: 35epoch:train:401-500batch: iter_time=9.061e-05, forward_time=0.144, loss_ctc=65.712, loss_att=50.917, acc=0.736, loss=55.356, backward_time=0.387, grad_norm=99.658, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.858e-05, train_time=2.287 -[gpua010:0/64] 2023-12-15 17:03:54,843 (trainer:737) INFO: 35epoch:train:501-600batch: iter_time=8.487e-05, forward_time=0.142, loss_ctc=58.558, loss_att=44.350, acc=0.727, loss=48.613, backward_time=0.321, grad_norm=72.082, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.857e-05, train_time=1.602 -[gpua010:0/64] 2023-12-15 17:06:48,563 (trainer:737) INFO: 35epoch:train:601-700batch: iter_time=8.754e-05, forward_time=0.142, loss_ctc=62.885, loss_att=44.930, acc=0.732, loss=50.316, backward_time=0.310, grad_norm=69.850, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.856e-05, train_time=1.737 -[gpua010:0/64] 2023-12-15 17:09:46,315 (trainer:737) INFO: 35epoch:train:701-800batch: iter_time=8.390e-05, forward_time=0.142, loss_ctc=54.837, loss_att=44.866, acc=0.723, loss=47.857, backward_time=0.346, grad_norm=65.004, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.856e-05, train_time=1.777 -[gpua010:0/64] 2023-12-15 17:12:29,706 (trainer:737) INFO: 35epoch:train:801-900batch: iter_time=9.053e-05, forward_time=0.141, loss_ctc=56.403, loss_att=44.965, acc=0.720, loss=48.397, backward_time=0.313, grad_norm=70.985, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.855e-05, train_time=1.634 -[gpua010:0/64] 2023-12-15 17:15:14,165 (trainer:737) INFO: 35epoch:train:901-1000batch: iter_time=8.808e-05, forward_time=0.244, loss_ctc=67.229, loss_att=53.827, acc=0.721, loss=57.848, backward_time=0.365, grad_norm=68.155, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.854e-05, train_time=1.644 -[gpua010:0/64] 2023-12-15 17:16:15,109 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua010:0/64] 2023-12-15 17:17:55,007 (trainer:737) INFO: 35epoch:train:1001-1100batch: iter_time=8.199e-05, forward_time=0.143, loss_ctc=61.850, loss_att=53.095, acc=0.725, loss=55.722, backward_time=0.322, grad_norm=80.730, clip=100.000, loss_scale=1.373e+31, optim_step_time=0.131, optim0_lr0=6.854e-05, train_time=1.608 -[gpua010:0/64] 2023-12-15 17:20:26,992 (trainer:737) INFO: 35epoch:train:1101-1200batch: iter_time=8.258e-05, forward_time=0.143, loss_ctc=61.748, loss_att=49.072, acc=0.729, loss=52.875, backward_time=0.292, grad_norm=68.041, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.853e-05, train_time=1.520 -[gpua010:0/64] 2023-12-15 17:22:15,703 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua010:0/64] 2023-12-15 17:22:33,860 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-15 17:22:37,233 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-15 17:22:37,233 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua010:0/64] 2023-12-15 17:22:37,236 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-15 17:30:08,242 (trainer:737) INFO: 35epoch:train:1201-1300batch: iter_time=4.214, forward_time=0.190, loss_ctc=56.454, loss_att=43.651, acc=0.747, loss=47.492, backward_time=0.306, grad_norm=152.149, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.852e-05, train_time=5.812 -[gpua010:0/64] 2023-12-15 17:32:48,973 (trainer:737) INFO: 35epoch:train:1301-1400batch: iter_time=8.323e-05, forward_time=0.269, loss_ctc=60.870, loss_att=48.219, acc=0.732, loss=52.015, backward_time=0.340, grad_norm=113.964, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.852e-05, train_time=1.607 -[gpua010:0/64] 2023-12-15 17:35:56,444 (trainer:737) INFO: 35epoch:train:1401-1500batch: iter_time=8.059e-05, forward_time=0.162, loss_ctc=78.213, loss_att=60.883, acc=0.719, loss=66.082, backward_time=0.362, grad_norm=100.535, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.851e-05, train_time=1.875 -[gpua010:0/64] 2023-12-15 17:38:23,807 (trainer:737) INFO: 35epoch:train:1501-1600batch: iter_time=8.370e-05, forward_time=0.146, loss_ctc=74.709, loss_att=52.501, acc=0.732, loss=59.163, backward_time=0.287, grad_norm=81.061, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.850e-05, train_time=1.473 -[gpua010:0/64] 2023-12-15 17:40:48,057 (trainer:737) INFO: 35epoch:train:1601-1700batch: iter_time=7.937e-05, forward_time=0.146, loss_ctc=63.678, loss_att=50.872, acc=0.728, loss=54.714, backward_time=0.289, grad_norm=61.506, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.130, optim0_lr0=6.850e-05, train_time=1.442 -[gpua010:0/64] 2023-12-15 17:43:35,259 (trainer:737) INFO: 35epoch:train:1701-1800batch: iter_time=8.453e-05, forward_time=0.305, loss_ctc=59.335, loss_att=43.101, acc=0.743, loss=47.971, backward_time=0.333, grad_norm=60.267, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.849e-05, train_time=1.672 -[gpua010:0/64] 2023-12-15 17:46:33,937 (trainer:737) INFO: 35epoch:train:1801-1900batch: iter_time=8.632e-05, forward_time=0.146, loss_ctc=56.037, loss_att=45.079, acc=0.726, loss=48.366, backward_time=0.370, grad_norm=76.830, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.848e-05, train_time=1.786 -[gpua010:0/64] 2023-12-15 17:49:02,004 (trainer:737) INFO: 35epoch:train:1901-2000batch: iter_time=8.833e-05, forward_time=0.167, loss_ctc=61.861, loss_att=43.346, acc=0.738, loss=48.900, backward_time=0.286, grad_norm=111.452, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.848e-05, train_time=1.481 -[gpua010:0/64] 2023-12-15 17:51:15,312 (trainer:737) INFO: 35epoch:train:2001-2100batch: iter_time=8.263e-05, forward_time=0.146, loss_ctc=55.143, loss_att=42.798, acc=0.734, loss=46.502, backward_time=0.292, grad_norm=69.350, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.847e-05, train_time=1.333 -[gpua010:0/64] 2023-12-15 17:53:59,698 (trainer:737) INFO: 35epoch:train:2101-2200batch: iter_time=2.697e-04, forward_time=0.157, loss_ctc=64.205, loss_att=52.559, acc=0.716, loss=56.053, backward_time=0.311, grad_norm=71.122, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.846e-05, train_time=1.644 -[gpua010:0/64] 2023-12-15 17:56:48,894 (trainer:737) INFO: 35epoch:train:2201-2300batch: iter_time=2.139e-04, forward_time=0.285, loss_ctc=61.807, loss_att=49.025, acc=0.729, loss=52.860, backward_time=0.337, grad_norm=80.744, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.846e-05, train_time=1.691 -[gpua010:0/64] 2023-12-15 17:59:37,531 (trainer:737) INFO: 35epoch:train:2301-2400batch: iter_time=8.583e-05, forward_time=0.147, loss_ctc=63.004, loss_att=57.451, acc=0.723, loss=59.117, backward_time=0.323, grad_norm=90.024, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.845e-05, train_time=1.687 -[gpua010:0/64] 2023-12-15 18:02:00,580 (trainer:737) INFO: 35epoch:train:2401-2500batch: iter_time=8.331e-05, forward_time=0.147, loss_ctc=61.060, loss_att=47.725, acc=0.732, loss=51.725, backward_time=0.290, grad_norm=82.370, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.844e-05, train_time=1.431 -[gpua010:0/64] 2023-12-15 18:02:20,641 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua010:0/64] 2023-12-15 18:02:38,813 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-15 18:02:42,354 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-15 18:02:42,354 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua010:0/64] 2023-12-15 18:02:42,372 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-15 18:08:40,469 (trainer:737) INFO: 35epoch:train:2501-2600batch: iter_time=2.708, forward_time=0.187, loss_ctc=52.840, loss_att=39.163, acc=0.752, loss=43.266, backward_time=0.283, grad_norm=54.245, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.844e-05, train_time=3.999 -[gpua010:0/64] 2023-12-15 18:10:48,101 (trainer:737) INFO: 35epoch:train:2601-2700batch: iter_time=8.132e-05, forward_time=0.146, loss_ctc=72.686, loss_att=57.513, acc=0.725, loss=62.064, backward_time=0.280, grad_norm=80.514, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.843e-05, train_time=1.276 -[gpua010:0/64] 2023-12-15 18:12:53,210 (trainer:737) INFO: 35epoch:train:2701-2800batch: iter_time=8.230e-05, forward_time=0.145, loss_ctc=79.118, loss_att=62.468, acc=0.710, loss=67.463, backward_time=0.282, grad_norm=115.223, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.842e-05, train_time=1.251 -[gpua010:0/64] 2023-12-15 18:15:01,064 (trainer:737) INFO: 35epoch:train:2801-2900batch: iter_time=8.008e-05, forward_time=0.147, loss_ctc=56.508, loss_att=39.810, acc=0.750, loss=44.819, backward_time=0.278, grad_norm=72.808, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.842e-05, train_time=1.278 -[gpua010:0/64] 2023-12-15 18:17:10,785 (trainer:737) INFO: 35epoch:train:2901-3000batch: iter_time=8.479e-05, forward_time=0.146, loss_ctc=65.137, loss_att=50.095, acc=0.741, loss=54.608, backward_time=0.281, grad_norm=65.493, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.841e-05, train_time=1.297 -[gpua010:0/64] 2023-12-15 18:19:24,482 (trainer:737) INFO: 35epoch:train:3001-3100batch: iter_time=8.470e-05, forward_time=0.145, loss_ctc=56.636, loss_att=43.705, acc=0.732, loss=47.584, backward_time=0.294, grad_norm=66.890, clip=100.000, loss_scale=1.663e+31, optim_step_time=0.131, optim0_lr0=6.840e-05, train_time=1.337 -[gpua010:0/64] 2023-12-15 18:21:35,761 (trainer:737) INFO: 35epoch:train:3101-3200batch: iter_time=8.311e-05, forward_time=0.145, loss_ctc=61.481, loss_att=44.409, acc=0.739, loss=49.531, backward_time=0.275, grad_norm=97.678, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.840e-05, train_time=1.313 -[gpua010:0/64] 2023-12-15 18:24:03,883 (trainer:737) INFO: 35epoch:train:3201-3300batch: iter_time=8.459e-05, forward_time=0.146, loss_ctc=54.449, loss_att=44.540, acc=0.727, loss=47.513, backward_time=0.291, grad_norm=106.060, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.839e-05, train_time=1.481 -[gpua010:0/64] 2023-12-15 18:26:51,580 (trainer:737) INFO: 35epoch:train:3301-3400batch: iter_time=8.823e-05, forward_time=0.145, loss_ctc=55.588, loss_att=44.457, acc=0.724, loss=47.796, backward_time=0.337, grad_norm=70.244, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.838e-05, train_time=1.677 -[gpua010:0/64] 2023-12-15 18:29:24,374 (trainer:737) INFO: 35epoch:train:3401-3500batch: iter_time=8.067e-05, forward_time=0.250, loss_ctc=66.734, loss_att=53.020, acc=0.726, loss=57.134, backward_time=0.310, grad_norm=92.755, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.838e-05, train_time=1.527 -[gpua010:0/64] 2023-12-15 18:32:07,435 (trainer:737) INFO: 35epoch:train:3501-3600batch: iter_time=8.630e-05, forward_time=0.148, loss_ctc=61.639, loss_att=53.138, acc=0.726, loss=55.688, backward_time=0.319, grad_norm=92.102, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.837e-05, train_time=1.630 -[gpua010:0/64] 2023-12-15 18:34:22,552 (trainer:737) INFO: 35epoch:train:3601-3700batch: iter_time=8.760e-05, forward_time=0.146, loss_ctc=61.006, loss_att=48.438, acc=0.732, loss=52.209, backward_time=0.279, grad_norm=94.263, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.836e-05, train_time=1.352 -[gpua010:0/64] 2023-12-15 18:36:00,493 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua010:0/64] 2023-12-15 18:36:18,448 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-15 18:36:21,818 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-15 18:36:21,818 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua010:0/64] 2023-12-15 18:36:21,881 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-15 18:41:56,351 (trainer:737) INFO: 35epoch:train:3701-3800batch: iter_time=2.814, forward_time=0.260, loss_ctc=56.202, loss_att=43.079, acc=0.754, loss=47.016, backward_time=0.297, grad_norm=61.143, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.836e-05, train_time=4.538 -[gpua010:0/64] 2023-12-15 18:44:18,608 (trainer:737) INFO: 35epoch:train:3801-3900batch: iter_time=8.675e-05, forward_time=0.147, loss_ctc=60.453, loss_att=48.323, acc=0.744, loss=51.962, backward_time=0.312, grad_norm=67.297, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.835e-05, train_time=1.422 -[gpua010:0/64] 2023-12-15 18:46:34,681 (trainer:737) INFO: 35epoch:train:3901-4000batch: iter_time=8.037e-05, forward_time=0.147, loss_ctc=76.399, loss_att=62.301, acc=0.729, loss=66.530, backward_time=0.300, grad_norm=111.872, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.834e-05, train_time=1.360 -[gpua010:0/64] 2023-12-15 18:48:55,335 (trainer:737) INFO: 35epoch:train:4001-4100batch: iter_time=8.099e-05, forward_time=0.264, loss_ctc=67.158, loss_att=54.042, acc=0.731, loss=57.977, backward_time=0.318, grad_norm=110.069, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.834e-05, train_time=1.406 -[gpua010:0/64] 2023-12-15 18:51:14,207 (trainer:737) INFO: 35epoch:train:4101-4200batch: iter_time=8.688e-05, forward_time=0.146, loss_ctc=63.685, loss_att=51.738, acc=0.742, loss=55.322, backward_time=0.286, grad_norm=69.810, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.833e-05, train_time=1.388 -[gpua010:0/64] 2023-12-15 18:52:04,885 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua010:0/64] 2023-12-15 18:53:38,316 (trainer:737) INFO: 35epoch:train:4201-4300batch: iter_time=8.527e-05, forward_time=0.146, loss_ctc=58.686, loss_att=42.866, acc=0.751, loss=47.612, backward_time=0.286, grad_norm=99.696, clip=100.000, loss_scale=1.393e+31, optim_step_time=0.131, optim0_lr0=6.832e-05, train_time=1.441 -[gpua010:0/64] 2023-12-15 18:56:38,833 (trainer:737) INFO: 35epoch:train:4301-4400batch: iter_time=8.328e-05, forward_time=0.264, loss_ctc=55.779, loss_att=45.013, acc=0.733, loss=48.243, backward_time=0.346, grad_norm=65.819, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.832e-05, train_time=1.805 -[gpua010:0/64] 2023-12-15 18:59:19,504 (trainer:737) INFO: 35epoch:train:4401-4500batch: iter_time=8.229e-05, forward_time=0.147, loss_ctc=61.628, loss_att=42.860, acc=0.754, loss=48.491, backward_time=0.343, grad_norm=63.424, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.831e-05, train_time=1.606 -[gpua010:0/64] 2023-12-15 19:01:49,764 (trainer:737) INFO: 35epoch:train:4501-4600batch: iter_time=8.235e-05, forward_time=0.146, loss_ctc=54.278, loss_att=43.523, acc=0.742, loss=46.749, backward_time=0.328, grad_norm=198.975, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.830e-05, train_time=1.502 -[gpua010:0/64] 2023-12-15 19:04:08,181 (trainer:737) INFO: 35epoch:train:4601-4700batch: iter_time=8.219e-05, forward_time=0.146, loss_ctc=63.617, loss_att=53.370, acc=0.728, loss=56.444, backward_time=0.300, grad_norm=74.541, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.830e-05, train_time=1.384 -[gpua010:0/64] 2023-12-15 19:06:44,469 (trainer:737) INFO: 35epoch:train:4701-4800batch: iter_time=8.262e-05, forward_time=0.223, loss_ctc=61.729, loss_att=49.949, acc=0.734, loss=53.483, backward_time=0.355, grad_norm=64.160, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.829e-05, train_time=1.562 -[gpua010:0/64] 2023-12-15 19:08:53,948 (trainer:737) INFO: 35epoch:train:4801-4900batch: iter_time=8.420e-05, forward_time=0.146, loss_ctc=62.793, loss_att=57.562, acc=0.737, loss=59.131, backward_time=0.277, grad_norm=61.963, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.828e-05, train_time=1.295 -[gpua010:0/64] 2023-12-15 19:11:06,613 (trainer:737) INFO: 35epoch:train:4901-5000batch: iter_time=7.850e-05, forward_time=0.146, loss_ctc=60.990, loss_att=49.002, acc=0.744, loss=52.598, backward_time=0.286, grad_norm=59.983, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.828e-05, train_time=1.326 -[gpua010:0/64] 2023-12-15 19:11:26,841 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua010:0/64] 2023-12-15 19:11:44,692 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-15 19:11:48,087 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-15 19:11:48,088 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua010:0/64] 2023-12-15 19:11:48,093 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-15 19:22:24,162 (trainer:737) INFO: 35epoch:train:5001-5100batch: iter_time=2.463, forward_time=0.206, loss_ctc=52.791, loss_att=38.218, acc=0.762, loss=42.590, backward_time=0.284, grad_norm=229.577, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.827e-05, train_time=6.775 -[gpua010:0/64] 2023-12-15 19:25:09,992 (trainer:737) INFO: 35epoch:train:5101-5200batch: iter_time=8.053e-05, forward_time=0.213, loss_ctc=70.948, loss_att=57.358, acc=0.737, loss=61.435, backward_time=0.358, grad_norm=102.330, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.142, optim0_lr0=6.826e-05, train_time=1.658 -[gpua010:0/64] 2023-12-15 19:27:37,441 (trainer:737) INFO: 35epoch:train:5201-5300batch: iter_time=8.273e-05, forward_time=0.265, loss_ctc=77.385, loss_att=62.542, acc=0.723, loss=66.995, backward_time=0.307, grad_norm=98.415, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.826e-05, train_time=1.474 -[gpua010:0/64] 2023-12-15 19:30:21,600 (trainer:737) INFO: 35epoch:train:5301-5400batch: iter_time=8.162e-05, forward_time=0.200, loss_ctc=55.819, loss_att=40.325, acc=0.753, loss=44.973, backward_time=0.398, grad_norm=56.714, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.138, optim0_lr0=6.825e-05, train_time=1.642 -[gpua010:0/64] 2023-12-15 19:33:12,654 (trainer:737) INFO: 35epoch:train:5401-5500batch: iter_time=3.273e-04, forward_time=0.272, loss_ctc=64.932, loss_att=50.696, acc=0.751, loss=54.967, backward_time=0.332, grad_norm=68.426, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.824e-05, train_time=1.710 -[gpua010:0/64] 2023-12-15 19:36:03,098 (trainer:737) INFO: 35epoch:train:5501-5600batch: iter_time=4.645e-04, forward_time=0.312, loss_ctc=56.734, loss_att=42.914, acc=0.742, loss=47.060, backward_time=0.335, grad_norm=64.822, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.138, optim0_lr0=6.824e-05, train_time=1.702 -[gpua010:0/64] 2023-12-15 19:38:44,798 (trainer:737) INFO: 35epoch:train:5601-5700batch: iter_time=9.543e-05, forward_time=0.246, loss_ctc=61.018, loss_att=43.900, acc=0.750, loss=49.035, backward_time=0.379, grad_norm=108.382, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.823e-05, train_time=1.618 -[gpua010:0/64] 2023-12-15 19:41:00,177 (trainer:737) INFO: 35epoch:train:5701-5800batch: iter_time=8.474e-05, forward_time=0.148, loss_ctc=54.262, loss_att=45.346, acc=0.739, loss=48.021, backward_time=0.288, grad_norm=59.270, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.822e-05, train_time=1.353 -[gpua010:0/64] 2023-12-15 19:43:49,733 (trainer:737) INFO: 35epoch:train:5801-5900batch: iter_time=0.001, forward_time=0.267, loss_ctc=54.882, loss_att=44.607, acc=0.730, loss=47.689, backward_time=0.323, grad_norm=73.640, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.822e-05, train_time=1.695 -[gpua010:0/64] 2023-12-15 19:45:55,565 (trainer:737) INFO: 35epoch:train:5901-6000batch: iter_time=8.557e-05, forward_time=0.147, loss_ctc=66.456, loss_att=53.926, acc=0.736, loss=57.685, backward_time=0.276, grad_norm=77.714, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.821e-05, train_time=1.258 -[gpua010:0/64] 2023-12-15 19:48:28,394 (trainer:737) INFO: 35epoch:train:6001-6100batch: iter_time=2.925e-04, forward_time=0.274, loss_ctc=61.371, loss_att=53.977, acc=0.734, loss=56.195, backward_time=0.313, grad_norm=97.233, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.820e-05, train_time=1.529 -[gpua010:0/64] 2023-12-15 19:51:19,736 (trainer:737) INFO: 35epoch:train:6101-6200batch: iter_time=4.533e-04, forward_time=0.268, loss_ctc=60.784, loss_att=49.252, acc=0.746, loss=52.712, backward_time=0.336, grad_norm=178.099, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.820e-05, train_time=1.711 -[gpua010:0/64] 2023-12-15 19:53:04,914 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua010:0/64] 2023-12-15 19:53:23,074 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-15 19:53:26,593 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-15 19:53:26,593 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua010:0/64] 2023-12-15 19:53:26,598 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-15 19:59:04,693 (trainer:737) INFO: 35epoch:train:6201-6300batch: iter_time=3.029, forward_time=0.150, loss_ctc=55.495, loss_att=42.431, acc=0.760, loss=46.350, backward_time=0.297, grad_norm=57.106, clip=100.000, loss_scale=1.643e+31, optim_step_time=0.131, optim0_lr0=6.819e-05, train_time=4.651 -[gpua010:0/64] 2023-12-15 20:01:17,498 (trainer:737) INFO: 35epoch:train:6301-6400batch: iter_time=7.881e-05, forward_time=0.149, loss_ctc=60.838, loss_att=47.202, acc=0.748, loss=51.293, backward_time=0.277, grad_norm=54.642, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.818e-05, train_time=1.328 -[gpua010:0/64] 2023-12-15 20:03:43,073 (trainer:737) INFO: 35epoch:train:6401-6500batch: iter_time=7.863e-05, forward_time=0.277, loss_ctc=76.264, loss_att=60.796, acc=0.735, loss=65.436, backward_time=0.310, grad_norm=119.610, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.818e-05, train_time=1.455 -[gpua010:0/64] 2023-12-15 20:06:14,011 (trainer:737) INFO: 35epoch:train:6501-6600batch: iter_time=8.133e-05, forward_time=0.146, loss_ctc=67.496, loss_att=52.858, acc=0.736, loss=57.250, backward_time=0.293, grad_norm=128.428, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.817e-05, train_time=1.510 -[gpua010:0/64] 2023-12-15 20:08:35,646 (trainer:737) INFO: 35epoch:train:6601-6700batch: iter_time=8.362e-05, forward_time=0.147, loss_ctc=63.527, loss_att=50.731, acc=0.745, loss=54.570, backward_time=0.292, grad_norm=59.276, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.816e-05, train_time=1.416 -[gpua010:0/64] 2023-12-15 20:11:03,956 (trainer:737) INFO: 35epoch:train:6701-6800batch: iter_time=8.304e-05, forward_time=0.147, loss_ctc=58.089, loss_att=41.998, acc=0.756, loss=46.826, backward_time=0.288, grad_norm=80.773, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.816e-05, train_time=1.483 -[gpua010:0/64] 2023-12-15 20:13:29,894 (trainer:737) INFO: 35epoch:train:6801-6900batch: iter_time=8.460e-05, forward_time=0.146, loss_ctc=55.121, loss_att=44.103, acc=0.736, loss=47.408, backward_time=0.307, grad_norm=64.721, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.815e-05, train_time=1.459 -[gpua010:0/64] 2023-12-15 20:15:52,220 (trainer:737) INFO: 35epoch:train:6901-7000batch: iter_time=8.344e-05, forward_time=0.149, loss_ctc=60.443, loss_att=42.406, acc=0.755, loss=47.817, backward_time=0.302, grad_norm=61.086, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.814e-05, train_time=1.423 -[gpua010:0/64] 2023-12-15 20:18:09,579 (trainer:737) INFO: 35epoch:train:7001-7100batch: iter_time=2.117e-04, forward_time=0.208, loss_ctc=54.542, loss_att=43.289, acc=0.741, loss=46.665, backward_time=0.302, grad_norm=55.930, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.814e-05, train_time=1.373 -[gpua010:0/64] 2023-12-15 20:20:31,379 (trainer:737) INFO: 35epoch:train:7101-7200batch: iter_time=8.493e-05, forward_time=0.181, loss_ctc=63.973, loss_att=52.857, acc=0.730, loss=56.192, backward_time=0.302, grad_norm=67.728, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.813e-05, train_time=1.416 -[gpua010:0/64] 2023-12-15 20:21:54,842 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua010:0/64] 2023-12-15 20:23:02,626 (trainer:737) INFO: 35epoch:train:7201-7300batch: iter_time=8.488e-05, forward_time=0.147, loss_ctc=61.061, loss_att=49.397, acc=0.735, loss=52.896, backward_time=0.300, grad_norm=97.674, clip=100.000, loss_scale=1.618e+31, optim_step_time=0.131, optim0_lr0=6.813e-05, train_time=1.514 -[gpua010:0/64] 2023-12-15 20:25:57,875 (trainer:737) INFO: 35epoch:train:7301-7400batch: iter_time=8.542e-05, forward_time=0.147, loss_ctc=62.242, loss_att=56.967, acc=0.739, loss=58.550, backward_time=0.288, grad_norm=67.654, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.812e-05, train_time=1.752 -[gpua010:0/64] 2023-12-15 20:28:10,159 (trainer:737) INFO: 35epoch:train:7401-7500batch: iter_time=8.129e-05, forward_time=0.146, loss_ctc=60.147, loss_att=47.828, acc=0.748, loss=51.524, backward_time=0.276, grad_norm=79.083, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.811e-05, train_time=1.322 -[gpua010:0/64] 2023-12-15 20:28:30,262 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua010:0/64] 2023-12-15 20:28:48,554 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-15 20:28:51,990 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-15 20:28:51,990 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua010:0/64] 2023-12-15 20:28:51,993 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-15 20:37:28,663 (trainer:737) INFO: 35epoch:train:7501-7600batch: iter_time=2.933, forward_time=0.174, loss_ctc=52.768, loss_att=38.727, acc=0.757, loss=42.939, backward_time=0.286, grad_norm=67.927, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.811e-05, train_time=5.585 -[gpua010:0/64] 2023-12-15 20:39:45,111 (trainer:737) INFO: 35epoch:train:7601-7700batch: iter_time=8.239e-05, forward_time=0.146, loss_ctc=72.797, loss_att=59.496, acc=0.726, loss=63.487, backward_time=0.285, grad_norm=92.457, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.810e-05, train_time=1.365 -[gpua010:0/64] 2023-12-15 20:42:15,625 (trainer:737) INFO: 35epoch:train:7701-7800batch: iter_time=8.100e-05, forward_time=0.220, loss_ctc=76.472, loss_att=63.290, acc=0.712, loss=67.245, backward_time=0.344, grad_norm=110.831, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.809e-05, train_time=1.504 -[gpua010:0/64] 2023-12-15 20:44:59,938 (trainer:737) INFO: 35epoch:train:7801-7900batch: iter_time=8.236e-05, forward_time=0.146, loss_ctc=55.453, loss_att=40.439, acc=0.748, loss=44.943, backward_time=0.311, grad_norm=71.925, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.809e-05, train_time=1.643 -[gpua010:0/64] 2023-12-15 20:47:37,517 (trainer:737) INFO: 35epoch:train:7901-8000batch: iter_time=8.232e-05, forward_time=0.211, loss_ctc=64.363, loss_att=51.026, acc=0.740, loss=55.027, backward_time=0.343, grad_norm=72.856, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.808e-05, train_time=1.576 -[gpua010:0/64] 2023-12-15 20:49:57,809 (trainer:737) INFO: 35epoch:train:8001-8100batch: iter_time=7.953e-05, forward_time=0.186, loss_ctc=56.639, loss_att=43.605, acc=0.735, loss=47.515, backward_time=0.284, grad_norm=88.403, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.807e-05, train_time=1.402 -[gpua010:0/64] 2023-12-15 20:52:16,468 (trainer:737) INFO: 35epoch:train:8101-8200batch: iter_time=8.200e-05, forward_time=0.145, loss_ctc=60.589, loss_att=44.139, acc=0.739, loss=49.074, backward_time=0.301, grad_norm=71.137, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.807e-05, train_time=1.386 -[gpua010:0/64] 2023-12-15 20:54:52,516 (trainer:737) INFO: 35epoch:train:8201-8300batch: iter_time=8.157e-05, forward_time=0.209, loss_ctc=54.577, loss_att=44.834, acc=0.730, loss=47.757, backward_time=0.343, grad_norm=75.287, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.139, optim0_lr0=6.806e-05, train_time=1.561 -[gpua010:0/64] 2023-12-15 20:57:28,316 (trainer:737) INFO: 35epoch:train:8301-8400batch: iter_time=8.313e-05, forward_time=0.167, loss_ctc=54.813, loss_att=43.972, acc=0.729, loss=47.224, backward_time=0.299, grad_norm=63.703, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.805e-05, train_time=1.558 -[gpua010:0/64] 2023-12-15 21:00:17,115 (trainer:737) INFO: 35epoch:train:8401-8500batch: iter_time=1.818e-04, forward_time=0.170, loss_ctc=66.383, loss_att=53.248, acc=0.727, loss=57.188, backward_time=0.297, grad_norm=65.277, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.805e-05, train_time=1.688 -[gpua010:0/64] 2023-12-15 21:02:43,668 (trainer:737) INFO: 35epoch:train:8501-8600batch: iter_time=8.963e-05, forward_time=0.189, loss_ctc=60.926, loss_att=53.320, acc=0.729, loss=55.602, backward_time=0.314, grad_norm=70.162, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.804e-05, train_time=1.466 -[gpua010:0/64] 2023-12-15 21:04:58,687 (trainer:737) INFO: 35epoch:train:8601-8700batch: iter_time=8.892e-05, forward_time=0.147, loss_ctc=60.324, loss_att=48.128, acc=0.735, loss=51.786, backward_time=0.285, grad_norm=59.738, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.803e-05, train_time=1.350 -[gpua010:0/64] 2023-12-15 21:06:35,832 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua010:0/64] 2023-12-15 21:06:54,224 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-15 21:06:57,876 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-15 21:06:57,876 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua010:0/64] 2023-12-15 21:06:58,378 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-15 21:16:53,719 (trainer:737) INFO: 35epoch:train:8701-8800batch: iter_time=3.278, forward_time=0.240, loss_ctc=55.644, loss_att=42.468, acc=0.757, loss=46.421, backward_time=0.288, grad_norm=56.765, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.803e-05, train_time=7.150 -[gpua010:0/64] 2023-12-15 21:19:31,091 (trainer:737) INFO: 35epoch:train:8801-8900batch: iter_time=8.527e-05, forward_time=0.148, loss_ctc=60.528, loss_att=48.334, acc=0.746, loss=51.992, backward_time=0.277, grad_norm=68.753, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.802e-05, train_time=1.574 -[gpua010:0/64] 2023-12-15 21:22:47,366 (trainer:737) INFO: 35epoch:train:8901-9000batch: iter_time=8.598e-05, forward_time=0.147, loss_ctc=75.965, loss_att=61.637, acc=0.735, loss=65.935, backward_time=0.328, grad_norm=81.131, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.801e-05, train_time=1.961 -[gpua010:0/64] 2023-12-15 21:25:41,154 (trainer:737) INFO: 35epoch:train:9001-9100batch: iter_time=7.827e-05, forward_time=0.146, loss_ctc=66.262, loss_att=53.044, acc=0.734, loss=57.010, backward_time=0.310, grad_norm=81.713, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.130, optim0_lr0=6.801e-05, train_time=1.739 -[gpua010:0/64] 2023-12-15 21:28:02,166 (trainer:737) INFO: 35epoch:train:9101-9200batch: iter_time=8.034e-05, forward_time=0.148, loss_ctc=63.310, loss_att=50.563, acc=0.746, loss=54.387, backward_time=0.287, grad_norm=95.636, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.130, optim0_lr0=6.800e-05, train_time=1.410 -[gpua010:0/64] 2023-12-15 21:31:21,749 (trainer:737) INFO: 35epoch:train:9201-9300batch: iter_time=7.890e-05, forward_time=0.246, loss_ctc=58.070, loss_att=41.960, acc=0.756, loss=46.793, backward_time=0.358, grad_norm=87.095, clip=100.000, loss_scale=1.420e+31, optim_step_time=0.148, optim0_lr0=6.799e-05, train_time=1.995 -[gpua010:0/64] 2023-12-15 21:33:17,534 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua010:0/64] 2023-12-15 21:34:43,073 (trainer:737) INFO: 35epoch:train:9301-9400batch: iter_time=8.259e-05, forward_time=0.154, loss_ctc=54.899, loss_att=43.947, acc=0.737, loss=47.233, backward_time=0.376, grad_norm=81.510, clip=100.000, loss_scale=1.772e+31, optim_step_time=0.131, optim0_lr0=6.799e-05, train_time=2.013 -[gpua010:0/64] 2023-12-15 21:37:43,737 (trainer:737) INFO: 35epoch:train:9401-9500batch: iter_time=8.235e-05, forward_time=0.148, loss_ctc=60.443, loss_att=42.305, acc=0.755, loss=47.746, backward_time=0.304, grad_norm=114.416, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.798e-05, train_time=1.807 -[gpua010:0/64] 2023-12-15 21:40:58,419 (trainer:737) INFO: 35epoch:train:9501-9600batch: iter_time=8.345e-05, forward_time=0.146, loss_ctc=53.904, loss_att=42.855, acc=0.746, loss=46.170, backward_time=0.286, grad_norm=69.902, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.797e-05, train_time=1.946 -[gpua010:0/64] 2023-12-15 21:44:14,019 (trainer:737) INFO: 35epoch:train:9601-9700batch: iter_time=8.321e-05, forward_time=0.146, loss_ctc=63.495, loss_att=52.652, acc=0.730, loss=55.905, backward_time=0.337, grad_norm=66.311, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.797e-05, train_time=1.956 -[gpua010:0/64] 2023-12-15 21:46:48,521 (trainer:737) INFO: 35epoch:train:9701-9800batch: iter_time=3.884e-04, forward_time=0.174, loss_ctc=61.253, loss_att=49.613, acc=0.737, loss=53.105, backward_time=0.322, grad_norm=67.879, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.796e-05, train_time=1.544 -[gpua010:0/64] 2023-12-15 21:49:21,145 (trainer:737) INFO: 35epoch:train:9801-9900batch: iter_time=8.151e-05, forward_time=0.220, loss_ctc=62.444, loss_att=56.920, acc=0.738, loss=58.577, backward_time=0.303, grad_norm=87.970, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.795e-05, train_time=1.526 -[gpua010:0/64] 2023-12-15 21:51:51,236 (trainer:737) INFO: 35epoch:train:9901-10000batch: iter_time=8.230e-05, forward_time=0.146, loss_ctc=60.112, loss_att=48.081, acc=0.747, loss=51.691, backward_time=0.290, grad_norm=87.013, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.795e-05, train_time=1.501 -[gpua010:0/64] 2023-12-15 21:52:11,264 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua010:0/64] 2023-12-15 21:52:29,439 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-15 21:52:32,836 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-15 21:52:32,836 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua010:0/64] 2023-12-15 21:52:32,840 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-15 21:59:18,033 (trainer:737) INFO: 35epoch:train:10001-10100batch: iter_time=2.625, forward_time=0.184, loss_ctc=52.543, loss_att=38.668, acc=0.758, loss=42.830, backward_time=0.280, grad_norm=67.585, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.794e-05, train_time=4.468 -[gpua010:0/64] 2023-12-15 22:01:24,007 (trainer:737) INFO: 35epoch:train:10101-10200batch: iter_time=8.175e-05, forward_time=0.146, loss_ctc=71.361, loss_att=59.449, acc=0.730, loss=63.023, backward_time=0.277, grad_norm=93.699, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.793e-05, train_time=1.260 -[gpua010:0/64] 2023-12-15 22:03:33,092 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua010:0/64] 2023-12-15 22:03:58,952 (trainer:737) INFO: 35epoch:train:10201-10300batch: iter_time=8.212e-05, forward_time=0.146, loss_ctc=79.025, loss_att=62.884, acc=0.712, loss=67.726, backward_time=0.320, grad_norm=95.497, clip=100.000, loss_scale=9.066e+30, optim_step_time=0.131, optim0_lr0=6.793e-05, train_time=1.549 -[gpua010:0/64] 2023-12-15 22:06:42,754 (trainer:737) INFO: 35epoch:train:10301-10400batch: iter_time=7.993e-05, forward_time=0.146, loss_ctc=56.063, loss_att=39.979, acc=0.753, loss=44.804, backward_time=0.319, grad_norm=74.486, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.792e-05, train_time=1.638 -[gpua010:0/64] 2023-12-15 22:09:00,883 (trainer:737) INFO: 35epoch:train:10401-10500batch: iter_time=8.309e-05, forward_time=0.222, loss_ctc=64.551, loss_att=50.591, acc=0.741, loss=54.779, backward_time=0.295, grad_norm=74.759, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=6.792e-05, train_time=1.381 -[gpua010:0/64] 2023-12-15 22:11:22,543 (trainer:737) INFO: 35epoch:train:10501-10600batch: iter_time=8.615e-05, forward_time=0.161, loss_ctc=56.592, loss_att=43.642, acc=0.734, loss=47.527, backward_time=0.295, grad_norm=95.985, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=6.791e-05, train_time=1.417 -[gpua010:0/64] 2023-12-15 22:14:34,592 (trainer:737) INFO: 35epoch:train:10601-10700batch: iter_time=8.357e-05, forward_time=0.146, loss_ctc=60.136, loss_att=43.835, acc=0.741, loss=48.726, backward_time=0.326, grad_norm=92.106, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.790e-05, train_time=1.920 -[gpua010:0/64] 2023-12-15 22:17:18,521 (trainer:737) INFO: 35epoch:train:10701-10800batch: iter_time=8.532e-05, forward_time=0.146, loss_ctc=53.683, loss_att=44.047, acc=0.731, loss=46.938, backward_time=0.345, grad_norm=93.048, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.790e-05, train_time=1.639 -[gpua010:0/64] 2023-12-15 22:19:49,922 (trainer:737) INFO: 35epoch:train:10801-10900batch: iter_time=8.206e-05, forward_time=0.145, loss_ctc=55.175, loss_att=44.138, acc=0.728, loss=47.449, backward_time=0.334, grad_norm=61.117, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.789e-05, train_time=1.514 -[gpua010:0/64] 2023-12-15 22:22:02,262 (trainer:737) INFO: 35epoch:train:10901-11000batch: iter_time=8.036e-05, forward_time=0.148, loss_ctc=66.409, loss_att=53.288, acc=0.728, loss=57.224, backward_time=0.281, grad_norm=73.781, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.788e-05, train_time=1.323 -[gpua010:0/64] 2023-12-15 22:24:30,719 (trainer:737) INFO: 35epoch:train:11001-11100batch: iter_time=7.950e-05, forward_time=0.248, loss_ctc=61.070, loss_att=52.556, acc=0.732, loss=55.110, backward_time=0.297, grad_norm=103.447, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=6.788e-05, train_time=1.484 -[gpua010:0/64] 2023-12-15 22:26:54,168 (trainer:737) INFO: 35epoch:train:11101-11200batch: iter_time=8.270e-05, forward_time=0.163, loss_ctc=60.219, loss_att=48.107, acc=0.737, loss=51.741, backward_time=0.284, grad_norm=110.933, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.787e-05, train_time=1.435 -[gpua010:0/64] 2023-12-15 22:28:30,443 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua010:0/64] 2023-12-15 22:28:49,172 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-15 22:28:52,589 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-15 22:28:52,589 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua010:0/64] 2023-12-15 22:28:52,592 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-15 22:34:34,199 (trainer:737) INFO: 35epoch:train:11201-11300batch: iter_time=3.085, forward_time=0.147, loss_ctc=55.617, loss_att=42.731, acc=0.756, loss=46.597, backward_time=0.292, grad_norm=65.641, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.786e-05, train_time=4.600 -[gpua010:0/64] 2023-12-15 22:36:34,517 (trainer:737) INFO: 35epoch:train:11301-11400batch: iter_time=7.627e-05, forward_time=0.147, loss_ctc=59.894, loss_att=47.905, acc=0.738, loss=51.502, backward_time=0.278, grad_norm=71.523, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=6.786e-05, train_time=1.203 -[gpua010:0/64] 2023-12-15 22:39:02,985 (trainer:737) INFO: 35epoch:train:11401-11500batch: iter_time=8.021e-05, forward_time=0.150, loss_ctc=76.426, loss_att=60.544, acc=0.726, loss=65.309, backward_time=0.292, grad_norm=99.708, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=6.785e-05, train_time=1.484 -[gpua010:0/64] 2023-12-15 22:41:04,237 (trainer:737) INFO: 35epoch:train:11501-11600batch: iter_time=8.185e-05, forward_time=0.147, loss_ctc=67.731, loss_att=52.449, acc=0.737, loss=57.034, backward_time=0.277, grad_norm=96.149, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.784e-05, train_time=1.212 -[gpua010:0/64] 2023-12-15 22:43:41,194 (trainer:737) INFO: 35epoch:train:11601-11700batch: iter_time=8.345e-05, forward_time=0.212, loss_ctc=63.610, loss_att=50.919, acc=0.732, loss=54.726, backward_time=0.309, grad_norm=74.211, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.784e-05, train_time=1.569 -[gpua010:0/64] 2023-12-15 22:46:06,398 (trainer:737) INFO: 35epoch:train:11701-11800batch: iter_time=8.363e-05, forward_time=0.181, loss_ctc=57.582, loss_att=42.094, acc=0.750, loss=46.741, backward_time=0.286, grad_norm=66.674, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=6.783e-05, train_time=1.451 -[gpua010:0/64] 2023-12-15 22:48:54,111 (trainer:737) INFO: 35epoch:train:11801-11900batch: iter_time=8.169e-05, forward_time=0.147, loss_ctc=55.225, loss_att=44.639, acc=0.728, loss=47.815, backward_time=0.332, grad_norm=61.744, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.782e-05, train_time=1.677 -[gpua010:0/64] 2023-12-15 22:51:54,110 (trainer:737) INFO: 35epoch:train:11901-12000batch: iter_time=8.071e-05, forward_time=0.146, loss_ctc=60.933, loss_att=43.384, acc=0.742, loss=48.649, backward_time=0.334, grad_norm=68.508, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.782e-05, train_time=1.800 -[gpua010:0/64] 2023-12-15 22:54:27,434 (trainer:737) INFO: 35epoch:train:12001-12100batch: iter_time=8.194e-05, forward_time=0.146, loss_ctc=54.125, loss_att=41.982, acc=0.739, loss=45.625, backward_time=0.324, grad_norm=57.983, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.781e-05, train_time=1.533 -[gpua010:0/64] 2023-12-15 22:56:44,921 (trainer:737) INFO: 35epoch:train:12101-12200batch: iter_time=8.036e-05, forward_time=0.150, loss_ctc=63.011, loss_att=51.813, acc=0.721, loss=55.172, backward_time=0.284, grad_norm=65.728, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.780e-05, train_time=1.374 -[gpua010:0/64] 2023-12-15 22:59:25,418 (trainer:737) INFO: 35epoch:train:12201-12300batch: iter_time=7.914e-05, forward_time=0.146, loss_ctc=60.929, loss_att=48.458, acc=0.735, loss=52.199, backward_time=0.315, grad_norm=71.745, clip=100.000, loss_scale=6.135e+30, optim_step_time=0.131, optim0_lr0=6.780e-05, train_time=1.605 -[gpua010:0/64] 2023-12-15 23:01:50,476 (trainer:737) INFO: 35epoch:train:12301-12400batch: iter_time=7.933e-05, forward_time=0.146, loss_ctc=62.486, loss_att=57.078, acc=0.728, loss=58.700, backward_time=0.287, grad_norm=63.199, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.779e-05, train_time=1.450 -[gpua010:0/64] 2023-12-15 23:04:04,543 (trainer:737) INFO: 35epoch:train:12401-12500batch: iter_time=8.632e-05, forward_time=0.192, loss_ctc=60.454, loss_att=46.794, acc=0.740, loss=50.892, backward_time=0.302, grad_norm=89.805, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.779e-05, train_time=1.341 -[gpua010:0/64] 2023-12-15 23:04:24,571 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua010:0/64] 2023-12-15 23:04:42,626 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-15 23:04:46,064 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-15 23:04:46,064 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua010:0/64] 2023-12-15 23:04:46,117 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-15 23:11:31,189 (trainer:737) INFO: 35epoch:train:12501-12600batch: iter_time=3.164, forward_time=0.164, loss_ctc=52.503, loss_att=37.632, acc=0.765, loss=42.093, backward_time=0.278, grad_norm=54.869, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.778e-05, train_time=4.466 -[gpua010:0/64] 2023-12-15 23:13:56,068 (trainer:737) INFO: 35epoch:train:12601-12700batch: iter_time=8.259e-05, forward_time=0.146, loss_ctc=70.181, loss_att=57.731, acc=0.738, loss=61.466, backward_time=0.326, grad_norm=95.894, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.777e-05, train_time=1.448 -[gpua010:0/64] 2023-12-15 23:16:14,591 (trainer:737) INFO: 35epoch:train:12701-12800batch: iter_time=8.173e-05, forward_time=0.172, loss_ctc=76.327, loss_att=62.730, acc=0.723, loss=66.809, backward_time=0.301, grad_norm=90.305, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.777e-05, train_time=1.385 -[gpua010:0/64] 2023-12-15 23:19:09,980 (trainer:737) INFO: 35epoch:train:12801-12900batch: iter_time=7.942e-05, forward_time=0.224, loss_ctc=55.217, loss_att=40.056, acc=0.755, loss=44.604, backward_time=0.317, grad_norm=80.989, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.776e-05, train_time=1.754 -[gpua010:0/64] 2023-12-15 23:21:52,419 (trainer:737) INFO: 35epoch:train:12901-13000batch: iter_time=7.986e-05, forward_time=0.146, loss_ctc=63.277, loss_att=49.816, acc=0.754, loss=53.854, backward_time=0.304, grad_norm=64.803, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.775e-05, train_time=1.624 -[gpua010:0/64] 2023-12-15 23:24:21,968 (trainer:737) INFO: 35epoch:train:13001-13100batch: iter_time=9.251e-05, forward_time=0.161, loss_ctc=55.154, loss_att=42.249, acc=0.746, loss=46.120, backward_time=0.298, grad_norm=81.019, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.775e-05, train_time=1.495 -[gpua010:0/64] 2023-12-15 23:26:56,320 (trainer:737) INFO: 35epoch:train:13101-13200batch: iter_time=8.814e-05, forward_time=0.160, loss_ctc=60.105, loss_att=43.485, acc=0.751, loss=48.471, backward_time=0.295, grad_norm=65.492, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.774e-05, train_time=1.544 -[gpua010:0/64] 2023-12-15 23:29:23,175 (trainer:737) INFO: 35epoch:train:13201-13300batch: iter_time=9.305e-05, forward_time=0.160, loss_ctc=53.494, loss_att=45.165, acc=0.742, loss=47.664, backward_time=0.310, grad_norm=61.004, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.773e-05, train_time=1.468 -[gpua010:0/64] 2023-12-15 23:31:41,701 (trainer:737) INFO: 35epoch:train:13301-13400batch: iter_time=9.972e-05, forward_time=0.147, loss_ctc=54.587, loss_att=44.616, acc=0.732, loss=47.607, backward_time=0.295, grad_norm=60.016, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.773e-05, train_time=1.384 -[gpua010:0/64] 2023-12-15 23:34:32,942 (trainer:737) INFO: 35epoch:train:13401-13500batch: iter_time=9.584e-05, forward_time=0.152, loss_ctc=65.903, loss_att=53.420, acc=0.738, loss=57.165, backward_time=0.309, grad_norm=71.377, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.772e-05, train_time=1.713 -[gpua010:0/64] 2023-12-15 23:36:58,825 (trainer:737) INFO: 35epoch:train:13501-13600batch: iter_time=9.538e-05, forward_time=0.146, loss_ctc=60.936, loss_att=53.436, acc=0.735, loss=55.686, backward_time=0.314, grad_norm=79.909, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.771e-05, train_time=1.459 -[gpua010:0/64] 2023-12-15 23:39:10,285 (trainer:737) INFO: 35epoch:train:13601-13700batch: iter_time=8.981e-05, forward_time=0.149, loss_ctc=60.952, loss_att=49.428, acc=0.747, loss=52.886, backward_time=0.280, grad_norm=63.708, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.771e-05, train_time=1.314 -[gpua010:0/64] 2023-12-15 23:40:56,485 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua010:0/64] 2023-12-15 23:41:15,070 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-15 23:41:18,466 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-15 23:41:18,467 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua010:0/64] 2023-12-15 23:41:18,470 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-15 23:46:49,902 (trainer:737) INFO: 35epoch:train:13701-13800batch: iter_time=2.984, forward_time=0.213, loss_ctc=55.147, loss_att=41.929, acc=0.764, loss=45.895, backward_time=0.300, grad_norm=68.529, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.770e-05, train_time=4.596 -[gpua010:0/64] 2023-12-15 23:48:53,266 (trainer:737) INFO: 35epoch:train:13801-13900batch: iter_time=7.680e-05, forward_time=0.147, loss_ctc=59.870, loss_att=47.261, acc=0.748, loss=51.044, backward_time=0.276, grad_norm=60.711, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.769e-05, train_time=1.234 -[gpua010:0/64] 2023-12-15 23:51:35,069 (trainer:737) INFO: 35epoch:train:13901-14000batch: iter_time=7.895e-05, forward_time=0.153, loss_ctc=75.613, loss_att=62.145, acc=0.734, loss=66.185, backward_time=0.315, grad_norm=103.541, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.769e-05, train_time=1.618 -[gpua010:0/64] 2023-12-15 23:54:06,154 (trainer:737) INFO: 35epoch:train:14001-14100batch: iter_time=8.210e-05, forward_time=0.147, loss_ctc=66.235, loss_att=53.096, acc=0.737, loss=57.038, backward_time=0.290, grad_norm=95.949, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.768e-05, train_time=1.511 -[gpua010:0/64] 2023-12-15 23:56:33,752 (trainer:737) INFO: 35epoch:train:14101-14200batch: iter_time=8.060e-05, forward_time=0.152, loss_ctc=62.799, loss_att=50.204, acc=0.746, loss=53.983, backward_time=0.296, grad_norm=64.163, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.768e-05, train_time=1.476 -[gpua010:0/64] 2023-12-15 23:59:31,602 (trainer:737) INFO: 35epoch:train:14201-14300batch: iter_time=8.082e-05, forward_time=0.239, loss_ctc=57.666, loss_att=42.116, acc=0.757, loss=46.781, backward_time=0.322, grad_norm=88.131, clip=100.000, loss_scale=1.227e+31, optim_step_time=0.133, optim0_lr0=6.767e-05, train_time=1.778 -[gpua010:0/64] 2023-12-16 00:02:05,118 (trainer:737) INFO: 35epoch:train:14301-14400batch: iter_time=8.224e-05, forward_time=0.146, loss_ctc=54.476, loss_att=43.922, acc=0.738, loss=47.088, backward_time=0.298, grad_norm=73.361, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.766e-05, train_time=1.535 -[gpua010:0/64] 2023-12-16 00:05:30,663 (trainer:737) INFO: 35epoch:train:14401-14500batch: iter_time=8.216e-05, forward_time=0.148, loss_ctc=60.534, loss_att=42.550, acc=0.754, loss=47.945, backward_time=0.351, grad_norm=121.584, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.766e-05, train_time=2.055 -[gpua010:0/64] 2023-12-16 00:07:56,437 (trainer:737) INFO: 35epoch:train:14501-14600batch: iter_time=8.218e-05, forward_time=0.146, loss_ctc=54.161, loss_att=43.167, acc=0.745, loss=46.465, backward_time=0.294, grad_norm=70.449, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.765e-05, train_time=1.458 -[gpua010:0/64] 2023-12-16 00:11:16,026 (trainer:737) INFO: 35epoch:train:14601-14700batch: iter_time=8.090e-04, forward_time=0.243, loss_ctc=63.271, loss_att=52.482, acc=0.733, loss=55.718, backward_time=0.336, grad_norm=61.041, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=6.764e-05, train_time=1.995 -[gpua010:0/64] 2023-12-16 00:13:29,106 (trainer:737) INFO: 35epoch:train:14701-14800batch: iter_time=7.983e-05, forward_time=0.147, loss_ctc=61.227, loss_att=49.314, acc=0.735, loss=52.888, backward_time=0.278, grad_norm=71.546, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.764e-05, train_time=1.331 -[gpua010:0/64] 2023-12-16 00:15:43,172 (trainer:737) INFO: 35epoch:train:14801-14900batch: iter_time=8.075e-05, forward_time=0.156, loss_ctc=61.963, loss_att=56.983, acc=0.736, loss=58.477, backward_time=0.306, grad_norm=66.572, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.763e-05, train_time=1.340 -[gpua010:0/64] 2023-12-16 00:18:28,226 (trainer:737) INFO: 35epoch:train:14901-15000batch: iter_time=8.047e-05, forward_time=0.147, loss_ctc=59.735, loss_att=48.192, acc=0.747, loss=51.655, backward_time=0.316, grad_norm=60.036, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.762e-05, train_time=1.650 -[gpua010:0/64] 2023-12-16 00:43:27,408 (trainer:343) INFO: 35epoch results: [train] iter_time=0.249, forward_time=0.173, loss_ctc=61.647, loss_att=48.721, acc=0.738, loss=52.599, backward_time=0.311, grad_norm=81.548, clip=100.000, loss_scale=1.223e+31, optim_step_time=0.132, optim0_lr0=6.811e-05, train_time=1.860, time=7 hours, 45 minutes and 23.91 seconds, total_count=525000, gpu_max_cached_mem_GB=36.826, [valid] loss_ctc=33.568, cer_ctc=0.174, loss_att=34.855, acc=0.735, cer=0.248, wer=0.959, loss=34.469, time=24 minutes and 34.36 seconds, total_count=163485, gpu_max_cached_mem_GB=36.826 -[gpua010:0/64] 2023-12-16 00:43:53,364 (trainer:391) INFO: The best model has been updated: valid.total_count -[gpua010:0/64] 2023-12-16 00:43:53,398 (average_nbest_models:69) INFO: Averaging 5best models: criterion="valid.acc": exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.acc.ave_5best.till35epoch.pth -[gpua010:0/64] 2023-12-16 00:44:37,384 (average_nbest_models:69) INFO: Averaging 5best models: criterion="valid.total_count": exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.total_count.ave_5best.till35epoch.pth -[gpua010:0/64] 2023-12-16 00:45:04,891 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/26epoch.pth, exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/30epoch.pth -[gpua010:0/64] 2023-12-16 00:45:04,990 (trainer:272) INFO: 36/40epoch started. Estimated time to finish: 1 day, 16 hours and 58 minutes -[gpua010:0/64] 2023-12-16 00:45:05,507 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua010:0/64] 2023-12-16 00:45:23,695 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 00:45:27,407 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 00:45:27,407 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua010:0/64] 2023-12-16 00:45:27,475 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 00:53:31,503 (trainer:737) INFO: 36epoch:train:1-100batch: iter_time=3.701, forward_time=0.198, loss_ctc=68.071, loss_att=57.044, acc=0.722, loss=60.352, backward_time=0.284, grad_norm=80.225, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.762e-05, train_time=5.060 -[gpua010:0/64] 2023-12-16 00:55:49,505 (trainer:737) INFO: 36epoch:train:101-200batch: iter_time=8.598e-05, forward_time=0.148, loss_ctc=76.404, loss_att=65.677, acc=0.716, loss=68.895, backward_time=0.294, grad_norm=80.346, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.761e-05, train_time=1.380 -[gpua010:0/64] 2023-12-16 00:58:15,812 (trainer:737) INFO: 36epoch:train:201-300batch: iter_time=8.124e-05, forward_time=0.150, loss_ctc=67.830, loss_att=54.235, acc=0.736, loss=58.313, backward_time=0.305, grad_norm=71.950, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.760e-05, train_time=1.463 -[gpua010:0/64] 2023-12-16 01:01:03,610 (trainer:737) INFO: 36epoch:train:301-400batch: iter_time=8.666e-05, forward_time=0.243, loss_ctc=63.553, loss_att=48.559, acc=0.732, loss=53.057, backward_time=0.350, grad_norm=81.961, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.760e-05, train_time=1.678 -[gpua010:0/64] 2023-12-16 01:03:36,477 (trainer:737) INFO: 36epoch:train:401-500batch: iter_time=9.019e-05, forward_time=0.148, loss_ctc=67.359, loss_att=55.114, acc=0.714, loss=58.788, backward_time=0.291, grad_norm=72.567, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.759e-05, train_time=1.529 -[gpua010:0/64] 2023-12-16 01:06:15,571 (trainer:737) INFO: 36epoch:train:501-600batch: iter_time=8.575e-05, forward_time=0.148, loss_ctc=74.637, loss_att=61.216, acc=0.738, loss=65.242, backward_time=0.313, grad_norm=68.175, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.759e-05, train_time=1.591 -[gpua010:0/64] 2023-12-16 01:09:11,742 (trainer:737) INFO: 36epoch:train:601-700batch: iter_time=2.459e-04, forward_time=0.233, loss_ctc=70.973, loss_att=54.377, acc=0.730, loss=59.356, backward_time=0.326, grad_norm=76.274, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.758e-05, train_time=1.761 -[gpua010:0/64] 2023-12-16 01:11:45,993 (trainer:737) INFO: 36epoch:train:701-800batch: iter_time=9.169e-05, forward_time=0.148, loss_ctc=51.193, loss_att=43.712, acc=0.736, loss=45.956, backward_time=0.317, grad_norm=92.927, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.757e-05, train_time=1.542 -[gpua010:0/64] 2023-12-16 01:14:21,880 (trainer:737) INFO: 36epoch:train:801-900batch: iter_time=8.991e-05, forward_time=0.150, loss_ctc=70.905, loss_att=57.747, acc=0.721, loss=61.694, backward_time=0.310, grad_norm=88.870, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.757e-05, train_time=1.559 -[gpua010:0/64] 2023-12-16 01:16:51,732 (trainer:737) INFO: 36epoch:train:901-1000batch: iter_time=9.679e-05, forward_time=0.147, loss_ctc=64.156, loss_att=49.268, acc=0.735, loss=53.734, backward_time=0.317, grad_norm=65.181, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.756e-05, train_time=1.498 -[gpua010:0/64] 2023-12-16 01:19:20,432 (trainer:737) INFO: 36epoch:train:1001-1100batch: iter_time=4.107e-04, forward_time=0.191, loss_ctc=68.285, loss_att=61.519, acc=0.729, loss=63.549, backward_time=0.300, grad_norm=67.939, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.141, optim0_lr0=6.755e-05, train_time=1.485 -[gpua010:0/64] 2023-12-16 01:22:00,386 (trainer:737) INFO: 36epoch:train:1101-1200batch: iter_time=9.119e-05, forward_time=0.189, loss_ctc=74.128, loss_att=60.714, acc=0.714, loss=64.738, backward_time=0.329, grad_norm=72.495, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.755e-05, train_time=1.601 -[gpua010:0/64] 2023-12-16 01:23:45,454 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua010:0/64] 2023-12-16 01:24:04,314 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 01:24:07,725 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 01:24:07,725 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua010:0/64] 2023-12-16 01:24:07,800 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 01:31:29,822 (trainer:737) INFO: 36epoch:train:1201-1300batch: iter_time=3.087, forward_time=0.150, loss_ctc=72.843, loss_att=57.908, acc=0.717, loss=62.388, backward_time=0.298, grad_norm=81.540, clip=100.000, loss_scale=2.454e+31, optim_step_time=0.133, optim0_lr0=6.754e-05, train_time=5.694 -[gpua010:0/64] 2023-12-16 01:33:40,392 (trainer:737) INFO: 36epoch:train:1301-1400batch: iter_time=9.103e-05, forward_time=0.149, loss_ctc=67.219, loss_att=54.789, acc=0.726, loss=58.518, backward_time=0.285, grad_norm=94.588, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.753e-05, train_time=1.306 -[gpua010:0/64] 2023-12-16 01:36:04,668 (trainer:737) INFO: 36epoch:train:1401-1500batch: iter_time=8.339e-05, forward_time=0.249, loss_ctc=72.357, loss_att=61.964, acc=0.720, loss=65.082, backward_time=0.321, grad_norm=74.278, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.753e-05, train_time=1.442 -[gpua010:0/64] 2023-12-16 01:38:39,997 (trainer:737) INFO: 36epoch:train:1501-1600batch: iter_time=9.013e-05, forward_time=0.148, loss_ctc=63.783, loss_att=48.370, acc=0.726, loss=52.994, backward_time=0.292, grad_norm=67.643, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.752e-05, train_time=1.553 -[gpua010:0/64] 2023-12-16 01:41:07,583 (trainer:737) INFO: 36epoch:train:1601-1700batch: iter_time=9.219e-05, forward_time=0.147, loss_ctc=69.149, loss_att=52.591, acc=0.717, loss=57.558, backward_time=0.301, grad_norm=76.165, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.751e-05, train_time=1.476 -[gpua010:0/64] 2023-12-16 01:43:30,740 (trainer:737) INFO: 36epoch:train:1701-1800batch: iter_time=8.506e-05, forward_time=0.147, loss_ctc=69.630, loss_att=60.128, acc=0.720, loss=62.979, backward_time=0.305, grad_norm=69.592, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.751e-05, train_time=1.431 -[gpua010:0/64] 2023-12-16 01:46:13,862 (trainer:737) INFO: 36epoch:train:1801-1900batch: iter_time=7.966e-05, forward_time=0.148, loss_ctc=69.032, loss_att=53.463, acc=0.737, loss=58.133, backward_time=0.297, grad_norm=70.802, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.750e-05, train_time=1.631 -[gpua010:0/64] 2023-12-16 01:48:41,845 (trainer:737) INFO: 36epoch:train:1901-2000batch: iter_time=8.297e-05, forward_time=0.239, loss_ctc=59.879, loss_att=51.067, acc=0.728, loss=53.711, backward_time=0.318, grad_norm=57.472, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=6.750e-05, train_time=1.479 -[gpua010:0/64] 2023-12-16 01:51:07,542 (trainer:737) INFO: 36epoch:train:2001-2100batch: iter_time=8.191e-05, forward_time=0.157, loss_ctc=61.472, loss_att=50.662, acc=0.717, loss=53.905, backward_time=0.287, grad_norm=65.964, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.749e-05, train_time=1.457 -[gpua010:0/64] 2023-12-16 01:53:20,467 (trainer:737) INFO: 36epoch:train:2101-2200batch: iter_time=8.124e-05, forward_time=0.148, loss_ctc=66.531, loss_att=51.699, acc=0.716, loss=56.149, backward_time=0.285, grad_norm=64.687, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.748e-05, train_time=1.329 -[gpua010:0/64] 2023-12-16 01:55:35,181 (trainer:737) INFO: 36epoch:train:2201-2300batch: iter_time=8.293e-05, forward_time=0.152, loss_ctc=64.113, loss_att=53.883, acc=0.739, loss=56.952, backward_time=0.286, grad_norm=68.620, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.748e-05, train_time=1.347 -[gpua010:0/64] 2023-12-16 01:57:57,998 (trainer:737) INFO: 36epoch:train:2301-2400batch: iter_time=8.249e-05, forward_time=0.148, loss_ctc=69.402, loss_att=57.608, acc=0.725, loss=61.146, backward_time=0.312, grad_norm=78.130, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.747e-05, train_time=1.428 -[gpua010:0/64] 2023-12-16 02:00:32,655 (trainer:737) INFO: 36epoch:train:2401-2500batch: iter_time=7.758e-05, forward_time=0.233, loss_ctc=72.172, loss_att=55.888, acc=0.717, loss=60.773, backward_time=0.302, grad_norm=95.021, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.746e-05, train_time=1.546 -[gpua010:0/64] 2023-12-16 02:00:52,791 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua010:0/64] 2023-12-16 02:01:10,834 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 02:01:14,253 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 02:01:14,253 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua010:0/64] 2023-12-16 02:01:14,317 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 02:10:46,301 (trainer:737) INFO: 36epoch:train:2501-2600batch: iter_time=4.876, forward_time=0.185, loss_ctc=66.257, loss_att=54.707, acc=0.732, loss=58.172, backward_time=0.284, grad_norm=75.082, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.746e-05, train_time=6.137 -[gpua010:0/64] 2023-12-16 02:12:48,050 (trainer:737) INFO: 36epoch:train:2601-2700batch: iter_time=8.508e-05, forward_time=0.148, loss_ctc=75.348, loss_att=63.709, acc=0.724, loss=67.201, backward_time=0.279, grad_norm=85.241, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.745e-05, train_time=1.217 -[gpua010:0/64] 2023-12-16 02:15:35,985 (trainer:737) INFO: 36epoch:train:2701-2800batch: iter_time=6.293e-04, forward_time=0.354, loss_ctc=66.767, loss_att=54.023, acc=0.739, loss=57.846, backward_time=0.349, grad_norm=68.618, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.144, optim0_lr0=6.744e-05, train_time=1.678 -[gpua010:0/64] 2023-12-16 02:17:53,922 (trainer:737) INFO: 36epoch:train:2801-2900batch: iter_time=7.942e-05, forward_time=0.169, loss_ctc=61.673, loss_att=47.032, acc=0.741, loss=51.425, backward_time=0.288, grad_norm=93.391, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.744e-05, train_time=1.380 -[gpua010:0/64] 2023-12-16 02:20:13,904 (trainer:737) INFO: 36epoch:train:2901-3000batch: iter_time=9.570e-05, forward_time=0.209, loss_ctc=65.745, loss_att=53.013, acc=0.725, loss=56.833, backward_time=0.311, grad_norm=110.797, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.743e-05, train_time=1.400 -[gpua010:0/64] 2023-12-16 02:21:32,619 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua010:0/64] 2023-12-16 02:23:08,116 (trainer:737) INFO: 36epoch:train:3001-3100batch: iter_time=1.008e-04, forward_time=0.149, loss_ctc=74.106, loss_att=60.453, acc=0.744, loss=64.549, backward_time=0.373, grad_norm=115.810, clip=100.000, loss_scale=2.971e+31, optim_step_time=0.133, optim0_lr0=6.742e-05, train_time=1.741 -[gpua010:0/64] 2023-12-16 02:25:36,603 (trainer:737) INFO: 36epoch:train:3101-3200batch: iter_time=9.494e-05, forward_time=0.148, loss_ctc=68.375, loss_att=53.132, acc=0.737, loss=57.705, backward_time=0.310, grad_norm=107.384, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.742e-05, train_time=1.485 -[gpua010:0/64] 2023-12-16 02:28:22,649 (trainer:737) INFO: 36epoch:train:3201-3300batch: iter_time=8.811e-05, forward_time=0.218, loss_ctc=50.769, loss_att=43.372, acc=0.741, loss=45.592, backward_time=0.307, grad_norm=132.578, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.741e-05, train_time=1.660 -[gpua010:0/64] 2023-12-16 02:30:49,456 (trainer:737) INFO: 36epoch:train:3301-3400batch: iter_time=8.892e-05, forward_time=0.149, loss_ctc=70.503, loss_att=56.871, acc=0.726, loss=60.961, backward_time=0.295, grad_norm=74.334, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.741e-05, train_time=1.466 -[gpua010:0/64] 2023-12-16 02:33:27,158 (trainer:737) INFO: 36epoch:train:3401-3500batch: iter_time=7.975e-04, forward_time=0.231, loss_ctc=63.031, loss_att=47.836, acc=0.742, loss=52.395, backward_time=0.338, grad_norm=81.617, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.142, optim0_lr0=6.740e-05, train_time=1.578 -[gpua010:0/64] 2023-12-16 02:36:12,360 (trainer:737) INFO: 36epoch:train:3501-3600batch: iter_time=8.658e-05, forward_time=0.150, loss_ctc=67.897, loss_att=61.010, acc=0.730, loss=63.076, backward_time=0.294, grad_norm=66.690, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.739e-05, train_time=1.653 -[gpua010:0/64] 2023-12-16 02:38:33,870 (trainer:737) INFO: 36epoch:train:3601-3700batch: iter_time=8.848e-05, forward_time=0.148, loss_ctc=72.250, loss_att=59.183, acc=0.722, loss=63.103, backward_time=0.287, grad_norm=83.905, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.739e-05, train_time=1.414 -[gpua010:0/64] 2023-12-16 02:40:03,345 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua010:0/64] 2023-12-16 02:40:22,219 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 02:40:25,925 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 02:40:25,925 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua010:0/64] 2023-12-16 02:40:26,247 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 02:45:42,887 (trainer:737) INFO: 36epoch:train:3701-3800batch: iter_time=2.787, forward_time=0.207, loss_ctc=71.482, loss_att=56.315, acc=0.725, loss=60.865, backward_time=0.291, grad_norm=86.856, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.738e-05, train_time=4.291 -[gpua010:0/64] 2023-12-16 02:47:46,349 (trainer:737) INFO: 36epoch:train:3801-3900batch: iter_time=8.764e-05, forward_time=0.160, loss_ctc=66.287, loss_att=53.609, acc=0.731, loss=57.412, backward_time=0.281, grad_norm=95.668, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.737e-05, train_time=1.235 -[gpua010:0/64] 2023-12-16 02:50:05,024 (trainer:737) INFO: 36epoch:train:3901-4000batch: iter_time=9.151e-05, forward_time=0.286, loss_ctc=71.212, loss_att=61.031, acc=0.725, loss=64.085, backward_time=0.320, grad_norm=88.383, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=6.737e-05, train_time=1.387 -[gpua010:0/64] 2023-12-16 02:52:08,106 (trainer:737) INFO: 36epoch:train:4001-4100batch: iter_time=5.484e-04, forward_time=0.167, loss_ctc=63.858, loss_att=47.734, acc=0.730, loss=52.571, backward_time=0.289, grad_norm=68.235, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.736e-05, train_time=1.229 -[gpua010:0/64] 2023-12-16 02:54:32,719 (trainer:737) INFO: 36epoch:train:4101-4200batch: iter_time=8.941e-05, forward_time=0.149, loss_ctc=68.160, loss_att=51.890, acc=0.721, loss=56.771, backward_time=0.296, grad_norm=69.255, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.735e-05, train_time=1.447 -[gpua010:0/64] 2023-12-16 02:57:02,618 (trainer:737) INFO: 36epoch:train:4201-4300batch: iter_time=8.361e-05, forward_time=0.255, loss_ctc=69.059, loss_att=61.081, acc=0.717, loss=63.475, backward_time=0.332, grad_norm=67.625, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.735e-05, train_time=1.499 -[gpua010:0/64] 2023-12-16 02:59:34,013 (trainer:737) INFO: 36epoch:train:4301-4400batch: iter_time=8.583e-05, forward_time=0.148, loss_ctc=67.598, loss_att=52.852, acc=0.740, loss=57.275, backward_time=0.295, grad_norm=72.006, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.734e-05, train_time=1.512 -[gpua010:0/64] 2023-12-16 03:02:06,315 (trainer:737) INFO: 36epoch:train:4401-4500batch: iter_time=8.516e-05, forward_time=0.285, loss_ctc=59.373, loss_att=50.672, acc=0.731, loss=53.282, backward_time=0.335, grad_norm=60.938, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.734e-05, train_time=1.525 -[gpua010:0/64] 2023-12-16 03:04:36,326 (trainer:737) INFO: 36epoch:train:4501-4600batch: iter_time=8.223e-05, forward_time=0.153, loss_ctc=61.055, loss_att=49.711, acc=0.722, loss=53.114, backward_time=0.300, grad_norm=66.739, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.733e-05, train_time=1.500 -[gpua010:0/64] 2023-12-16 03:07:29,421 (trainer:737) INFO: 36epoch:train:4601-4700batch: iter_time=8.241e-05, forward_time=0.148, loss_ctc=66.913, loss_att=51.786, acc=0.721, loss=56.324, backward_time=0.316, grad_norm=65.489, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.732e-05, train_time=1.729 -[gpua010:0/64] 2023-12-16 03:10:15,172 (trainer:737) INFO: 36epoch:train:4701-4800batch: iter_time=8.278e-05, forward_time=0.269, loss_ctc=64.214, loss_att=53.720, acc=0.742, loss=56.868, backward_time=0.309, grad_norm=77.379, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.732e-05, train_time=1.660 -[gpua010:0/64] 2023-12-16 03:12:42,509 (trainer:737) INFO: 36epoch:train:4801-4900batch: iter_time=8.368e-05, forward_time=0.149, loss_ctc=68.934, loss_att=57.091, acc=0.727, loss=60.644, backward_time=0.309, grad_norm=64.276, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.731e-05, train_time=1.473 -[gpua010:0/64] 2023-12-16 03:15:09,793 (trainer:737) INFO: 36epoch:train:4901-5000batch: iter_time=3.773e-04, forward_time=0.158, loss_ctc=70.955, loss_att=55.451, acc=0.719, loss=60.102, backward_time=0.293, grad_norm=73.454, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.730e-05, train_time=1.473 -[gpua010:0/64] 2023-12-16 03:15:29,848 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua010:0/64] 2023-12-16 03:15:48,431 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 03:15:51,809 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 03:15:51,809 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua010:0/64] 2023-12-16 03:15:51,813 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 03:25:37,852 (trainer:737) INFO: 36epoch:train:5001-5100batch: iter_time=4.893, forward_time=0.218, loss_ctc=65.979, loss_att=53.559, acc=0.727, loss=57.285, backward_time=0.340, grad_norm=69.981, clip=100.000, loss_scale=3.103e+31, optim_step_time=0.138, optim0_lr0=6.730e-05, train_time=6.278 -[gpua010:0/64] 2023-12-16 03:27:50,704 (trainer:737) INFO: 36epoch:train:5101-5200batch: iter_time=8.073e-05, forward_time=0.149, loss_ctc=73.701, loss_att=60.532, acc=0.720, loss=64.483, backward_time=0.281, grad_norm=76.178, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.729e-05, train_time=1.330 -[gpua010:0/64] 2023-12-16 03:30:18,973 (trainer:737) INFO: 36epoch:train:5201-5300batch: iter_time=5.546e-04, forward_time=0.197, loss_ctc=66.090, loss_att=53.484, acc=0.734, loss=57.266, backward_time=0.375, grad_norm=63.659, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.728e-05, train_time=1.482 -[gpua010:0/64] 2023-12-16 03:32:47,252 (trainer:737) INFO: 36epoch:train:5301-5400batch: iter_time=5.301e-04, forward_time=0.300, loss_ctc=61.568, loss_att=46.896, acc=0.732, loss=51.298, backward_time=0.298, grad_norm=66.982, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.728e-05, train_time=1.483 -[gpua010:0/64] 2023-12-16 03:35:30,447 (trainer:737) INFO: 36epoch:train:5401-5500batch: iter_time=8.692e-05, forward_time=0.147, loss_ctc=65.087, loss_att=52.404, acc=0.721, loss=56.209, backward_time=0.310, grad_norm=68.803, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.727e-05, train_time=1.631 -[gpua010:0/64] 2023-12-16 03:38:18,321 (trainer:737) INFO: 36epoch:train:5501-5600batch: iter_time=3.825e-04, forward_time=0.193, loss_ctc=73.836, loss_att=60.331, acc=0.736, loss=64.383, backward_time=0.333, grad_norm=67.207, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.727e-05, train_time=1.679 -[gpua010:0/64] 2023-12-16 03:40:58,438 (trainer:737) INFO: 36epoch:train:5601-5700batch: iter_time=9.041e-05, forward_time=0.242, loss_ctc=67.756, loss_att=52.706, acc=0.732, loss=57.221, backward_time=0.325, grad_norm=68.654, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.726e-05, train_time=1.601 -[gpua010:0/64] 2023-12-16 03:43:23,539 (trainer:737) INFO: 36epoch:train:5701-5800batch: iter_time=9.202e-05, forward_time=0.194, loss_ctc=50.313, loss_att=43.825, acc=0.732, loss=45.771, backward_time=0.325, grad_norm=63.993, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.725e-05, train_time=1.451 -[gpua010:0/64] 2023-12-16 03:45:51,780 (trainer:737) INFO: 36epoch:train:5801-5900batch: iter_time=4.257e-04, forward_time=0.211, loss_ctc=69.739, loss_att=56.488, acc=0.715, loss=60.463, backward_time=0.296, grad_norm=82.612, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.725e-05, train_time=1.481 -[gpua010:0/64] 2023-12-16 03:48:41,799 (trainer:737) INFO: 36epoch:train:5901-6000batch: iter_time=6.530e-04, forward_time=0.190, loss_ctc=62.408, loss_att=46.597, acc=0.732, loss=51.341, backward_time=0.370, grad_norm=76.859, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.724e-05, train_time=1.701 -[gpua010:0/64] 2023-12-16 03:51:08,356 (trainer:737) INFO: 36epoch:train:6001-6100batch: iter_time=9.663e-05, forward_time=0.256, loss_ctc=67.240, loss_att=59.363, acc=0.737, loss=61.726, backward_time=0.301, grad_norm=60.143, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.723e-05, train_time=1.465 -[gpua010:0/64] 2023-12-16 03:53:15,380 (trainer:737) INFO: 36epoch:train:6101-6200batch: iter_time=9.052e-05, forward_time=0.181, loss_ctc=71.260, loss_att=59.039, acc=0.713, loss=62.705, backward_time=0.285, grad_norm=86.877, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.723e-05, train_time=1.271 -[gpua010:0/64] 2023-12-16 03:54:44,818 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua010:0/64] 2023-12-16 03:55:03,584 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 03:55:07,542 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 03:55:07,542 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua010:0/64] 2023-12-16 03:55:07,545 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 04:00:30,246 (trainer:737) INFO: 36epoch:train:6201-6300batch: iter_time=2.996, forward_time=0.243, loss_ctc=71.057, loss_att=55.188, acc=0.726, loss=59.948, backward_time=0.313, grad_norm=75.473, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.722e-05, train_time=4.348 -[gpua010:0/64] 2023-12-16 04:02:44,948 (trainer:737) INFO: 36epoch:train:6301-6400batch: iter_time=8.323e-05, forward_time=0.150, loss_ctc=65.999, loss_att=52.253, acc=0.734, loss=56.377, backward_time=0.289, grad_norm=65.229, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=6.722e-05, train_time=1.347 -[gpua010:0/64] 2023-12-16 04:05:14,447 (trainer:737) INFO: 36epoch:train:6401-6500batch: iter_time=9.985e-05, forward_time=0.231, loss_ctc=70.682, loss_att=59.875, acc=0.728, loss=63.117, backward_time=0.317, grad_norm=69.421, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.721e-05, train_time=1.495 -[gpua010:0/64] 2023-12-16 04:07:24,389 (trainer:737) INFO: 36epoch:train:6501-6600batch: iter_time=8.375e-05, forward_time=0.148, loss_ctc=63.634, loss_att=47.129, acc=0.732, loss=52.081, backward_time=0.287, grad_norm=63.984, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.720e-05, train_time=1.299 -[gpua010:0/64] 2023-12-16 04:10:02,834 (trainer:737) INFO: 36epoch:train:6601-6700batch: iter_time=4.279e-04, forward_time=0.222, loss_ctc=67.929, loss_att=51.129, acc=0.725, loss=56.169, backward_time=0.335, grad_norm=67.181, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.720e-05, train_time=1.582 -[gpua010:0/64] 2023-12-16 04:12:14,585 (trainer:737) INFO: 36epoch:train:6701-6800batch: iter_time=7.946e-05, forward_time=0.148, loss_ctc=68.542, loss_att=59.463, acc=0.724, loss=62.187, backward_time=0.280, grad_norm=63.815, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.719e-05, train_time=1.319 -[gpua010:0/64] 2023-12-16 04:14:26,000 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua010:0/64] 2023-12-16 04:14:39,245 (trainer:737) INFO: 36epoch:train:6801-6900batch: iter_time=3.014e-04, forward_time=0.290, loss_ctc=67.845, loss_att=52.785, acc=0.741, loss=57.303, backward_time=0.305, grad_norm=85.541, clip=100.000, loss_scale=3.852e+31, optim_step_time=0.137, optim0_lr0=6.718e-05, train_time=1.447 -[gpua010:0/64] 2023-12-16 04:17:19,566 (trainer:737) INFO: 36epoch:train:6901-7000batch: iter_time=8.341e-05, forward_time=0.147, loss_ctc=59.122, loss_att=49.968, acc=0.735, loss=52.714, backward_time=0.294, grad_norm=54.234, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.718e-05, train_time=1.601 -[gpua010:0/64] 2023-12-16 04:20:10,041 (trainer:737) INFO: 36epoch:train:7001-7100batch: iter_time=9.112e-05, forward_time=0.260, loss_ctc=61.048, loss_att=49.756, acc=0.725, loss=53.143, backward_time=0.323, grad_norm=58.617, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.717e-05, train_time=1.706 -[gpua010:0/64] 2023-12-16 04:22:40,484 (trainer:737) INFO: 36epoch:train:7101-7200batch: iter_time=8.794e-05, forward_time=0.148, loss_ctc=66.231, loss_att=51.071, acc=0.723, loss=55.619, backward_time=0.304, grad_norm=67.585, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.716e-05, train_time=1.504 -[gpua010:0/64] 2023-12-16 04:25:15,723 (trainer:737) INFO: 36epoch:train:7201-7300batch: iter_time=7.884e-04, forward_time=0.168, loss_ctc=63.825, loss_att=53.553, acc=0.744, loss=56.635, backward_time=0.324, grad_norm=65.741, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.716e-05, train_time=1.550 -[gpua010:0/64] 2023-12-16 04:27:47,546 (trainer:737) INFO: 36epoch:train:7301-7400batch: iter_time=8.138e-05, forward_time=0.189, loss_ctc=68.279, loss_att=57.011, acc=0.728, loss=60.392, backward_time=0.308, grad_norm=106.973, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.715e-05, train_time=1.520 -[gpua010:0/64] 2023-12-16 04:30:34,520 (trainer:737) INFO: 36epoch:train:7401-7500batch: iter_time=8.625e-05, forward_time=0.156, loss_ctc=70.224, loss_att=54.367, acc=0.724, loss=59.124, backward_time=0.311, grad_norm=86.381, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.715e-05, train_time=1.670 -[gpua010:0/64] 2023-12-16 04:30:54,567 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua010:0/64] 2023-12-16 04:31:12,872 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 04:31:16,349 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 04:31:16,349 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua010:0/64] 2023-12-16 04:31:16,373 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 04:37:36,250 (trainer:737) INFO: 36epoch:train:7501-7600batch: iter_time=2.942, forward_time=0.179, loss_ctc=66.034, loss_att=54.759, acc=0.734, loss=58.141, backward_time=0.285, grad_norm=74.927, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.714e-05, train_time=4.217 -[gpua010:0/64] 2023-12-16 04:39:46,387 (trainer:737) INFO: 36epoch:train:7601-7700batch: iter_time=8.375e-05, forward_time=0.150, loss_ctc=73.659, loss_att=64.065, acc=0.727, loss=66.943, backward_time=0.284, grad_norm=83.745, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.713e-05, train_time=1.301 -[gpua010:0/64] 2023-12-16 04:41:57,456 (trainer:737) INFO: 36epoch:train:7701-7800batch: iter_time=8.400e-05, forward_time=0.181, loss_ctc=65.938, loss_att=53.423, acc=0.742, loss=57.177, backward_time=0.293, grad_norm=70.429, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.713e-05, train_time=1.310 -[gpua010:0/64] 2023-12-16 04:44:23,793 (trainer:737) INFO: 36epoch:train:7801-7900batch: iter_time=8.567e-05, forward_time=0.191, loss_ctc=60.946, loss_att=46.872, acc=0.742, loss=51.094, backward_time=0.312, grad_norm=84.151, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.712e-05, train_time=1.464 -[gpua010:0/64] 2023-12-16 04:46:58,972 (trainer:737) INFO: 36epoch:train:7901-8000batch: iter_time=8.060e-05, forward_time=0.177, loss_ctc=65.110, loss_att=53.010, acc=0.728, loss=56.640, backward_time=0.332, grad_norm=101.412, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.711e-05, train_time=1.552 -[gpua010:0/64] 2023-12-16 04:49:44,604 (trainer:737) INFO: 36epoch:train:8001-8100batch: iter_time=9.424e-05, forward_time=0.220, loss_ctc=73.481, loss_att=59.730, acc=0.745, loss=63.855, backward_time=0.307, grad_norm=162.537, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.711e-05, train_time=1.656 -[gpua010:0/64] 2023-12-16 04:51:58,743 (trainer:737) INFO: 36epoch:train:8101-8200batch: iter_time=8.784e-05, forward_time=0.155, loss_ctc=67.387, loss_att=52.763, acc=0.739, loss=57.150, backward_time=0.288, grad_norm=88.946, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.710e-05, train_time=1.341 -[gpua010:0/64] 2023-12-16 04:54:18,734 (trainer:737) INFO: 36epoch:train:8201-8300batch: iter_time=8.684e-05, forward_time=0.165, loss_ctc=50.356, loss_att=43.017, acc=0.746, loss=45.219, backward_time=0.300, grad_norm=68.157, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.710e-05, train_time=1.400 -[gpua010:0/64] 2023-12-16 04:56:51,842 (trainer:737) INFO: 36epoch:train:8301-8400batch: iter_time=9.108e-05, forward_time=0.214, loss_ctc=69.351, loss_att=56.841, acc=0.728, loss=60.594, backward_time=0.318, grad_norm=69.615, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.709e-05, train_time=1.530 -[gpua010:0/64] 2023-12-16 04:59:29,103 (trainer:737) INFO: 36epoch:train:8401-8500batch: iter_time=8.539e-05, forward_time=0.153, loss_ctc=62.361, loss_att=47.833, acc=0.743, loss=52.191, backward_time=0.296, grad_norm=96.476, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.708e-05, train_time=1.573 -[gpua010:0/64] 2023-12-16 05:01:56,589 (trainer:737) INFO: 36epoch:train:8501-8600batch: iter_time=2.313e-04, forward_time=0.188, loss_ctc=66.789, loss_att=60.518, acc=0.735, loss=62.399, backward_time=0.301, grad_norm=99.660, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.708e-05, train_time=1.473 -[gpua010:0/64] 2023-12-16 05:04:40,172 (trainer:737) INFO: 36epoch:train:8601-8700batch: iter_time=8.173e-05, forward_time=0.167, loss_ctc=70.738, loss_att=58.664, acc=0.726, loss=62.286, backward_time=0.312, grad_norm=74.550, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.707e-05, train_time=1.636 -[gpua010:0/64] 2023-12-16 05:06:12,446 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua010:0/64] 2023-12-16 05:06:30,666 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 05:06:34,057 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 05:06:34,057 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua010:0/64] 2023-12-16 05:06:34,060 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 05:13:08,322 (trainer:737) INFO: 36epoch:train:8701-8800batch: iter_time=3.710, forward_time=0.178, loss_ctc=70.480, loss_att=55.502, acc=0.733, loss=59.995, backward_time=0.284, grad_norm=134.403, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.706e-05, train_time=5.082 -[gpua010:0/64] 2023-12-16 05:15:19,158 (trainer:737) INFO: 36epoch:train:8801-8900batch: iter_time=3.007e-04, forward_time=0.228, loss_ctc=66.423, loss_att=54.192, acc=0.742, loss=57.861, backward_time=0.299, grad_norm=91.376, clip=100.000, loss_scale=2.231e+31, optim_step_time=0.137, optim0_lr0=6.706e-05, train_time=1.307 -[gpua010:0/64] 2023-12-16 05:17:49,467 (trainer:737) INFO: 36epoch:train:8901-9000batch: iter_time=4.041e-04, forward_time=0.279, loss_ctc=70.315, loss_att=60.323, acc=0.735, loss=63.320, backward_time=0.327, grad_norm=71.484, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.705e-05, train_time=1.503 -[gpua010:0/64] 2023-12-16 05:20:29,323 (trainer:737) INFO: 36epoch:train:9001-9100batch: iter_time=2.447e-04, forward_time=0.240, loss_ctc=62.712, loss_att=47.065, acc=0.744, loss=51.759, backward_time=0.313, grad_norm=67.474, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.705e-05, train_time=1.597 -[gpua010:0/64] 2023-12-16 05:22:57,763 (trainer:737) INFO: 36epoch:train:9101-9200batch: iter_time=2.830e-04, forward_time=0.237, loss_ctc=67.392, loss_att=51.589, acc=0.733, loss=56.330, backward_time=0.309, grad_norm=65.498, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.704e-05, train_time=1.484 -[gpua010:0/64] 2023-12-16 05:25:24,952 (trainer:737) INFO: 36epoch:train:9201-9300batch: iter_time=2.015e-04, forward_time=0.220, loss_ctc=68.180, loss_att=59.922, acc=0.731, loss=62.399, backward_time=0.326, grad_norm=63.065, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.703e-05, train_time=1.473 -[gpua010:0/64] 2023-12-16 05:28:22,463 (trainer:737) INFO: 36epoch:train:9301-9400batch: iter_time=3.038e-04, forward_time=0.233, loss_ctc=67.156, loss_att=52.798, acc=0.746, loss=57.106, backward_time=0.352, grad_norm=68.195, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.703e-05, train_time=1.775 -[gpua010:0/64] 2023-12-16 05:31:18,607 (trainer:737) INFO: 36epoch:train:9401-9500batch: iter_time=4.017e-04, forward_time=0.284, loss_ctc=58.930, loss_att=49.834, acc=0.743, loss=52.563, backward_time=0.362, grad_norm=72.431, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.702e-05, train_time=1.760 -[gpua010:0/64] 2023-12-16 05:34:30,812 (trainer:737) INFO: 36epoch:train:9501-9600batch: iter_time=8.813e-05, forward_time=0.276, loss_ctc=60.551, loss_att=49.088, acc=0.738, loss=52.527, backward_time=0.343, grad_norm=62.671, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.701e-05, train_time=1.923 -[gpua010:0/64] 2023-12-16 05:37:23,405 (trainer:737) INFO: 36epoch:train:9601-9700batch: iter_time=1.117e-04, forward_time=0.242, loss_ctc=65.668, loss_att=52.575, acc=0.729, loss=56.503, backward_time=0.425, grad_norm=67.788, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.145, optim0_lr0=6.701e-05, train_time=1.727 -[gpua010:0/64] 2023-12-16 05:39:57,681 (trainer:737) INFO: 36epoch:train:9701-9800batch: iter_time=8.552e-05, forward_time=0.278, loss_ctc=63.697, loss_att=53.385, acc=0.745, loss=56.479, backward_time=0.342, grad_norm=65.743, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.700e-05, train_time=1.541 -[gpua010:0/64] 2023-12-16 05:42:21,433 (trainer:737) INFO: 36epoch:train:9801-9900batch: iter_time=9.376e-05, forward_time=0.261, loss_ctc=67.838, loss_att=58.661, acc=0.729, loss=61.414, backward_time=0.331, grad_norm=70.489, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.699e-05, train_time=1.438 -[gpua010:0/64] 2023-12-16 05:44:53,493 (trainer:737) INFO: 36epoch:train:9901-10000batch: iter_time=1.037e-04, forward_time=0.276, loss_ctc=69.957, loss_att=54.495, acc=0.732, loss=59.133, backward_time=0.332, grad_norm=76.080, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.699e-05, train_time=1.521 -[gpua010:0/64] 2023-12-16 05:45:13,545 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua010:0/64] 2023-12-16 05:45:32,117 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 05:45:35,561 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 05:45:35,561 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua010:0/64] 2023-12-16 05:45:35,579 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 05:57:00,838 (trainer:737) INFO: 36epoch:train:10001-10100batch: iter_time=5.746, forward_time=0.322, loss_ctc=66.060, loss_att=53.765, acc=0.734, loss=57.453, backward_time=0.313, grad_norm=64.663, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.142, optim0_lr0=6.698e-05, train_time=7.272 -[gpua010:0/64] 2023-12-16 05:59:08,141 (trainer:737) INFO: 36epoch:train:10101-10200batch: iter_time=8.734e-05, forward_time=0.149, loss_ctc=73.638, loss_att=62.891, acc=0.727, loss=66.115, backward_time=0.279, grad_norm=76.108, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.698e-05, train_time=1.274 -[gpua010:0/64] 2023-12-16 06:01:38,133 (trainer:737) INFO: 36epoch:train:10201-10300batch: iter_time=4.145e-04, forward_time=0.201, loss_ctc=65.665, loss_att=52.413, acc=0.747, loss=56.388, backward_time=0.385, grad_norm=59.543, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.697e-05, train_time=1.498 -[gpua010:0/64] 2023-12-16 06:04:12,258 (trainer:737) INFO: 36epoch:train:10301-10400batch: iter_time=4.113e-04, forward_time=0.272, loss_ctc=60.661, loss_att=46.681, acc=0.741, loss=50.875, backward_time=0.300, grad_norm=67.378, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.696e-05, train_time=1.543 -[gpua010:0/64] 2023-12-16 06:06:49,046 (trainer:737) INFO: 36epoch:train:10401-10500batch: iter_time=8.831e-05, forward_time=0.148, loss_ctc=64.959, loss_att=53.153, acc=0.725, loss=56.695, backward_time=0.312, grad_norm=81.954, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.696e-05, train_time=1.565 -[gpua010:0/64] 2023-12-16 06:09:41,764 (trainer:737) INFO: 36epoch:train:10501-10600batch: iter_time=6.118e-04, forward_time=0.264, loss_ctc=73.545, loss_att=60.072, acc=0.745, loss=64.114, backward_time=0.307, grad_norm=63.971, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.695e-05, train_time=1.729 -[gpua010:0/64] 2023-12-16 06:12:43,585 (trainer:737) INFO: 36epoch:train:10601-10700batch: iter_time=6.237e-04, forward_time=0.308, loss_ctc=66.538, loss_att=52.188, acc=0.742, loss=56.493, backward_time=0.324, grad_norm=71.870, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.694e-05, train_time=1.816 -[gpua010:0/64] 2023-12-16 06:15:11,363 (trainer:737) INFO: 36epoch:train:10701-10800batch: iter_time=9.592e-05, forward_time=0.149, loss_ctc=50.062, loss_att=42.626, acc=0.747, loss=44.857, backward_time=0.330, grad_norm=66.669, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.694e-05, train_time=1.480 -[gpua010:0/64] 2023-12-16 06:17:35,956 (trainer:737) INFO: 36epoch:train:10801-10900batch: iter_time=8.787e-05, forward_time=0.156, loss_ctc=68.958, loss_att=56.077, acc=0.731, loss=59.941, backward_time=0.283, grad_norm=71.714, clip=100.000, loss_scale=4.462e+31, optim_step_time=0.133, optim0_lr0=6.693e-05, train_time=1.446 -[gpua010:0/64] 2023-12-16 06:20:37,100 (trainer:737) INFO: 36epoch:train:10901-11000batch: iter_time=3.979e-04, forward_time=0.261, loss_ctc=62.371, loss_att=47.889, acc=0.743, loss=52.233, backward_time=0.323, grad_norm=72.002, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=6.693e-05, train_time=1.810 -[gpua010:0/64] 2023-12-16 06:23:07,989 (trainer:737) INFO: 36epoch:train:11001-11100batch: iter_time=3.922e-04, forward_time=0.287, loss_ctc=66.317, loss_att=59.569, acc=0.736, loss=61.593, backward_time=0.320, grad_norm=62.828, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=6.692e-05, train_time=1.510 -[gpua010:0/64] 2023-12-16 06:25:32,763 (trainer:737) INFO: 36epoch:train:11101-11200batch: iter_time=5.429e-04, forward_time=0.250, loss_ctc=70.799, loss_att=59.016, acc=0.725, loss=62.551, backward_time=0.312, grad_norm=69.638, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=6.691e-05, train_time=1.445 -[gpua010:0/64] 2023-12-16 06:27:11,500 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua010:0/64] 2023-12-16 06:27:30,030 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 06:27:33,495 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 06:27:33,495 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua010:0/64] 2023-12-16 06:27:33,500 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 06:39:53,490 (trainer:737) INFO: 36epoch:train:11201-11300batch: iter_time=7.154, forward_time=0.181, loss_ctc=69.991, loss_att=56.198, acc=0.726, loss=60.336, backward_time=0.288, grad_norm=81.451, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=6.691e-05, train_time=8.609 -[gpua010:0/64] 2023-12-16 06:42:48,343 (trainer:737) INFO: 36epoch:train:11301-11400batch: iter_time=7.499e-04, forward_time=0.439, loss_ctc=65.893, loss_att=53.795, acc=0.732, loss=57.424, backward_time=0.373, grad_norm=62.855, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.143, optim0_lr0=6.690e-05, train_time=1.748 -[gpua010:0/64] 2023-12-16 06:46:04,311 (trainer:737) INFO: 36epoch:train:11401-11500batch: iter_time=5.724e-04, forward_time=0.559, loss_ctc=70.492, loss_att=60.649, acc=0.727, loss=63.602, backward_time=0.366, grad_norm=68.316, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.147, optim0_lr0=6.689e-05, train_time=1.959 -[gpua010:0/64] 2023-12-16 06:48:51,014 (trainer:737) INFO: 36epoch:train:11501-11600batch: iter_time=1.039e-04, forward_time=0.307, loss_ctc=62.686, loss_att=46.811, acc=0.735, loss=51.573, backward_time=0.322, grad_norm=68.752, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.144, optim0_lr0=6.689e-05, train_time=1.667 -[gpua010:0/64] 2023-12-16 06:51:58,052 (trainer:737) INFO: 36epoch:train:11601-11700batch: iter_time=8.848e-04, forward_time=0.320, loss_ctc=66.971, loss_att=51.285, acc=0.725, loss=55.991, backward_time=0.398, grad_norm=66.405, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.150, optim0_lr0=6.688e-05, train_time=1.869 -[gpua010:0/64] 2023-12-16 06:54:59,254 (trainer:737) INFO: 36epoch:train:11701-11800batch: iter_time=7.947e-04, forward_time=0.393, loss_ctc=68.105, loss_att=60.046, acc=0.723, loss=62.464, backward_time=0.387, grad_norm=66.459, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.180, optim0_lr0=6.688e-05, train_time=1.812 -[gpua010:0/64] 2023-12-16 06:57:58,432 (trainer:737) INFO: 36epoch:train:11801-11900batch: iter_time=0.001, forward_time=0.464, loss_ctc=66.529, loss_att=52.352, acc=0.744, loss=56.605, backward_time=0.397, grad_norm=66.715, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.158, optim0_lr0=6.687e-05, train_time=1.791 -[gpua010:0/64] 2023-12-16 07:00:56,085 (trainer:737) INFO: 36epoch:train:11901-12000batch: iter_time=0.001, forward_time=0.294, loss_ctc=58.827, loss_att=50.392, acc=0.735, loss=52.922, backward_time=0.388, grad_norm=56.371, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.158, optim0_lr0=6.686e-05, train_time=1.777 -[gpua010:0/64] 2023-12-16 07:04:14,121 (trainer:737) INFO: 36epoch:train:12001-12100batch: iter_time=0.001, forward_time=0.528, loss_ctc=60.258, loss_att=49.172, acc=0.727, loss=52.498, backward_time=0.466, grad_norm=61.705, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.146, optim0_lr0=6.686e-05, train_time=1.980 -[gpua010:0/64] 2023-12-16 07:08:49,042 (trainer:737) INFO: 36epoch:train:12101-12200batch: iter_time=0.007, forward_time=0.921, loss_ctc=66.083, loss_att=51.047, acc=0.722, loss=55.558, backward_time=0.646, grad_norm=63.110, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.181, optim0_lr0=6.685e-05, train_time=2.748 -[gpua010:0/64] 2023-12-16 07:12:43,695 (trainer:737) INFO: 36epoch:train:12201-12300batch: iter_time=0.001, forward_time=0.678, loss_ctc=62.969, loss_att=52.714, acc=0.746, loss=55.791, backward_time=0.533, grad_norm=74.077, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.158, optim0_lr0=6.685e-05, train_time=2.346 -[gpua010:0/64] 2023-12-16 07:15:52,473 (trainer:737) INFO: 36epoch:train:12301-12400batch: iter_time=0.008, forward_time=0.556, loss_ctc=68.127, loss_att=56.927, acc=0.730, loss=60.287, backward_time=0.480, grad_norm=67.484, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.154, optim0_lr0=6.684e-05, train_time=1.887 -[gpua010:0/64] 2023-12-16 07:19:14,485 (trainer:737) INFO: 36epoch:train:12401-12500batch: iter_time=0.003, forward_time=0.515, loss_ctc=69.880, loss_att=54.581, acc=0.723, loss=59.171, backward_time=0.498, grad_norm=86.367, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.176, optim0_lr0=6.683e-05, train_time=2.021 -[gpua010:0/64] 2023-12-16 07:19:34,753 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua010:0/64] 2023-12-16 07:19:53,255 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 07:19:56,685 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 07:19:56,685 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua010:0/64] 2023-12-16 07:19:56,688 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 07:31:28,459 (trainer:737) INFO: 36epoch:train:12501-12600batch: iter_time=6.036, forward_time=0.183, loss_ctc=65.491, loss_att=53.760, acc=0.737, loss=57.279, backward_time=0.283, grad_norm=64.732, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=6.683e-05, train_time=7.340 -[gpua010:0/64] 2023-12-16 07:34:18,289 (trainer:737) INFO: 36epoch:train:12601-12700batch: iter_time=1.021e-04, forward_time=0.273, loss_ctc=73.492, loss_att=62.857, acc=0.730, loss=66.048, backward_time=0.305, grad_norm=73.112, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=6.682e-05, train_time=1.698 -[gpua010:0/64] 2023-12-16 07:36:40,850 (trainer:737) INFO: 36epoch:train:12701-12800batch: iter_time=4.501e-04, forward_time=0.310, loss_ctc=65.471, loss_att=52.771, acc=0.745, loss=56.581, backward_time=0.300, grad_norm=64.988, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=6.681e-05, train_time=1.423 -[gpua010:0/64] 2023-12-16 07:39:01,883 (trainer:737) INFO: 36epoch:train:12801-12900batch: iter_time=3.855e-04, forward_time=0.283, loss_ctc=60.799, loss_att=46.293, acc=0.744, loss=50.645, backward_time=0.321, grad_norm=60.216, clip=100.000, loss_scale=8.924e+31, optim_step_time=0.136, optim0_lr0=6.681e-05, train_time=1.412 -[gpua010:0/64] 2023-12-16 07:41:28,806 (trainer:737) INFO: 36epoch:train:12901-13000batch: iter_time=6.557e-04, forward_time=0.263, loss_ctc=64.390, loss_att=52.300, acc=0.730, loss=55.927, backward_time=0.312, grad_norm=63.188, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.143, optim0_lr0=6.680e-05, train_time=1.467 -[gpua010:0/64] 2023-12-16 07:44:14,295 (trainer:737) INFO: 36epoch:train:13001-13100batch: iter_time=5.652e-04, forward_time=0.207, loss_ctc=73.166, loss_att=59.844, acc=0.747, loss=63.841, backward_time=0.332, grad_norm=64.288, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=6.680e-05, train_time=1.656 -[gpua010:0/64] 2023-12-16 07:46:57,303 (trainer:737) INFO: 36epoch:train:13101-13200batch: iter_time=2.969e-04, forward_time=0.236, loss_ctc=66.781, loss_att=51.995, acc=0.743, loss=56.431, backward_time=0.305, grad_norm=66.825, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=6.679e-05, train_time=1.629 -[gpua010:0/64] 2023-12-16 07:49:42,921 (trainer:737) INFO: 36epoch:train:13201-13300batch: iter_time=9.149e-05, forward_time=0.155, loss_ctc=49.304, loss_att=42.499, acc=0.749, loss=44.541, backward_time=0.300, grad_norm=57.559, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=6.678e-05, train_time=1.656 -[gpua010:0/64] 2023-12-16 07:52:25,824 (trainer:737) INFO: 36epoch:train:13301-13400batch: iter_time=2.640e-04, forward_time=0.227, loss_ctc=68.947, loss_att=55.881, acc=0.731, loss=59.801, backward_time=0.339, grad_norm=66.035, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.138, optim0_lr0=6.678e-05, train_time=1.628 -[gpua010:0/64] 2023-12-16 07:55:04,182 (trainer:737) INFO: 36epoch:train:13401-13500batch: iter_time=8.056e-05, forward_time=0.167, loss_ctc=61.763, loss_att=47.170, acc=0.744, loss=51.548, backward_time=0.300, grad_norm=63.578, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=6.677e-05, train_time=1.584 -[gpua010:0/64] 2023-12-16 07:57:40,868 (trainer:737) INFO: 36epoch:train:13501-13600batch: iter_time=0.006, forward_time=0.231, loss_ctc=66.350, loss_att=60.235, acc=0.736, loss=62.069, backward_time=0.321, grad_norm=61.699, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=6.676e-05, train_time=1.566 -[gpua010:0/64] 2023-12-16 08:00:09,349 (trainer:737) INFO: 36epoch:train:13601-13700batch: iter_time=2.718e-04, forward_time=0.269, loss_ctc=70.582, loss_att=57.776, acc=0.729, loss=61.618, backward_time=0.310, grad_norm=70.199, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=6.676e-05, train_time=1.485 -[gpua010:0/64] 2023-12-16 08:01:50,109 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua010:0/64] 2023-12-16 08:02:09,040 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 08:02:12,654 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 08:02:12,654 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua010:0/64] 2023-12-16 08:02:12,923 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 08:13:31,013 (trainer:737) INFO: 36epoch:train:13701-13800batch: iter_time=6.388, forward_time=0.209, loss_ctc=69.581, loss_att=55.047, acc=0.730, loss=59.407, backward_time=0.309, grad_norm=78.963, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=6.675e-05, train_time=8.016 -[gpua010:0/64] 2023-12-16 08:16:01,790 (trainer:737) INFO: 36epoch:train:13801-13900batch: iter_time=8.368e-05, forward_time=0.149, loss_ctc=65.592, loss_att=52.970, acc=0.735, loss=56.757, backward_time=0.319, grad_norm=75.156, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=6.675e-05, train_time=1.508 -[gpua010:0/64] 2023-12-16 08:18:57,983 (trainer:737) INFO: 36epoch:train:13901-14000batch: iter_time=8.155e-05, forward_time=0.227, loss_ctc=70.391, loss_att=60.480, acc=0.728, loss=63.453, backward_time=0.379, grad_norm=73.015, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.139, optim0_lr0=6.674e-05, train_time=1.762 -[gpua010:0/64] 2023-12-16 08:21:42,222 (trainer:737) INFO: 36epoch:train:14001-14100batch: iter_time=3.325e-04, forward_time=0.199, loss_ctc=63.075, loss_att=46.974, acc=0.735, loss=51.805, backward_time=0.370, grad_norm=66.261, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.140, optim0_lr0=6.673e-05, train_time=1.641 -[gpua010:0/64] 2023-12-16 08:24:01,585 (trainer:737) INFO: 36epoch:train:14101-14200batch: iter_time=1.628e-04, forward_time=0.244, loss_ctc=66.528, loss_att=50.715, acc=0.726, loss=55.459, backward_time=0.287, grad_norm=64.706, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=6.673e-05, train_time=1.394 -[gpua010:0/64] 2023-12-16 08:26:33,301 (trainer:737) INFO: 36epoch:train:14201-14300batch: iter_time=8.240e-05, forward_time=0.155, loss_ctc=67.800, loss_att=59.965, acc=0.723, loss=62.316, backward_time=0.322, grad_norm=58.887, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=6.672e-05, train_time=1.517 -[gpua010:0/64] 2023-12-16 08:29:09,268 (trainer:737) INFO: 36epoch:train:14301-14400batch: iter_time=4.116e-04, forward_time=0.245, loss_ctc=66.301, loss_att=52.361, acc=0.744, loss=56.543, backward_time=0.318, grad_norm=65.130, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=6.671e-05, train_time=1.559 -[gpua010:0/64] 2023-12-16 08:32:06,076 (trainer:737) INFO: 36epoch:train:14401-14500batch: iter_time=9.562e-05, forward_time=0.232, loss_ctc=58.630, loss_att=49.769, acc=0.736, loss=52.427, backward_time=0.330, grad_norm=54.848, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=6.671e-05, train_time=1.768 -[gpua010:0/64] 2023-12-16 08:34:52,670 (trainer:737) INFO: 36epoch:train:14501-14600batch: iter_time=8.229e-05, forward_time=0.148, loss_ctc=60.267, loss_att=48.843, acc=0.728, loss=52.270, backward_time=0.303, grad_norm=57.785, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=6.670e-05, train_time=1.665 -[gpua010:0/64] 2023-12-16 08:37:35,794 (trainer:737) INFO: 36epoch:train:14601-14700batch: iter_time=8.999e-05, forward_time=0.207, loss_ctc=65.763, loss_att=50.896, acc=0.724, loss=55.356, backward_time=0.328, grad_norm=70.665, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=6.670e-05, train_time=1.630 -[gpua010:0/64] 2023-12-16 08:39:55,570 (trainer:737) INFO: 36epoch:train:14701-14800batch: iter_time=8.436e-05, forward_time=0.238, loss_ctc=63.238, loss_att=52.959, acc=0.746, loss=56.043, backward_time=0.298, grad_norm=65.261, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.138, optim0_lr0=6.669e-05, train_time=1.399 -[gpua010:0/64] 2023-12-16 08:42:17,023 (trainer:737) INFO: 36epoch:train:14801-14900batch: iter_time=8.049e-05, forward_time=0.185, loss_ctc=67.481, loss_att=56.211, acc=0.733, loss=59.592, backward_time=0.314, grad_norm=65.783, clip=100.000, loss_scale=1.785e+32, optim_step_time=0.134, optim0_lr0=6.668e-05, train_time=1.413 -[gpua010:0/64] 2023-12-16 08:42:38,936 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua010:0/64] 2023-12-16 08:44:46,542 (trainer:737) INFO: 36epoch:train:14901-15000batch: iter_time=4.148e-04, forward_time=0.243, loss_ctc=69.535, loss_att=54.372, acc=0.725, loss=58.921, backward_time=0.331, grad_norm=71.088, clip=100.000, loss_scale=1.901e+32, optim_step_time=0.138, optim0_lr0=6.668e-05, train_time=1.497 -[gpua010:0/64] 2023-12-16 09:10:43,654 (trainer:343) INFO: 36epoch results: [train] iter_time=0.362, forward_time=0.226, loss_ctc=66.432, loss_att=54.023, acc=0.732, loss=57.746, backward_time=0.322, grad_norm=74.203, clip=100.000, loss_scale=5.624e+31, optim_step_time=0.137, optim0_lr0=6.714e-05, train_time=1.919, time=8 hours and 5.32 seconds, total_count=540000, gpu_max_cached_mem_GB=36.826, [valid] loss_ctc=33.428, cer_ctc=0.175, loss_att=33.009, acc=0.732, cer=0.251, wer=0.962, loss=33.135, time=25 minutes and 32.88 seconds, total_count=168156, gpu_max_cached_mem_GB=36.826 -[gpua010:0/64] 2023-12-16 09:11:03,394 (trainer:391) INFO: The best model has been updated: valid.total_count -[gpua010:0/64] 2023-12-16 09:11:03,610 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/27epoch.pth, exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/31epoch.pth -[gpua010:0/64] 2023-12-16 09:11:03,663 (trainer:272) INFO: 37/40epoch started. Estimated time to finish: 1 day, 9 hours and 15 minutes -[gpua010:0/64] 2023-12-16 09:11:03,758 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua010:0/64] 2023-12-16 09:11:21,290 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 09:11:24,666 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 09:11:24,666 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua010:0/64] 2023-12-16 09:11:24,670 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 09:17:31,174 (trainer:737) INFO: 37epoch:train:1-100batch: iter_time=2.593, forward_time=0.180, loss_ctc=64.980, loss_att=54.374, acc=0.735, loss=57.556, backward_time=0.283, grad_norm=70.311, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=6.667e-05, train_time=3.874 -[gpua010:0/64] 2023-12-16 09:20:05,707 (trainer:737) INFO: 37epoch:train:101-200batch: iter_time=8.500e-05, forward_time=0.147, loss_ctc=59.658, loss_att=46.580, acc=0.741, loss=50.503, backward_time=0.288, grad_norm=61.741, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=6.667e-05, train_time=1.545 -[gpua010:0/64] 2023-12-16 09:22:47,376 (trainer:737) INFO: 37epoch:train:201-300batch: iter_time=6.209e-04, forward_time=0.270, loss_ctc=68.577, loss_att=50.978, acc=0.719, loss=56.258, backward_time=0.308, grad_norm=84.022, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.145, optim0_lr0=6.666e-05, train_time=1.615 -[gpua010:0/64] 2023-12-16 09:25:03,763 (trainer:737) INFO: 37epoch:train:301-400batch: iter_time=8.634e-05, forward_time=0.149, loss_ctc=67.689, loss_att=55.483, acc=0.736, loss=59.145, backward_time=0.288, grad_norm=81.369, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=6.665e-05, train_time=1.365 -[gpua010:0/64] 2023-12-16 09:28:00,521 (trainer:737) INFO: 37epoch:train:401-500batch: iter_time=8.745e-05, forward_time=0.148, loss_ctc=72.225, loss_att=56.469, acc=0.731, loss=61.196, backward_time=0.325, grad_norm=81.011, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=6.665e-05, train_time=1.767 -[gpua010:0/64] 2023-12-16 09:29:50,011 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua010:0/64] 2023-12-16 09:30:33,926 (trainer:737) INFO: 37epoch:train:501-600batch: iter_time=5.191e-04, forward_time=0.242, loss_ctc=56.149, loss_att=43.084, acc=0.738, loss=47.004, backward_time=0.302, grad_norm=74.448, clip=100.000, loss_scale=1.377e+32, optim_step_time=0.145, optim0_lr0=6.664e-05, train_time=1.533 -[gpua010:0/64] 2023-12-16 09:33:27,035 (trainer:737) INFO: 37epoch:train:601-700batch: iter_time=6.453e-04, forward_time=0.222, loss_ctc=75.400, loss_att=64.150, acc=0.719, loss=67.525, backward_time=0.351, grad_norm=74.377, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.142, optim0_lr0=6.663e-05, train_time=1.731 -[gpua010:0/64] 2023-12-16 09:35:55,664 (trainer:737) INFO: 37epoch:train:701-800batch: iter_time=8.750e-05, forward_time=0.148, loss_ctc=73.775, loss_att=57.611, acc=0.720, loss=62.460, backward_time=0.308, grad_norm=89.132, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.663e-05, train_time=1.487 -[gpua010:0/64] 2023-12-16 09:36:07,222 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua010:0/64] 2023-12-16 09:38:52,373 (trainer:737) INFO: 37epoch:train:801-900batch: iter_time=0.001, forward_time=0.196, loss_ctc=64.292, loss_att=56.811, acc=0.708, loss=59.055, backward_time=0.379, grad_norm=72.157, clip=100.000, loss_scale=4.384e+31, optim_step_time=0.139, optim0_lr0=6.662e-05, train_time=1.767 -[gpua010:0/64] 2023-12-16 09:41:24,144 (trainer:737) INFO: 37epoch:train:901-1000batch: iter_time=8.668e-05, forward_time=0.148, loss_ctc=70.965, loss_att=51.816, acc=0.737, loss=57.560, backward_time=0.288, grad_norm=71.564, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.662e-05, train_time=1.517 -[gpua010:0/64] 2023-12-16 09:44:11,731 (trainer:737) INFO: 37epoch:train:1001-1100batch: iter_time=3.758e-04, forward_time=0.257, loss_ctc=58.650, loss_att=50.168, acc=0.727, loss=52.713, backward_time=0.347, grad_norm=62.409, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.661e-05, train_time=1.676 -[gpua010:0/64] 2023-12-16 09:46:48,422 (trainer:737) INFO: 37epoch:train:1101-1200batch: iter_time=8.446e-05, forward_time=0.149, loss_ctc=64.413, loss_att=52.569, acc=0.731, loss=56.122, backward_time=0.325, grad_norm=63.815, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.660e-05, train_time=1.566 -[gpua010:0/64] 2023-12-16 09:48:15,399 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua010:0/64] 2023-12-16 09:48:33,788 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 09:48:37,181 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 09:48:37,181 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua010:0/64] 2023-12-16 09:48:37,185 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 09:56:12,571 (trainer:737) INFO: 37epoch:train:1201-1300batch: iter_time=4.082, forward_time=0.335, loss_ctc=62.501, loss_att=47.452, acc=0.730, loss=51.967, backward_time=0.332, grad_norm=76.902, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.660e-05, train_time=5.640 -[gpua010:0/64] 2023-12-16 10:00:22,784 (trainer:737) INFO: 37epoch:train:1301-1400batch: iter_time=0.002, forward_time=0.936, loss_ctc=62.561, loss_att=47.038, acc=0.756, loss=51.695, backward_time=0.573, grad_norm=64.571, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.187, optim0_lr0=6.659e-05, train_time=2.502 -[gpua010:0/64] 2023-12-16 10:06:23,020 (trainer:737) INFO: 37epoch:train:1401-1500batch: iter_time=0.005, forward_time=1.330, loss_ctc=64.037, loss_att=53.243, acc=0.724, loss=56.481, backward_time=0.878, grad_norm=89.905, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.211, optim0_lr0=6.659e-05, train_time=3.603 -[gpua010:0/64] 2023-12-16 10:11:07,173 (trainer:737) INFO: 37epoch:train:1501-1600batch: iter_time=0.005, forward_time=1.076, loss_ctc=64.978, loss_att=46.462, acc=0.748, loss=52.017, backward_time=0.632, grad_norm=65.359, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.177, optim0_lr0=6.658e-05, train_time=2.843 -[gpua010:0/64] 2023-12-16 10:15:12,914 (trainer:737) INFO: 37epoch:train:1601-1700batch: iter_time=0.002, forward_time=0.890, loss_ctc=66.603, loss_att=55.789, acc=0.721, loss=59.033, backward_time=0.531, grad_norm=73.326, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.159, optim0_lr0=6.657e-05, train_time=2.457 -[gpua010:0/64] 2023-12-16 10:19:24,020 (trainer:737) INFO: 37epoch:train:1701-1800batch: iter_time=0.004, forward_time=0.735, loss_ctc=65.937, loss_att=54.276, acc=0.744, loss=57.774, backward_time=0.680, grad_norm=62.013, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.163, optim0_lr0=6.657e-05, train_time=2.510 -[gpua010:0/64] 2023-12-16 10:22:29,178 (trainer:737) INFO: 37epoch:train:1801-1900batch: iter_time=0.001, forward_time=0.558, loss_ctc=65.357, loss_att=57.253, acc=0.717, loss=59.684, backward_time=0.455, grad_norm=76.002, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.155, optim0_lr0=6.656e-05, train_time=1.852 -[gpua010:0/64] 2023-12-16 10:25:46,848 (trainer:737) INFO: 37epoch:train:1901-2000batch: iter_time=0.002, forward_time=0.574, loss_ctc=60.589, loss_att=46.773, acc=0.745, loss=50.918, backward_time=0.410, grad_norm=63.202, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.149, optim0_lr0=6.655e-05, train_time=1.975 -[gpua010:0/64] 2023-12-16 10:30:30,721 (trainer:737) INFO: 37epoch:train:2001-2100batch: iter_time=0.002, forward_time=0.984, loss_ctc=77.992, loss_att=62.969, acc=0.709, loss=67.476, backward_time=0.615, grad_norm=96.362, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.167, optim0_lr0=6.655e-05, train_time=2.839 -[gpua010:0/64] 2023-12-16 10:39:55,918 (trainer:737) INFO: 37epoch:train:2101-2200batch: iter_time=0.011, forward_time=2.788, loss_ctc=62.464, loss_att=50.121, acc=0.735, loss=53.824, backward_time=1.190, grad_norm=62.742, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.266, optim0_lr0=6.654e-05, train_time=5.651 -[gpua010:0/64] 2023-12-16 10:44:11,498 (trainer:737) INFO: 37epoch:train:2201-2300batch: iter_time=0.007, forward_time=0.965, loss_ctc=68.371, loss_att=55.753, acc=0.726, loss=59.539, backward_time=0.461, grad_norm=64.374, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.181, optim0_lr0=6.654e-05, train_time=2.555 -[gpua010:0/64] 2023-12-16 10:49:28,111 (trainer:737) INFO: 37epoch:train:2301-2400batch: iter_time=0.004, forward_time=1.224, loss_ctc=60.327, loss_att=51.557, acc=0.732, loss=54.188, backward_time=0.792, grad_norm=67.425, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.209, optim0_lr0=6.653e-05, train_time=3.166 -[gpua010:0/64] 2023-12-16 10:53:25,264 (trainer:737) INFO: 37epoch:train:2401-2500batch: iter_time=0.002, forward_time=0.743, loss_ctc=63.607, loss_att=47.561, acc=0.728, loss=52.375, backward_time=0.638, grad_norm=64.197, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.173, optim0_lr0=6.652e-05, train_time=2.372 -[gpua010:0/64] 2023-12-16 10:53:45,554 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua010:0/64] 2023-12-16 10:54:03,529 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 10:54:07,209 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 10:54:07,209 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua010:0/64] 2023-12-16 10:54:07,213 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 11:04:21,474 (trainer:737) INFO: 37epoch:train:2501-2600batch: iter_time=5.298, forward_time=0.174, loss_ctc=64.087, loss_att=53.149, acc=0.739, loss=56.430, backward_time=0.285, grad_norm=59.882, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.652e-05, train_time=6.563 -[gpua010:0/64] 2023-12-16 11:06:22,826 (trainer:737) INFO: 37epoch:train:2601-2700batch: iter_time=8.205e-05, forward_time=0.148, loss_ctc=59.118, loss_att=45.950, acc=0.745, loss=49.900, backward_time=0.278, grad_norm=63.653, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.651e-05, train_time=1.213 -[gpua010:0/64] 2023-12-16 11:08:30,055 (trainer:737) INFO: 37epoch:train:2701-2800batch: iter_time=8.220e-05, forward_time=0.149, loss_ctc=64.549, loss_att=49.956, acc=0.726, loss=54.334, backward_time=0.282, grad_norm=78.272, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.651e-05, train_time=1.272 -[gpua010:0/64] 2023-12-16 11:11:02,628 (trainer:737) INFO: 37epoch:train:2801-2900batch: iter_time=8.000e-05, forward_time=0.148, loss_ctc=66.476, loss_att=55.006, acc=0.742, loss=58.447, backward_time=0.292, grad_norm=71.179, clip=100.000, loss_scale=7.748e+31, optim_step_time=0.133, optim0_lr0=6.650e-05, train_time=1.526 -[gpua010:0/64] 2023-12-16 11:13:51,209 (trainer:737) INFO: 37epoch:train:2901-3000batch: iter_time=7.967e-05, forward_time=0.150, loss_ctc=69.983, loss_att=55.793, acc=0.737, loss=60.050, backward_time=0.302, grad_norm=61.235, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.649e-05, train_time=1.686 -[gpua010:0/64] 2023-12-16 11:16:39,831 (trainer:737) INFO: 37epoch:train:3001-3100batch: iter_time=8.291e-05, forward_time=0.148, loss_ctc=55.918, loss_att=42.671, acc=0.742, loss=46.645, backward_time=0.299, grad_norm=53.485, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.649e-05, train_time=1.686 -[gpua010:0/64] 2023-12-16 11:18:50,001 (trainer:737) INFO: 37epoch:train:3101-3200batch: iter_time=8.345e-05, forward_time=0.148, loss_ctc=73.904, loss_att=62.095, acc=0.727, loss=65.638, backward_time=0.284, grad_norm=71.843, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.648e-05, train_time=1.301 -[gpua010:0/64] 2023-12-16 11:21:27,129 (trainer:737) INFO: 37epoch:train:3201-3300batch: iter_time=8.528e-05, forward_time=0.273, loss_ctc=69.313, loss_att=56.465, acc=0.724, loss=60.320, backward_time=0.316, grad_norm=86.820, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=6.647e-05, train_time=1.571 -[gpua010:0/64] 2023-12-16 11:23:40,116 (trainer:737) INFO: 37epoch:train:3301-3400batch: iter_time=8.453e-05, forward_time=0.147, loss_ctc=63.107, loss_att=55.642, acc=0.714, loss=57.881, backward_time=0.285, grad_norm=72.135, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=6.647e-05, train_time=1.330 -[gpua010:0/64] 2023-12-16 11:26:12,730 (trainer:737) INFO: 37epoch:train:3401-3500batch: iter_time=8.120e-05, forward_time=0.148, loss_ctc=69.927, loss_att=51.217, acc=0.740, loss=56.830, backward_time=0.307, grad_norm=65.346, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=6.646e-05, train_time=1.526 -[gpua010:0/64] 2023-12-16 11:29:22,538 (trainer:737) INFO: 37epoch:train:3501-3600batch: iter_time=7.970e-05, forward_time=0.150, loss_ctc=57.301, loss_att=49.587, acc=0.730, loss=51.901, backward_time=0.347, grad_norm=69.928, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=6.646e-05, train_time=1.898 -[gpua010:0/64] 2023-12-16 11:30:51,206 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua010:0/64] 2023-12-16 11:31:53,079 (trainer:737) INFO: 37epoch:train:3601-3700batch: iter_time=8.149e-05, forward_time=0.148, loss_ctc=63.557, loss_att=51.464, acc=0.736, loss=55.092, backward_time=0.294, grad_norm=77.411, clip=100.000, loss_scale=6.433e+31, optim_step_time=0.132, optim0_lr0=6.645e-05, train_time=1.505 -[gpua010:0/64] 2023-12-16 11:33:19,140 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua010:0/64] 2023-12-16 11:33:37,347 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 11:33:40,743 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 11:33:40,744 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua010:0/64] 2023-12-16 11:33:40,749 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 11:48:11,945 (trainer:737) INFO: 37epoch:train:3701-3800batch: iter_time=3.281, forward_time=0.178, loss_ctc=61.188, loss_att=46.945, acc=0.735, loss=51.218, backward_time=0.310, grad_norm=64.720, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.644e-05, train_time=9.788 -[gpua010:0/64] 2023-12-16 11:51:26,659 (trainer:737) INFO: 37epoch:train:3801-3900batch: iter_time=8.455e-05, forward_time=0.149, loss_ctc=62.158, loss_att=46.617, acc=0.761, loss=51.279, backward_time=0.411, grad_norm=60.135, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.644e-05, train_time=1.947 -[gpua010:0/64] 2023-12-16 11:53:58,820 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua010:0/64] 2023-12-16 11:54:27,709 (trainer:737) INFO: 37epoch:train:3901-4000batch: iter_time=7.975e-05, forward_time=0.148, loss_ctc=63.989, loss_att=52.258, acc=0.728, loss=55.777, backward_time=0.317, grad_norm=85.688, clip=100.000, loss_scale=3.606e+31, optim_step_time=0.134, optim0_lr0=6.643e-05, train_time=1.810 -[gpua010:0/64] 2023-12-16 11:57:41,826 (trainer:737) INFO: 37epoch:train:4001-4100batch: iter_time=8.930e-05, forward_time=0.148, loss_ctc=64.606, loss_att=46.352, acc=0.751, loss=51.828, backward_time=0.352, grad_norm=61.351, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.643e-05, train_time=1.941 -[gpua010:0/64] 2023-12-16 12:00:45,164 (trainer:737) INFO: 37epoch:train:4101-4200batch: iter_time=8.883e-05, forward_time=0.148, loss_ctc=65.547, loss_att=55.842, acc=0.725, loss=58.754, backward_time=0.339, grad_norm=72.252, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.642e-05, train_time=1.833 -[gpua010:0/64] 2023-12-16 12:04:00,348 (trainer:737) INFO: 37epoch:train:4201-4300batch: iter_time=8.458e-05, forward_time=0.149, loss_ctc=65.684, loss_att=53.847, acc=0.748, loss=57.398, backward_time=0.365, grad_norm=81.100, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.641e-05, train_time=1.952 -[gpua010:0/64] 2023-12-16 12:06:56,356 (trainer:737) INFO: 37epoch:train:4301-4400batch: iter_time=9.445e-05, forward_time=0.148, loss_ctc=65.222, loss_att=57.446, acc=0.719, loss=59.779, backward_time=0.312, grad_norm=76.484, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.641e-05, train_time=1.760 -[gpua010:0/64] 2023-12-16 12:10:06,902 (trainer:737) INFO: 37epoch:train:4401-4500batch: iter_time=4.262e-04, forward_time=0.250, loss_ctc=60.581, loss_att=46.264, acc=0.748, loss=50.559, backward_time=0.349, grad_norm=71.702, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.640e-05, train_time=1.905 -[gpua010:0/64] 2023-12-16 12:13:16,493 (trainer:737) INFO: 37epoch:train:4501-4600batch: iter_time=9.623e-05, forward_time=0.149, loss_ctc=75.467, loss_att=62.488, acc=0.711, loss=66.382, backward_time=0.381, grad_norm=132.325, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.640e-05, train_time=1.896 -[gpua010:0/64] 2023-12-16 12:16:17,230 (trainer:737) INFO: 37epoch:train:4601-4700batch: iter_time=8.728e-05, forward_time=0.148, loss_ctc=62.071, loss_att=50.314, acc=0.735, loss=53.841, backward_time=0.345, grad_norm=90.715, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.639e-05, train_time=1.807 -[gpua010:0/64] 2023-12-16 12:18:50,847 (trainer:737) INFO: 37epoch:train:4701-4800batch: iter_time=8.085e-05, forward_time=0.148, loss_ctc=67.811, loss_att=55.002, acc=0.726, loss=58.844, backward_time=0.296, grad_norm=81.524, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.638e-05, train_time=1.536 -[gpua010:0/64] 2023-12-16 12:22:06,275 (trainer:737) INFO: 37epoch:train:4801-4900batch: iter_time=9.171e-05, forward_time=0.148, loss_ctc=59.407, loss_att=51.046, acc=0.735, loss=53.554, backward_time=0.338, grad_norm=82.342, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.638e-05, train_time=1.954 -[gpua010:0/64] 2023-12-16 12:25:40,931 (trainer:737) INFO: 37epoch:train:4901-5000batch: iter_time=8.001e-05, forward_time=0.148, loss_ctc=62.600, loss_att=46.353, acc=0.733, loss=51.227, backward_time=0.339, grad_norm=69.385, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.637e-05, train_time=2.146 -[gpua010:0/64] 2023-12-16 12:26:00,960 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua010:0/64] 2023-12-16 12:26:19,142 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 12:26:22,630 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 12:26:22,630 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua010:0/64] 2023-12-16 12:26:22,683 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 12:34:00,460 (trainer:737) INFO: 37epoch:train:5001-5100batch: iter_time=3.251, forward_time=0.174, loss_ctc=64.281, loss_att=52.292, acc=0.745, loss=55.888, backward_time=0.286, grad_norm=67.280, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.637e-05, train_time=4.995 -[gpua010:0/64] 2023-12-16 12:36:22,218 (trainer:737) INFO: 37epoch:train:5101-5200batch: iter_time=8.382e-05, forward_time=0.151, loss_ctc=59.367, loss_att=45.953, acc=0.748, loss=49.977, backward_time=0.296, grad_norm=67.455, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.636e-05, train_time=1.417 -[gpua010:0/64] 2023-12-16 12:38:54,086 (trainer:737) INFO: 37epoch:train:5201-5300batch: iter_time=8.284e-05, forward_time=0.151, loss_ctc=64.177, loss_att=51.144, acc=0.727, loss=55.054, backward_time=0.302, grad_norm=104.261, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.635e-05, train_time=1.518 -[gpua010:0/64] 2023-12-16 12:41:21,228 (trainer:737) INFO: 37epoch:train:5301-5400batch: iter_time=8.271e-05, forward_time=0.151, loss_ctc=66.496, loss_att=54.647, acc=0.744, loss=58.202, backward_time=0.286, grad_norm=75.639, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.635e-05, train_time=1.471 -[gpua010:0/64] 2023-12-16 12:43:42,207 (trainer:737) INFO: 37epoch:train:5401-5500batch: iter_time=8.508e-05, forward_time=0.151, loss_ctc=69.317, loss_att=55.374, acc=0.739, loss=59.557, backward_time=0.292, grad_norm=75.740, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.634e-05, train_time=1.410 -[gpua010:0/64] 2023-12-16 12:46:16,690 (trainer:737) INFO: 37epoch:train:5501-5600batch: iter_time=4.437e-04, forward_time=0.270, loss_ctc=55.816, loss_att=42.221, acc=0.745, loss=46.300, backward_time=0.306, grad_norm=138.635, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=6.633e-05, train_time=1.539 - -gpua014:553259:553339 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:553262:553336 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:553260:553341 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:553261:553342 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:553261:553342 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:553259:553339 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:553262:553336 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:553260:553341 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active -[gpua010:0/64] 2023-12-16 12:48:42,044 (trainer:737) INFO: 37epoch:train:5601-5700batch: iter_time=1.077e-04, forward_time=0.150, loss_ctc=73.774, loss_att=62.285, acc=0.727, loss=65.732, backward_time=0.291, grad_norm=116.751, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.633e-05, train_time=1.456 -[gpua010:0/64] 2023-12-16 12:51:06,163 (trainer:737) INFO: 37epoch:train:5701-5800batch: iter_time=8.050e-05, forward_time=0.148, loss_ctc=69.224, loss_att=55.496, acc=0.728, loss=59.615, backward_time=0.287, grad_norm=100.044, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.632e-05, train_time=1.441 -[gpua010:0/64] 2023-12-16 12:53:49,710 (trainer:737) INFO: 37epoch:train:5801-5900batch: iter_time=8.695e-05, forward_time=0.148, loss_ctc=62.717, loss_att=55.438, acc=0.717, loss=57.622, backward_time=0.309, grad_norm=77.495, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.632e-05, train_time=1.635 -[gpua010:0/64] 2023-12-16 12:56:30,483 (trainer:737) INFO: 37epoch:train:5901-6000batch: iter_time=9.673e-05, forward_time=0.149, loss_ctc=68.653, loss_att=51.096, acc=0.742, loss=56.363, backward_time=0.320, grad_norm=72.039, clip=100.000, loss_scale=2.474e+31, optim_step_time=0.133, optim0_lr0=6.631e-05, train_time=1.608 -[gpua010:0/64] 2023-12-16 12:58:51,172 (trainer:737) INFO: 37epoch:train:6001-6100batch: iter_time=8.773e-05, forward_time=0.149, loss_ctc=57.729, loss_att=49.345, acc=0.730, loss=51.860, backward_time=0.285, grad_norm=129.133, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.630e-05, train_time=1.407 -[gpua010:0/64] 2023-12-16 13:01:08,093 (trainer:737) INFO: 37epoch:train:6101-6200batch: iter_time=9.282e-05, forward_time=0.149, loss_ctc=64.026, loss_att=51.733, acc=0.735, loss=55.421, backward_time=0.279, grad_norm=121.750, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.630e-05, train_time=1.369 -[gpua010:0/64] 2023-12-16 13:02:52,223 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua010:0/64] 2023-12-16 13:03:10,696 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 13:03:14,369 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 13:03:14,369 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua010:0/64] 2023-12-16 13:03:14,372 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 13:11:00,730 (trainer:737) INFO: 37epoch:train:6201-6300batch: iter_time=3.043, forward_time=0.263, loss_ctc=60.707, loss_att=47.762, acc=0.730, loss=51.645, backward_time=0.330, grad_norm=92.301, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=6.629e-05, train_time=5.926 -[gpua010:0/64] 2023-12-16 13:13:05,005 (trainer:737) INFO: 37epoch:train:6301-6400batch: iter_time=7.740e-05, forward_time=0.148, loss_ctc=62.001, loss_att=48.048, acc=0.752, loss=52.234, backward_time=0.278, grad_norm=64.300, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.629e-05, train_time=1.243 -[gpua010:0/64] 2023-12-16 13:15:08,757 (trainer:737) INFO: 37epoch:train:6401-6500batch: iter_time=7.364e-05, forward_time=0.147, loss_ctc=63.190, loss_att=51.855, acc=0.725, loss=55.255, backward_time=0.279, grad_norm=88.506, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.628e-05, train_time=1.237 -[gpua010:0/64] 2023-12-16 13:18:07,166 (trainer:737) INFO: 37epoch:train:6501-6600batch: iter_time=7.805e-05, forward_time=0.147, loss_ctc=64.759, loss_att=46.739, acc=0.747, loss=52.145, backward_time=0.294, grad_norm=70.987, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.627e-05, train_time=1.784 -[gpua010:0/64] 2023-12-16 13:20:46,946 (trainer:737) INFO: 37epoch:train:6601-6700batch: iter_time=7.956e-05, forward_time=0.147, loss_ctc=64.884, loss_att=55.252, acc=0.722, loss=58.142, backward_time=0.280, grad_norm=80.215, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.627e-05, train_time=1.598 -[gpua010:0/64] 2023-12-16 13:23:09,544 (trainer:737) INFO: 37epoch:train:6701-6800batch: iter_time=8.251e-05, forward_time=0.249, loss_ctc=65.766, loss_att=54.205, acc=0.736, loss=57.673, backward_time=0.314, grad_norm=63.775, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.626e-05, train_time=1.426 -[gpua010:0/64] 2023-12-16 13:26:59,075 (trainer:737) INFO: 37epoch:train:6801-6900batch: iter_time=8.010e-05, forward_time=0.149, loss_ctc=64.393, loss_att=57.489, acc=0.710, loss=59.560, backward_time=0.441, grad_norm=78.857, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.626e-05, train_time=2.294 -[gpua010:0/64] 2023-12-16 13:29:48,908 (trainer:737) INFO: 37epoch:train:6901-7000batch: iter_time=8.051e-05, forward_time=0.160, loss_ctc=59.684, loss_att=44.972, acc=0.750, loss=49.386, backward_time=0.304, grad_norm=103.808, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.625e-05, train_time=1.699 -[gpua010:0/64] 2023-12-16 13:32:55,650 (trainer:737) INFO: 37epoch:train:7001-7100batch: iter_time=8.283e-05, forward_time=0.148, loss_ctc=73.881, loss_att=62.763, acc=0.705, loss=66.098, backward_time=0.312, grad_norm=93.886, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.624e-05, train_time=1.868 -[gpua010:0/64] 2023-12-16 13:35:40,953 (trainer:737) INFO: 37epoch:train:7101-7200batch: iter_time=8.121e-05, forward_time=0.149, loss_ctc=61.428, loss_att=49.355, acc=0.739, loss=52.977, backward_time=0.317, grad_norm=67.464, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.624e-05, train_time=1.653 -[gpua010:0/64] 2023-12-16 13:38:25,279 (trainer:737) INFO: 37epoch:train:7201-7300batch: iter_time=8.083e-05, forward_time=0.147, loss_ctc=67.002, loss_att=54.825, acc=0.726, loss=58.478, backward_time=0.311, grad_norm=68.973, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.623e-05, train_time=1.643 -[gpua010:0/64] 2023-12-16 13:41:07,455 (trainer:737) INFO: 37epoch:train:7301-7400batch: iter_time=1.968e-04, forward_time=0.177, loss_ctc=59.162, loss_att=49.608, acc=0.733, loss=52.474, backward_time=0.289, grad_norm=83.071, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.623e-05, train_time=1.622 -[gpua010:0/64] 2023-12-16 13:43:29,547 (trainer:737) INFO: 37epoch:train:7401-7500batch: iter_time=1.327e-04, forward_time=0.204, loss_ctc=61.448, loss_att=46.484, acc=0.726, loss=50.973, backward_time=0.306, grad_norm=67.047, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.622e-05, train_time=1.421 -[gpua010:0/64] 2023-12-16 13:43:49,576 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua010:0/64] 2023-12-16 13:44:08,166 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 13:44:11,832 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 13:44:11,832 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua010:0/64] 2023-12-16 13:44:11,836 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 13:50:53,525 (trainer:737) INFO: 37epoch:train:7501-7600batch: iter_time=3.124, forward_time=0.161, loss_ctc=63.750, loss_att=52.653, acc=0.740, loss=55.982, backward_time=0.284, grad_norm=67.124, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.621e-05, train_time=4.439 -[gpua010:0/64] 2023-12-16 13:53:13,300 (trainer:737) INFO: 37epoch:train:7601-7700batch: iter_time=8.614e-05, forward_time=0.147, loss_ctc=59.334, loss_att=44.866, acc=0.745, loss=49.207, backward_time=0.284, grad_norm=69.343, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.621e-05, train_time=1.398 -[gpua010:0/64] 2023-12-16 13:55:16,576 (trainer:737) INFO: 37epoch:train:7701-7800batch: iter_time=8.907e-05, forward_time=0.148, loss_ctc=62.877, loss_att=49.217, acc=0.727, loss=53.315, backward_time=0.277, grad_norm=83.849, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.620e-05, train_time=1.233 -[gpua010:0/64] 2023-12-16 13:57:46,782 (trainer:737) INFO: 37epoch:train:7801-7900batch: iter_time=8.550e-05, forward_time=0.147, loss_ctc=66.221, loss_att=54.379, acc=0.742, loss=57.932, backward_time=0.298, grad_norm=68.277, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.620e-05, train_time=1.502 -[gpua010:0/64] 2023-12-16 14:00:18,651 (trainer:737) INFO: 37epoch:train:7901-8000batch: iter_time=9.136e-05, forward_time=0.255, loss_ctc=69.203, loss_att=55.277, acc=0.735, loss=59.455, backward_time=0.319, grad_norm=66.539, clip=100.000, loss_scale=4.949e+31, optim_step_time=0.135, optim0_lr0=6.619e-05, train_time=1.518 -[gpua010:0/64] 2023-12-16 14:03:05,830 (trainer:737) INFO: 37epoch:train:8001-8100batch: iter_time=8.754e-05, forward_time=0.148, loss_ctc=55.606, loss_att=42.363, acc=0.740, loss=46.336, backward_time=0.300, grad_norm=56.052, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.618e-05, train_time=1.672 -[gpua010:0/64] 2023-12-16 14:06:28,352 (trainer:737) INFO: 37epoch:train:8101-8200batch: iter_time=8.994e-05, forward_time=0.192, loss_ctc=73.817, loss_att=61.953, acc=0.717, loss=65.512, backward_time=0.319, grad_norm=76.305, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.618e-05, train_time=2.024 -[gpua010:0/64] 2023-12-16 14:09:02,857 (trainer:737) INFO: 37epoch:train:8201-8300batch: iter_time=9.160e-05, forward_time=0.147, loss_ctc=67.442, loss_att=53.413, acc=0.730, loss=57.622, backward_time=0.292, grad_norm=84.990, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=6.617e-05, train_time=1.546 -[gpua010:0/64] 2023-12-16 14:11:30,023 (trainer:737) INFO: 37epoch:train:8301-8400batch: iter_time=8.866e-05, forward_time=0.146, loss_ctc=62.208, loss_att=55.143, acc=0.714, loss=57.262, backward_time=0.322, grad_norm=64.996, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=6.617e-05, train_time=1.471 -[gpua010:0/64] 2023-12-16 14:13:58,975 (trainer:737) INFO: 37epoch:train:8401-8500batch: iter_time=8.658e-05, forward_time=0.146, loss_ctc=68.137, loss_att=50.450, acc=0.736, loss=55.756, backward_time=0.320, grad_norm=70.024, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=6.616e-05, train_time=1.489 -[gpua010:0/64] 2023-12-16 14:16:24,930 (trainer:737) INFO: 37epoch:train:8501-8600batch: iter_time=9.267e-05, forward_time=0.175, loss_ctc=56.946, loss_att=49.494, acc=0.727, loss=51.729, backward_time=0.298, grad_norm=70.595, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=6.615e-05, train_time=1.459 -[gpua010:0/64] 2023-12-16 14:18:54,997 (trainer:737) INFO: 37epoch:train:8601-8700batch: iter_time=9.406e-05, forward_time=0.279, loss_ctc=62.613, loss_att=50.382, acc=0.731, loss=54.051, backward_time=0.307, grad_norm=66.135, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=6.615e-05, train_time=1.500 -[gpua010:0/64] 2023-12-16 14:20:44,386 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua010:0/64] 2023-12-16 14:21:02,902 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 14:21:06,404 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 14:21:06,404 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua010:0/64] 2023-12-16 14:21:06,409 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 14:28:46,645 (trainer:737) INFO: 37epoch:train:8701-8800batch: iter_time=3.453, forward_time=0.157, loss_ctc=60.537, loss_att=46.473, acc=0.736, loss=50.692, backward_time=0.288, grad_norm=61.205, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.614e-05, train_time=5.916 -[gpua010:0/64] 2023-12-16 14:31:02,781 (trainer:737) INFO: 37epoch:train:8801-8900batch: iter_time=7.986e-05, forward_time=0.148, loss_ctc=62.245, loss_att=46.102, acc=0.758, loss=50.945, backward_time=0.316, grad_norm=57.209, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.613e-05, train_time=1.362 -[gpua010:0/64] 2023-12-16 14:33:27,866 (trainer:737) INFO: 37epoch:train:8901-9000batch: iter_time=7.913e-05, forward_time=0.147, loss_ctc=63.125, loss_att=50.026, acc=0.730, loss=53.956, backward_time=0.286, grad_norm=75.464, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.613e-05, train_time=1.451 -[gpua010:0/64] 2023-12-16 14:35:44,101 (trainer:737) INFO: 37epoch:train:9001-9100batch: iter_time=8.403e-05, forward_time=0.166, loss_ctc=64.349, loss_att=45.574, acc=0.750, loss=51.206, backward_time=0.287, grad_norm=62.808, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.141, optim0_lr0=6.612e-05, train_time=1.362 -[gpua010:0/64] 2023-12-16 14:36:57,734 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua010:0/64] 2023-12-16 14:38:05,973 (trainer:737) INFO: 37epoch:train:9101-9200batch: iter_time=8.482e-05, forward_time=0.233, loss_ctc=64.679, loss_att=54.289, acc=0.726, loss=57.406, backward_time=0.307, grad_norm=86.875, clip=100.000, loss_scale=6.023e+31, optim_step_time=0.137, optim0_lr0=6.612e-05, train_time=1.419 -[gpua010:0/64] 2023-12-16 14:40:20,286 (trainer:737) INFO: 37epoch:train:9201-9300batch: iter_time=8.609e-05, forward_time=0.150, loss_ctc=65.174, loss_att=53.163, acc=0.740, loss=56.767, backward_time=0.284, grad_norm=57.523, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.611e-05, train_time=1.343 -[gpua010:0/64] 2023-12-16 14:43:04,135 (trainer:737) INFO: 37epoch:train:9301-9400batch: iter_time=9.957e-05, forward_time=0.157, loss_ctc=64.097, loss_att=56.068, acc=0.717, loss=58.477, backward_time=0.312, grad_norm=64.630, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.610e-05, train_time=1.638 -[gpua010:0/64] 2023-12-16 14:45:55,512 (trainer:737) INFO: 37epoch:train:9401-9500batch: iter_time=8.716e-05, forward_time=0.148, loss_ctc=59.899, loss_att=44.232, acc=0.751, loss=48.932, backward_time=0.317, grad_norm=62.094, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.610e-05, train_time=1.714 -[gpua010:0/64] 2023-12-16 14:48:31,991 (trainer:737) INFO: 37epoch:train:9501-9600batch: iter_time=8.491e-05, forward_time=0.147, loss_ctc=73.922, loss_att=62.217, acc=0.709, loss=65.729, backward_time=0.289, grad_norm=93.325, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.609e-05, train_time=1.565 -[gpua010:0/64] 2023-12-16 14:51:01,779 (trainer:737) INFO: 37epoch:train:9601-9700batch: iter_time=8.311e-05, forward_time=0.188, loss_ctc=61.153, loss_att=49.284, acc=0.740, loss=52.845, backward_time=0.312, grad_norm=63.373, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.609e-05, train_time=1.498 -[gpua010:0/64] 2023-12-16 14:53:39,837 (trainer:737) INFO: 37epoch:train:9701-9800batch: iter_time=9.136e-05, forward_time=0.172, loss_ctc=66.906, loss_att=54.605, acc=0.725, loss=58.295, backward_time=0.303, grad_norm=76.348, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.608e-05, train_time=1.580 -[gpua010:0/64] 2023-12-16 14:55:49,238 (trainer:737) INFO: 37epoch:train:9801-9900batch: iter_time=8.577e-05, forward_time=0.147, loss_ctc=59.309, loss_att=48.593, acc=0.735, loss=51.808, backward_time=0.278, grad_norm=63.921, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.607e-05, train_time=1.294 -[gpua010:0/64] 2023-12-16 14:57:56,219 (trainer:737) INFO: 37epoch:train:9901-10000batch: iter_time=7.961e-05, forward_time=0.158, loss_ctc=61.291, loss_att=46.266, acc=0.729, loss=50.773, backward_time=0.283, grad_norm=64.749, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.607e-05, train_time=1.270 -[gpua010:0/64] 2023-12-16 14:58:16,248 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua010:0/64] 2023-12-16 14:58:34,690 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 14:58:38,119 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 14:58:38,119 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua010:0/64] 2023-12-16 14:58:38,124 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 15:04:54,036 (trainer:737) INFO: 37epoch:train:10001-10100batch: iter_time=2.909, forward_time=0.182, loss_ctc=63.335, loss_att=51.752, acc=0.741, loss=55.227, backward_time=0.285, grad_norm=60.440, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.606e-05, train_time=4.178 -[gpua010:0/64] 2023-12-16 15:07:14,086 (trainer:737) INFO: 37epoch:train:10101-10200batch: iter_time=8.418e-05, forward_time=0.147, loss_ctc=58.487, loss_att=44.177, acc=0.748, loss=48.470, backward_time=0.283, grad_norm=58.392, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.606e-05, train_time=1.400 -[gpua010:0/64] 2023-12-16 15:09:51,515 (trainer:737) INFO: 37epoch:train:10201-10300batch: iter_time=8.589e-05, forward_time=0.147, loss_ctc=63.775, loss_att=49.710, acc=0.728, loss=53.930, backward_time=0.286, grad_norm=73.140, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.605e-05, train_time=1.574 -[gpua010:0/64] 2023-12-16 15:12:23,576 (trainer:737) INFO: 37epoch:train:10301-10400batch: iter_time=8.467e-05, forward_time=0.158, loss_ctc=65.929, loss_att=53.823, acc=0.743, loss=57.455, backward_time=0.303, grad_norm=65.757, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.604e-05, train_time=1.520 -[gpua010:0/64] 2023-12-16 15:15:19,226 (trainer:737) INFO: 37epoch:train:10401-10500batch: iter_time=8.836e-05, forward_time=0.148, loss_ctc=68.508, loss_att=54.678, acc=0.736, loss=58.827, backward_time=0.316, grad_norm=66.886, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.604e-05, train_time=1.756 -[gpua010:0/64] 2023-12-16 15:17:40,420 (trainer:737) INFO: 37epoch:train:10501-10600batch: iter_time=9.208e-05, forward_time=0.208, loss_ctc=55.361, loss_att=41.887, acc=0.741, loss=45.929, backward_time=0.309, grad_norm=56.525, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.603e-05, train_time=1.411 -[gpua010:0/64] 2023-12-16 15:20:16,087 (trainer:737) INFO: 37epoch:train:10601-10700batch: iter_time=8.903e-05, forward_time=0.183, loss_ctc=73.239, loss_att=61.358, acc=0.721, loss=64.922, backward_time=0.309, grad_norm=68.631, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.603e-05, train_time=1.557 -[gpua010:0/64] 2023-12-16 15:22:57,985 (trainer:737) INFO: 37epoch:train:10701-10800batch: iter_time=8.463e-05, forward_time=0.148, loss_ctc=66.683, loss_att=53.607, acc=0.730, loss=57.530, backward_time=0.299, grad_norm=81.636, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.602e-05, train_time=1.619 -[gpua010:0/64] 2023-12-16 15:25:33,868 (trainer:737) INFO: 37epoch:train:10801-10900batch: iter_time=8.638e-05, forward_time=0.148, loss_ctc=62.839, loss_att=55.394, acc=0.714, loss=57.627, backward_time=0.330, grad_norm=68.837, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.601e-05, train_time=1.559 -[gpua010:0/64] 2023-12-16 15:28:04,589 (trainer:737) INFO: 37epoch:train:10901-11000batch: iter_time=9.322e-05, forward_time=0.154, loss_ctc=67.833, loss_att=50.242, acc=0.738, loss=55.519, backward_time=0.281, grad_norm=66.177, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.601e-05, train_time=1.507 -[gpua010:0/64] 2023-12-16 15:31:26,552 (trainer:737) INFO: 37epoch:train:11001-11100batch: iter_time=9.402e-05, forward_time=0.148, loss_ctc=56.528, loss_att=49.062, acc=0.729, loss=51.302, backward_time=0.399, grad_norm=67.263, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.600e-05, train_time=2.019 -[gpua010:0/64] 2023-12-16 15:34:04,696 (trainer:737) INFO: 37epoch:train:11101-11200batch: iter_time=9.001e-05, forward_time=0.209, loss_ctc=63.572, loss_att=50.391, acc=0.730, loss=54.346, backward_time=0.339, grad_norm=66.193, clip=100.000, loss_scale=6.125e+31, optim_step_time=0.137, optim0_lr0=6.600e-05, train_time=1.581 -[gpua010:0/64] 2023-12-16 15:35:55,792 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua010:0/64] 2023-12-16 15:36:14,177 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 15:36:17,570 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 15:36:17,570 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua010:0/64] 2023-12-16 15:36:17,577 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 15:42:34,207 (trainer:737) INFO: 37epoch:train:11201-11300batch: iter_time=3.429, forward_time=0.169, loss_ctc=59.870, loss_att=46.384, acc=0.737, loss=50.430, backward_time=0.293, grad_norm=62.996, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.599e-05, train_time=5.095 -[gpua010:0/64] 2023-12-16 15:45:04,657 (trainer:737) INFO: 37epoch:train:11301-11400batch: iter_time=8.285e-05, forward_time=0.148, loss_ctc=61.895, loss_att=47.587, acc=0.761, loss=51.879, backward_time=0.280, grad_norm=60.339, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.598e-05, train_time=1.504 -[gpua010:0/64] 2023-12-16 15:48:49,718 (trainer:737) INFO: 37epoch:train:11401-11500batch: iter_time=8.376e-05, forward_time=0.147, loss_ctc=63.210, loss_att=52.715, acc=0.731, loss=55.863, backward_time=0.349, grad_norm=75.500, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.598e-05, train_time=2.250 -[gpua010:0/64] 2023-12-16 15:53:47,743 (trainer:737) INFO: 37epoch:train:11501-11600batch: iter_time=8.762e-05, forward_time=0.313, loss_ctc=64.926, loss_att=46.214, acc=0.753, loss=51.828, backward_time=0.444, grad_norm=74.178, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=6.597e-05, train_time=2.979 -[gpua010:0/64] 2023-12-16 15:56:50,285 (trainer:737) INFO: 37epoch:train:11601-11700batch: iter_time=8.418e-05, forward_time=0.174, loss_ctc=64.588, loss_att=55.243, acc=0.726, loss=58.046, backward_time=0.319, grad_norm=70.774, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=6.597e-05, train_time=1.827 -[gpua010:0/64] 2023-12-16 15:59:44,112 (trainer:737) INFO: 37epoch:train:11701-11800batch: iter_time=8.043e-05, forward_time=0.161, loss_ctc=65.222, loss_att=53.785, acc=0.749, loss=57.216, backward_time=0.301, grad_norm=67.815, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.596e-05, train_time=1.738 -[gpua010:0/64] 2023-12-16 16:02:50,893 (trainer:737) INFO: 37epoch:train:11801-11900batch: iter_time=9.102e-05, forward_time=0.147, loss_ctc=64.234, loss_att=56.964, acc=0.722, loss=59.145, backward_time=0.358, grad_norm=72.165, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.595e-05, train_time=1.868 -[gpua010:0/64] 2023-12-16 16:05:10,731 (trainer:737) INFO: 37epoch:train:11901-12000batch: iter_time=8.908e-05, forward_time=0.148, loss_ctc=59.513, loss_att=46.283, acc=0.748, loss=50.252, backward_time=0.311, grad_norm=79.893, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.595e-05, train_time=1.398 -[gpua010:0/64] 2023-12-16 16:07:56,236 (trainer:737) INFO: 37epoch:train:12001-12100batch: iter_time=7.176e-04, forward_time=0.207, loss_ctc=74.241, loss_att=61.237, acc=0.718, loss=65.138, backward_time=0.356, grad_norm=93.624, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=6.594e-05, train_time=1.652 -[gpua010:0/64] 2023-12-16 16:10:55,646 (trainer:737) INFO: 37epoch:train:12101-12200batch: iter_time=9.117e-05, forward_time=0.179, loss_ctc=61.087, loss_att=49.414, acc=0.744, loss=52.916, backward_time=0.322, grad_norm=73.168, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.594e-05, train_time=1.797 -[gpua010:0/64] 2023-12-16 16:13:10,442 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua010:0/64] 2023-12-16 16:13:35,594 (trainer:737) INFO: 37epoch:train:12201-12300batch: iter_time=7.979e-05, forward_time=0.154, loss_ctc=66.826, loss_att=54.338, acc=0.731, loss=58.085, backward_time=0.303, grad_norm=73.364, clip=100.000, loss_scale=7.334e+31, optim_step_time=0.133, optim0_lr0=6.593e-05, train_time=1.599 -[gpua010:0/64] 2023-12-16 16:16:05,346 (trainer:737) INFO: 37epoch:train:12301-12400batch: iter_time=8.173e-05, forward_time=0.148, loss_ctc=59.303, loss_att=50.855, acc=0.735, loss=53.389, backward_time=0.293, grad_norm=74.859, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.593e-05, train_time=1.497 -[gpua010:0/64] 2023-12-16 16:19:04,581 (trainer:737) INFO: 37epoch:train:12401-12500batch: iter_time=8.033e-05, forward_time=0.148, loss_ctc=60.938, loss_att=46.518, acc=0.733, loss=50.844, backward_time=0.377, grad_norm=70.924, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.592e-05, train_time=1.792 -[gpua010:0/64] 2023-12-16 16:19:24,610 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua010:0/64] 2023-12-16 16:19:43,257 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 16:19:46,744 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 16:19:46,744 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua010:0/64] 2023-12-16 16:19:46,761 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 16:25:47,809 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua010:0/64] 2023-12-16 16:26:52,250 (trainer:737) INFO: 37epoch:train:12501-12600batch: iter_time=3.402, forward_time=0.182, loss_ctc=63.683, loss_att=53.070, acc=0.738, loss=56.254, backward_time=0.283, grad_norm=100.544, clip=100.000, loss_scale=2.971e+31, optim_step_time=0.134, optim0_lr0=6.591e-05, train_time=4.675 -[gpua010:0/64] 2023-12-16 16:29:23,400 (trainer:737) INFO: 37epoch:train:12601-12700batch: iter_time=8.106e-05, forward_time=0.147, loss_ctc=59.038, loss_att=44.388, acc=0.747, loss=48.783, backward_time=0.296, grad_norm=117.772, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.591e-05, train_time=1.512 -[gpua010:0/64] 2023-12-16 16:31:42,036 (trainer:737) INFO: 37epoch:train:12701-12800batch: iter_time=8.476e-05, forward_time=0.148, loss_ctc=63.700, loss_att=49.620, acc=0.729, loss=53.844, backward_time=0.285, grad_norm=96.733, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.590e-05, train_time=1.386 -[gpua010:0/64] 2023-12-16 16:34:32,493 (trainer:737) INFO: 37epoch:train:12801-12900batch: iter_time=8.357e-05, forward_time=0.147, loss_ctc=65.263, loss_att=53.548, acc=0.744, loss=57.063, backward_time=0.342, grad_norm=79.503, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.590e-05, train_time=1.704 -[gpua010:0/64] 2023-12-16 16:37:22,961 (trainer:737) INFO: 37epoch:train:12901-13000batch: iter_time=8.709e-05, forward_time=0.248, loss_ctc=68.908, loss_att=55.308, acc=0.733, loss=59.388, backward_time=0.333, grad_norm=83.919, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.589e-05, train_time=1.704 -[gpua010:0/64] 2023-12-16 16:39:58,017 (trainer:737) INFO: 37epoch:train:13001-13100batch: iter_time=8.592e-05, forward_time=0.161, loss_ctc=55.609, loss_att=41.911, acc=0.740, loss=46.020, backward_time=0.292, grad_norm=61.386, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.588e-05, train_time=1.550 -[gpua010:0/64] 2023-12-16 16:41:58,211 (trainer:737) INFO: 37epoch:train:13101-13200batch: iter_time=8.236e-05, forward_time=0.147, loss_ctc=73.681, loss_att=61.784, acc=0.720, loss=65.353, backward_time=0.278, grad_norm=83.239, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.588e-05, train_time=1.202 -[gpua010:0/64] 2023-12-16 16:44:29,031 (trainer:737) INFO: 37epoch:train:13201-13300batch: iter_time=8.978e-05, forward_time=0.147, loss_ctc=66.411, loss_att=53.087, acc=0.734, loss=57.084, backward_time=0.302, grad_norm=142.971, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.587e-05, train_time=1.508 -[gpua010:0/64] 2023-12-16 16:47:54,637 (trainer:737) INFO: 37epoch:train:13301-13400batch: iter_time=8.955e-05, forward_time=0.191, loss_ctc=62.050, loss_att=55.415, acc=0.713, loss=57.406, backward_time=0.356, grad_norm=99.447, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.587e-05, train_time=2.056 -[gpua010:0/64] 2023-12-16 16:50:50,474 (trainer:737) INFO: 37epoch:train:13401-13500batch: iter_time=8.700e-05, forward_time=0.188, loss_ctc=68.040, loss_att=50.719, acc=0.735, loss=55.916, backward_time=0.346, grad_norm=93.850, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.586e-05, train_time=1.758 -[gpua010:0/64] 2023-12-16 16:53:20,275 (trainer:737) INFO: 37epoch:train:13501-13600batch: iter_time=9.325e-05, forward_time=0.148, loss_ctc=56.331, loss_att=48.717, acc=0.728, loss=51.001, backward_time=0.295, grad_norm=81.192, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.585e-05, train_time=1.497 -[gpua010:0/64] 2023-12-16 16:56:08,413 (trainer:737) INFO: 37epoch:train:13601-13700batch: iter_time=9.111e-05, forward_time=0.148, loss_ctc=62.394, loss_att=49.711, acc=0.732, loss=53.516, backward_time=0.303, grad_norm=95.985, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.585e-05, train_time=1.682 -[gpua010:0/64] 2023-12-16 16:57:29,659 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua010:0/64] 2023-12-16 16:57:48,346 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 16:57:51,823 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 16:57:51,824 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua010:0/64] 2023-12-16 16:57:51,827 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 17:03:27,365 (trainer:737) INFO: 37epoch:train:13701-13800batch: iter_time=3.079, forward_time=0.191, loss_ctc=59.891, loss_att=45.912, acc=0.736, loss=50.106, backward_time=0.285, grad_norm=79.485, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.584e-05, train_time=4.389 -[gpua010:0/64] 2023-12-16 17:05:04,561 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua010:0/64] 2023-12-16 17:05:59,885 (trainer:737) INFO: 37epoch:train:13801-13900batch: iter_time=8.013e-05, forward_time=0.147, loss_ctc=61.763, loss_att=45.592, acc=0.759, loss=50.444, backward_time=0.338, grad_norm=72.843, clip=100.000, loss_scale=1.690e+31, optim_step_time=0.133, optim0_lr0=6.584e-05, train_time=1.525 -[gpua010:0/64] 2023-12-16 17:08:20,664 (trainer:737) INFO: 37epoch:train:13901-14000batch: iter_time=8.069e-05, forward_time=0.147, loss_ctc=62.355, loss_att=50.121, acc=0.730, loss=53.791, backward_time=0.284, grad_norm=168.153, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.583e-05, train_time=1.408 -[gpua010:0/64] 2023-12-16 17:10:51,009 (trainer:737) INFO: 37epoch:train:14001-14100batch: iter_time=8.192e-05, forward_time=0.147, loss_ctc=64.092, loss_att=45.471, acc=0.752, loss=51.058, backward_time=0.286, grad_norm=76.624, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.582e-05, train_time=1.503 -[gpua010:0/64] 2023-12-16 17:13:45,565 (trainer:737) INFO: 37epoch:train:14101-14200batch: iter_time=8.052e-05, forward_time=0.205, loss_ctc=64.523, loss_att=54.325, acc=0.727, loss=57.385, backward_time=0.316, grad_norm=105.903, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.582e-05, train_time=1.745 -[gpua010:0/64] 2023-12-16 17:16:32,965 (trainer:737) INFO: 37epoch:train:14201-14300batch: iter_time=8.021e-05, forward_time=0.148, loss_ctc=64.878, loss_att=53.118, acc=0.742, loss=56.646, backward_time=0.367, grad_norm=111.914, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.581e-05, train_time=1.673 -[gpua010:0/64] 2023-12-16 17:19:21,841 (trainer:737) INFO: 37epoch:train:14301-14400batch: iter_time=8.272e-05, forward_time=0.147, loss_ctc=64.470, loss_att=55.785, acc=0.717, loss=58.390, backward_time=0.306, grad_norm=83.368, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.581e-05, train_time=1.689 -[gpua010:0/64] 2023-12-16 17:21:52,979 (trainer:737) INFO: 37epoch:train:14401-14500batch: iter_time=8.003e-05, forward_time=0.147, loss_ctc=59.648, loss_att=44.250, acc=0.751, loss=48.869, backward_time=0.284, grad_norm=108.390, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.580e-05, train_time=1.511 -[gpua010:0/64] 2023-12-16 17:24:40,370 (trainer:737) INFO: 37epoch:train:14501-14600batch: iter_time=7.955e-05, forward_time=0.227, loss_ctc=73.531, loss_att=62.204, acc=0.708, loss=65.602, backward_time=0.318, grad_norm=132.137, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.579e-05, train_time=1.673 -[gpua010:0/64] 2023-12-16 17:27:07,986 (trainer:737) INFO: 37epoch:train:14601-14700batch: iter_time=8.314e-05, forward_time=0.168, loss_ctc=61.454, loss_att=49.354, acc=0.739, loss=52.984, backward_time=0.319, grad_norm=70.468, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.140, optim0_lr0=6.579e-05, train_time=1.476 -[gpua010:0/64] 2023-12-16 17:29:48,214 (trainer:737) INFO: 37epoch:train:14701-14800batch: iter_time=8.349e-05, forward_time=0.147, loss_ctc=66.865, loss_att=54.134, acc=0.725, loss=57.953, backward_time=0.297, grad_norm=89.576, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.578e-05, train_time=1.602 -[gpua010:0/64] 2023-12-16 17:32:19,052 (trainer:737) INFO: 37epoch:train:14801-14900batch: iter_time=8.445e-05, forward_time=0.147, loss_ctc=58.842, loss_att=48.517, acc=0.736, loss=51.614, backward_time=0.278, grad_norm=96.915, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.578e-05, train_time=1.509 -[gpua010:0/64] 2023-12-16 17:35:12,085 (trainer:737) INFO: 37epoch:train:14901-15000batch: iter_time=7.938e-05, forward_time=0.147, loss_ctc=61.078, loss_att=45.953, acc=0.729, loss=50.491, backward_time=0.300, grad_norm=99.373, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.577e-05, train_time=1.730 -[gpua010:0/64] 2023-12-16 18:01:48,122 (trainer:343) INFO: 37epoch results: [train] iter_time=0.273, forward_time=0.241, loss_ctc=64.232, loss_att=51.631, acc=0.733, loss=55.411, backward_time=0.339, grad_norm=78.385, clip=100.000, loss_scale=4.756e+31, optim_step_time=0.138, optim0_lr0=6.622e-05, train_time=2.016, time=8 hours, 24 minutes and 32.47 seconds, total_count=555000, gpu_max_cached_mem_GB=36.826, [valid] loss_ctc=34.677, cer_ctc=0.180, loss_att=34.579, acc=0.742, cer=0.243, wer=0.935, loss=34.609, time=26 minutes and 11.81 seconds, total_count=172827, gpu_max_cached_mem_GB=36.826 -[gpua010:0/64] 2023-12-16 18:02:07,799 (trainer:391) INFO: The best model has been updated: valid.acc, valid.total_count -[gpua010:0/64] 2023-12-16 18:02:07,859 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/19epoch.pth -[gpua010:0/64] 2023-12-16 18:02:07,859 (trainer:272) INFO: 38/40epoch started. Estimated time to finish: 1 day, 1 hour and 28 minutes -[gpua010:0/64] 2023-12-16 18:02:07,872 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua010:0/64] 2023-12-16 18:02:25,920 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 18:02:29,349 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 18:02:29,349 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua010:0/64] 2023-12-16 18:02:29,352 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 18:08:55,691 (trainer:737) INFO: 38epoch:train:1-100batch: iter_time=2.670, forward_time=0.180, loss_ctc=68.913, loss_att=55.807, acc=0.726, loss=59.739, backward_time=0.285, grad_norm=93.973, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.576e-05, train_time=4.077 -[gpua010:0/64] 2023-12-16 18:10:58,067 (trainer:737) INFO: 38epoch:train:101-200batch: iter_time=8.381e-05, forward_time=0.148, loss_ctc=63.506, loss_att=46.578, acc=0.739, loss=51.656, backward_time=0.280, grad_norm=173.922, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.576e-05, train_time=1.224 -[gpua010:0/64] 2023-12-16 18:13:05,859 (trainer:737) INFO: 38epoch:train:201-300batch: iter_time=8.563e-05, forward_time=0.149, loss_ctc=71.548, loss_att=53.892, acc=0.717, loss=59.189, backward_time=0.282, grad_norm=124.857, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.575e-05, train_time=1.278 -[gpua010:0/64] 2023-12-16 18:15:18,473 (trainer:737) INFO: 38epoch:train:301-400batch: iter_time=8.751e-05, forward_time=0.148, loss_ctc=61.795, loss_att=47.457, acc=0.714, loss=51.758, backward_time=0.286, grad_norm=264.878, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.575e-05, train_time=1.326 -[gpua010:0/64] 2023-12-16 18:17:45,326 (trainer:737) INFO: 38epoch:train:401-500batch: iter_time=9.015e-05, forward_time=0.148, loss_ctc=65.372, loss_att=46.977, acc=0.759, loss=52.495, backward_time=0.313, grad_norm=88.065, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.574e-05, train_time=1.468 -[gpua010:0/64] 2023-12-16 18:19:58,362 (trainer:737) INFO: 38epoch:train:501-600batch: iter_time=8.745e-05, forward_time=0.148, loss_ctc=64.178, loss_att=49.280, acc=0.733, loss=53.749, backward_time=0.287, grad_norm=111.735, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.574e-05, train_time=1.330 -[gpua010:0/64] 2023-12-16 18:22:28,058 (trainer:737) INFO: 38epoch:train:601-700batch: iter_time=9.038e-05, forward_time=0.167, loss_ctc=61.133, loss_att=48.378, acc=0.728, loss=52.205, backward_time=0.322, grad_norm=99.774, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.573e-05, train_time=1.496 -[gpua010:0/64] 2023-12-16 18:25:14,913 (trainer:737) INFO: 38epoch:train:701-800batch: iter_time=8.810e-05, forward_time=0.221, loss_ctc=65.916, loss_att=54.187, acc=0.720, loss=57.706, backward_time=0.331, grad_norm=74.609, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.572e-05, train_time=1.669 -[gpua010:0/64] 2023-12-16 18:28:02,274 (trainer:737) INFO: 38epoch:train:801-900batch: iter_time=9.144e-05, forward_time=0.149, loss_ctc=63.425, loss_att=46.546, acc=0.745, loss=51.610, backward_time=0.335, grad_norm=117.303, clip=100.000, loss_scale=1.349e+31, optim_step_time=0.134, optim0_lr0=6.572e-05, train_time=1.673 -[gpua010:0/64] 2023-12-16 18:30:41,915 (trainer:737) INFO: 38epoch:train:901-1000batch: iter_time=9.742e-05, forward_time=0.150, loss_ctc=64.964, loss_att=53.944, acc=0.707, loss=57.250, backward_time=0.299, grad_norm=103.207, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.571e-05, train_time=1.596 -[gpua010:0/64] 2023-12-16 18:33:04,392 (trainer:737) INFO: 38epoch:train:1001-1100batch: iter_time=9.442e-05, forward_time=0.149, loss_ctc=68.222, loss_att=55.562, acc=0.727, loss=59.360, backward_time=0.300, grad_norm=72.308, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.571e-05, train_time=1.425 -[gpua010:0/64] 2023-12-16 18:35:18,203 (trainer:737) INFO: 38epoch:train:1101-1200batch: iter_time=8.835e-05, forward_time=0.148, loss_ctc=69.467, loss_att=55.171, acc=0.712, loss=59.460, backward_time=0.279, grad_norm=122.676, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.570e-05, train_time=1.338 -[gpua010:0/64] 2023-12-16 18:37:03,544 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua010:0/64] 2023-12-16 18:37:22,171 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 18:37:25,596 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 18:37:25,596 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua010:0/64] 2023-12-16 18:37:25,599 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 18:43:58,811 (trainer:737) INFO: 38epoch:train:1201-1300batch: iter_time=2.455, forward_time=0.184, loss_ctc=78.447, loss_att=59.259, acc=0.719, loss=65.016, backward_time=0.296, grad_norm=99.303, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.569e-05, train_time=5.205 -[gpua010:0/64] 2023-12-16 18:46:05,196 (trainer:737) INFO: 38epoch:train:1301-1400batch: iter_time=7.787e-05, forward_time=0.149, loss_ctc=61.172, loss_att=46.563, acc=0.747, loss=50.946, backward_time=0.282, grad_norm=90.791, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.569e-05, train_time=1.264 -[gpua010:0/64] 2023-12-16 18:48:19,933 (trainer:737) INFO: 38epoch:train:1401-1500batch: iter_time=7.911e-05, forward_time=0.147, loss_ctc=64.679, loss_att=50.235, acc=0.724, loss=54.568, backward_time=0.288, grad_norm=91.366, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.568e-05, train_time=1.347 -[gpua010:0/64] 2023-12-16 18:50:30,746 (trainer:737) INFO: 38epoch:train:1501-1600batch: iter_time=8.154e-05, forward_time=0.150, loss_ctc=69.759, loss_att=52.246, acc=0.717, loss=57.500, backward_time=0.279, grad_norm=106.057, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.568e-05, train_time=1.308 -[gpua010:0/64] 2023-12-16 18:53:09,777 (trainer:737) INFO: 38epoch:train:1601-1700batch: iter_time=8.566e-05, forward_time=0.147, loss_ctc=60.150, loss_att=41.875, acc=0.750, loss=47.358, backward_time=0.294, grad_norm=107.004, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.567e-05, train_time=1.590 -[gpua010:0/64] 2023-12-16 18:55:27,305 (trainer:737) INFO: 38epoch:train:1701-1800batch: iter_time=8.594e-05, forward_time=0.147, loss_ctc=62.698, loss_att=49.457, acc=0.745, loss=53.430, backward_time=0.284, grad_norm=146.231, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.566e-05, train_time=1.375 -[gpua010:0/64] 2023-12-16 18:58:18,728 (trainer:737) INFO: 38epoch:train:1801-1900batch: iter_time=8.680e-05, forward_time=0.147, loss_ctc=65.123, loss_att=49.981, acc=0.734, loss=54.524, backward_time=0.288, grad_norm=86.988, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.566e-05, train_time=1.714 -[gpua010:0/64] 2023-12-16 19:00:46,046 (trainer:737) INFO: 38epoch:train:1901-2000batch: iter_time=4.189e-04, forward_time=0.234, loss_ctc=60.030, loss_att=48.108, acc=0.736, loss=51.685, backward_time=0.313, grad_norm=108.713, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.141, optim0_lr0=6.565e-05, train_time=1.472 -[gpua010:0/64] 2023-12-16 19:02:59,969 (trainer:737) INFO: 38epoch:train:2001-2100batch: iter_time=8.126e-05, forward_time=0.148, loss_ctc=63.933, loss_att=47.520, acc=0.738, loss=52.444, backward_time=0.279, grad_norm=123.138, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.565e-05, train_time=1.340 -[gpua010:0/64] 2023-12-16 19:05:47,119 (trainer:737) INFO: 38epoch:train:2101-2200batch: iter_time=8.833e-05, forward_time=0.170, loss_ctc=65.863, loss_att=53.594, acc=0.723, loss=57.274, backward_time=0.301, grad_norm=94.384, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.564e-05, train_time=1.671 -[gpua010:0/64] 2023-12-16 19:08:46,053 (trainer:737) INFO: 38epoch:train:2201-2300batch: iter_time=4.593e-04, forward_time=0.264, loss_ctc=65.159, loss_att=54.498, acc=0.723, loss=57.696, backward_time=0.324, grad_norm=87.106, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.563e-05, train_time=1.788 -[gpua010:0/64] 2023-12-16 19:10:56,714 (trainer:737) INFO: 38epoch:train:2301-2400batch: iter_time=7.982e-05, forward_time=0.148, loss_ctc=62.037, loss_att=46.821, acc=0.735, loss=51.386, backward_time=0.279, grad_norm=92.169, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.563e-05, train_time=1.308 -[gpua010:0/64] 2023-12-16 19:13:01,024 (trainer:737) INFO: 38epoch:train:2401-2500batch: iter_time=7.859e-05, forward_time=0.148, loss_ctc=78.180, loss_att=61.482, acc=0.714, loss=66.491, backward_time=0.280, grad_norm=102.786, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.562e-05, train_time=1.243 -[gpua010:0/64] 2023-12-16 19:13:21,052 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua010:0/64] 2023-12-16 19:13:39,253 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 19:13:42,630 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 19:13:42,630 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua010:0/64] 2023-12-16 19:13:42,690 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 19:19:20,745 (trainer:737) INFO: 38epoch:train:2501-2600batch: iter_time=2.365, forward_time=0.181, loss_ctc=67.762, loss_att=57.623, acc=0.733, loss=60.664, backward_time=0.288, grad_norm=75.952, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.562e-05, train_time=3.797 -[gpua010:0/64] 2023-12-16 19:21:24,757 (trainer:737) INFO: 38epoch:train:2601-2700batch: iter_time=8.136e-05, forward_time=0.148, loss_ctc=62.856, loss_att=47.390, acc=0.748, loss=52.030, backward_time=0.280, grad_norm=64.116, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.561e-05, train_time=1.240 -[gpua010:0/64] 2023-12-16 19:23:58,916 (trainer:737) INFO: 38epoch:train:2701-2800batch: iter_time=8.027e-05, forward_time=0.148, loss_ctc=70.562, loss_att=55.265, acc=0.734, loss=59.854, backward_time=0.330, grad_norm=65.112, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.561e-05, train_time=1.541 -[gpua010:0/64] 2023-12-16 19:26:05,856 (trainer:737) INFO: 38epoch:train:2801-2900batch: iter_time=8.777e-05, forward_time=0.148, loss_ctc=60.744, loss_att=47.818, acc=0.720, loss=51.696, backward_time=0.283, grad_norm=71.747, clip=100.000, loss_scale=2.698e+31, optim_step_time=0.133, optim0_lr0=6.560e-05, train_time=1.269 -[gpua010:0/64] 2023-12-16 19:28:38,498 (trainer:737) INFO: 38epoch:train:2901-3000batch: iter_time=8.913e-05, forward_time=0.147, loss_ctc=63.463, loss_att=45.839, acc=0.769, loss=51.126, backward_time=0.310, grad_norm=58.317, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.559e-05, train_time=1.526 -[gpua010:0/64] 2023-12-16 19:31:05,574 (trainer:737) INFO: 38epoch:train:3001-3100batch: iter_time=9.013e-05, forward_time=0.148, loss_ctc=63.029, loss_att=47.568, acc=0.745, loss=52.206, backward_time=0.293, grad_norm=64.990, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.559e-05, train_time=1.471 -[gpua010:0/64] 2023-12-16 19:33:50,237 (trainer:737) INFO: 38epoch:train:3101-3200batch: iter_time=8.518e-05, forward_time=0.155, loss_ctc=59.260, loss_att=48.641, acc=0.740, loss=51.827, backward_time=0.295, grad_norm=81.353, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.558e-05, train_time=1.646 -[gpua010:0/64] 2023-12-16 19:36:33,369 (trainer:737) INFO: 38epoch:train:3201-3300batch: iter_time=8.614e-05, forward_time=0.209, loss_ctc=65.052, loss_att=54.322, acc=0.730, loss=57.541, backward_time=0.297, grad_norm=64.888, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.146, optim0_lr0=6.558e-05, train_time=1.631 -[gpua010:0/64] 2023-12-16 19:38:50,985 (trainer:737) INFO: 38epoch:train:3301-3400batch: iter_time=8.741e-05, forward_time=0.147, loss_ctc=61.719, loss_att=46.250, acc=0.757, loss=50.890, backward_time=0.290, grad_norm=65.924, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.557e-05, train_time=1.376 -[gpua010:0/64] 2023-12-16 19:41:45,439 (trainer:737) INFO: 38epoch:train:3401-3500batch: iter_time=8.588e-05, forward_time=0.148, loss_ctc=64.105, loss_att=53.937, acc=0.720, loss=56.987, backward_time=0.322, grad_norm=74.758, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.556e-05, train_time=1.744 -[gpua010:0/64] 2023-12-16 19:44:25,026 (trainer:737) INFO: 38epoch:train:3501-3600batch: iter_time=8.912e-05, forward_time=0.149, loss_ctc=66.440, loss_att=55.681, acc=0.740, loss=58.908, backward_time=0.286, grad_norm=62.509, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.556e-05, train_time=1.596 -[gpua010:0/64] 2023-12-16 19:47:00,873 (trainer:737) INFO: 38epoch:train:3601-3700batch: iter_time=9.044e-05, forward_time=0.148, loss_ctc=68.235, loss_att=55.267, acc=0.724, loss=59.157, backward_time=0.286, grad_norm=73.389, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.555e-05, train_time=1.558 -[gpua010:0/64] 2023-12-16 19:48:38,857 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua010:0/64] 2023-12-16 19:48:57,297 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 19:49:00,741 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 19:49:00,741 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua010:0/64] 2023-12-16 19:49:00,753 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 19:58:08,941 (trainer:737) INFO: 38epoch:train:3701-3800batch: iter_time=5.259, forward_time=0.180, loss_ctc=76.781, loss_att=58.598, acc=0.732, loss=64.053, backward_time=0.288, grad_norm=73.410, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.555e-05, train_time=6.680 -[gpua010:0/64] 2023-12-16 20:00:24,201 (trainer:737) INFO: 38epoch:train:3801-3900batch: iter_time=8.351e-05, forward_time=0.148, loss_ctc=61.042, loss_att=47.138, acc=0.752, loss=51.309, backward_time=0.281, grad_norm=63.097, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.554e-05, train_time=1.352 -[gpua010:0/64] 2023-12-16 20:02:46,862 (trainer:737) INFO: 38epoch:train:3901-4000batch: iter_time=8.179e-05, forward_time=0.269, loss_ctc=64.247, loss_att=52.866, acc=0.736, loss=56.280, backward_time=0.315, grad_norm=61.441, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.142, optim0_lr0=6.553e-05, train_time=1.426 -[gpua010:0/64] 2023-12-16 20:05:09,175 (trainer:737) INFO: 38epoch:train:4001-4100batch: iter_time=8.516e-05, forward_time=0.159, loss_ctc=69.262, loss_att=52.001, acc=0.730, loss=57.179, backward_time=0.283, grad_norm=83.466, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.553e-05, train_time=1.423 -[gpua010:0/64] 2023-12-16 20:08:04,565 (trainer:737) INFO: 38epoch:train:4101-4200batch: iter_time=0.003, forward_time=0.257, loss_ctc=59.364, loss_att=41.585, acc=0.754, loss=46.919, backward_time=0.317, grad_norm=62.346, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.552e-05, train_time=1.754 -[gpua010:0/64] 2023-12-16 20:11:15,139 (trainer:737) INFO: 38epoch:train:4201-4300batch: iter_time=8.629e-05, forward_time=0.256, loss_ctc=62.178, loss_att=47.985, acc=0.757, loss=52.242, backward_time=0.351, grad_norm=57.952, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.552e-05, train_time=1.905 -[gpua010:0/64] 2023-12-16 20:13:41,169 (trainer:737) INFO: 38epoch:train:4301-4400batch: iter_time=8.475e-05, forward_time=0.149, loss_ctc=63.382, loss_att=48.659, acc=0.746, loss=53.076, backward_time=0.291, grad_norm=82.892, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.551e-05, train_time=1.460 -[gpua010:0/64] 2023-12-16 20:16:19,990 (trainer:737) INFO: 38epoch:train:4401-4500batch: iter_time=8.359e-05, forward_time=0.245, loss_ctc=58.790, loss_att=49.396, acc=0.738, loss=52.214, backward_time=0.300, grad_norm=58.653, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.551e-05, train_time=1.588 -[gpua010:0/64] 2023-12-16 20:18:55,068 (trainer:737) INFO: 38epoch:train:4501-4600batch: iter_time=8.937e-05, forward_time=0.254, loss_ctc=63.405, loss_att=47.373, acc=0.750, loss=52.183, backward_time=0.316, grad_norm=77.329, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.550e-05, train_time=1.551 -[gpua010:0/64] 2023-12-16 20:21:13,060 (trainer:737) INFO: 38epoch:train:4601-4700batch: iter_time=8.251e-05, forward_time=0.162, loss_ctc=64.463, loss_att=53.984, acc=0.735, loss=57.128, backward_time=0.310, grad_norm=66.710, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.549e-05, train_time=1.380 -[gpua010:0/64] 2023-12-16 20:24:16,330 (trainer:737) INFO: 38epoch:train:4701-4800batch: iter_time=8.301e-05, forward_time=0.262, loss_ctc=64.972, loss_att=54.855, acc=0.731, loss=57.890, backward_time=0.316, grad_norm=64.570, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.549e-05, train_time=1.833 -[gpua010:0/64] 2023-12-16 20:26:49,112 (trainer:737) INFO: 38epoch:train:4801-4900batch: iter_time=8.960e-05, forward_time=0.247, loss_ctc=61.661, loss_att=47.024, acc=0.749, loss=51.415, backward_time=0.329, grad_norm=58.275, clip=100.000, loss_scale=5.395e+31, optim_step_time=0.141, optim0_lr0=6.548e-05, train_time=1.528 -[gpua010:0/64] 2023-12-16 20:29:03,005 (trainer:737) INFO: 38epoch:train:4901-5000batch: iter_time=8.656e-05, forward_time=0.154, loss_ctc=76.752, loss_att=61.203, acc=0.718, loss=65.868, backward_time=0.280, grad_norm=88.113, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.548e-05, train_time=1.339 -[gpua010:0/64] 2023-12-16 20:29:23,191 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua010:0/64] 2023-12-16 20:29:41,524 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 20:29:44,956 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 20:29:44,956 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua010:0/64] 2023-12-16 20:29:44,962 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 - -gpua014:553259:553339 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:553262:553336 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:553261:553342 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:553260:553341 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:553260:553341 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:553259:553339 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:553262:553336 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:553261:553342 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active -[gpua010:0/64] 2023-12-16 20:41:04,968 (trainer:737) INFO: 38epoch:train:5001-5100batch: iter_time=5.694, forward_time=0.200, loss_ctc=67.217, loss_att=55.339, acc=0.734, loss=58.903, backward_time=0.290, grad_norm=68.699, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=6.547e-05, train_time=7.218 -[gpua010:0/64] 2023-12-16 20:43:35,294 (trainer:737) INFO: 38epoch:train:5101-5200batch: iter_time=8.145e-04, forward_time=0.277, loss_ctc=62.175, loss_att=45.602, acc=0.750, loss=50.574, backward_time=0.327, grad_norm=61.179, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.149, optim0_lr0=6.546e-05, train_time=1.504 -[gpua010:0/64] 2023-12-16 20:46:12,885 (trainer:737) INFO: 38epoch:train:5201-5300batch: iter_time=8.382e-05, forward_time=0.187, loss_ctc=70.764, loss_att=53.344, acc=0.724, loss=58.570, backward_time=0.298, grad_norm=65.758, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=6.546e-05, train_time=1.575 -[gpua010:0/64] 2023-12-16 20:49:01,108 (trainer:737) INFO: 38epoch:train:5301-5400batch: iter_time=9.143e-05, forward_time=0.305, loss_ctc=60.269, loss_att=46.131, acc=0.723, loss=50.372, backward_time=0.337, grad_norm=66.140, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=6.545e-05, train_time=1.683 -[gpua010:0/64] 2023-12-16 20:51:40,952 (trainer:737) INFO: 38epoch:train:5401-5500batch: iter_time=4.012e-04, forward_time=0.281, loss_ctc=63.214, loss_att=45.357, acc=0.768, loss=50.714, backward_time=0.341, grad_norm=61.642, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=6.545e-05, train_time=1.598 -[gpua010:0/64] 2023-12-16 20:54:06,269 (trainer:737) INFO: 38epoch:train:5501-5600batch: iter_time=8.825e-05, forward_time=0.148, loss_ctc=62.646, loss_att=47.624, acc=0.743, loss=52.131, backward_time=0.280, grad_norm=68.672, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.544e-05, train_time=1.454 -[gpua010:0/64] 2023-12-16 20:57:37,849 (trainer:737) INFO: 38epoch:train:5601-5700batch: iter_time=7.971e-04, forward_time=0.284, loss_ctc=58.576, loss_att=46.464, acc=0.738, loss=50.098, backward_time=0.356, grad_norm=81.847, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.153, optim0_lr0=6.544e-05, train_time=2.115 -[gpua010:0/64] 2023-12-16 21:00:13,661 (trainer:737) INFO: 38epoch:train:5701-5800batch: iter_time=8.258e-05, forward_time=0.148, loss_ctc=64.947, loss_att=53.246, acc=0.728, loss=56.756, backward_time=0.281, grad_norm=69.736, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.543e-05, train_time=1.558 -[gpua010:0/64] 2023-12-16 21:03:23,104 (trainer:737) INFO: 38epoch:train:5801-5900batch: iter_time=8.835e-04, forward_time=0.272, loss_ctc=61.741, loss_att=45.785, acc=0.752, loss=50.572, backward_time=0.365, grad_norm=61.222, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=6.542e-05, train_time=1.893 -[gpua010:0/64] 2023-12-16 21:06:08,016 (trainer:737) INFO: 38epoch:train:5901-6000batch: iter_time=1.735e-04, forward_time=0.272, loss_ctc=63.287, loss_att=52.940, acc=0.716, loss=56.044, backward_time=0.339, grad_norm=70.615, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=6.542e-05, train_time=1.650 -[gpua010:0/64] 2023-12-16 21:08:47,026 (trainer:737) INFO: 38epoch:train:6001-6100batch: iter_time=8.385e-05, forward_time=0.149, loss_ctc=65.405, loss_att=53.968, acc=0.735, loss=57.399, backward_time=0.303, grad_norm=69.175, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.541e-05, train_time=1.589 -[gpua010:0/64] 2023-12-16 21:12:00,236 (trainer:737) INFO: 38epoch:train:6101-6200batch: iter_time=5.077e-04, forward_time=0.250, loss_ctc=67.458, loss_att=53.886, acc=0.719, loss=57.958, backward_time=0.389, grad_norm=80.032, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=6.541e-05, train_time=1.933 -[gpua010:0/64] 2023-12-16 21:13:23,343 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua010:0/64] 2023-12-16 21:13:41,851 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 21:13:45,332 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 21:13:45,332 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua010:0/64] 2023-12-16 21:13:45,429 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 21:19:30,866 (trainer:737) INFO: 38epoch:train:6201-6300batch: iter_time=3.086, forward_time=0.185, loss_ctc=76.919, loss_att=58.793, acc=0.732, loss=64.231, backward_time=0.287, grad_norm=73.762, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=6.540e-05, train_time=4.506 -[gpua010:0/64] 2023-12-16 21:21:58,463 (trainer:737) INFO: 38epoch:train:6301-6400batch: iter_time=7.723e-05, forward_time=0.151, loss_ctc=60.416, loss_att=47.047, acc=0.754, loss=51.058, backward_time=0.284, grad_norm=62.816, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.539e-05, train_time=1.476 -[gpua010:0/64] 2023-12-16 21:24:03,732 (trainer:737) INFO: 38epoch:train:6401-6500batch: iter_time=7.686e-05, forward_time=0.173, loss_ctc=63.596, loss_att=52.611, acc=0.737, loss=55.907, backward_time=0.291, grad_norm=62.851, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.539e-05, train_time=1.252 -[gpua010:0/64] 2023-12-16 21:26:28,407 (trainer:737) INFO: 38epoch:train:6501-6600batch: iter_time=7.718e-05, forward_time=0.220, loss_ctc=68.582, loss_att=51.728, acc=0.731, loss=56.784, backward_time=0.307, grad_norm=67.901, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=6.538e-05, train_time=1.447 -[gpua010:0/64] 2023-12-16 21:29:05,435 (trainer:737) INFO: 38epoch:train:6601-6700batch: iter_time=8.013e-05, forward_time=0.158, loss_ctc=58.922, loss_att=41.337, acc=0.755, loss=46.612, backward_time=0.310, grad_norm=65.900, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.538e-05, train_time=1.570 -[gpua010:0/64] 2023-12-16 21:31:31,068 (trainer:737) INFO: 38epoch:train:6701-6800batch: iter_time=8.268e-05, forward_time=0.254, loss_ctc=61.950, loss_att=47.924, acc=0.759, loss=52.132, backward_time=0.303, grad_norm=60.623, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=6.537e-05, train_time=1.456 -[gpua010:0/64] 2023-12-16 21:32:57,473 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua010:0/64] 2023-12-16 21:34:21,978 (trainer:737) INFO: 38epoch:train:6801-6900batch: iter_time=8.627e-05, forward_time=0.150, loss_ctc=63.044, loss_att=48.343, acc=0.748, loss=52.753, backward_time=0.289, grad_norm=78.246, clip=100.000, loss_scale=5.777e+31, optim_step_time=0.133, optim0_lr0=6.537e-05, train_time=1.709 -[gpua010:0/64] 2023-12-16 21:36:51,597 (trainer:737) INFO: 38epoch:train:6901-7000batch: iter_time=8.182e-05, forward_time=0.166, loss_ctc=59.151, loss_att=49.474, acc=0.739, loss=52.377, backward_time=0.305, grad_norm=68.683, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.536e-05, train_time=1.496 -[gpua010:0/64] 2023-12-16 21:39:37,085 (trainer:737) INFO: 38epoch:train:7001-7100batch: iter_time=8.279e-05, forward_time=0.234, loss_ctc=63.082, loss_att=47.182, acc=0.751, loss=51.952, backward_time=0.329, grad_norm=66.147, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.535e-05, train_time=1.655 -[gpua010:0/64] 2023-12-16 21:42:01,888 (trainer:737) INFO: 38epoch:train:7101-7200batch: iter_time=8.267e-05, forward_time=0.149, loss_ctc=64.507, loss_att=53.908, acc=0.736, loss=57.088, backward_time=0.317, grad_norm=70.118, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.535e-05, train_time=1.448 -[gpua010:0/64] 2023-12-16 21:45:03,616 (trainer:737) INFO: 38epoch:train:7201-7300batch: iter_time=5.433e-04, forward_time=0.238, loss_ctc=65.021, loss_att=55.055, acc=0.732, loss=58.045, backward_time=0.315, grad_norm=65.689, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.534e-05, train_time=1.815 -[gpua010:0/64] 2023-12-16 21:47:34,691 (trainer:737) INFO: 38epoch:train:7301-7400batch: iter_time=8.204e-05, forward_time=0.156, loss_ctc=60.991, loss_att=46.400, acc=0.751, loss=50.777, backward_time=0.298, grad_norm=60.509, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.534e-05, train_time=1.512 -[gpua010:0/64] 2023-12-16 21:49:56,608 (trainer:737) INFO: 38epoch:train:7401-7500batch: iter_time=7.933e-05, forward_time=0.164, loss_ctc=77.381, loss_att=61.945, acc=0.719, loss=66.576, backward_time=0.309, grad_norm=82.038, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.533e-05, train_time=1.420 -[gpua010:0/64] 2023-12-16 21:50:16,846 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua010:0/64] 2023-12-16 21:50:34,956 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 21:50:38,427 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 21:50:38,427 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua010:0/64] 2023-12-16 21:50:38,430 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 21:57:30,339 (trainer:737) INFO: 38epoch:train:7501-7600batch: iter_time=3.119, forward_time=0.179, loss_ctc=66.068, loss_att=54.139, acc=0.744, loss=57.717, backward_time=0.300, grad_norm=81.034, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.532e-05, train_time=4.537 -[gpua010:0/64] 2023-12-16 21:59:36,879 (trainer:737) INFO: 38epoch:train:7601-7700batch: iter_time=7.899e-05, forward_time=0.160, loss_ctc=61.776, loss_att=46.487, acc=0.754, loss=51.074, backward_time=0.283, grad_norm=73.345, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.532e-05, train_time=1.265 -[gpua010:0/64] 2023-12-16 22:01:49,247 (trainer:737) INFO: 38epoch:train:7701-7800batch: iter_time=8.304e-05, forward_time=0.151, loss_ctc=70.354, loss_att=53.654, acc=0.741, loss=58.664, backward_time=0.290, grad_norm=70.892, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.531e-05, train_time=1.323 -[gpua010:0/64] 2023-12-16 22:04:23,534 (trainer:737) INFO: 38epoch:train:7801-7900batch: iter_time=8.649e-05, forward_time=0.186, loss_ctc=59.485, loss_att=46.227, acc=0.727, loss=50.204, backward_time=0.292, grad_norm=76.526, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.531e-05, train_time=1.541 -[gpua010:0/64] 2023-12-16 22:07:14,081 (trainer:737) INFO: 38epoch:train:7901-8000batch: iter_time=8.606e-05, forward_time=0.189, loss_ctc=62.718, loss_att=45.247, acc=0.772, loss=50.488, backward_time=0.323, grad_norm=69.576, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.530e-05, train_time=1.707 -[gpua010:0/64] 2023-12-16 22:09:53,071 (trainer:737) INFO: 38epoch:train:8001-8100batch: iter_time=8.787e-05, forward_time=0.152, loss_ctc=62.361, loss_att=47.085, acc=0.749, loss=51.668, backward_time=0.307, grad_norm=75.407, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.530e-05, train_time=1.590 -[gpua010:0/64] 2023-12-16 22:12:40,849 (trainer:737) INFO: 38epoch:train:8101-8200batch: iter_time=8.357e-05, forward_time=0.151, loss_ctc=58.315, loss_att=46.804, acc=0.744, loss=50.257, backward_time=0.334, grad_norm=80.500, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.529e-05, train_time=1.678 -[gpua010:0/64] 2023-12-16 22:15:11,985 (trainer:737) INFO: 38epoch:train:8201-8300batch: iter_time=8.220e-04, forward_time=0.188, loss_ctc=64.746, loss_att=53.550, acc=0.736, loss=56.909, backward_time=0.287, grad_norm=71.349, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.528e-05, train_time=1.510 -[gpua010:0/64] 2023-12-16 22:17:38,493 (trainer:737) INFO: 38epoch:train:8301-8400batch: iter_time=8.482e-05, forward_time=0.205, loss_ctc=62.044, loss_att=46.353, acc=0.760, loss=51.061, backward_time=0.307, grad_norm=110.535, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.528e-05, train_time=1.466 -[gpua010:0/64] 2023-12-16 22:20:37,563 (trainer:737) INFO: 38epoch:train:8401-8500batch: iter_time=8.472e-05, forward_time=0.157, loss_ctc=63.139, loss_att=53.069, acc=0.725, loss=56.090, backward_time=0.351, grad_norm=89.421, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.527e-05, train_time=1.790 -[gpua010:0/64] 2023-12-16 22:23:00,481 (trainer:737) INFO: 38epoch:train:8501-8600batch: iter_time=8.585e-05, forward_time=0.152, loss_ctc=66.404, loss_att=55.061, acc=0.742, loss=58.464, backward_time=0.295, grad_norm=82.484, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.527e-05, train_time=1.429 -[gpua010:0/64] 2023-12-16 22:25:45,369 (trainer:737) INFO: 38epoch:train:8601-8700batch: iter_time=8.330e-05, forward_time=0.170, loss_ctc=67.475, loss_att=54.437, acc=0.728, loss=58.348, backward_time=0.342, grad_norm=116.797, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.526e-05, train_time=1.647 -[gpua010:0/64] 2023-12-16 22:27:33,900 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua010:0/64] 2023-12-16 22:27:52,304 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 22:27:55,747 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 22:27:55,748 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua010:0/64] 2023-12-16 22:27:55,792 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 22:33:34,412 (trainer:737) INFO: 38epoch:train:8701-8800batch: iter_time=3.142, forward_time=0.188, loss_ctc=75.665, loss_att=58.351, acc=0.728, loss=63.545, backward_time=0.297, grad_norm=90.916, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.526e-05, train_time=4.692 -[gpua010:0/64] 2023-12-16 22:35:36,511 (trainer:737) INFO: 38epoch:train:8801-8900batch: iter_time=7.819e-05, forward_time=0.148, loss_ctc=60.278, loss_att=47.177, acc=0.751, loss=51.107, backward_time=0.280, grad_norm=92.476, clip=100.000, loss_scale=6.369e+31, optim_step_time=0.134, optim0_lr0=6.525e-05, train_time=1.221 -[gpua010:0/64] 2023-12-16 22:37:32,550 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua010:0/64] 2023-12-16 22:38:26,715 (trainer:737) INFO: 38epoch:train:8901-9000batch: iter_time=7.991e-05, forward_time=0.148, loss_ctc=63.436, loss_att=50.192, acc=0.731, loss=54.165, backward_time=0.322, grad_norm=83.826, clip=100.000, loss_scale=7.048e+31, optim_step_time=0.134, optim0_lr0=6.524e-05, train_time=1.702 -[gpua010:0/64] 2023-12-16 22:40:57,546 (trainer:737) INFO: 38epoch:train:9001-9100batch: iter_time=9.163e-05, forward_time=0.155, loss_ctc=67.822, loss_att=51.454, acc=0.723, loss=56.365, backward_time=0.323, grad_norm=98.631, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.524e-05, train_time=1.508 -[gpua010:0/64] 2023-12-16 22:43:43,251 (trainer:737) INFO: 38epoch:train:9101-9200batch: iter_time=8.954e-05, forward_time=0.190, loss_ctc=58.877, loss_att=41.065, acc=0.755, loss=46.409, backward_time=0.313, grad_norm=89.076, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.523e-05, train_time=1.655 -[gpua010:0/64] 2023-12-16 22:46:17,998 (trainer:737) INFO: 38epoch:train:9201-9300batch: iter_time=8.853e-05, forward_time=0.166, loss_ctc=61.302, loss_att=48.153, acc=0.753, loss=52.098, backward_time=0.323, grad_norm=111.710, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.523e-05, train_time=1.549 -[gpua010:0/64] 2023-12-16 22:48:56,599 (trainer:737) INFO: 38epoch:train:9301-9400batch: iter_time=9.147e-05, forward_time=0.153, loss_ctc=62.886, loss_att=48.106, acc=0.744, loss=52.540, backward_time=0.317, grad_norm=82.831, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.522e-05, train_time=1.586 -[gpua010:0/64] 2023-12-16 22:51:28,451 (trainer:737) INFO: 38epoch:train:9401-9500batch: iter_time=8.556e-05, forward_time=0.150, loss_ctc=58.707, loss_att=47.648, acc=0.739, loss=50.966, backward_time=0.304, grad_norm=61.954, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.521e-05, train_time=1.518 -[gpua010:0/64] 2023-12-16 22:54:26,555 (trainer:737) INFO: 38epoch:train:9501-9600batch: iter_time=9.292e-05, forward_time=0.147, loss_ctc=63.167, loss_att=46.776, acc=0.746, loss=51.693, backward_time=0.357, grad_norm=61.147, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.521e-05, train_time=1.781 -[gpua010:0/64] 2023-12-16 22:57:01,393 (trainer:737) INFO: 38epoch:train:9601-9700batch: iter_time=8.676e-05, forward_time=0.168, loss_ctc=64.274, loss_att=52.839, acc=0.729, loss=56.270, backward_time=0.330, grad_norm=84.075, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.520e-05, train_time=1.548 -[gpua010:0/64] 2023-12-16 23:00:00,308 (trainer:737) INFO: 38epoch:train:9701-9800batch: iter_time=1.014e-04, forward_time=0.172, loss_ctc=64.433, loss_att=54.167, acc=0.728, loss=57.247, backward_time=0.312, grad_norm=69.266, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.520e-05, train_time=1.787 -[gpua010:0/64] 2023-12-16 23:02:20,243 (trainer:737) INFO: 38epoch:train:9801-9900batch: iter_time=8.560e-05, forward_time=0.188, loss_ctc=61.064, loss_att=46.324, acc=0.738, loss=50.746, backward_time=0.290, grad_norm=61.289, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.519e-05, train_time=1.401 -[gpua010:0/64] 2023-12-16 23:04:59,137 (trainer:737) INFO: 38epoch:train:9901-10000batch: iter_time=8.551e-05, forward_time=0.159, loss_ctc=76.508, loss_att=60.856, acc=0.716, loss=65.552, backward_time=0.293, grad_norm=79.262, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.519e-05, train_time=1.588 -[gpua010:0/64] 2023-12-16 23:05:19,183 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua010:0/64] 2023-12-16 23:05:37,431 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 23:05:40,855 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 23:05:40,855 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua010:0/64] 2023-12-16 23:05:40,862 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 23:12:22,590 (trainer:737) INFO: 38epoch:train:10001-10100batch: iter_time=3.136, forward_time=0.183, loss_ctc=66.535, loss_att=55.193, acc=0.743, loss=58.596, backward_time=0.282, grad_norm=69.406, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.518e-05, train_time=4.435 -[gpua010:0/64] 2023-12-16 23:15:16,236 (trainer:737) INFO: 38epoch:train:10101-10200batch: iter_time=7.794e-05, forward_time=0.148, loss_ctc=61.926, loss_att=46.362, acc=0.754, loss=51.031, backward_time=0.337, grad_norm=59.890, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.517e-05, train_time=1.736 -[gpua010:0/64] 2023-12-16 23:17:36,735 (trainer:737) INFO: 38epoch:train:10201-10300batch: iter_time=7.938e-05, forward_time=0.275, loss_ctc=69.746, loss_att=53.911, acc=0.741, loss=58.661, backward_time=0.311, grad_norm=62.256, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.153, optim0_lr0=6.517e-05, train_time=1.405 -[gpua010:0/64] 2023-12-16 23:19:45,503 (trainer:737) INFO: 38epoch:train:10301-10400batch: iter_time=7.893e-05, forward_time=0.149, loss_ctc=59.779, loss_att=46.277, acc=0.730, loss=50.327, backward_time=0.279, grad_norm=65.085, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.516e-05, train_time=1.287 -[gpua010:0/64] 2023-12-16 23:22:20,820 (trainer:737) INFO: 38epoch:train:10401-10500batch: iter_time=7.818e-05, forward_time=0.148, loss_ctc=62.713, loss_att=44.882, acc=0.773, loss=50.231, backward_time=0.287, grad_norm=64.911, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.516e-05, train_time=1.553 -[gpua010:0/64] 2023-12-16 23:25:17,730 (trainer:737) INFO: 38epoch:train:10501-10600batch: iter_time=8.922e-04, forward_time=0.249, loss_ctc=61.933, loss_att=46.182, acc=0.753, loss=50.908, backward_time=0.328, grad_norm=67.425, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.515e-05, train_time=1.767 -[gpua010:0/64] 2023-12-16 23:27:46,966 (trainer:737) INFO: 38epoch:train:10601-10700batch: iter_time=8.139e-05, forward_time=0.148, loss_ctc=58.483, loss_att=47.102, acc=0.744, loss=50.516, backward_time=0.300, grad_norm=72.035, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.515e-05, train_time=1.494 -[gpua010:0/64] 2023-12-16 23:30:38,429 (trainer:737) INFO: 38epoch:train:10701-10800batch: iter_time=8.364e-05, forward_time=0.148, loss_ctc=64.803, loss_att=54.036, acc=0.734, loss=57.266, backward_time=0.318, grad_norm=64.612, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.514e-05, train_time=1.715 -[gpua010:0/64] 2023-12-16 23:33:37,971 (trainer:737) INFO: 38epoch:train:10801-10900batch: iter_time=3.129e-04, forward_time=0.232, loss_ctc=61.382, loss_att=45.504, acc=0.762, loss=50.268, backward_time=0.338, grad_norm=71.496, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.513e-05, train_time=1.794 -[gpua010:0/64] 2023-12-16 23:35:41,505 (trainer:737) INFO: 38epoch:train:10901-11000batch: iter_time=8.182e-05, forward_time=0.149, loss_ctc=63.475, loss_att=53.269, acc=0.725, loss=56.331, backward_time=0.279, grad_norm=74.218, clip=100.000, loss_scale=5.111e+31, optim_step_time=0.133, optim0_lr0=6.513e-05, train_time=1.237 -[gpua010:0/64] 2023-12-16 23:38:54,552 (trainer:737) INFO: 38epoch:train:11001-11100batch: iter_time=4.332e-04, forward_time=0.245, loss_ctc=66.279, loss_att=54.903, acc=0.743, loss=58.316, backward_time=0.336, grad_norm=64.047, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=6.512e-05, train_time=1.930 -[gpua010:0/64] 2023-12-16 23:41:03,744 (trainer:737) INFO: 38epoch:train:11101-11200batch: iter_time=8.520e-05, forward_time=0.149, loss_ctc=67.659, loss_att=54.387, acc=0.727, loss=58.369, backward_time=0.289, grad_norm=80.502, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.512e-05, train_time=1.291 -[gpua010:0/64] 2023-12-16 23:42:30,646 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua010:0/64] 2023-12-16 23:42:49,210 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-16 23:42:52,626 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-16 23:42:52,626 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua010:0/64] 2023-12-16 23:42:52,680 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-16 23:48:32,847 (trainer:737) INFO: 38epoch:train:11201-11300batch: iter_time=3.125, forward_time=0.206, loss_ctc=76.127, loss_att=57.799, acc=0.735, loss=63.297, backward_time=0.285, grad_norm=96.442, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.511e-05, train_time=4.492 -[gpua010:0/64] 2023-12-16 23:50:33,295 (trainer:737) INFO: 38epoch:train:11301-11400batch: iter_time=8.189e-05, forward_time=0.148, loss_ctc=59.810, loss_att=46.328, acc=0.757, loss=50.373, backward_time=0.278, grad_norm=96.296, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.511e-05, train_time=1.204 -[gpua010:0/64] 2023-12-16 23:52:34,009 (trainer:737) INFO: 38epoch:train:11401-11500batch: iter_time=8.162e-05, forward_time=0.147, loss_ctc=63.648, loss_att=52.191, acc=0.740, loss=55.628, backward_time=0.278, grad_norm=83.694, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.510e-05, train_time=1.207 -[gpua010:0/64] 2023-12-16 23:55:11,099 (trainer:737) INFO: 38epoch:train:11501-11600batch: iter_time=8.305e-05, forward_time=0.259, loss_ctc=68.277, loss_att=51.391, acc=0.732, loss=56.457, backward_time=0.328, grad_norm=103.991, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.156, optim0_lr0=6.509e-05, train_time=1.571 -[gpua010:0/64] 2023-12-16 23:57:56,462 (trainer:737) INFO: 38epoch:train:11601-11700batch: iter_time=8.163e-05, forward_time=0.148, loss_ctc=59.277, loss_att=42.106, acc=0.754, loss=47.257, backward_time=0.312, grad_norm=94.832, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.509e-05, train_time=1.653 -[gpua010:0/64] 2023-12-17 00:00:40,593 (trainer:737) INFO: 38epoch:train:11701-11800batch: iter_time=8.264e-05, forward_time=0.147, loss_ctc=61.488, loss_att=48.054, acc=0.756, loss=52.084, backward_time=0.322, grad_norm=92.935, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.508e-05, train_time=1.641 -[gpua010:0/64] 2023-12-17 00:01:57,385 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua010:0/64] 2023-12-17 00:03:35,626 (trainer:737) INFO: 38epoch:train:11801-11900batch: iter_time=8.396e-05, forward_time=0.204, loss_ctc=63.182, loss_att=48.279, acc=0.748, loss=52.750, backward_time=0.370, grad_norm=80.392, clip=100.000, loss_scale=5.941e+31, optim_step_time=0.140, optim0_lr0=6.508e-05, train_time=1.750 -[gpua010:0/64] 2023-12-17 00:06:22,150 (trainer:737) INFO: 38epoch:train:11901-12000batch: iter_time=8.693e-05, forward_time=0.150, loss_ctc=59.208, loss_att=48.946, acc=0.743, loss=52.025, backward_time=0.298, grad_norm=55.973, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.507e-05, train_time=1.665 -[gpua010:0/64] 2023-12-17 00:08:45,877 (trainer:737) INFO: 38epoch:train:12001-12100batch: iter_time=8.336e-05, forward_time=0.175, loss_ctc=63.044, loss_att=46.715, acc=0.753, loss=51.614, backward_time=0.317, grad_norm=59.605, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.507e-05, train_time=1.437 -[gpua010:0/64] 2023-12-17 00:11:49,424 (trainer:737) INFO: 38epoch:train:12101-12200batch: iter_time=8.618e-05, forward_time=0.302, loss_ctc=63.909, loss_att=52.767, acc=0.740, loss=56.110, backward_time=0.356, grad_norm=63.901, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.506e-05, train_time=1.835 -[gpua010:0/64] 2023-12-17 00:14:18,147 (trainer:737) INFO: 38epoch:train:12201-12300batch: iter_time=9.058e-05, forward_time=0.149, loss_ctc=64.382, loss_att=54.229, acc=0.734, loss=57.275, backward_time=0.286, grad_norm=63.244, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.505e-05, train_time=1.487 -[gpua010:0/64] 2023-12-17 00:16:59,225 (trainer:737) INFO: 38epoch:train:12301-12400batch: iter_time=3.863e-04, forward_time=0.272, loss_ctc=61.020, loss_att=46.868, acc=0.749, loss=51.114, backward_time=0.331, grad_norm=55.724, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.505e-05, train_time=1.610 -[gpua010:0/64] 2023-12-17 00:19:34,184 (trainer:737) INFO: 38epoch:train:12401-12500batch: iter_time=8.997e-05, forward_time=0.149, loss_ctc=76.645, loss_att=60.607, acc=0.724, loss=65.418, backward_time=0.301, grad_norm=78.752, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.504e-05, train_time=1.550 -[gpua010:0/64] 2023-12-17 00:19:54,307 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua010:0/64] 2023-12-17 00:20:12,960 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-17 00:20:16,480 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-17 00:20:16,480 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua010:0/64] 2023-12-17 00:20:16,484 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-17 00:34:46,728 (trainer:737) INFO: 38epoch:train:12501-12600batch: iter_time=7.815, forward_time=0.196, loss_ctc=66.282, loss_att=55.725, acc=0.735, loss=58.892, backward_time=0.294, grad_norm=69.408, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.504e-05, train_time=9.125 -[gpua010:0/64] 2023-12-17 00:37:23,501 (trainer:737) INFO: 38epoch:train:12601-12700batch: iter_time=0.001, forward_time=0.247, loss_ctc=61.764, loss_att=45.196, acc=0.754, loss=50.167, backward_time=0.322, grad_norm=68.088, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=6.503e-05, train_time=1.566 -[gpua010:0/64] 2023-12-17 00:39:45,171 (trainer:737) INFO: 38epoch:train:12701-12800batch: iter_time=6.090e-04, forward_time=0.306, loss_ctc=69.414, loss_att=52.882, acc=0.727, loss=57.841, backward_time=0.312, grad_norm=64.805, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.503e-05, train_time=1.417 -[gpua010:0/64] 2023-12-17 00:42:21,814 (trainer:737) INFO: 38epoch:train:12801-12900batch: iter_time=0.001, forward_time=0.248, loss_ctc=59.554, loss_att=45.919, acc=0.726, loss=50.009, backward_time=0.327, grad_norm=82.107, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.142, optim0_lr0=6.502e-05, train_time=1.566 -[gpua010:0/64] 2023-12-17 00:44:56,062 (trainer:737) INFO: 38epoch:train:12901-13000batch: iter_time=8.262e-05, forward_time=0.148, loss_ctc=62.505, loss_att=44.676, acc=0.770, loss=50.025, backward_time=0.301, grad_norm=59.681, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.501e-05, train_time=1.543 -[gpua010:0/64] 2023-12-17 00:48:07,409 (trainer:737) INFO: 38epoch:train:13001-13100batch: iter_time=3.091e-04, forward_time=0.269, loss_ctc=62.031, loss_att=46.744, acc=0.748, loss=51.330, backward_time=0.362, grad_norm=71.193, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.501e-05, train_time=1.914 -[gpua010:0/64] 2023-12-17 00:50:51,189 (trainer:737) INFO: 38epoch:train:13101-13200batch: iter_time=0.005, forward_time=0.263, loss_ctc=57.953, loss_att=45.601, acc=0.743, loss=49.306, backward_time=0.321, grad_norm=81.974, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.500e-05, train_time=1.635 -[gpua010:0/64] 2023-12-17 00:53:38,625 (trainer:737) INFO: 38epoch:train:13201-13300batch: iter_time=5.669e-04, forward_time=0.225, loss_ctc=64.034, loss_att=52.589, acc=0.732, loss=56.023, backward_time=0.399, grad_norm=63.684, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.500e-05, train_time=1.672 -[gpua010:0/64] 2023-12-17 00:56:13,134 (trainer:737) INFO: 38epoch:train:13301-13400batch: iter_time=0.001, forward_time=0.156, loss_ctc=61.361, loss_att=44.971, acc=0.758, loss=49.888, backward_time=0.299, grad_norm=60.019, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.499e-05, train_time=1.547 -[gpua010:0/64] 2023-12-17 00:58:58,182 (trainer:737) INFO: 38epoch:train:13401-13500batch: iter_time=8.515e-05, forward_time=0.231, loss_ctc=62.729, loss_att=52.742, acc=0.716, loss=55.738, backward_time=0.324, grad_norm=78.903, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.498e-05, train_time=1.650 -[gpua010:0/64] 2023-12-17 01:01:39,205 (trainer:737) INFO: 38epoch:train:13501-13600batch: iter_time=3.250e-04, forward_time=0.278, loss_ctc=65.650, loss_att=54.318, acc=0.737, loss=57.717, backward_time=0.315, grad_norm=60.852, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.498e-05, train_time=1.610 -[gpua010:0/64] 2023-12-17 01:04:24,100 (trainer:737) INFO: 38epoch:train:13601-13700batch: iter_time=7.215e-04, forward_time=0.260, loss_ctc=67.199, loss_att=54.406, acc=0.720, loss=58.244, backward_time=0.314, grad_norm=75.752, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.497e-05, train_time=1.647 -[gpua010:0/64] 2023-12-17 01:05:18,375 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua010:0/64] 2023-12-17 01:06:12,694 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua010:0/64] 2023-12-17 01:06:31,433 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-17 01:06:34,887 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-17 01:06:34,887 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua010:0/64] 2023-12-17 01:06:34,928 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-17 01:12:15,620 (trainer:737) INFO: 38epoch:train:13701-13800batch: iter_time=3.142, forward_time=0.243, loss_ctc=74.958, loss_att=57.132, acc=0.729, loss=62.480, backward_time=0.316, grad_norm=77.073, clip=100.000, loss_scale=2.561e+31, optim_step_time=0.137, optim0_lr0=6.497e-05, train_time=4.717 -[gpua010:0/64] 2023-12-17 01:14:16,509 (trainer:737) INFO: 38epoch:train:13801-13900batch: iter_time=8.405e-05, forward_time=0.147, loss_ctc=59.871, loss_att=46.177, acc=0.754, loss=50.285, backward_time=0.279, grad_norm=60.682, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.496e-05, train_time=1.206 -[gpua010:0/64] 2023-12-17 01:16:34,848 (trainer:737) INFO: 38epoch:train:13901-14000batch: iter_time=8.604e-05, forward_time=0.176, loss_ctc=62.559, loss_att=48.848, acc=0.736, loss=52.961, backward_time=0.282, grad_norm=84.091, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.496e-05, train_time=1.385 -[gpua010:0/64] 2023-12-17 01:19:19,107 (trainer:737) INFO: 38epoch:train:14001-14100batch: iter_time=1.862e-04, forward_time=0.231, loss_ctc=67.953, loss_att=51.159, acc=0.726, loss=56.197, backward_time=0.375, grad_norm=116.496, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.495e-05, train_time=1.642 -[gpua010:0/64] 2023-12-17 01:21:42,897 (trainer:737) INFO: 38epoch:train:14101-14200batch: iter_time=8.451e-05, forward_time=0.146, loss_ctc=58.453, loss_att=40.587, acc=0.759, loss=45.946, backward_time=0.284, grad_norm=110.880, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.495e-05, train_time=1.438 -[gpua010:0/64] 2023-12-17 01:24:30,203 (trainer:737) INFO: 38epoch:train:14201-14300batch: iter_time=8.785e-05, forward_time=0.147, loss_ctc=61.551, loss_att=48.615, acc=0.752, loss=52.496, backward_time=0.293, grad_norm=63.223, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.494e-05, train_time=1.673 -[gpua010:0/64] 2023-12-17 01:26:56,585 (trainer:737) INFO: 38epoch:train:14301-14400batch: iter_time=8.284e-05, forward_time=0.152, loss_ctc=62.518, loss_att=48.027, acc=0.745, loss=52.374, backward_time=0.299, grad_norm=89.458, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.493e-05, train_time=1.463 -[gpua010:0/64] 2023-12-17 01:30:03,383 (trainer:737) INFO: 38epoch:train:14401-14500batch: iter_time=8.409e-05, forward_time=0.184, loss_ctc=59.071, loss_att=47.405, acc=0.741, loss=50.905, backward_time=0.352, grad_norm=80.845, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.493e-05, train_time=1.868 -[gpua010:0/64] 2023-12-17 01:32:22,419 (trainer:737) INFO: 38epoch:train:14501-14600batch: iter_time=8.264e-05, forward_time=0.148, loss_ctc=62.376, loss_att=45.945, acc=0.747, loss=50.874, backward_time=0.286, grad_norm=74.666, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.492e-05, train_time=1.390 -[gpua010:0/64] 2023-12-17 01:34:34,320 (trainer:737) INFO: 38epoch:train:14601-14700batch: iter_time=8.536e-05, forward_time=0.147, loss_ctc=63.672, loss_att=52.333, acc=0.731, loss=55.735, backward_time=0.279, grad_norm=103.674, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.492e-05, train_time=1.319 -[gpua010:0/64] 2023-12-17 01:37:18,819 (trainer:737) INFO: 38epoch:train:14701-14800batch: iter_time=8.505e-05, forward_time=0.164, loss_ctc=64.092, loss_att=54.107, acc=0.729, loss=57.103, backward_time=0.341, grad_norm=108.444, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.491e-05, train_time=1.644 -[gpua010:0/64] 2023-12-17 01:40:17,084 (trainer:737) INFO: 38epoch:train:14801-14900batch: iter_time=3.218e-04, forward_time=0.187, loss_ctc=60.633, loss_att=45.902, acc=0.739, loss=50.321, backward_time=0.329, grad_norm=89.983, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.491e-05, train_time=1.783 -[gpua010:0/64] 2023-12-17 01:42:43,686 (trainer:737) INFO: 38epoch:train:14901-15000batch: iter_time=8.030e-05, forward_time=0.154, loss_ctc=76.090, loss_att=60.293, acc=0.718, loss=65.032, backward_time=0.304, grad_norm=92.622, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.490e-05, train_time=1.466 -[gpua010:0/64] 2023-12-17 02:09:30,710 (trainer:343) INFO: 38epoch results: [train] iter_time=0.300, forward_time=0.185, loss_ctc=64.525, loss_att=50.473, acc=0.738, loss=54.689, backward_time=0.308, grad_norm=80.728, clip=100.000, loss_scale=4.243e+31, optim_step_time=0.135, optim0_lr0=6.533e-05, train_time=1.842, time=7 hours, 40 minutes and 59.73 seconds, total_count=570000, gpu_max_cached_mem_GB=36.826, [valid] loss_ctc=32.292, cer_ctc=0.168, loss_att=31.499, acc=0.729, cer=0.328, wer=0.993, loss=31.737, time=26 minutes and 22.95 seconds, total_count=177498, gpu_max_cached_mem_GB=36.826 -[gpua010:0/64] 2023-12-17 02:09:50,445 (trainer:391) INFO: The best model has been updated: valid.total_count -[gpua010:0/64] 2023-12-17 02:09:50,481 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/32epoch.pth -[gpua010:0/64] 2023-12-17 02:09:50,512 (trainer:272) INFO: 39/40epoch started. Estimated time to finish: 16 hours, 48 minutes and 10.79 seconds -[gpua010:0/64] 2023-12-17 02:09:50,617 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua010:0/64] 2023-12-17 02:10:08,203 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-17 02:10:11,596 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-17 02:10:11,596 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua010:0/64] 2023-12-17 02:10:11,599 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-17 02:16:05,075 (trainer:737) INFO: 39epoch:train:1-100batch: iter_time=2.488, forward_time=0.176, loss_ctc=69.868, loss_att=53.229, acc=0.731, loss=58.221, backward_time=0.286, grad_norm=107.003, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.489e-05, train_time=3.745 -[gpua010:0/64] 2023-12-17 02:18:08,344 (trainer:737) INFO: 39epoch:train:101-200batch: iter_time=8.288e-05, forward_time=0.149, loss_ctc=67.789, loss_att=56.340, acc=0.726, loss=59.775, backward_time=0.281, grad_norm=98.984, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.489e-05, train_time=1.233 -[gpua010:0/64] 2023-12-17 02:20:10,763 (trainer:737) INFO: 39epoch:train:201-300batch: iter_time=8.280e-05, forward_time=0.150, loss_ctc=65.300, loss_att=50.039, acc=0.746, loss=54.618, backward_time=0.281, grad_norm=189.725, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.488e-05, train_time=1.224 -[gpua010:0/64] 2023-12-17 02:22:19,902 (trainer:737) INFO: 39epoch:train:301-400batch: iter_time=8.960e-05, forward_time=0.149, loss_ctc=61.349, loss_att=49.734, acc=0.727, loss=53.218, backward_time=0.287, grad_norm=116.069, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.488e-05, train_time=1.291 -[gpua010:0/64] 2023-12-17 02:24:28,354 (trainer:737) INFO: 39epoch:train:401-500batch: iter_time=8.356e-05, forward_time=0.154, loss_ctc=57.751, loss_att=48.429, acc=0.725, loss=51.226, backward_time=0.283, grad_norm=70.127, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.487e-05, train_time=1.284 -[gpua010:0/64] 2023-12-17 02:27:05,853 (trainer:737) INFO: 39epoch:train:501-600batch: iter_time=8.678e-05, forward_time=0.149, loss_ctc=72.095, loss_att=59.915, acc=0.712, loss=63.569, backward_time=0.293, grad_norm=129.668, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.487e-05, train_time=1.575 -[gpua010:0/64] 2023-12-17 02:29:35,515 (trainer:737) INFO: 39epoch:train:601-700batch: iter_time=8.237e-05, forward_time=0.228, loss_ctc=66.890, loss_att=44.881, acc=0.733, loss=51.484, backward_time=0.325, grad_norm=103.355, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.486e-05, train_time=1.496 -[gpua010:0/64] 2023-12-17 02:32:01,804 (trainer:737) INFO: 39epoch:train:701-800batch: iter_time=8.534e-05, forward_time=0.178, loss_ctc=64.741, loss_att=50.949, acc=0.735, loss=55.086, backward_time=0.299, grad_norm=81.002, clip=100.000, loss_scale=3.509e+31, optim_step_time=0.135, optim0_lr0=6.485e-05, train_time=1.463 -[gpua010:0/64] 2023-12-17 02:34:37,936 (trainer:737) INFO: 39epoch:train:801-900batch: iter_time=8.460e-05, forward_time=0.149, loss_ctc=59.405, loss_att=46.807, acc=0.752, loss=50.587, backward_time=0.306, grad_norm=65.991, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.485e-05, train_time=1.561 -[gpua010:0/64] 2023-12-17 02:37:02,800 (trainer:737) INFO: 39epoch:train:901-1000batch: iter_time=8.357e-05, forward_time=0.149, loss_ctc=63.410, loss_att=47.620, acc=0.730, loss=52.357, backward_time=0.297, grad_norm=93.098, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.484e-05, train_time=1.448 -[gpua010:0/64] 2023-12-17 02:39:50,173 (trainer:737) INFO: 39epoch:train:1001-1100batch: iter_time=8.528e-05, forward_time=0.148, loss_ctc=55.335, loss_att=41.169, acc=0.749, loss=45.419, backward_time=0.291, grad_norm=249.221, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.484e-05, train_time=1.674 -[gpua010:0/64] 2023-12-17 02:42:36,376 (trainer:737) INFO: 39epoch:train:1101-1200batch: iter_time=9.483e-05, forward_time=0.148, loss_ctc=58.325, loss_att=47.509, acc=0.740, loss=50.754, backward_time=0.290, grad_norm=216.857, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.483e-05, train_time=1.662 -[gpua010:0/64] 2023-12-17 02:44:08,605 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua010:0/64] 2023-12-17 02:44:27,048 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-17 02:44:30,433 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-17 02:44:30,433 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua010:0/64] 2023-12-17 02:44:30,439 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-17 02:53:17,538 (trainer:737) INFO: 39epoch:train:1201-1300batch: iter_time=5.033, forward_time=0.187, loss_ctc=71.698, loss_att=52.960, acc=0.744, loss=58.581, backward_time=0.289, grad_norm=170.568, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.483e-05, train_time=6.411 -[gpua010:0/64] 2023-12-17 02:55:31,263 (trainer:737) INFO: 39epoch:train:1301-1400batch: iter_time=7.783e-05, forward_time=0.150, loss_ctc=66.316, loss_att=55.456, acc=0.715, loss=58.714, backward_time=0.280, grad_norm=119.876, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.482e-05, train_time=1.337 -[gpua010:0/64] 2023-12-17 02:56:09,272 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua010:0/64] 2023-12-17 02:57:49,148 (trainer:737) INFO: 39epoch:train:1401-1500batch: iter_time=7.471e-05, forward_time=0.150, loss_ctc=65.966, loss_att=48.209, acc=0.732, loss=53.536, backward_time=0.294, grad_norm=424.235, clip=100.000, loss_scale=2.581e+31, optim_step_time=0.137, optim0_lr0=6.481e-05, train_time=1.379 -[gpua010:0/64] 2023-12-17 03:00:25,492 (trainer:737) INFO: 39epoch:train:1501-1600batch: iter_time=8.528e-05, forward_time=0.245, loss_ctc=63.909, loss_att=54.247, acc=0.731, loss=57.146, backward_time=0.314, grad_norm=147.802, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=6.481e-05, train_time=1.563 -[gpua010:0/64] 2023-12-17 03:02:51,627 (trainer:737) INFO: 39epoch:train:1601-1700batch: iter_time=8.325e-05, forward_time=0.148, loss_ctc=52.145, loss_att=40.785, acc=0.730, loss=44.193, backward_time=0.288, grad_norm=171.094, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.480e-05, train_time=1.461 -[gpua010:0/64] 2023-12-17 03:05:36,635 (trainer:737) INFO: 39epoch:train:1701-1800batch: iter_time=9.212e-05, forward_time=0.247, loss_ctc=73.201, loss_att=60.556, acc=0.712, loss=64.349, backward_time=0.325, grad_norm=74.499, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=6.480e-05, train_time=1.650 -[gpua010:0/64] 2023-12-17 03:07:57,839 (trainer:737) INFO: 39epoch:train:1801-1900batch: iter_time=8.629e-05, forward_time=0.148, loss_ctc=64.615, loss_att=46.390, acc=0.737, loss=51.858, backward_time=0.296, grad_norm=77.498, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.479e-05, train_time=1.412 -[gpua010:0/64] 2023-12-17 03:10:29,913 (trainer:737) INFO: 39epoch:train:1901-2000batch: iter_time=8.215e-05, forward_time=0.148, loss_ctc=64.668, loss_att=49.365, acc=0.721, loss=53.956, backward_time=0.284, grad_norm=95.111, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.479e-05, train_time=1.521 -[gpua010:0/64] 2023-12-17 03:13:20,046 (trainer:737) INFO: 39epoch:train:2001-2100batch: iter_time=8.752e-05, forward_time=0.236, loss_ctc=57.289, loss_att=42.533, acc=0.738, loss=46.960, backward_time=0.325, grad_norm=92.930, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.478e-05, train_time=1.701 -[gpua010:0/64] 2023-12-17 03:15:44,923 (trainer:737) INFO: 39epoch:train:2101-2200batch: iter_time=8.401e-05, forward_time=0.148, loss_ctc=62.849, loss_att=51.585, acc=0.722, loss=54.964, backward_time=0.284, grad_norm=138.710, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.477e-05, train_time=1.449 -[gpua010:0/64] 2023-12-17 03:18:14,354 (trainer:737) INFO: 39epoch:train:2201-2300batch: iter_time=7.989e-05, forward_time=0.147, loss_ctc=59.227, loss_att=42.828, acc=0.739, loss=47.748, backward_time=0.303, grad_norm=114.310, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.477e-05, train_time=1.494 -[gpua010:0/64] 2023-12-17 03:18:30,872 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua010:0/64] 2023-12-17 03:20:53,803 (trainer:737) INFO: 39epoch:train:2301-2400batch: iter_time=8.820e-05, forward_time=0.273, loss_ctc=53.398, loss_att=38.622, acc=0.756, loss=43.055, backward_time=0.329, grad_norm=91.853, clip=100.000, loss_scale=1.106e+31, optim_step_time=0.142, optim0_lr0=6.476e-05, train_time=1.594 -[gpua010:0/64] 2023-12-17 03:23:39,819 (trainer:737) INFO: 39epoch:train:2401-2500batch: iter_time=8.038e-05, forward_time=0.149, loss_ctc=68.555, loss_att=56.326, acc=0.721, loss=59.995, backward_time=0.284, grad_norm=65.824, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.476e-05, train_time=1.660 -[gpua010:0/64] 2023-12-17 03:23:59,849 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua010:0/64] 2023-12-17 03:24:18,256 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-17 03:24:21,611 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-17 03:24:21,611 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua010:0/64] 2023-12-17 03:24:21,618 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-17 03:30:45,413 (trainer:737) INFO: 39epoch:train:2501-2600batch: iter_time=2.596, forward_time=0.189, loss_ctc=67.899, loss_att=50.025, acc=0.738, loss=55.387, backward_time=0.286, grad_norm=93.007, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.475e-05, train_time=4.256 -[gpua010:0/64] 2023-12-17 03:32:53,513 (trainer:737) INFO: 39epoch:train:2601-2700batch: iter_time=8.201e-05, forward_time=0.148, loss_ctc=66.452, loss_att=51.910, acc=0.732, loss=56.272, backward_time=0.279, grad_norm=88.594, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.475e-05, train_time=1.281 -[gpua010:0/64] 2023-12-17 03:35:16,939 (trainer:737) INFO: 39epoch:train:2701-2800batch: iter_time=5.207e-04, forward_time=0.271, loss_ctc=64.393, loss_att=49.603, acc=0.738, loss=54.040, backward_time=0.308, grad_norm=221.406, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.474e-05, train_time=1.434 -[gpua010:0/64] 2023-12-17 03:37:29,830 (trainer:737) INFO: 39epoch:train:2801-2900batch: iter_time=8.007e-05, forward_time=0.150, loss_ctc=59.038, loss_att=48.982, acc=0.721, loss=51.999, backward_time=0.290, grad_norm=105.322, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.474e-05, train_time=1.329 -[gpua010:0/64] 2023-12-17 03:39:56,702 (trainer:737) INFO: 39epoch:train:2901-3000batch: iter_time=8.209e-05, forward_time=0.147, loss_ctc=57.357, loss_att=45.817, acc=0.733, loss=49.279, backward_time=0.319, grad_norm=91.365, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.473e-05, train_time=1.468 -[gpua010:0/64] 2023-12-17 03:42:50,566 (trainer:737) INFO: 39epoch:train:3001-3100batch: iter_time=8.109e-05, forward_time=0.255, loss_ctc=71.187, loss_att=57.866, acc=0.716, loss=61.862, backward_time=0.308, grad_norm=80.148, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.472e-05, train_time=1.738 -[gpua010:0/64] 2023-12-17 03:45:23,262 (trainer:737) INFO: 39epoch:train:3101-3200batch: iter_time=8.426e-05, forward_time=0.148, loss_ctc=63.384, loss_att=44.257, acc=0.732, loss=49.995, backward_time=0.308, grad_norm=112.030, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.472e-05, train_time=1.527 -[gpua010:0/64] 2023-12-17 03:47:48,207 (trainer:737) INFO: 39epoch:train:3201-3300batch: iter_time=8.081e-05, forward_time=0.147, loss_ctc=62.983, loss_att=49.385, acc=0.732, loss=53.465, backward_time=0.306, grad_norm=90.975, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.471e-05, train_time=1.449 -[gpua010:0/64] 2023-12-17 03:50:19,879 (trainer:737) INFO: 39epoch:train:3301-3400batch: iter_time=7.973e-05, forward_time=0.228, loss_ctc=58.749, loss_att=45.893, acc=0.749, loss=49.750, backward_time=0.324, grad_norm=81.341, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.471e-05, train_time=1.516 -[gpua010:0/64] 2023-12-17 03:52:45,596 (trainer:737) INFO: 39epoch:train:3401-3500batch: iter_time=8.313e-05, forward_time=0.148, loss_ctc=62.826, loss_att=46.224, acc=0.729, loss=51.204, backward_time=0.283, grad_norm=102.455, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.470e-05, train_time=1.457 -[gpua010:0/64] 2023-12-17 03:55:22,662 (trainer:737) INFO: 39epoch:train:3501-3600batch: iter_time=0.007, forward_time=0.252, loss_ctc=54.642, loss_att=40.545, acc=0.745, loss=44.774, backward_time=0.331, grad_norm=194.415, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.470e-05, train_time=1.570 -[gpua010:0/64] 2023-12-17 03:57:49,442 (trainer:737) INFO: 39epoch:train:3601-3700batch: iter_time=8.296e-05, forward_time=0.147, loss_ctc=57.967, loss_att=45.302, acc=0.745, loss=49.101, backward_time=0.294, grad_norm=129.058, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.469e-05, train_time=1.468 -[gpua010:0/64] 2023-12-17 03:59:16,185 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua010:0/64] 2023-12-17 03:59:34,448 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-17 03:59:37,831 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-17 03:59:37,831 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua010:0/64] 2023-12-17 03:59:37,878 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-17 04:05:30,078 (trainer:737) INFO: 39epoch:train:3701-3800batch: iter_time=2.661, forward_time=0.189, loss_ctc=70.294, loss_att=53.062, acc=0.739, loss=58.232, backward_time=0.286, grad_norm=237.992, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.468e-05, train_time=4.606 -[gpua010:0/64] 2023-12-17 04:07:32,253 (trainer:737) INFO: 39epoch:train:3801-3900batch: iter_time=8.009e-05, forward_time=0.150, loss_ctc=65.599, loss_att=56.741, acc=0.727, loss=59.399, backward_time=0.282, grad_norm=119.259, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.468e-05, train_time=1.221 -[gpua010:0/64] 2023-12-17 04:09:42,375 (trainer:737) INFO: 39epoch:train:3901-4000batch: iter_time=7.919e-05, forward_time=0.149, loss_ctc=65.155, loss_att=49.111, acc=0.742, loss=53.924, backward_time=0.283, grad_norm=284.152, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.467e-05, train_time=1.301 -[gpua010:0/64] 2023-12-17 04:12:12,245 (trainer:737) INFO: 39epoch:train:4001-4100batch: iter_time=9.041e-05, forward_time=0.149, loss_ctc=62.873, loss_att=53.625, acc=0.745, loss=56.399, backward_time=0.289, grad_norm=125.139, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.467e-05, train_time=1.499 -[gpua010:0/64] 2023-12-17 04:14:21,599 (trainer:737) INFO: 39epoch:train:4101-4200batch: iter_time=9.319e-05, forward_time=0.148, loss_ctc=51.282, loss_att=41.008, acc=0.739, loss=44.090, backward_time=0.279, grad_norm=178.093, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.466e-05, train_time=1.293 -[gpua010:0/64] 2023-12-17 04:17:07,537 (trainer:737) INFO: 39epoch:train:4201-4300batch: iter_time=9.093e-05, forward_time=0.245, loss_ctc=72.180, loss_att=63.403, acc=0.710, loss=66.036, backward_time=0.339, grad_norm=83.227, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.142, optim0_lr0=6.466e-05, train_time=1.659 -[gpua010:0/64] 2023-12-17 04:19:58,312 (trainer:737) INFO: 39epoch:train:4301-4400batch: iter_time=8.966e-05, forward_time=0.148, loss_ctc=62.198, loss_att=44.572, acc=0.748, loss=49.860, backward_time=0.298, grad_norm=86.222, clip=100.000, loss_scale=1.927e+31, optim_step_time=0.133, optim0_lr0=6.465e-05, train_time=1.707 -[gpua010:0/64] 2023-12-17 04:22:12,000 (trainer:737) INFO: 39epoch:train:4401-4500batch: iter_time=9.385e-05, forward_time=0.148, loss_ctc=63.513, loss_att=49.798, acc=0.735, loss=53.913, backward_time=0.282, grad_norm=101.765, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.464e-05, train_time=1.337 -[gpua010:0/64] 2023-12-17 04:24:27,554 (trainer:737) INFO: 39epoch:train:4501-4600batch: iter_time=8.990e-05, forward_time=0.149, loss_ctc=56.990, loss_att=42.076, acc=0.751, loss=46.550, backward_time=0.294, grad_norm=72.400, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.464e-05, train_time=1.355 -[gpua010:0/64] 2023-12-17 04:27:22,168 (trainer:737) INFO: 39epoch:train:4601-4700batch: iter_time=8.859e-05, forward_time=0.181, loss_ctc=62.119, loss_att=51.970, acc=0.733, loss=55.015, backward_time=0.333, grad_norm=77.654, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.463e-05, train_time=1.746 -[gpua010:0/64] 2023-12-17 04:29:50,146 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua010:0/64] 2023-12-17 04:29:51,378 (trainer:737) INFO: 39epoch:train:4701-4800batch: iter_time=8.759e-05, forward_time=0.172, loss_ctc=58.000, loss_att=42.806, acc=0.747, loss=47.365, backward_time=0.314, grad_norm=60.873, clip=100.000, loss_scale=2.018e+31, optim_step_time=0.134, optim0_lr0=6.463e-05, train_time=1.492 -[gpua010:0/64] 2023-12-17 04:32:04,395 (trainer:737) INFO: 39epoch:train:4801-4900batch: iter_time=9.239e-05, forward_time=0.147, loss_ctc=52.599, loss_att=38.650, acc=0.764, loss=42.835, backward_time=0.287, grad_norm=208.725, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.462e-05, train_time=1.330 -[gpua010:0/64] 2023-12-17 04:32:34,642 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua010:0/64] 2023-12-17 04:34:17,348 (trainer:737) INFO: 39epoch:train:4901-5000batch: iter_time=9.288e-05, forward_time=0.147, loss_ctc=68.243, loss_att=58.386, acc=0.728, loss=61.343, backward_time=0.285, grad_norm=77.550, clip=100.000, loss_scale=6.249e+30, optim_step_time=0.133, optim0_lr0=6.462e-05, train_time=1.329 -[gpua010:0/64] 2023-12-17 04:34:37,435 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua010:0/64] 2023-12-17 04:34:55,764 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-17 04:34:59,196 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-17 04:34:59,197 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua010:0/64] 2023-12-17 04:34:59,260 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-17 04:41:43,885 (trainer:737) INFO: 39epoch:train:5001-5100batch: iter_time=3.219, forward_time=0.180, loss_ctc=66.729, loss_att=50.542, acc=0.740, loss=55.398, backward_time=0.284, grad_norm=98.599, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.461e-05, train_time=4.465 -[gpua010:0/64] 2023-12-17 04:43:44,744 (trainer:737) INFO: 39epoch:train:5101-5200batch: iter_time=8.246e-05, forward_time=0.148, loss_ctc=66.108, loss_att=52.993, acc=0.732, loss=56.927, backward_time=0.278, grad_norm=229.482, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.461e-05, train_time=1.208 -[gpua010:0/64] 2023-12-17 04:46:09,323 (trainer:737) INFO: 39epoch:train:5201-5300batch: iter_time=8.582e-05, forward_time=0.148, loss_ctc=63.944, loss_att=48.943, acc=0.743, loss=53.443, backward_time=0.286, grad_norm=138.660, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.460e-05, train_time=1.446 -[gpua010:0/64] 2023-12-17 04:48:45,321 (trainer:737) INFO: 39epoch:train:5301-5400batch: iter_time=8.671e-05, forward_time=0.251, loss_ctc=58.197, loss_att=49.329, acc=0.722, loss=51.989, backward_time=0.318, grad_norm=126.392, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.143, optim0_lr0=6.459e-05, train_time=1.560 -[gpua010:0/64] 2023-12-17 04:51:26,983 (trainer:737) INFO: 39epoch:train:5401-5500batch: iter_time=8.353e-05, forward_time=0.149, loss_ctc=56.621, loss_att=45.410, acc=0.735, loss=48.773, backward_time=0.333, grad_norm=62.589, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.459e-05, train_time=1.616 -[gpua010:0/64] 2023-12-17 04:53:51,540 (trainer:737) INFO: 39epoch:train:5501-5600batch: iter_time=8.896e-05, forward_time=0.149, loss_ctc=70.601, loss_att=57.921, acc=0.717, loss=61.725, backward_time=0.293, grad_norm=81.170, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.458e-05, train_time=1.445 -[gpua010:0/64] 2023-12-17 04:55:58,559 (trainer:737) INFO: 39epoch:train:5601-5700batch: iter_time=8.980e-05, forward_time=0.168, loss_ctc=61.932, loss_att=44.361, acc=0.731, loss=49.632, backward_time=0.278, grad_norm=131.504, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.458e-05, train_time=1.270 -[gpua010:0/64] 2023-12-17 04:58:44,699 (trainer:737) INFO: 39epoch:train:5701-5800batch: iter_time=8.980e-05, forward_time=0.290, loss_ctc=62.983, loss_att=48.711, acc=0.735, loss=52.993, backward_time=0.311, grad_norm=67.743, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.137, optim0_lr0=6.457e-05, train_time=1.661 -[gpua010:0/64] 2023-12-17 05:01:22,706 (trainer:737) INFO: 39epoch:train:5801-5900batch: iter_time=8.666e-05, forward_time=0.148, loss_ctc=59.026, loss_att=46.343, acc=0.746, loss=50.148, backward_time=0.311, grad_norm=73.997, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.457e-05, train_time=1.580 -[gpua010:0/64] 2023-12-17 05:03:57,876 (trainer:737) INFO: 39epoch:train:5901-6000batch: iter_time=8.704e-05, forward_time=0.148, loss_ctc=62.811, loss_att=45.733, acc=0.733, loss=50.856, backward_time=0.308, grad_norm=73.031, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.456e-05, train_time=1.552 -[gpua010:0/64] 2023-12-17 05:06:46,111 (trainer:737) INFO: 39epoch:train:6001-6100batch: iter_time=8.666e-05, forward_time=0.147, loss_ctc=54.555, loss_att=39.952, acc=0.750, loss=44.333, backward_time=0.332, grad_norm=92.897, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.456e-05, train_time=1.682 -[gpua010:0/64] 2023-12-17 05:09:10,269 (trainer:737) INFO: 39epoch:train:6101-6200batch: iter_time=8.667e-05, forward_time=0.269, loss_ctc=57.672, loss_att=45.093, acc=0.746, loss=48.867, backward_time=0.320, grad_norm=60.531, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.139, optim0_lr0=6.455e-05, train_time=1.441 -[gpua010:0/64] 2023-12-17 05:10:40,124 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua010:0/64] 2023-12-17 05:10:58,524 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-17 05:11:02,359 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-17 05:11:02,359 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua010:0/64] 2023-12-17 05:11:02,362 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-17 05:16:44,367 (trainer:737) INFO: 39epoch:train:6201-6300batch: iter_time=3.161, forward_time=0.180, loss_ctc=70.035, loss_att=52.193, acc=0.745, loss=57.546, backward_time=0.318, grad_norm=83.224, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.454e-05, train_time=4.541 -[gpua010:0/64] 2023-12-17 05:19:05,208 (trainer:737) INFO: 39epoch:train:6301-6400batch: iter_time=7.757e-05, forward_time=0.149, loss_ctc=65.280, loss_att=53.267, acc=0.724, loss=56.871, backward_time=0.287, grad_norm=71.429, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.454e-05, train_time=1.408 -[gpua010:0/64] 2023-12-17 05:21:24,028 (trainer:737) INFO: 39epoch:train:6401-6500batch: iter_time=8.440e-05, forward_time=0.149, loss_ctc=65.034, loss_att=47.042, acc=0.737, loss=52.439, backward_time=0.304, grad_norm=83.911, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.453e-05, train_time=1.388 -[gpua010:0/64] 2023-12-17 05:24:12,407 (trainer:737) INFO: 39epoch:train:6501-6600batch: iter_time=7.796e-05, forward_time=0.257, loss_ctc=62.714, loss_att=53.441, acc=0.735, loss=56.223, backward_time=0.324, grad_norm=154.460, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.151, optim0_lr0=6.453e-05, train_time=1.684 -[gpua010:0/64] 2023-12-17 05:26:39,831 (trainer:737) INFO: 39epoch:train:6601-6700batch: iter_time=7.957e-05, forward_time=0.168, loss_ctc=50.884, loss_att=40.033, acc=0.738, loss=43.288, backward_time=0.305, grad_norm=99.626, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.452e-05, train_time=1.474 -[gpua010:0/64] 2023-12-17 05:29:23,111 (trainer:737) INFO: 39epoch:train:6701-6800batch: iter_time=8.207e-05, forward_time=0.149, loss_ctc=72.137, loss_att=59.991, acc=0.715, loss=63.635, backward_time=0.310, grad_norm=73.935, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.452e-05, train_time=1.633 -[gpua010:0/64] 2023-12-17 05:31:54,543 (trainer:737) INFO: 39epoch:train:6801-6900batch: iter_time=8.482e-05, forward_time=0.148, loss_ctc=62.317, loss_att=44.716, acc=0.745, loss=49.996, backward_time=0.286, grad_norm=83.813, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.451e-05, train_time=1.514 -[gpua010:0/64] 2023-12-17 05:35:06,569 (trainer:737) INFO: 39epoch:train:6901-7000batch: iter_time=9.019e-05, forward_time=0.308, loss_ctc=63.497, loss_att=48.292, acc=0.727, loss=52.854, backward_time=0.343, grad_norm=80.477, clip=100.000, loss_scale=8.924e+30, optim_step_time=0.136, optim0_lr0=6.450e-05, train_time=1.920 -[gpua010:0/64] 2023-12-17 05:37:36,272 (trainer:737) INFO: 39epoch:train:7001-7100batch: iter_time=9.071e-05, forward_time=0.148, loss_ctc=56.662, loss_att=42.098, acc=0.742, loss=46.468, backward_time=0.291, grad_norm=115.752, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.450e-05, train_time=1.497 -[gpua010:0/64] 2023-12-17 05:40:14,654 (trainer:737) INFO: 39epoch:train:7101-7200batch: iter_time=9.164e-05, forward_time=0.147, loss_ctc=61.982, loss_att=50.003, acc=0.729, loss=53.597, backward_time=0.292, grad_norm=72.869, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.449e-05, train_time=1.584 -[gpua010:0/64] 2023-12-17 05:42:29,360 (trainer:737) INFO: 39epoch:train:7201-7300batch: iter_time=9.370e-05, forward_time=0.147, loss_ctc=58.032, loss_att=42.724, acc=0.743, loss=47.316, backward_time=0.283, grad_norm=62.973, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.449e-05, train_time=1.347 -[gpua010:0/64] 2023-12-17 05:44:48,308 (trainer:737) INFO: 39epoch:train:7301-7400batch: iter_time=9.333e-05, forward_time=0.243, loss_ctc=52.618, loss_att=38.428, acc=0.759, loss=42.685, backward_time=0.307, grad_norm=68.781, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.138, optim0_lr0=6.448e-05, train_time=1.388 -[gpua010:0/64] 2023-12-17 05:47:21,895 (trainer:737) INFO: 39epoch:train:7401-7500batch: iter_time=8.736e-05, forward_time=0.147, loss_ctc=67.949, loss_att=55.755, acc=0.727, loss=59.413, backward_time=0.315, grad_norm=80.026, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.448e-05, train_time=1.536 -[gpua010:0/64] 2023-12-17 05:47:42,102 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua010:0/64] 2023-12-17 05:48:00,098 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-17 05:48:03,471 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-17 05:48:03,471 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua010:0/64] 2023-12-17 05:48:03,478 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-17 05:54:48,705 (trainer:737) INFO: 39epoch:train:7501-7600batch: iter_time=3.180, forward_time=0.147, loss_ctc=66.003, loss_att=52.003, acc=0.744, loss=56.203, backward_time=0.280, grad_norm=80.834, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.447e-05, train_time=4.468 - -gpua014:553260:553341 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:553262:553336 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:553259:553339 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:553261:553342 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:553260:553341 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:553262:553336 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:553259:553339 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:553261:553342 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active -[gpua010:0/64] 2023-12-17 05:57:10,299 (trainer:737) INFO: 39epoch:train:7601-7700batch: iter_time=8.999e-05, forward_time=0.148, loss_ctc=65.990, loss_att=56.189, acc=0.733, loss=59.130, backward_time=0.296, grad_norm=84.320, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.447e-05, train_time=1.416 -[gpua010:0/64] 2023-12-17 05:59:44,385 (trainer:737) INFO: 39epoch:train:7701-7800batch: iter_time=8.836e-05, forward_time=0.253, loss_ctc=64.490, loss_att=49.951, acc=0.752, loss=54.313, backward_time=0.306, grad_norm=64.270, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.140, optim0_lr0=6.446e-05, train_time=1.541 -[gpua010:0/64] 2023-12-17 06:02:17,351 (trainer:737) INFO: 39epoch:train:7801-7900batch: iter_time=8.528e-05, forward_time=0.162, loss_ctc=57.939, loss_att=48.633, acc=0.737, loss=51.425, backward_time=0.286, grad_norm=95.114, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.445e-05, train_time=1.529 -[gpua010:0/64] 2023-12-17 06:04:39,762 (trainer:737) INFO: 39epoch:train:7901-8000batch: iter_time=8.009e-05, forward_time=0.149, loss_ctc=56.429, loss_att=47.378, acc=0.732, loss=50.093, backward_time=0.290, grad_norm=57.879, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.445e-05, train_time=1.423 -[gpua010:0/64] 2023-12-17 06:07:03,534 (trainer:737) INFO: 39epoch:train:8001-8100batch: iter_time=8.561e-05, forward_time=0.147, loss_ctc=70.208, loss_att=59.005, acc=0.719, loss=62.366, backward_time=0.291, grad_norm=73.242, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.444e-05, train_time=1.438 -[gpua010:0/64] 2023-12-17 06:10:08,358 (trainer:737) INFO: 39epoch:train:8101-8200batch: iter_time=8.536e-05, forward_time=0.148, loss_ctc=62.436, loss_att=43.907, acc=0.741, loss=49.466, backward_time=0.293, grad_norm=83.310, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.444e-05, train_time=1.848 -[gpua010:0/64] 2023-12-17 06:12:46,978 (trainer:737) INFO: 39epoch:train:8201-8300batch: iter_time=8.446e-05, forward_time=0.147, loss_ctc=63.312, loss_att=50.095, acc=0.743, loss=54.060, backward_time=0.304, grad_norm=86.174, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.443e-05, train_time=1.586 -[gpua010:0/64] 2023-12-17 06:15:26,359 (trainer:737) INFO: 39epoch:train:8301-8400batch: iter_time=8.407e-05, forward_time=0.154, loss_ctc=58.044, loss_att=46.048, acc=0.759, loss=49.647, backward_time=0.305, grad_norm=125.280, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.443e-05, train_time=1.594 -[gpua010:0/64] 2023-12-17 06:18:04,941 (trainer:737) INFO: 39epoch:train:8401-8500batch: iter_time=8.626e-05, forward_time=0.234, loss_ctc=62.073, loss_att=46.832, acc=0.738, loss=51.404, backward_time=0.311, grad_norm=73.052, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.442e-05, train_time=1.586 -[gpua010:0/64] 2023-12-17 06:20:26,777 (trainer:737) INFO: 39epoch:train:8501-8600batch: iter_time=9.444e-05, forward_time=0.155, loss_ctc=54.414, loss_att=40.213, acc=0.757, loss=44.474, backward_time=0.309, grad_norm=60.180, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.442e-05, train_time=1.418 -[gpua010:0/64] 2023-12-17 06:23:04,610 (trainer:737) INFO: 39epoch:train:8601-8700batch: iter_time=8.996e-05, forward_time=0.150, loss_ctc=57.457, loss_att=46.688, acc=0.749, loss=49.918, backward_time=0.306, grad_norm=59.774, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.441e-05, train_time=1.577 -[gpua010:0/64] 2023-12-17 06:24:47,345 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua010:0/64] 2023-12-17 06:25:05,534 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-17 06:25:08,911 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-17 06:25:08,911 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua010:0/64] 2023-12-17 06:25:08,953 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-17 06:34:05,907 (trainer:737) INFO: 39epoch:train:8701-8800batch: iter_time=5.110, forward_time=0.203, loss_ctc=69.720, loss_att=53.384, acc=0.747, loss=58.285, backward_time=0.288, grad_norm=78.527, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.440e-05, train_time=6.613 -[gpua010:0/64] 2023-12-17 06:36:07,497 (trainer:737) INFO: 39epoch:train:8801-8900batch: iter_time=7.811e-05, forward_time=0.149, loss_ctc=64.793, loss_att=54.879, acc=0.732, loss=57.853, backward_time=0.279, grad_norm=78.767, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.440e-05, train_time=1.216 -[gpua010:0/64] 2023-12-17 06:38:57,921 (trainer:737) INFO: 39epoch:train:8901-9000batch: iter_time=8.220e-05, forward_time=0.264, loss_ctc=64.922, loss_att=48.200, acc=0.745, loss=53.216, backward_time=0.314, grad_norm=92.647, clip=100.000, loss_scale=1.785e+31, optim_step_time=0.148, optim0_lr0=6.439e-05, train_time=1.704 -[gpua010:0/64] 2023-12-17 06:41:16,489 (trainer:737) INFO: 39epoch:train:9001-9100batch: iter_time=8.401e-05, forward_time=0.149, loss_ctc=62.710, loss_att=53.138, acc=0.749, loss=56.010, backward_time=0.281, grad_norm=66.726, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.439e-05, train_time=1.386 -[gpua010:0/64] 2023-12-17 06:43:51,561 (trainer:737) INFO: 39epoch:train:9101-9200batch: iter_time=8.231e-05, forward_time=0.265, loss_ctc=50.768, loss_att=40.293, acc=0.743, loss=43.435, backward_time=0.350, grad_norm=70.852, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.438e-05, train_time=1.550 -[gpua010:0/64] 2023-12-17 06:46:51,635 (trainer:737) INFO: 39epoch:train:9201-9300batch: iter_time=8.000e-05, forward_time=0.148, loss_ctc=71.933, loss_att=62.694, acc=0.711, loss=65.466, backward_time=0.305, grad_norm=89.313, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.438e-05, train_time=1.801 -[gpua010:0/64] 2023-12-17 06:49:52,572 (trainer:737) INFO: 39epoch:train:9301-9400batch: iter_time=8.817e-05, forward_time=0.244, loss_ctc=61.846, loss_att=44.321, acc=0.751, loss=49.579, backward_time=0.310, grad_norm=81.635, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.437e-05, train_time=1.807 -[gpua010:0/64] 2023-12-17 06:52:25,947 (trainer:737) INFO: 39epoch:train:9401-9500batch: iter_time=8.534e-05, forward_time=0.149, loss_ctc=63.203, loss_att=49.613, acc=0.736, loss=53.690, backward_time=0.321, grad_norm=82.553, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.437e-05, train_time=1.535 -[gpua010:0/64] 2023-12-17 06:55:41,374 (trainer:737) INFO: 39epoch:train:9501-9600batch: iter_time=1.006e-04, forward_time=0.192, loss_ctc=57.170, loss_att=41.844, acc=0.752, loss=46.442, backward_time=0.329, grad_norm=96.469, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.436e-05, train_time=1.954 -[gpua010:0/64] 2023-12-17 06:57:56,676 (trainer:737) INFO: 39epoch:train:9601-9700batch: iter_time=8.634e-05, forward_time=0.149, loss_ctc=61.421, loss_att=51.099, acc=0.737, loss=54.196, backward_time=0.280, grad_norm=98.198, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.435e-05, train_time=1.352 -[gpua010:0/64] 2023-12-17 07:00:42,964 (trainer:737) INFO: 39epoch:train:9701-9800batch: iter_time=8.519e-05, forward_time=0.226, loss_ctc=57.696, loss_att=42.575, acc=0.750, loss=47.111, backward_time=0.319, grad_norm=74.522, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.435e-05, train_time=1.664 -[gpua010:0/64] 2023-12-17 07:02:55,896 (trainer:737) INFO: 39epoch:train:9801-9900batch: iter_time=8.391e-05, forward_time=0.148, loss_ctc=52.790, loss_att=38.672, acc=0.764, loss=42.908, backward_time=0.281, grad_norm=111.707, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.434e-05, train_time=1.329 -[gpua010:0/64] 2023-12-17 07:05:35,557 (trainer:737) INFO: 39epoch:train:9901-10000batch: iter_time=8.322e-05, forward_time=0.149, loss_ctc=68.022, loss_att=57.850, acc=0.731, loss=60.902, backward_time=0.293, grad_norm=184.668, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.434e-05, train_time=1.596 -[gpua010:0/64] 2023-12-17 07:05:55,631 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua010:0/64] 2023-12-17 07:06:14,049 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-17 07:06:17,516 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-17 07:06:17,516 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua010:0/64] 2023-12-17 07:06:17,519 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-17 07:12:59,881 (trainer:737) INFO: 39epoch:train:10001-10100batch: iter_time=3.127, forward_time=0.184, loss_ctc=66.023, loss_att=50.601, acc=0.743, loss=55.227, backward_time=0.285, grad_norm=81.678, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.433e-05, train_time=4.443 -[gpua010:0/64] 2023-12-17 07:15:14,379 (trainer:737) INFO: 39epoch:train:10101-10200batch: iter_time=8.241e-05, forward_time=0.148, loss_ctc=65.690, loss_att=53.037, acc=0.733, loss=56.833, backward_time=0.284, grad_norm=92.845, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.433e-05, train_time=1.345 -[gpua010:0/64] 2023-12-17 07:17:20,959 (trainer:737) INFO: 39epoch:train:10201-10300batch: iter_time=7.863e-05, forward_time=0.147, loss_ctc=63.435, loss_att=48.755, acc=0.745, loss=53.159, backward_time=0.279, grad_norm=69.039, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.432e-05, train_time=1.265 -[gpua010:0/64] 2023-12-17 07:20:37,193 (trainer:737) INFO: 39epoch:train:10301-10400batch: iter_time=8.076e-05, forward_time=0.185, loss_ctc=57.967, loss_att=49.487, acc=0.724, loss=52.031, backward_time=0.364, grad_norm=79.232, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.432e-05, train_time=1.963 -[gpua010:0/64] 2023-12-17 07:23:03,070 (trainer:737) INFO: 39epoch:train:10401-10500batch: iter_time=8.103e-05, forward_time=0.181, loss_ctc=56.196, loss_att=45.111, acc=0.737, loss=48.436, backward_time=0.290, grad_norm=87.862, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.431e-05, train_time=1.459 -[gpua010:0/64] 2023-12-17 07:25:24,923 (trainer:737) INFO: 39epoch:train:10501-10600batch: iter_time=8.516e-05, forward_time=0.147, loss_ctc=70.698, loss_att=57.651, acc=0.717, loss=61.565, backward_time=0.280, grad_norm=94.388, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.430e-05, train_time=1.418 -[gpua010:0/64] 2023-12-17 07:27:49,968 (trainer:737) INFO: 39epoch:train:10601-10700batch: iter_time=8.261e-05, forward_time=0.146, loss_ctc=61.336, loss_att=43.923, acc=0.735, loss=49.147, backward_time=0.287, grad_norm=121.983, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.430e-05, train_time=1.448 -[gpua010:0/64] 2023-12-17 07:30:51,915 (trainer:737) INFO: 39epoch:train:10701-10800batch: iter_time=8.253e-05, forward_time=0.214, loss_ctc=62.646, loss_att=48.391, acc=0.737, loss=52.668, backward_time=0.330, grad_norm=115.747, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.429e-05, train_time=1.821 -[gpua010:0/64] 2023-12-17 07:33:26,153 (trainer:737) INFO: 39epoch:train:10801-10900batch: iter_time=8.486e-05, forward_time=0.148, loss_ctc=58.470, loss_att=46.130, acc=0.749, loss=49.832, backward_time=0.288, grad_norm=61.237, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.429e-05, train_time=1.543 -[gpua010:0/64] 2023-12-17 07:36:15,747 (trainer:737) INFO: 39epoch:train:10901-11000batch: iter_time=8.485e-05, forward_time=0.147, loss_ctc=62.078, loss_att=46.014, acc=0.733, loss=50.833, backward_time=0.321, grad_norm=85.300, clip=100.000, loss_scale=3.570e+31, optim_step_time=0.133, optim0_lr0=6.428e-05, train_time=1.696 -[gpua010:0/64] 2023-12-17 07:38:50,378 (trainer:737) INFO: 39epoch:train:11001-11100batch: iter_time=8.610e-05, forward_time=0.235, loss_ctc=53.784, loss_att=39.410, acc=0.752, loss=43.722, backward_time=0.314, grad_norm=72.343, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.428e-05, train_time=1.546 -[gpua010:0/64] 2023-12-17 07:41:44,663 (trainer:737) INFO: 39epoch:train:11101-11200batch: iter_time=8.558e-05, forward_time=0.185, loss_ctc=57.516, loss_att=45.184, acc=0.748, loss=48.883, backward_time=0.310, grad_norm=95.980, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.427e-05, train_time=1.742 -[gpua010:0/64] 2023-12-17 07:43:17,149 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua010:0/64] 2023-12-17 07:43:35,477 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-17 07:43:38,929 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-17 07:43:38,929 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua010:0/64] 2023-12-17 07:43:38,932 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-17 07:49:18,827 (trainer:737) INFO: 39epoch:train:11201-11300batch: iter_time=3.141, forward_time=0.193, loss_ctc=69.185, loss_att=53.094, acc=0.742, loss=57.921, backward_time=0.283, grad_norm=83.982, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.427e-05, train_time=4.542 -[gpua010:0/64] 2023-12-17 07:51:23,747 (trainer:737) INFO: 39epoch:train:11301-11400batch: iter_time=8.255e-05, forward_time=0.157, loss_ctc=65.101, loss_att=55.740, acc=0.732, loss=58.549, backward_time=0.286, grad_norm=123.446, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.426e-05, train_time=1.249 - -gpua014:553262:553336 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:553260:553341 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:553259:553339 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:553261:553342 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:553261:553342 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:553262:553336 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:553260:553341 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:553259:553339 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active -[gpua010:0/64] 2023-12-17 07:53:58,270 (trainer:737) INFO: 39epoch:train:11401-11500batch: iter_time=8.021e-05, forward_time=0.222, loss_ctc=64.309, loss_att=48.312, acc=0.747, loss=53.111, backward_time=0.307, grad_norm=100.719, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.425e-05, train_time=1.545 -[gpua010:0/64] 2023-12-17 07:56:46,823 (trainer:737) INFO: 39epoch:train:11501-11600batch: iter_time=8.457e-05, forward_time=0.149, loss_ctc=61.869, loss_att=52.814, acc=0.749, loss=55.530, backward_time=0.306, grad_norm=96.081, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.425e-05, train_time=1.685 -[gpua010:0/64] 2023-12-17 08:00:00,380 (trainer:737) INFO: 39epoch:train:11601-11700batch: iter_time=2.542e-04, forward_time=0.227, loss_ctc=50.502, loss_att=40.380, acc=0.744, loss=43.416, backward_time=0.350, grad_norm=152.950, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.424e-05, train_time=1.935 -[gpua010:0/64] 2023-12-17 08:02:31,258 (trainer:737) INFO: 39epoch:train:11701-11800batch: iter_time=8.082e-05, forward_time=0.149, loss_ctc=71.619, loss_att=62.748, acc=0.714, loss=65.409, backward_time=0.316, grad_norm=92.795, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.424e-05, train_time=1.509 -[gpua010:0/64] 2023-12-17 08:05:10,641 (trainer:737) INFO: 39epoch:train:11801-11900batch: iter_time=8.945e-05, forward_time=0.165, loss_ctc=61.528, loss_att=44.380, acc=0.751, loss=49.525, backward_time=0.339, grad_norm=300.325, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=6.423e-05, train_time=1.593 -[gpua010:0/64] 2023-12-17 08:07:46,663 (trainer:737) INFO: 39epoch:train:11901-12000batch: iter_time=9.760e-05, forward_time=0.195, loss_ctc=63.047, loss_att=48.958, acc=0.739, loss=53.185, backward_time=0.309, grad_norm=88.631, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.423e-05, train_time=1.560 -[gpua010:0/64] 2023-12-17 08:09:09,205 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua010:0/64] 2023-12-17 08:10:42,613 (trainer:737) INFO: 39epoch:train:12001-12100batch: iter_time=9.797e-05, forward_time=0.149, loss_ctc=56.542, loss_att=41.461, acc=0.755, loss=45.985, backward_time=0.398, grad_norm=71.334, clip=100.000, loss_scale=3.012e+31, optim_step_time=0.134, optim0_lr0=6.422e-05, train_time=1.759 -[gpua010:0/64] 2023-12-17 08:13:27,654 (trainer:737) INFO: 39epoch:train:12101-12200batch: iter_time=3.615e-04, forward_time=0.229, loss_ctc=61.186, loss_att=51.335, acc=0.738, loss=54.291, backward_time=0.354, grad_norm=74.667, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=6.422e-05, train_time=1.650 -[gpua010:0/64] 2023-12-17 08:15:44,661 (trainer:737) INFO: 39epoch:train:12201-12300batch: iter_time=8.304e-05, forward_time=0.149, loss_ctc=57.494, loss_att=42.111, acc=0.750, loss=46.726, backward_time=0.286, grad_norm=119.566, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.421e-05, train_time=1.370 -[gpua010:0/64] 2023-12-17 08:18:34,917 (trainer:737) INFO: 39epoch:train:12301-12400batch: iter_time=3.746e-04, forward_time=0.202, loss_ctc=52.618, loss_att=38.442, acc=0.766, loss=42.695, backward_time=0.367, grad_norm=145.283, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=6.420e-05, train_time=1.702 -[gpua010:0/64] 2023-12-17 08:21:08,532 (trainer:737) INFO: 39epoch:train:12401-12500batch: iter_time=8.762e-05, forward_time=0.164, loss_ctc=67.985, loss_att=57.749, acc=0.732, loss=60.819, backward_time=0.308, grad_norm=78.944, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.420e-05, train_time=1.536 -[gpua010:0/64] 2023-12-17 08:21:28,792 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua010:0/64] 2023-12-17 08:21:47,020 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-17 08:21:50,470 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-17 08:21:50,471 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua010:0/64] 2023-12-17 08:21:50,474 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 - -gpua014:553260:553341 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:553261:553342 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:553262:553336 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:553259:553339 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:553262:553336 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:553259:553339 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:553260:553341 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:553261:553342 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active -[gpua010:0/64] 2023-12-17 08:32:01,172 (trainer:737) INFO: 39epoch:train:12501-12600batch: iter_time=5.207, forward_time=0.193, loss_ctc=65.761, loss_att=50.535, acc=0.748, loss=55.103, backward_time=0.287, grad_norm=73.977, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.419e-05, train_time=6.527 -[gpua010:0/64] 2023-12-17 08:34:28,810 (trainer:737) INFO: 39epoch:train:12601-12700batch: iter_time=5.138e-04, forward_time=0.249, loss_ctc=64.978, loss_att=54.173, acc=0.737, loss=57.414, backward_time=0.323, grad_norm=68.364, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.147, optim0_lr0=6.419e-05, train_time=1.475 -[gpua010:0/64] 2023-12-17 08:38:02,993 (trainer:737) INFO: 39epoch:train:12701-12800batch: iter_time=8.712e-05, forward_time=0.149, loss_ctc=63.122, loss_att=48.162, acc=0.757, loss=52.650, backward_time=0.339, grad_norm=67.698, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.418e-05, train_time=2.143 -[gpua010:0/64] 2023-12-17 08:40:50,764 (trainer:737) INFO: 39epoch:train:12801-12900batch: iter_time=9.249e-04, forward_time=0.251, loss_ctc=57.288, loss_att=48.180, acc=0.741, loss=50.912, backward_time=0.309, grad_norm=78.989, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.150, optim0_lr0=6.418e-05, train_time=1.677 -[gpua010:0/64] 2023-12-17 08:43:54,521 (trainer:737) INFO: 39epoch:train:12901-13000batch: iter_time=3.611e-04, forward_time=0.230, loss_ctc=55.950, loss_att=46.676, acc=0.735, loss=49.458, backward_time=0.385, grad_norm=69.158, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.417e-05, train_time=1.837 -[gpua010:0/64] 2023-12-17 08:46:31,821 (trainer:737) INFO: 39epoch:train:13001-13100batch: iter_time=8.096e-05, forward_time=0.176, loss_ctc=70.405, loss_att=58.559, acc=0.722, loss=62.113, backward_time=0.376, grad_norm=74.876, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.417e-05, train_time=1.572 -[gpua010:0/64] 2023-12-17 08:49:12,208 (trainer:737) INFO: 39epoch:train:13101-13200batch: iter_time=3.217e-04, forward_time=0.259, loss_ctc=60.821, loss_att=43.129, acc=0.743, loss=48.437, backward_time=0.344, grad_norm=69.947, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.141, optim0_lr0=6.416e-05, train_time=1.604 -[gpua010:0/64] 2023-12-17 08:52:05,734 (trainer:737) INFO: 39epoch:train:13201-13300batch: iter_time=8.366e-05, forward_time=0.148, loss_ctc=63.696, loss_att=49.695, acc=0.745, loss=53.895, backward_time=0.299, grad_norm=62.546, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.416e-05, train_time=1.735 -[gpua010:0/64] 2023-12-17 08:54:50,882 (trainer:737) INFO: 39epoch:train:13301-13400batch: iter_time=3.348e-04, forward_time=0.268, loss_ctc=57.697, loss_att=45.194, acc=0.762, loss=48.945, backward_time=0.337, grad_norm=64.617, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.415e-05, train_time=1.651 -[gpua010:0/64] 2023-12-17 08:57:31,631 (trainer:737) INFO: 39epoch:train:13401-13500batch: iter_time=8.479e-05, forward_time=0.148, loss_ctc=62.369, loss_att=46.838, acc=0.739, loss=51.497, backward_time=0.301, grad_norm=75.075, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.414e-05, train_time=1.607 -[gpua010:0/64] 2023-12-17 09:00:39,358 (trainer:737) INFO: 39epoch:train:13501-13600batch: iter_time=6.353e-04, forward_time=0.240, loss_ctc=53.936, loss_att=39.745, acc=0.758, loss=44.002, backward_time=0.358, grad_norm=75.947, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.414e-05, train_time=1.878 -[gpua010:0/64] 2023-12-17 09:03:29,981 (trainer:737) INFO: 39epoch:train:13601-13700batch: iter_time=8.525e-05, forward_time=0.149, loss_ctc=57.152, loss_att=46.534, acc=0.749, loss=49.720, backward_time=0.337, grad_norm=104.104, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.413e-05, train_time=1.706 -[gpua010:0/64] 2023-12-17 09:05:04,748 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua010:0/64] 2023-12-17 09:05:23,483 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-17 09:05:27,134 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-17 09:05:27,134 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua010:0/64] 2023-12-17 09:05:27,509 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-17 09:14:09,571 (trainer:737) INFO: 39epoch:train:13701-13800batch: iter_time=4.979, forward_time=0.201, loss_ctc=69.144, loss_att=51.705, acc=0.754, loss=56.937, backward_time=0.298, grad_norm=86.713, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.145, optim0_lr0=6.413e-05, train_time=6.396 -[gpua010:0/64] 2023-12-17 09:16:15,141 (trainer:737) INFO: 39epoch:train:13801-13900batch: iter_time=7.880e-05, forward_time=0.150, loss_ctc=64.558, loss_att=54.716, acc=0.724, loss=57.668, backward_time=0.281, grad_norm=70.895, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.412e-05, train_time=1.255 -[gpua010:0/64] 2023-12-17 09:19:05,953 (trainer:737) INFO: 39epoch:train:13901-14000batch: iter_time=4.694e-04, forward_time=0.221, loss_ctc=64.057, loss_att=47.323, acc=0.739, loss=52.343, backward_time=0.307, grad_norm=69.182, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.141, optim0_lr0=6.412e-05, train_time=1.708 -[gpua010:0/64] 2023-12-17 09:21:47,489 (trainer:737) INFO: 39epoch:train:14001-14100batch: iter_time=8.095e-05, forward_time=0.149, loss_ctc=62.538, loss_att=54.206, acc=0.735, loss=56.705, backward_time=0.290, grad_norm=64.943, clip=100.000, loss_scale=3.063e+31, optim_step_time=0.133, optim0_lr0=6.411e-05, train_time=1.615 -[gpua010:0/64] 2023-12-17 09:24:39,563 (trainer:737) INFO: 39epoch:train:14101-14200batch: iter_time=8.012e-05, forward_time=0.261, loss_ctc=50.640, loss_att=40.021, acc=0.737, loss=43.206, backward_time=0.326, grad_norm=91.928, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.142, optim0_lr0=6.411e-05, train_time=1.720 -[gpua010:0/64] 2023-12-17 09:27:48,176 (trainer:737) INFO: 39epoch:train:14201-14300batch: iter_time=8.142e-05, forward_time=0.146, loss_ctc=71.471, loss_att=60.389, acc=0.716, loss=63.714, backward_time=0.332, grad_norm=69.203, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.410e-05, train_time=1.886 -[gpua010:0/64] 2023-12-17 09:30:12,943 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua010:0/64] 2023-12-17 09:30:44,250 (trainer:737) INFO: 39epoch:train:14301-14400batch: iter_time=7.929e-05, forward_time=0.254, loss_ctc=61.586, loss_att=44.488, acc=0.747, loss=49.617, backward_time=0.308, grad_norm=65.084, clip=100.000, loss_scale=3.811e+31, optim_step_time=0.136, optim0_lr0=6.409e-05, train_time=1.761 -[gpua010:0/64] 2023-12-17 09:33:20,713 (trainer:737) INFO: 39epoch:train:14401-14500batch: iter_time=8.747e-05, forward_time=0.149, loss_ctc=62.927, loss_att=48.336, acc=0.731, loss=52.713, backward_time=0.290, grad_norm=68.992, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.409e-05, train_time=1.563 -[gpua010:0/64] 2023-12-17 09:35:54,020 (trainer:737) INFO: 39epoch:train:14501-14600batch: iter_time=9.117e-05, forward_time=0.225, loss_ctc=56.180, loss_att=41.913, acc=0.745, loss=46.193, backward_time=0.304, grad_norm=78.610, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.408e-05, train_time=1.534 -[gpua010:0/64] 2023-12-17 09:39:28,034 (trainer:737) INFO: 39epoch:train:14601-14700batch: iter_time=9.595e-05, forward_time=0.148, loss_ctc=60.822, loss_att=50.181, acc=0.730, loss=53.373, backward_time=0.744, grad_norm=103.161, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.408e-05, train_time=2.139 -[gpua010:0/64] 2023-12-17 09:42:45,317 (trainer:737) INFO: 39epoch:train:14701-14800batch: iter_time=8.762e-05, forward_time=0.308, loss_ctc=58.172, loss_att=42.563, acc=0.743, loss=47.246, backward_time=0.355, grad_norm=128.660, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.407e-05, train_time=1.974 -[gpua010:0/64] 2023-12-17 09:46:19,608 (trainer:737) INFO: 39epoch:train:14801-14900batch: iter_time=9.345e-05, forward_time=0.147, loss_ctc=52.233, loss_att=38.180, acc=0.762, loss=42.396, backward_time=0.405, grad_norm=65.742, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.407e-05, train_time=2.143 -[gpua010:0/64] 2023-12-17 09:49:53,544 (trainer:737) INFO: 39epoch:train:14901-15000batch: iter_time=2.335e-04, forward_time=0.250, loss_ctc=68.155, loss_att=55.785, acc=0.724, loss=59.496, backward_time=0.389, grad_norm=134.695, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.406e-05, train_time=2.138 -[gpua010:0/64] 2023-12-17 10:17:23,596 (trainer:343) INFO: 39epoch results: [train] iter_time=0.293, forward_time=0.181, loss_ctc=62.097, loss_att=48.698, acc=0.738, loss=52.718, backward_time=0.310, grad_norm=103.295, clip=100.000, loss_scale=1.839e+31, optim_step_time=0.135, optim0_lr0=6.448e-05, train_time=1.840, time=7 hours, 40 minutes and 26.84 seconds, total_count=585000, gpu_max_cached_mem_GB=36.826, [valid] loss_ctc=32.899, cer_ctc=0.170, loss_att=32.805, acc=0.733, cer=0.313, wer=0.977, loss=32.833, time=27 minutes and 5.79 seconds, total_count=182169, gpu_max_cached_mem_GB=36.826 -[gpua010:0/64] 2023-12-17 10:17:42,955 (trainer:391) INFO: The best model has been updated: valid.total_count -[gpua010:0/64] 2023-12-17 10:17:42,963 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/34epoch.pth -[gpua010:0/64] 2023-12-17 10:17:42,964 (trainer:272) INFO: 40/40epoch started. Estimated time to finish: 8 hours, 20 minutes and 50.81 seconds -[gpua010:0/64] 2023-12-17 10:17:42,975 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua010:0/64] 2023-12-17 10:18:00,830 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-17 10:18:04,170 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-17 10:18:04,170 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua010:0/64] 2023-12-17 10:18:04,174 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-17 10:28:13,932 (trainer:737) INFO: 40epoch:train:1-100batch: iter_time=5.017, forward_time=0.190, loss_ctc=66.526, loss_att=53.784, acc=0.708, loss=57.607, backward_time=0.286, grad_norm=102.508, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.406e-05, train_time=6.308 -[gpua010:0/64] 2023-12-17 10:30:39,577 (trainer:737) INFO: 40epoch:train:101-200batch: iter_time=2.924e-04, forward_time=0.262, loss_ctc=70.473, loss_att=57.877, acc=0.706, loss=61.656, backward_time=0.311, grad_norm=80.469, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.145, optim0_lr0=6.405e-05, train_time=1.457 -[gpua010:0/64] 2023-12-17 10:33:04,023 (trainer:737) INFO: 40epoch:train:201-300batch: iter_time=4.775e-04, forward_time=0.285, loss_ctc=60.343, loss_att=46.667, acc=0.722, loss=50.770, backward_time=0.316, grad_norm=70.739, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.405e-05, train_time=1.442 -[gpua010:0/64] 2023-12-17 10:35:26,880 (trainer:737) INFO: 40epoch:train:301-400batch: iter_time=8.034e-05, forward_time=0.147, loss_ctc=65.795, loss_att=49.653, acc=0.730, loss=54.496, backward_time=0.291, grad_norm=71.461, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.404e-05, train_time=1.430 -[gpua010:0/64] 2023-12-17 10:37:56,011 (trainer:737) INFO: 40epoch:train:401-500batch: iter_time=3.331e-04, forward_time=0.266, loss_ctc=66.229, loss_att=54.162, acc=0.712, loss=57.782, backward_time=0.312, grad_norm=70.931, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.403e-05, train_time=1.490 -[gpua010:0/64] 2023-12-17 10:40:09,585 (trainer:737) INFO: 40epoch:train:501-600batch: iter_time=8.311e-05, forward_time=0.147, loss_ctc=74.033, loss_att=62.564, acc=0.697, loss=66.004, backward_time=0.279, grad_norm=72.571, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.403e-05, train_time=1.336 -[gpua010:0/64] 2023-12-17 10:42:48,399 (trainer:737) INFO: 40epoch:train:601-700batch: iter_time=2.729e-04, forward_time=0.235, loss_ctc=58.808, loss_att=44.732, acc=0.723, loss=48.955, backward_time=0.340, grad_norm=66.064, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.402e-05, train_time=1.588 -[gpua010:0/64] 2023-12-17 10:45:37,163 (trainer:737) INFO: 40epoch:train:701-800batch: iter_time=8.035e-05, forward_time=0.146, loss_ctc=63.307, loss_att=45.029, acc=0.737, loss=50.513, backward_time=0.300, grad_norm=82.561, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.402e-05, train_time=1.688 -[gpua010:0/64] 2023-12-17 10:48:25,585 (trainer:737) INFO: 40epoch:train:801-900batch: iter_time=3.890e-04, forward_time=0.244, loss_ctc=74.020, loss_att=57.920, acc=0.728, loss=62.750, backward_time=0.325, grad_norm=75.647, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.401e-05, train_time=1.684 -[gpua010:0/64] 2023-12-17 10:51:01,681 (trainer:737) INFO: 40epoch:train:901-1000batch: iter_time=1.087e-04, forward_time=0.188, loss_ctc=65.064, loss_att=51.846, acc=0.726, loss=55.811, backward_time=0.306, grad_norm=85.030, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.401e-05, train_time=1.559 -[gpua010:0/64] 2023-12-17 10:53:34,187 (trainer:737) INFO: 40epoch:train:1001-1100batch: iter_time=8.888e-05, forward_time=0.202, loss_ctc=57.995, loss_att=48.327, acc=0.717, loss=51.227, backward_time=0.325, grad_norm=91.087, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.400e-05, train_time=1.527 -[gpua010:0/64] 2023-12-17 10:56:09,195 (trainer:737) INFO: 40epoch:train:1101-1200batch: iter_time=2.388e-04, forward_time=0.159, loss_ctc=76.602, loss_att=66.067, acc=0.699, loss=69.227, backward_time=0.313, grad_norm=99.218, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.400e-05, train_time=1.549 -[gpua010:0/64] 2023-12-17 10:57:48,822 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua010:0/64] 2023-12-17 10:58:07,170 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua010:0/64] 2023-12-17 10:58:10,502 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua010:0/64] 2023-12-17 10:58:10,502 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua010:0/64] 2023-12-17 10:58:10,507 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua010:0/64] 2023-12-17 11:03:25,418 (trainer:737) INFO: 40epoch:train:1201-1300batch: iter_time=2.301, forward_time=0.205, loss_ctc=72.026, loss_att=56.037, acc=0.711, loss=60.833, backward_time=0.313, grad_norm=110.929, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.399e-05, train_time=4.363 -[gpua010:0/64] 2023-12-17 11:05:30,128 (trainer:737) INFO: 40epoch:train:1301-1400batch: iter_time=8.443e-05, forward_time=0.148, loss_ctc=63.694, loss_att=50.893, acc=0.721, loss=54.734, backward_time=0.278, grad_norm=89.688, clip=100.000, loss_scale=2.272e+31, optim_step_time=0.133, optim0_lr0=6.399e-05, train_time=1.247 -[gpua010:0/64] 2023-12-17 11:08:10,543 (trainer:737) INFO: 40epoch:train:1401-1500batch: iter_time=8.275e-05, forward_time=0.190, loss_ctc=63.381, loss_att=52.428, acc=0.718, loss=55.714, backward_time=0.404, grad_norm=92.688, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.398e-05, train_time=1.603 -[gpua010:0/64] 2023-12-17 11:10:29,915 (trainer:737) INFO: 40epoch:train:1501-1600batch: iter_time=8.709e-05, forward_time=0.161, loss_ctc=60.607, loss_att=44.149, acc=0.734, loss=49.086, backward_time=0.283, grad_norm=85.023, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.397e-05, train_time=1.394 -[gpua010:0/64] 2023-12-17 11:12:52,146 (trainer:737) INFO: 40epoch:train:1601-1700batch: iter_time=8.847e-05, forward_time=0.148, loss_ctc=69.148, loss_att=54.084, acc=0.723, loss=58.603, backward_time=0.315, grad_norm=83.792, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.397e-05, train_time=1.422 -[gpua010:0/64] 2023-12-17 11:15:44,730 (trainer:737) INFO: 40epoch:train:1701-1800batch: iter_time=8.844e-05, forward_time=0.176, loss_ctc=71.170, loss_att=56.160, acc=0.713, loss=60.663, backward_time=0.328, grad_norm=66.620, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.396e-05, train_time=1.726 -[gpua010:0/64] 2023-12-17 11:18:12,217 (trainer:737) INFO: 40epoch:train:1801-1900batch: iter_time=9.143e-05, forward_time=0.174, loss_ctc=65.401, loss_att=53.612, acc=0.710, loss=57.148, backward_time=0.311, grad_norm=89.142, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.396e-05, train_time=1.474 -srun: Job step aborted: Waiting up to 32 seconds for job step to finish. -slurmstepd: error: *** STEP 2751183.0 ON gpua010 CANCELLED AT 2023-12-17T11:20:24 *** diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.4.log b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.4.log deleted file mode 100644 index c63a7e3e1f2853d0c5304e73b4f7f9c9dbe5417f..0000000000000000000000000000000000000000 --- a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.4.log +++ /dev/null @@ -1,4125 +0,0 @@ -# Running on gpua001.delta.ncsa.illinois.edu -# Started at Tue Dec 12 21:59:28 CST 2023 -# SLURMD_NODENAME=gpua001 -# SLURM_CLUSTER_NAME=delta -# SLURM_CONF=/var/spool/slurmd/conf-cache/slurm.conf -# SLURM_CPUS_ON_NODE=64 -# SLURM_CPUS_PER_TASK=64 -# SLURM_EXPORT_ENV=PATH -# SLURM_GET_USER_ENV=1 -# SLURM_GPUS_ON_NODE=4 -# SLURM_GTIDS=0 -# SLURM_JOBID=2746992 -# SLURM_JOB_ACCOUNT=bbjs-delta-gpu -# SLURM_JOB_CPUS_PER_NODE='64(x16)' -# SLURM_JOB_END_TIME=1702612751 -# SLURM_JOB_GID=202 -# SLURM_JOB_GPUS=0,1,2,3 -# SLURM_JOB_ID=2746992 -# SLURM_JOB_NAME=exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.log -# SLURM_JOB_NODELIST='gpua[001,006-008,025-026,028,031,046-047,056-057,082,085-086,088]' -# SLURM_JOB_NUM_NODES=16 -# SLURM_JOB_PARTITION=gpuA100x4 -# SLURM_JOB_QOS=bbjs-delta-gpu -# SLURM_JOB_START_TIME=1702439951 -# SLURM_JOB_UID=68077 -# SLURM_JOB_USER=peng6 -# SLURM_LOCALID=0 -# SLURM_MEM_PER_NODE=240000 -# SLURM_NNODES=16 -# SLURM_NODEID=0 -# SLURM_NODELIST='gpua[001,006-008,025-026,028,031,046-047,056-057,082,085-086,088]' -# SLURM_NODE_ALIASES='(null)' -# SLURM_OPEN_MODE=a -# SLURM_PRIO_PROCESS=0 -# SLURM_PROCID=0 -# SLURM_SUBMIT_DIR=/scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1 -# SLURM_SUBMIT_HOST=dt-login01.delta.ncsa.illinois.edu -# SLURM_TASKS_PER_NODE='1(x16)' -# SLURM_TASK_PID=2078137 -# SLURM_TOPOLOGY_ADDR=ss00.ss05.gpua001 -# SLURM_TOPOLOGY_ADDR_PATTERN=switch.switch.node -# SLURM_WORKING_CLUSTER=delta:dt-sched:6817:9984:109 -# srun --export=ALL python3 -m espnet2.bin.s2t_train --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 -/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 -/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 -/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 -/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 -/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 -/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 -[gpua001:0/64] 2023-12-12 21:59:40,130 (distributed_c10d:319) INFO: Added key: store_based_barrier_key:1 to store for rank: 0 -[gpua001:0/64] 2023-12-12 21:59:50,199 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=36, timeout=0:30:00) -[gpua001:0/64] 2023-12-12 22:00:00,243 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=36, timeout=0:30:00) -[gpua001:0/64] 2023-12-12 22:00:10,266 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=36, timeout=0:30:00) -[gpua001:0/64] 2023-12-12 22:00:20,288 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=36, timeout=0:30:00) -[gpua001:0/64] 2023-12-12 22:00:30,332 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=36, timeout=0:30:00) -[gpua001:0/64] 2023-12-12 22:00:40,365 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=36, timeout=0:30:00) -/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 -[gpua001:0/64] 2023-12-12 22:00:50,441 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=36, timeout=0:30:00) -[gpua001:0/64] 2023-12-12 22:01:00,474 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) -[gpua001:0/64] 2023-12-12 22:01:10,521 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) -[gpua001:0/64] 2023-12-12 22:01:20,574 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) -[gpua001:0/64] 2023-12-12 22:01:30,616 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) -[gpua001:0/64] 2023-12-12 22:01:40,659 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) -[gpua001:0/64] 2023-12-12 22:01:50,672 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) -[gpua001:0/64] 2023-12-12 22:02:00,681 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) -[gpua001:0/64] 2023-12-12 22:02:10,690 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) -[gpua001:0/64] 2023-12-12 22:02:20,755 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) -[gpua001:0/64] 2023-12-12 22:02:30,807 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) -[gpua001:0/64] 2023-12-12 22:02:40,851 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) -[gpua001:0/64] 2023-12-12 22:02:50,897 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) -[gpua001:0/64] 2023-12-12 22:03:00,950 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) -[gpua001:0/64] 2023-12-12 22:03:10,975 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) -[gpua001:0/64] 2023-12-12 22:03:21,001 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) -[gpua001:0/64] 2023-12-12 22:03:31,016 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) -[gpua001:0/64] 2023-12-12 22:03:41,071 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) -/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 -[gpua001:0/64] 2023-12-12 22:03:51,291 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=46, timeout=0:30:00) -[gpua001:0/64] 2023-12-12 22:04:00,491 (distributed_c10d:353) INFO: Rank 0: Completed store-based barrier for key:store_based_barrier_key:1 with 64 nodes. -[gpua001:0/64] 2023-12-12 22:04:00,563 (s2t:464) INFO: Vocabulary size: 50002 -[gpua001:0/64] 2023-12-12 22:04:12,460 (abs_task:1231) INFO: pytorch.version=1.13.1, cuda.available=True, cudnn.version=8500, cudnn.benchmark=False, cudnn.deterministic=True -[gpua001:0/64] 2023-12-12 22:04:12,470 (abs_task:1232) INFO: Model structure: -ESPnetS2TModel( - (frontend): DefaultFrontend( - (stft): Stft(n_fft=512, win_length=400, hop_length=160, center=True, normalized=False, onesided=True) - (frontend): Frontend() - (logmel): LogMel(sr=16000, n_fft=512, n_mels=80, fmin=0, fmax=8000.0, htk=False) - ) - (specaug): SpecAug( - (freq_mask): MaskAlongAxis(mask_width_range=[0, 27], num_mask=2, axis=freq) - (time_mask): MaskAlongAxisVariableMaxWidth(mask_width_ratio_range=[0.0, 0.05], num_mask=10, axis=time) - ) - (normalize): GlobalMVN(stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz, norm_means=True, norm_vars=True) - (encoder): EBranchformerEncoder( - (embed): Conv2dSubsampling( - (conv): Sequential( - (0): Conv2d(1, 1024, kernel_size=(3, 3), stride=(2, 2)) - (1): ReLU() - (2): Conv2d(1024, 1024, kernel_size=(3, 3), stride=(2, 2)) - (3): ReLU() - ) - (out): Sequential( - (0): Linear(in_features=19456, out_features=1024, bias=True) - (1): PositionalEncoding( - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - ) - (encoders): MultiSequential( - (0): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (1): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (2): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (3): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (4): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (5): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (6): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (7): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (8): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (9): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (10): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (11): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (12): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (13): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (14): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (15): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (16): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (17): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - ) - (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - ) - (decoder): TransformerDecoder( - (embed): Sequential( - (0): Embedding(50002, 1024) - (1): PositionalEncoding( - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (output_layer): Linear(in_features=1024, out_features=50002, bias=True) - (decoders): MultiSequential( - (0): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (1): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (2): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (3): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (4): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (5): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (6): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (7): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (8): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (9): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (10): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (11): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (12): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (13): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (14): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (15): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (16): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (17): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - ) - (criterion_att): LabelSmoothingLoss( - (criterion): KLDivLoss() - ) - (ctc): CTC( - (ctc_lo): Linear(in_features=1024, out_features=50002, bias=True) - (ctc_loss): CTCLoss() - ) -) - -Model summary: - Class Name: ESPnetS2TModel - Total Number of model parameters: 1.02 B - Number of trainable parameters: 1.02 B (100.0%) - Size: 4.07 GB - Type: torch.float32 -[gpua001:0/64] 2023-12-12 22:04:12,471 (abs_task:1235) INFO: Optimizer: -AdamW ( -Parameter Group 0 - amsgrad: False - betas: [0.9, 0.98] - capturable: False - eps: 1e-06 - foreach: None - initial_lr: 0.0002 - lr: 1.6666666666666667e-09 - maximize: False - weight_decay: 0.0 -) -[gpua001:0/64] 2023-12-12 22:04:12,471 (abs_task:1236) INFO: Scheduler: PiecewiseLinearWarmupLR(warmup_steps_list=[0, 30000, 60000], warmup_lr_list=[0.0, 5e-05, 0.0002]) -[gpua001:0/64] 2023-12-12 22:04:12,522 (abs_task:1245) INFO: Saving the configuration in exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/config.yaml -[gpua001:0/64] 2023-12-12 22:04:17,910 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 22:04:18,860 (abs_task:1616) INFO: [valid] dataset: -ESPnetDataset( - speech: {"path": "dump/raw/dev_v3/wav.scp", "type": "kaldi_ark"} - text_prev: {"path": "dump/raw/dev_v3/text.prev", "type": "text"} - text_ctc: {"path": "dump/raw/dev_v3/text.ctc", "type": "text"} - text: {"path": "dump/raw/dev_v3/text", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 22:04:18,860 (abs_task:1617) INFO: [valid] Batch sampler: UnsortedBatchSampler(N-batch=4671, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/valid/speech_shape, -[gpua001:0/64] 2023-12-12 22:04:18,861 (abs_task:1618) INFO: [valid] mini-batch sizes summary: N-batch=4671, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 22:04:49,741 (trainer:159) INFO: The training was resumed using exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/checkpoint.pth -gpua001:2078204:2078204 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.1<0> -gpua001:2078204:2078204 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua001:2078204:2078204 [0] NCCL INFO cudaDriverVersion 12020 -NCCL version 2.14.3+cuda11.7 -[gpua001:0/64] 2023-12-12 22:04:56,522 (trainer:284) INFO: 30/40epoch started -[gpua001:0/64] 2023-12-12 22:04:56,591 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua001:0/64] 2023-12-12 22:05:14,528 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 22:05:17,922 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 22:05:17,922 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua001:0/64] 2023-12-12 22:05:17,925 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -gpua046:1183481:1183481 [1] NCCL INFO cudaDriverVersion 12020 -gpua046:1183481:1183481 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.46<0> -gpua046:1183481:1183481 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua046:1183481:1183639 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.46<0> -gpua046:1183481:1183639 [1] NCCL INFO Using network IB -gpua046:1183481:1183639 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua046:1183481:1183639 [1] NCCL INFO Trees [0] 34/16/-1->33->32 [1] 34/-1/-1->33->32 -gpua046:1183481:1183639 [1] NCCL INFO Channel 00/0 : 33[46000] -> 34[85000] via P2P/IPC/read -gpua046:1183481:1183639 [1] NCCL INFO Channel 01/0 : 33[46000] -> 34[85000] via P2P/IPC/read -gpua046:1183481:1183639 [1] NCCL INFO Connected all rings -gpua046:1183481:1183639 [1] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [receive] via NET/IB/0 -gpua046:1183481:1183639 [1] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [send] via NET/IB/0 -gpua046:1183481:1183639 [1] NCCL INFO Channel 00/0 : 33[46000] -> 32[7000] via P2P/IPC/read -gpua046:1183481:1183639 [1] NCCL INFO Channel 01/0 : 33[46000] -> 32[7000] via P2P/IPC/read -gpua046:1183481:1183639 [1] NCCL INFO Connected all trees -gpua046:1183481:1183639 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua046:1183481:1183639 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua046:1183481:1183639 [1] NCCL INFO comm 0xf3809d0 rank 33 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua006:3131589:3131589 [2] NCCL INFO cudaDriverVersion 12020 -gpua006:3131589:3131589 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> -gpua006:3131589:3131589 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua006:3131589:3131748 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> -gpua006:3131589:3131748 [2] NCCL INFO Using network IB -gpua006:3131589:3131748 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua006:3131589:3131748 [2] NCCL INFO Trees [0] 7/-1/-1->6->5 [1] 7/-1/-1->6->5 -gpua006:3131589:3131748 [2] NCCL INFO Channel 00/0 : 6[85000] -> 7[c7000] via P2P/IPC/read -gpua006:3131589:3131748 [2] NCCL INFO Channel 01/0 : 6[85000] -> 7[c7000] via P2P/IPC/read -gpua006:3131589:3131748 [2] NCCL INFO Connected all rings -gpua006:3131589:3131748 [2] NCCL INFO Channel 00/0 : 6[85000] -> 5[46000] via P2P/IPC/read -gpua006:3131589:3131748 [2] NCCL INFO Channel 01/0 : 6[85000] -> 5[46000] via P2P/IPC/read -gpua047:1244879:1244879 [0] NCCL INFO cudaDriverVersion 12020 -gpua047:1244879:1244879 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.47<0> -gpua047:1244879:1244879 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua047:1244879:1245046 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.47<0> -gpua047:1244879:1245046 [0] NCCL INFO Using network IB -gpua047:1244879:1245046 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua047:1244879:1245046 [0] NCCL INFO Trees [0] 37/-1/-1->36->41 [1] 37/32/-1->36->44 -gpua047:1244879:1245046 [0] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 -gpua047:1244879:1245046 [0] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 -gpua047:1244879:1245046 [0] NCCL INFO Channel 00/0 : 36[7000] -> 37[46000] via P2P/IPC/read -gpua047:1244879:1245046 [0] NCCL INFO Channel 01/0 : 36[7000] -> 37[46000] via P2P/IPC/read -gpua047:1244879:1245046 [0] NCCL INFO Connected all rings -gpua006:3131589:3131748 [2] NCCL INFO Connected all trees -gpua006:3131589:3131748 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua006:3131589:3131748 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua006:3131589:3131748 [2] NCCL INFO comm 0x403ece90 rank 6 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua047:1244879:1245046 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [receive] via NET/IB/0 -gpua047:1244879:1245046 [0] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [send] via NET/IB/0 -gpua047:1244879:1245046 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [send] via NET/IB/0 -gpua047:1244879:1245046 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [receive] via NET/IB/0 -gpua047:1244879:1245046 [0] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [receive] via NET/IB/0 -gpua047:1244879:1245046 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [send] via NET/IB/0 -gpua047:1244879:1245046 [0] NCCL INFO Connected all trees -gpua047:1244879:1245046 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua047:1244879:1245046 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua047:1244879:1245046 [0] NCCL INFO comm 0x7f4ac9ff9560 rank 36 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua047:1244881:1244881 [2] NCCL INFO cudaDriverVersion 12020 -gpua047:1244881:1244881 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.47<0> -gpua047:1244881:1244881 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua047:1244881:1245044 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.47<0> -gpua047:1244881:1245044 [2] NCCL INFO Using network IB -gpua047:1244881:1245044 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua047:1244881:1245044 [2] NCCL INFO Trees [0] 39/-1/-1->38->37 [1] 39/-1/-1->38->37 -gpua047:1244881:1245044 [2] NCCL INFO Channel 00/0 : 38[85000] -> 39[c7000] via P2P/IPC/read -gpua047:1244881:1245044 [2] NCCL INFO Channel 01/0 : 38[85000] -> 39[c7000] via P2P/IPC/read -gpua047:1244881:1245044 [2] NCCL INFO Connected all rings -gpua047:1244881:1245044 [2] NCCL INFO Channel 00/0 : 38[85000] -> 37[46000] via P2P/IPC/read -gpua047:1244881:1245044 [2] NCCL INFO Channel 01/0 : 38[85000] -> 37[46000] via P2P/IPC/read -gpua047:1244881:1245044 [2] NCCL INFO Connected all trees -gpua047:1244881:1245044 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua047:1244881:1245044 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua047:1244881:1245044 [2] NCCL INFO comm 0x4e288800 rank 38 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua082:957371:957371 [2] NCCL INFO cudaDriverVersion 12020 -gpua082:957371:957371 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> -gpua082:957371:957371 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua082:957371:957534 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> -gpua082:957371:957534 [2] NCCL INFO Using network IB -gpua082:957371:957534 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua082:957371:957534 [2] NCCL INFO Trees [0] 51/-1/-1->50->49 [1] 51/-1/-1->50->49 -gpua082:957371:957534 [2] NCCL INFO Channel 00/0 : 50[85000] -> 51[c7000] via P2P/IPC/read -gpua082:957371:957534 [2] NCCL INFO Channel 01/0 : 50[85000] -> 51[c7000] via P2P/IPC/read -gpua082:957371:957534 [2] NCCL INFO Connected all rings -gpua082:957371:957534 [2] NCCL INFO Channel 00/0 : 50[85000] -> 49[46000] via P2P/IPC/read -gpua082:957371:957534 [2] NCCL INFO Channel 01/0 : 50[85000] -> 49[46000] via P2P/IPC/read -gpua082:957371:957534 [2] NCCL INFO Connected all trees -gpua082:957371:957534 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua082:957371:957534 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua082:957371:957534 [2] NCCL INFO comm 0xb5c9b80 rank 50 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua047:1244882:1244882 [3] NCCL INFO cudaDriverVersion 12020 -gpua047:1244882:1244882 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.47<0> -gpua047:1244882:1244882 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua047:1244882:1245047 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.47<0> -gpua047:1244882:1245047 [3] NCCL INFO Using network IB -gpua047:1244882:1245047 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua047:1244882:1245047 [3] NCCL INFO Trees [0] -1/-1/-1->39->38 [1] -1/-1/-1->39->38 -gpua047:1244882:1245047 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 -gpua047:1244882:1245047 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 -gpua047:1244882:1245047 [3] NCCL INFO Connected all rings -gpua047:1244882:1245047 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 38[85000] via P2P/IPC/read -gpua047:1244882:1245047 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 38[85000] via P2P/IPC/read -gpua047:1244882:1245047 [3] NCCL INFO Connected all trees -gpua047:1244882:1245047 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua047:1244882:1245047 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua047:1244882:1245047 [3] NCCL INFO comm 0x7f81a0ffa560 rank 39 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua082:957369:957369 [0] NCCL INFO cudaDriverVersion 12020 -gpua082:957369:957369 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> -gpua082:957369:957369 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua082:957369:957535 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> -gpua082:957369:957535 [0] NCCL INFO Using network IB -gpua082:957369:957535 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua082:957369:957535 [0] NCCL INFO Trees [0] 49/56/-1->48->32 [1] 49/-1/-1->48->52 -gpua082:957369:957535 [0] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 -gpua082:957369:957535 [0] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 -gpua082:957369:957535 [0] NCCL INFO Channel 00/0 : 48[7000] -> 49[46000] via P2P/IPC/read -gpua082:957369:957535 [0] NCCL INFO Channel 01/0 : 48[7000] -> 49[46000] via P2P/IPC/read -gpua082:957369:957535 [0] NCCL INFO Connected all rings -gpua082:957369:957535 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [send] via NET/IB/0 -gpua082:957369:957535 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [send] via NET/IB/0 -gpua082:957369:957535 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [receive] via NET/IB/0 -gpua082:957369:957535 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [send] via NET/IB/0 -gpua082:957369:957535 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [receive] via NET/IB/0 -gpua082:957369:957535 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [receive] via NET/IB/0 -gpua082:957369:957535 [0] NCCL INFO Connected all trees -gpua082:957369:957535 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua082:957369:957535 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua082:957369:957535 [0] NCCL INFO comm 0x1c01bfb0 rank 48 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua007:736765:736765 [0] NCCL INFO cudaDriverVersion 12020 -gpua007:736765:736765 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> -gpua007:736765:736765 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua007:736765:736925 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> -gpua007:736765:736925 [0] NCCL INFO Using network IB -gpua007:736765:736925 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua007:736765:736925 [0] NCCL INFO Trees [0] 9/12/-1->8->17 [1] 9/-1/-1->8->5 -gpua007:736765:736925 [0] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 -gpua007:736765:736925 [0] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 -gpua007:736765:736925 [0] NCCL INFO Channel 00/0 : 8[7000] -> 9[46000] via P2P/IPC/read -gpua007:736765:736925 [0] NCCL INFO Channel 01/0 : 8[7000] -> 9[46000] via P2P/IPC/read -gpua007:736765:736925 [0] NCCL INFO Connected all rings -gpua007:736765:736925 [0] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [receive] via NET/IB/0 -gpua007:736765:736925 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [send] via NET/IB/0 -gpua007:736765:736925 [0] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [send] via NET/IB/0 -gpua007:736765:736925 [0] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [receive] via NET/IB/0 -gpua007:736765:736925 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [receive] via NET/IB/0 -gpua007:736765:736925 [0] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [send] via NET/IB/0 -gpua007:736765:736925 [0] NCCL INFO Connected all trees -gpua007:736765:736925 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua007:736765:736925 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua007:736765:736925 [0] NCCL INFO comm 0xe0c1ac0 rank 8 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua082:957370:957370 [1] NCCL INFO cudaDriverVersion 12020 -gpua082:957370:957370 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> -gpua082:957370:957370 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua082:957370:957537 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> -gpua082:957370:957537 [1] NCCL INFO Using network IB -gpua082:957370:957537 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua082:957370:957537 [1] NCCL INFO Trees [0] 50/40/-1->49->48 [1] 50/-1/-1->49->48 -gpua082:957370:957537 [1] NCCL INFO Channel 00/0 : 49[46000] -> 50[85000] via P2P/IPC/read -gpua082:957370:957537 [1] NCCL INFO Channel 01/0 : 49[46000] -> 50[85000] via P2P/IPC/read -gpua082:957370:957537 [1] NCCL INFO Connected all rings -gpua082:957370:957537 [1] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [receive] via NET/IB/0 -gpua082:957370:957537 [1] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [send] via NET/IB/0 -gpua082:957370:957537 [1] NCCL INFO Channel 00/0 : 49[46000] -> 48[7000] via P2P/IPC/read -gpua082:957370:957537 [1] NCCL INFO Channel 01/0 : 49[46000] -> 48[7000] via P2P/IPC/read -gpua082:957370:957537 [1] NCCL INFO Connected all trees -gpua082:957370:957537 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua082:957370:957537 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua082:957370:957537 [1] NCCL INFO comm 0x15d4ca00 rank 49 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua031:1117011:1117011 [1] NCCL INFO cudaDriverVersion 12020 -gpua031:1117011:1117011 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> -gpua031:1117011:1117011 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua031:1117011:1117165 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> -gpua031:1117011:1117165 [1] NCCL INFO Using network IB -gpua031:1117011:1117165 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua031:1117011:1117165 [1] NCCL INFO Trees [0] 30/-1/-1->29->28 [1] 30/44/-1->29->28 -gpua031:1117011:1117165 [1] NCCL INFO Channel 00/0 : 29[46000] -> 30[85000] via P2P/IPC/read -gpua031:1117011:1117165 [1] NCCL INFO Channel 01/0 : 29[46000] -> 30[85000] via P2P/IPC/read -gpua031:1117011:1117165 [1] NCCL INFO Connected all rings -gpua031:1117011:1117165 [1] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [send] via NET/IB/0 -gpua031:1117011:1117165 [1] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [receive] via NET/IB/0 -gpua031:1117011:1117165 [1] NCCL INFO Channel 00/0 : 29[46000] -> 28[7000] via P2P/IPC/read -gpua031:1117011:1117165 [1] NCCL INFO Channel 01/0 : 29[46000] -> 28[7000] via P2P/IPC/read -gpua031:1117011:1117165 [1] NCCL INFO Connected all trees -gpua031:1117011:1117165 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua031:1117011:1117165 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua031:1117011:1117165 [1] NCCL INFO comm 0x9a9a5bd0 rank 29 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua008:2106625:2106625 [3] NCCL INFO cudaDriverVersion 12020 -gpua008:2106625:2106625 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.8<0> -gpua008:2106625:2106625 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua008:2106625:2106788 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.8<0> -gpua008:2106625:2106788 [3] NCCL INFO Using network IB -gpua008:2106625:2106788 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua008:2106625:2106788 [3] NCCL INFO Trees [0] -1/-1/-1->15->14 [1] -1/-1/-1->15->14 -gpua008:2106625:2106788 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 -gpua008:2106625:2106788 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 -gpua008:2106625:2106788 [3] NCCL INFO Connected all rings -gpua008:2106625:2106788 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 14[85000] via P2P/IPC/read -gpua008:2106625:2106788 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 14[85000] via P2P/IPC/read -gpua008:2106625:2106788 [3] NCCL INFO Connected all trees -gpua008:2106625:2106788 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua008:2106625:2106788 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua008:2106625:2106788 [3] NCCL INFO comm 0x1680cfd0 rank 15 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua006:3131590:3131590 [3] NCCL INFO cudaDriverVersion 12020 -gpua006:3131590:3131590 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> -gpua006:3131590:3131590 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua006:3131590:3131749 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> -gpua006:3131590:3131749 [3] NCCL INFO Using network IB -gpua006:3131590:3131749 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua006:3131590:3131749 [3] NCCL INFO Trees [0] -1/-1/-1->7->6 [1] -1/-1/-1->7->6 -gpua006:3131590:3131749 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 -gpua006:3131590:3131749 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 -gpua006:3131590:3131749 [3] NCCL INFO Connected all rings -gpua006:3131590:3131749 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 6[85000] via P2P/IPC/read -gpua006:3131590:3131749 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 6[85000] via P2P/IPC/read -gpua006:3131590:3131749 [3] NCCL INFO Connected all trees -gpua006:3131590:3131749 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua006:3131590:3131749 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua006:3131590:3131749 [3] NCCL INFO comm 0xb990810 rank 7 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua085:1581313:1581313 [1] NCCL INFO cudaDriverVersion 12020 -gpua085:1581313:1581313 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> -gpua085:1581313:1581313 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua085:1581313:1581377 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> -gpua085:1581313:1581377 [1] NCCL INFO Using network IB -gpua085:1581313:1581377 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua085:1581313:1581377 [1] NCCL INFO Trees [0] 54/-1/-1->53->52 [1] 54/56/-1->53->52 -gpua085:1581313:1581377 [1] NCCL INFO Channel 00/0 : 53[46000] -> 54[85000] via P2P/IPC/read -gpua085:1581313:1581377 [1] NCCL INFO Channel 01/0 : 53[46000] -> 54[85000] via P2P/IPC/read -gpua085:1581313:1581377 [1] NCCL INFO Connected all rings -gpua085:1581313:1581377 [1] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [send] via NET/IB/0 -gpua085:1581313:1581377 [1] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [receive] via NET/IB/0 -gpua085:1581313:1581377 [1] NCCL INFO Channel 00/0 : 53[46000] -> 52[7000] via P2P/IPC/read -gpua085:1581313:1581377 [1] NCCL INFO Channel 01/0 : 53[46000] -> 52[7000] via P2P/IPC/read -gpua085:1581313:1581377 [1] NCCL INFO Connected all trees -gpua085:1581313:1581377 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua085:1581313:1581377 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua085:1581313:1581377 [1] NCCL INFO comm 0xbdea260 rank 53 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua031:1117010:1117010 [0] NCCL INFO cudaDriverVersion 12020 -gpua031:1117010:1117010 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> -gpua031:1117010:1117010 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua031:1117010:1117163 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> -gpua031:1117010:1117163 [0] NCCL INFO Using network IB -gpua031:1117010:1117163 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua031:1117010:1117163 [0] NCCL INFO Trees [0] 29/-1/-1->28->24 [1] 29/12/-1->28->60 -gpua031:1117010:1117163 [0] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 -gpua031:1117010:1117163 [0] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 -gpua031:1117010:1117163 [0] NCCL INFO Channel 00/0 : 28[7000] -> 29[46000] via P2P/IPC/read -gpua031:1117010:1117163 [0] NCCL INFO Channel 01/0 : 28[7000] -> 29[46000] via P2P/IPC/read -gpua031:1117010:1117163 [0] NCCL INFO Connected all rings -gpua031:1117010:1117163 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [receive] via NET/IB/0 -gpua031:1117010:1117163 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [receive] via NET/IB/0 -gpua031:1117010:1117163 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [receive] via NET/IB/0 -gpua031:1117010:1117163 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [send] via NET/IB/0 -gpua031:1117010:1117163 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [send] via NET/IB/0 -gpua031:1117010:1117163 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [send] via NET/IB/0 -gpua031:1117010:1117163 [0] NCCL INFO Connected all trees -gpua031:1117010:1117163 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua031:1117010:1117163 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua031:1117010:1117163 [0] NCCL INFO comm 0xbede5f0 rank 28 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua088:1911481:1911481 [3] NCCL INFO cudaDriverVersion 12020 -gpua088:1911481:1911481 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.88<0> -gpua088:1911481:1911481 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua088:1911481:1911550 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.88<0> -gpua088:1911481:1911550 [3] NCCL INFO Using network IB -gpua088:1911481:1911550 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua088:1911481:1911550 [3] NCCL INFO Trees [0] -1/-1/-1->63->62 [1] -1/-1/-1->63->62 -gpua088:1911481:1911550 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 -gpua088:1911481:1911550 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 -gpua088:1911481:1911550 [3] NCCL INFO Connected all rings -gpua088:1911481:1911550 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 62[85000] via P2P/IPC/read -gpua088:1911481:1911550 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 62[85000] via P2P/IPC/read -gpua088:1911481:1911550 [3] NCCL INFO Connected all trees -gpua088:1911481:1911550 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua088:1911481:1911550 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua088:1911481:1911550 [3] NCCL INFO comm 0xd60c490 rank 63 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua086:1047479:1047479 [0] NCCL INFO cudaDriverVersion 12020 -gpua086:1047479:1047479 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> -gpua086:1047479:1047479 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua086:1047479:1047545 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> -gpua086:1047479:1047545 [0] NCCL INFO Using network IB -gpua086:1047479:1047545 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua086:1047479:1047545 [0] NCCL INFO Trees [0] 57/60/-1->56->48 [1] 57/-1/-1->56->53 -gpua086:1047479:1047545 [0] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 -gpua086:1047479:1047545 [0] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 -gpua086:1047479:1047545 [0] NCCL INFO Channel 00/0 : 56[7000] -> 57[46000] via P2P/IPC/read -gpua086:1047479:1047545 [0] NCCL INFO Channel 01/0 : 56[7000] -> 57[46000] via P2P/IPC/read -gpua086:1047479:1047545 [0] NCCL INFO Connected all rings -gpua001:2078207:2078207 [3] NCCL INFO cudaDriverVersion 12020 -gpua001:2078207:2078207 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.1<0> -gpua001:2078207:2078207 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua001:2078207:2078425 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.1<0> -gpua001:2078207:2078425 [3] NCCL INFO Using network IB -gpua001:2078207:2078425 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua001:2078207:2078425 [3] NCCL INFO Trees [0] -1/-1/-1->3->2 [1] -1/-1/-1->3->2 -gpua001:2078207:2078425 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 -gpua001:2078207:2078425 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 -gpua001:2078207:2078425 [3] NCCL INFO Connected all rings -gpua001:2078207:2078425 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 2[85000] via P2P/IPC/read -gpua001:2078207:2078425 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 2[85000] via P2P/IPC/read -gpua086:1047479:1047545 [0] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [receive] via NET/IB/0 -gpua086:1047479:1047545 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [send] via NET/IB/0 -gpua086:1047479:1047545 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [receive] via NET/IB/0 -gpua086:1047479:1047545 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [send] via NET/IB/0 -gpua086:1047479:1047545 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [receive] via NET/IB/0 -gpua086:1047479:1047545 [0] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [send] via NET/IB/0 -gpua086:1047479:1047545 [0] NCCL INFO Connected all trees -gpua086:1047479:1047545 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua086:1047479:1047545 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua086:1047479:1047545 [0] NCCL INFO comm 0xf58f1a0 rank 56 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua001:2078207:2078425 [3] NCCL INFO Connected all trees -gpua001:2078207:2078425 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua001:2078207:2078425 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua001:2078207:2078425 [3] NCCL INFO comm 0x11a8f7f0 rank 3 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua031:1117012:1117012 [2] NCCL INFO cudaDriverVersion 12020 -gpua031:1117012:1117012 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> -gpua031:1117012:1117012 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua031:1117012:1117164 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> -gpua031:1117012:1117164 [2] NCCL INFO Using network IB -gpua031:1117012:1117164 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua031:1117012:1117164 [2] NCCL INFO Trees [0] 31/-1/-1->30->29 [1] 31/-1/-1->30->29 -gpua031:1117012:1117164 [2] NCCL INFO Channel 00/0 : 30[85000] -> 31[c7000] via P2P/IPC/read -gpua031:1117012:1117164 [2] NCCL INFO Channel 01/0 : 30[85000] -> 31[c7000] via P2P/IPC/read -gpua031:1117012:1117164 [2] NCCL INFO Connected all rings -gpua031:1117012:1117164 [2] NCCL INFO Channel 00/0 : 30[85000] -> 29[46000] via P2P/IPC/read -gpua031:1117012:1117164 [2] NCCL INFO Channel 01/0 : 30[85000] -> 29[46000] via P2P/IPC/read -gpua031:1117012:1117164 [2] NCCL INFO Connected all trees -gpua031:1117012:1117164 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua031:1117012:1117164 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua031:1117012:1117164 [2] NCCL INFO comm 0xea58bde0 rank 30 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua031:1117013:1117013 [3] NCCL INFO cudaDriverVersion 12020 -gpua031:1117013:1117013 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> -gpua031:1117013:1117013 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua031:1117013:1117166 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> -gpua031:1117013:1117166 [3] NCCL INFO Using network IB -gpua031:1117013:1117166 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua031:1117013:1117166 [3] NCCL INFO Trees [0] -1/-1/-1->31->30 [1] -1/-1/-1->31->30 -gpua031:1117013:1117166 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 -gpua031:1117013:1117166 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 -gpua031:1117013:1117166 [3] NCCL INFO Connected all rings -gpua031:1117013:1117166 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 30[85000] via P2P/IPC/read -gpua031:1117013:1117166 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 30[85000] via P2P/IPC/read -gpua031:1117013:1117166 [3] NCCL INFO Connected all trees -gpua031:1117013:1117166 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua031:1117013:1117166 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua031:1117013:1117166 [3] NCCL INFO comm 0xe76d4ba0 rank 31 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua008:2106624:2106624 [2] NCCL INFO cudaDriverVersion 12020 -gpua008:2106624:2106624 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.8<0> -gpua008:2106624:2106624 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua008:2106624:2106790 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.8<0> -gpua008:2106624:2106790 [2] NCCL INFO Using network IB -gpua008:2106624:2106790 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua008:2106624:2106790 [2] NCCL INFO Trees [0] 15/-1/-1->14->13 [1] 15/-1/-1->14->13 -gpua008:2106624:2106790 [2] NCCL INFO Channel 00/0 : 14[85000] -> 15[c7000] via P2P/IPC/read -gpua008:2106624:2106790 [2] NCCL INFO Channel 01/0 : 14[85000] -> 15[c7000] via P2P/IPC/read -gpua008:2106624:2106790 [2] NCCL INFO Connected all rings -gpua008:2106624:2106790 [2] NCCL INFO Channel 00/0 : 14[85000] -> 13[46000] via P2P/IPC/read -gpua008:2106624:2106790 [2] NCCL INFO Channel 01/0 : 14[85000] -> 13[46000] via P2P/IPC/read -gpua008:2106624:2106790 [2] NCCL INFO Connected all trees -gpua008:2106624:2106790 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua008:2106624:2106790 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua008:2106624:2106790 [2] NCCL INFO comm 0xc6dcab0 rank 14 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua028:990457:990457 [2] NCCL INFO cudaDriverVersion 12020 -gpua028:990457:990457 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.28<0> -gpua028:990457:990457 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua028:990457:990524 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.28<0> -gpua028:990457:990524 [2] NCCL INFO Using network IB -gpua028:990457:990524 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua028:990457:990524 [2] NCCL INFO Trees [0] 27/-1/-1->26->25 [1] 27/-1/-1->26->25 -gpua028:990457:990524 [2] NCCL INFO Channel 00/0 : 26[85000] -> 27[c7000] via P2P/IPC/read -gpua028:990457:990524 [2] NCCL INFO Channel 01/0 : 26[85000] -> 27[c7000] via P2P/IPC/read -gpua028:990457:990524 [2] NCCL INFO Connected all rings -gpua028:990457:990524 [2] NCCL INFO Channel 00/0 : 26[85000] -> 25[46000] via P2P/IPC/read -gpua028:990457:990524 [2] NCCL INFO Channel 01/0 : 26[85000] -> 25[46000] via P2P/IPC/read -gpua028:990457:990524 [2] NCCL INFO Connected all trees -gpua028:990457:990524 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua028:990457:990524 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua028:990457:990524 [2] NCCL INFO comm 0x113bad00 rank 26 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua028:990458:990458 [3] NCCL INFO cudaDriverVersion 12020 -gpua028:990458:990458 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.28<0> -gpua028:990458:990458 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua028:990458:990525 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.28<0> -gpua028:990458:990525 [3] NCCL INFO Using network IB -gpua028:990458:990525 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua028:990458:990525 [3] NCCL INFO Trees [0] -1/-1/-1->27->26 [1] -1/-1/-1->27->26 -gpua028:990458:990525 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 -gpua028:990458:990525 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 -gpua028:990458:990525 [3] NCCL INFO Connected all rings -gpua028:990458:990525 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 26[85000] via P2P/IPC/read -gpua028:990458:990525 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 26[85000] via P2P/IPC/read -gpua028:990458:990525 [3] NCCL INFO Connected all trees -gpua028:990458:990525 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua028:990458:990525 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua028:990458:990525 [3] NCCL INFO comm 0x12099010 rank 27 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua056:1503506:1503506 [2] NCCL INFO cudaDriverVersion 12020 -gpua056:1503506:1503506 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> -gpua056:1503506:1503506 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua056:1503506:1503603 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> -gpua056:1503506:1503603 [2] NCCL INFO Using network IB -gpua056:1503506:1503603 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua056:1503506:1503603 [2] NCCL INFO Trees [0] 43/-1/-1->42->41 [1] 43/-1/-1->42->41 -gpua056:1503506:1503603 [2] NCCL INFO Channel 00/0 : 42[85000] -> 43[c7000] via P2P/IPC/read -gpua056:1503506:1503603 [2] NCCL INFO Channel 01/0 : 42[85000] -> 43[c7000] via P2P/IPC/read -gpua056:1503506:1503603 [2] NCCL INFO Connected all rings -gpua056:1503506:1503603 [2] NCCL INFO Channel 00/0 : 42[85000] -> 41[46000] via P2P/IPC/read -gpua056:1503506:1503603 [2] NCCL INFO Channel 01/0 : 42[85000] -> 41[46000] via P2P/IPC/read -gpua056:1503506:1503603 [2] NCCL INFO Connected all trees -gpua056:1503506:1503603 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua056:1503506:1503603 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua056:1503506:1503603 [2] NCCL INFO comm 0x1710f0b0 rank 42 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua006:3131588:3131588 [1] NCCL INFO cudaDriverVersion 12020 -gpua006:3131588:3131588 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> -gpua006:3131588:3131588 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua006:3131588:3131751 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> -gpua006:3131588:3131751 [1] NCCL INFO Using network IB -gpua006:3131588:3131751 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua006:3131588:3131751 [1] NCCL INFO Trees [0] 6/-1/-1->5->4 [1] 6/8/-1->5->4 -gpua006:3131588:3131751 [1] NCCL INFO Channel 00/0 : 5[46000] -> 6[85000] via P2P/IPC/read -gpua006:3131588:3131751 [1] NCCL INFO Channel 01/0 : 5[46000] -> 6[85000] via P2P/IPC/read -gpua006:3131588:3131751 [1] NCCL INFO Connected all rings -gpua006:3131588:3131751 [1] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [send] via NET/IB/0 -gpua006:3131588:3131751 [1] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [receive] via NET/IB/0 -gpua006:3131588:3131751 [1] NCCL INFO Channel 00/0 : 5[46000] -> 4[7000] via P2P/IPC/read -gpua006:3131588:3131751 [1] NCCL INFO Channel 01/0 : 5[46000] -> 4[7000] via P2P/IPC/read -gpua006:3131588:3131751 [1] NCCL INFO Connected all trees -gpua006:3131588:3131751 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua006:3131588:3131751 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua006:3131588:3131751 [1] NCCL INFO comm 0xe1aebe0 rank 5 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua056:1503504:1503504 [0] NCCL INFO cudaDriverVersion 12020 -gpua056:1503504:1503504 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> -gpua056:1503504:1503504 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua056:1503504:1503602 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> -gpua056:1503504:1503602 [0] NCCL INFO Using network IB -gpua056:1503504:1503602 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua056:1503504:1503602 [0] NCCL INFO Trees [0] 41/44/-1->40->49 [1] 41/-1/-1->40->37 -gpua056:1503504:1503602 [0] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 -gpua056:1503504:1503602 [0] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 -gpua056:1503504:1503602 [0] NCCL INFO Channel 00/0 : 40[7000] -> 41[46000] via P2P/IPC/read -gpua056:1503504:1503602 [0] NCCL INFO Channel 01/0 : 40[7000] -> 41[46000] via P2P/IPC/read -gpua056:1503504:1503602 [0] NCCL INFO Connected all rings -gpua056:1503504:1503602 [0] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [receive] via NET/IB/0 -gpua056:1503504:1503602 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [send] via NET/IB/0 -gpua056:1503504:1503602 [0] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [send] via NET/IB/0 -gpua056:1503504:1503602 [0] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [receive] via NET/IB/0 -gpua056:1503504:1503602 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [receive] via NET/IB/0 -gpua056:1503504:1503602 [0] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [send] via NET/IB/0 -gpua056:1503504:1503602 [0] NCCL INFO Connected all trees -gpua056:1503504:1503602 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua056:1503504:1503602 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua056:1503504:1503602 [0] NCCL INFO comm 0x97c14480 rank 40 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua056:1503505:1503505 [1] NCCL INFO cudaDriverVersion 12020 -gpua056:1503505:1503505 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> -gpua056:1503505:1503505 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua056:1503505:1503605 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> -gpua056:1503505:1503605 [1] NCCL INFO Using network IB -gpua056:1503505:1503605 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua056:1503505:1503605 [1] NCCL INFO Trees [0] 42/36/-1->41->40 [1] 42/-1/-1->41->40 -gpua056:1503505:1503605 [1] NCCL INFO Channel 00/0 : 41[46000] -> 42[85000] via P2P/IPC/read -gpua056:1503505:1503605 [1] NCCL INFO Channel 01/0 : 41[46000] -> 42[85000] via P2P/IPC/read -gpua056:1503505:1503605 [1] NCCL INFO Connected all rings -gpua056:1503505:1503605 [1] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [receive] via NET/IB/0 -gpua056:1503505:1503605 [1] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [send] via NET/IB/0 -gpua056:1503505:1503605 [1] NCCL INFO Channel 00/0 : 41[46000] -> 40[7000] via P2P/IPC/read -gpua056:1503505:1503605 [1] NCCL INFO Channel 01/0 : 41[46000] -> 40[7000] via P2P/IPC/read -gpua056:1503505:1503605 [1] NCCL INFO Connected all trees -gpua056:1503505:1503605 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua056:1503505:1503605 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua056:1503505:1503605 [1] NCCL INFO comm 0xd013680 rank 41 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua001:2078206:2078206 [2] NCCL INFO cudaDriverVersion 12020 -gpua001:2078206:2078206 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.1<0> -gpua001:2078206:2078206 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua001:2078206:2078426 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.1<0> -gpua001:2078206:2078426 [2] NCCL INFO Using network IB -gpua001:2078206:2078426 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua001:2078206:2078426 [2] NCCL INFO Trees [0] 3/-1/-1->2->1 [1] 3/-1/-1->2->1 -gpua001:2078206:2078426 [2] NCCL INFO Channel 00/0 : 2[85000] -> 3[c7000] via P2P/IPC/read -gpua001:2078206:2078426 [2] NCCL INFO Channel 01/0 : 2[85000] -> 3[c7000] via P2P/IPC/read -gpua001:2078206:2078426 [2] NCCL INFO Connected all rings -gpua001:2078206:2078426 [2] NCCL INFO Channel 00/0 : 2[85000] -> 1[46000] via P2P/IPC/read -gpua001:2078206:2078426 [2] NCCL INFO Channel 01/0 : 2[85000] -> 1[46000] via P2P/IPC/read -gpua001:2078206:2078426 [2] NCCL INFO Connected all trees -gpua001:2078206:2078426 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua001:2078206:2078426 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua001:2078206:2078426 [2] NCCL INFO comm 0xe99545a0 rank 2 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua025:809455:809455 [2] NCCL INFO cudaDriverVersion 12020 -gpua025:809455:809455 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.25<0> -gpua025:809455:809455 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua025:809455:809527 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.25<0> -gpua025:809455:809527 [2] NCCL INFO Using network IB -gpua025:809455:809527 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua025:809455:809527 [2] NCCL INFO Trees [0] 19/-1/-1->18->17 [1] 19/-1/-1->18->17 -gpua025:809455:809527 [2] NCCL INFO Channel 00/0 : 18[85000] -> 19[c7000] via P2P/IPC/read -gpua025:809455:809527 [2] NCCL INFO Channel 01/0 : 18[85000] -> 19[c7000] via P2P/IPC/read -gpua025:809455:809527 [2] NCCL INFO Connected all rings -gpua025:809455:809527 [2] NCCL INFO Channel 00/0 : 18[85000] -> 17[46000] via P2P/IPC/read -gpua025:809455:809527 [2] NCCL INFO Channel 01/0 : 18[85000] -> 17[46000] via P2P/IPC/read -gpua028:990455:990455 [0] NCCL INFO cudaDriverVersion 12020 -gpua028:990455:990455 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.28<0> -gpua028:990455:990455 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua028:990455:990526 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.28<0> -gpua028:990455:990526 [0] NCCL INFO Using network IB -gpua028:990455:990526 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua028:990455:990526 [0] NCCL INFO Trees [0] 25/28/-1->24->16 [1] 25/-1/-1->24->21 -gpua028:990455:990526 [0] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 -gpua028:990455:990526 [0] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 -gpua028:990455:990526 [0] NCCL INFO Channel 00/0 : 24[7000] -> 25[46000] via P2P/IPC/read -gpua028:990455:990526 [0] NCCL INFO Channel 01/0 : 24[7000] -> 25[46000] via P2P/IPC/read -gpua028:990455:990526 [0] NCCL INFO Connected all rings -gpua088:1911479:1911479 [1] NCCL INFO cudaDriverVersion 12020 -gpua088:1911479:1911479 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.88<0> -gpua088:1911479:1911479 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua088:1911479:1911549 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.88<0> -gpua088:1911479:1911549 [1] NCCL INFO Using network IB -gpua088:1911479:1911549 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua088:1911479:1911549 [1] NCCL INFO Trees [0] 62/-1/-1->61->60 [1] 62/-1/-1->61->60 -gpua088:1911479:1911549 [1] NCCL INFO Channel 00/0 : 61[46000] -> 62[85000] via P2P/IPC/read -gpua088:1911479:1911549 [1] NCCL INFO Channel 01/0 : 61[46000] -> 62[85000] via P2P/IPC/read -gpua088:1911479:1911549 [1] NCCL INFO Connected all rings -gpua088:1911479:1911549 [1] NCCL INFO Channel 00/0 : 61[46000] -> 60[7000] via P2P/IPC/read -gpua088:1911479:1911549 [1] NCCL INFO Channel 01/0 : 61[46000] -> 60[7000] via P2P/IPC/read -gpua025:809455:809527 [2] NCCL INFO Connected all trees -gpua025:809455:809527 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua025:809455:809527 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua025:809455:809527 [2] NCCL INFO comm 0x11e65300 rank 18 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua028:990455:990526 [0] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [receive] via NET/IB/0 -gpua028:990455:990526 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [send] via NET/IB/0 -gpua028:990455:990526 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [receive] via NET/IB/0 -gpua028:990455:990526 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [send] via NET/IB/0 -gpua028:990455:990526 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [receive] via NET/IB/0 -gpua028:990455:990526 [0] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [send] via NET/IB/0 -gpua028:990455:990526 [0] NCCL INFO Connected all trees -gpua028:990455:990526 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua028:990455:990526 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua028:990455:990526 [0] NCCL INFO comm 0x136b47b0 rank 24 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua088:1911479:1911549 [1] NCCL INFO Connected all trees -gpua088:1911479:1911549 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua088:1911479:1911549 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua088:1911479:1911549 [1] NCCL INFO comm 0xe1a71a0 rank 61 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua088:1911480:1911480 [2] NCCL INFO cudaDriverVersion 12020 -gpua088:1911480:1911480 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.88<0> -gpua088:1911480:1911480 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua088:1911480:1911547 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.88<0> -gpua088:1911480:1911547 [2] NCCL INFO Using network IB -gpua088:1911480:1911547 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua088:1911480:1911547 [2] NCCL INFO Trees [0] 63/-1/-1->62->61 [1] 63/-1/-1->62->61 -gpua088:1911480:1911547 [2] NCCL INFO Channel 00/0 : 62[85000] -> 63[c7000] via P2P/IPC/read -gpua088:1911480:1911547 [2] NCCL INFO Channel 01/0 : 62[85000] -> 63[c7000] via P2P/IPC/read -gpua088:1911480:1911547 [2] NCCL INFO Connected all rings -gpua088:1911480:1911547 [2] NCCL INFO Channel 00/0 : 62[85000] -> 61[46000] via P2P/IPC/read -gpua088:1911480:1911547 [2] NCCL INFO Channel 01/0 : 62[85000] -> 61[46000] via P2P/IPC/read -gpua088:1911480:1911547 [2] NCCL INFO Connected all trees -gpua088:1911480:1911547 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua088:1911480:1911547 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua088:1911480:1911547 [2] NCCL INFO comm 0x9caef2d0 rank 62 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua001:2078205:2078205 [1] NCCL INFO cudaDriverVersion 12020 -gpua001:2078205:2078205 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.1<0> -gpua001:2078205:2078205 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua001:2078205:2078427 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.1<0> -gpua001:2078205:2078427 [1] NCCL INFO Using network IB -gpua001:2078205:2078427 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua001:2078205:2078427 [1] NCCL INFO Trees [0] 2/-1/-1->1->0 [1] 2/-1/-1->1->0 -gpua001:2078205:2078427 [1] NCCL INFO Channel 00/0 : 1[46000] -> 2[85000] via P2P/IPC/read -gpua001:2078205:2078427 [1] NCCL INFO Channel 01/0 : 1[46000] -> 2[85000] via P2P/IPC/read -gpua001:2078205:2078427 [1] NCCL INFO Connected all rings -gpua001:2078205:2078427 [1] NCCL INFO Channel 00/0 : 1[46000] -> 0[7000] via P2P/IPC/read -gpua001:2078205:2078427 [1] NCCL INFO Channel 01/0 : 1[46000] -> 0[7000] via P2P/IPC/read -gpua001:2078205:2078427 [1] NCCL INFO Connected all trees -gpua001:2078205:2078427 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua001:2078205:2078427 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua001:2078205:2078427 [1] NCCL INFO comm 0xcaf3980 rank 1 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua057:852089:852089 [0] NCCL INFO cudaDriverVersion 12020 -gpua057:852089:852089 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> -gpua057:852089:852089 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua057:852089:852248 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> -gpua057:852089:852248 [0] NCCL INFO Using network IB -gpua057:852089:852248 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua057:852089:852248 [0] NCCL INFO Trees [0] 45/-1/-1->44->40 [1] 45/36/-1->44->29 -gpua057:852089:852248 [0] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 -gpua057:852089:852248 [0] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 -gpua057:852089:852248 [0] NCCL INFO Channel 00/0 : 44[7000] -> 45[46000] via P2P/IPC/read -gpua057:852089:852248 [0] NCCL INFO Channel 01/0 : 44[7000] -> 45[46000] via P2P/IPC/read -gpua057:852089:852248 [0] NCCL INFO Connected all rings -gpua057:852089:852248 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [receive] via NET/IB/0 -gpua057:852089:852248 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [receive] via NET/IB/0 -gpua057:852089:852248 [0] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [receive] via NET/IB/0 -gpua057:852089:852248 [0] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [send] via NET/IB/0 -gpua057:852089:852248 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [send] via NET/IB/0 -gpua057:852089:852248 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [send] via NET/IB/0 -gpua057:852089:852248 [0] NCCL INFO Connected all trees -gpua057:852089:852248 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua057:852089:852248 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua057:852089:852248 [0] NCCL INFO comm 0xe569920 rank 44 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua025:809456:809456 [3] NCCL INFO cudaDriverVersion 12020 -gpua025:809456:809456 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.25<0> -gpua025:809456:809456 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua025:809456:809528 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.25<0> -gpua025:809456:809528 [3] NCCL INFO Using network IB -gpua025:809456:809528 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua025:809456:809528 [3] NCCL INFO Trees [0] -1/-1/-1->19->18 [1] -1/-1/-1->19->18 -gpua025:809456:809528 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 -gpua025:809456:809528 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 -gpua025:809456:809528 [3] NCCL INFO Connected all rings -gpua025:809456:809528 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 18[85000] via P2P/IPC/read -gpua025:809456:809528 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 18[85000] via P2P/IPC/read -gpua025:809456:809528 [3] NCCL INFO Connected all trees -gpua025:809456:809528 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua025:809456:809528 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua025:809456:809528 [3] NCCL INFO comm 0xed03bc0 rank 19 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua085:1581315:1581315 [3] NCCL INFO cudaDriverVersion 12020 -gpua085:1581315:1581315 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> -gpua085:1581315:1581315 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua085:1581315:1581378 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> -gpua085:1581315:1581378 [3] NCCL INFO Using network IB -gpua085:1581315:1581378 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua085:1581315:1581378 [3] NCCL INFO Trees [0] -1/-1/-1->55->54 [1] -1/-1/-1->55->54 -gpua085:1581315:1581378 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 -gpua085:1581315:1581378 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 -gpua085:1581315:1581378 [3] NCCL INFO Connected all rings -gpua085:1581315:1581378 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 54[85000] via P2P/IPC/read -gpua085:1581315:1581378 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 54[85000] via P2P/IPC/read -gpua007:736768:736768 [3] NCCL INFO cudaDriverVersion 12020 -gpua007:736768:736768 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> -gpua007:736768:736768 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua007:736768:736923 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> -gpua007:736768:736923 [3] NCCL INFO Using network IB -gpua007:736768:736923 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua007:736768:736923 [3] NCCL INFO Trees [0] -1/-1/-1->11->10 [1] -1/-1/-1->11->10 -gpua007:736768:736923 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 -gpua007:736768:736923 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 -gpua007:736768:736923 [3] NCCL INFO Connected all rings -gpua007:736768:736923 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 10[85000] via P2P/IPC/read -gpua007:736768:736923 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 10[85000] via P2P/IPC/read -gpua085:1581315:1581378 [3] NCCL INFO Connected all trees -gpua085:1581315:1581378 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua085:1581315:1581378 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua085:1581315:1581378 [3] NCCL INFO comm 0x19df51d0 rank 55 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua007:736768:736923 [3] NCCL INFO Connected all trees -gpua007:736768:736923 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua007:736768:736923 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua007:736768:736923 [3] NCCL INFO comm 0xc965b30 rank 11 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua057:852092:852092 [3] NCCL INFO cudaDriverVersion 12020 -gpua057:852092:852092 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> -gpua057:852092:852092 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua057:852092:852245 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> -gpua057:852092:852245 [3] NCCL INFO Using network IB -gpua057:852092:852245 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua057:852092:852245 [3] NCCL INFO Trees [0] -1/-1/-1->47->46 [1] -1/-1/-1->47->46 -gpua057:852092:852245 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 -gpua057:852092:852245 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 -gpua057:852092:852245 [3] NCCL INFO Connected all rings -gpua057:852092:852245 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 46[85000] via P2P/IPC/read -gpua057:852092:852245 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 46[85000] via P2P/IPC/read -gpua057:852092:852245 [3] NCCL INFO Connected all trees -gpua057:852092:852245 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua057:852092:852245 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua057:852092:852245 [3] NCCL INFO comm 0x32118ab0 rank 47 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua047:1244880:1244880 [1] NCCL INFO cudaDriverVersion 12020 -gpua047:1244880:1244880 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.47<0> -gpua047:1244880:1244880 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua047:1244880:1245045 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.47<0> -gpua047:1244880:1245045 [1] NCCL INFO Using network IB -gpua047:1244880:1245045 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua047:1244880:1245045 [1] NCCL INFO Trees [0] 38/-1/-1->37->36 [1] 38/40/-1->37->36 -gpua047:1244880:1245045 [1] NCCL INFO Channel 00/0 : 37[46000] -> 38[85000] via P2P/IPC/read -gpua047:1244880:1245045 [1] NCCL INFO Channel 01/0 : 37[46000] -> 38[85000] via P2P/IPC/read -gpua047:1244880:1245045 [1] NCCL INFO Connected all rings -gpua047:1244880:1245045 [1] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [send] via NET/IB/0 -gpua047:1244880:1245045 [1] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [receive] via NET/IB/0 -gpua026:19276:19276 [1] NCCL INFO cudaDriverVersion 12020 -gpua026:19276:19276 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.26<0> -gpua026:19276:19276 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua026:19276:19341 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.26<0> -gpua026:19276:19341 [1] NCCL INFO Using network IB -gpua026:19276:19341 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua026:19276:19341 [1] NCCL INFO Trees [0] 22/-1/-1->21->20 [1] 22/24/-1->21->20 -gpua026:19276:19341 [1] NCCL INFO Channel 00/0 : 21[46000] -> 22[85000] via P2P/IPC/read -gpua026:19276:19341 [1] NCCL INFO Channel 01/0 : 21[46000] -> 22[85000] via P2P/IPC/read -gpua026:19276:19341 [1] NCCL INFO Connected all rings -gpua026:19276:19341 [1] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [send] via NET/IB/0 -gpua026:19276:19341 [1] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [receive] via NET/IB/0 -gpua047:1244880:1245045 [1] NCCL INFO Channel 00/0 : 37[46000] -> 36[7000] via P2P/IPC/read -gpua047:1244880:1245045 [1] NCCL INFO Channel 01/0 : 37[46000] -> 36[7000] via P2P/IPC/read -gpua047:1244880:1245045 [1] NCCL INFO Connected all trees -gpua047:1244880:1245045 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua047:1244880:1245045 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua047:1244880:1245045 [1] NCCL INFO comm 0x36071290 rank 37 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua026:19276:19341 [1] NCCL INFO Channel 00/0 : 21[46000] -> 20[7000] via P2P/IPC/read -gpua026:19276:19341 [1] NCCL INFO Channel 01/0 : 21[46000] -> 20[7000] via P2P/IPC/read -gpua026:19276:19341 [1] NCCL INFO Connected all trees -gpua026:19276:19341 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua026:19276:19341 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua026:19276:19341 [1] NCCL INFO comm 0xb903950 rank 21 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua026:19275:19275 [0] NCCL INFO cudaDriverVersion 12020 -gpua026:19275:19275 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.26<0> -gpua026:19275:19275 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua026:19275:19344 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.26<0> -gpua026:19275:19344 [0] NCCL INFO Using network IB -gpua026:19275:19344 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua026:19275:19344 [0] NCCL INFO Trees [0] 21/-1/-1->20->25 [1] 21/16/-1->20->13 -gpua026:19275:19344 [0] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 -gpua026:19275:19344 [0] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 -gpua026:19275:19344 [0] NCCL INFO Channel 00/0 : 20[7000] -> 21[46000] via P2P/IPC/read -gpua026:19275:19344 [0] NCCL INFO Channel 01/0 : 20[7000] -> 21[46000] via P2P/IPC/read -gpua026:19275:19344 [0] NCCL INFO Connected all rings -gpua026:19275:19344 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [receive] via NET/IB/0 -gpua026:19275:19344 [0] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [send] via NET/IB/0 -gpua026:19275:19344 [0] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [receive] via NET/IB/0 -gpua026:19275:19344 [0] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [send] via NET/IB/0 -gpua026:19275:19344 [0] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [receive] via NET/IB/0 -gpua026:19275:19344 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [send] via NET/IB/0 -gpua026:19275:19344 [0] NCCL INFO Connected all trees -gpua026:19275:19344 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua026:19275:19344 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua026:19275:19344 [0] NCCL INFO comm 0xe0ccdbe0 rank 20 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua006:3131587:3131587 [0] NCCL INFO cudaDriverVersion 12020 -gpua006:3131587:3131587 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> -gpua006:3131587:3131587 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua006:3131587:3131750 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> -gpua006:3131587:3131750 [0] NCCL INFO Using network IB -gpua006:3131587:3131750 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua006:3131587:3131750 [0] NCCL INFO Trees [0] 5/-1/-1->4->9 [1] 5/0/-1->4->12 -gpua006:3131587:3131750 [0] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 -gpua006:3131587:3131750 [0] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 -gpua006:3131587:3131750 [0] NCCL INFO Channel 00/0 : 4[7000] -> 5[46000] via P2P/IPC/read -gpua006:3131587:3131750 [0] NCCL INFO Channel 01/0 : 4[7000] -> 5[46000] via P2P/IPC/read -gpua006:3131587:3131750 [0] NCCL INFO Connected all rings -gpua006:3131587:3131750 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [receive] via NET/IB/0 -gpua006:3131587:3131750 [0] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [send] via NET/IB/0 -gpua006:3131587:3131750 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [send] via NET/IB/0 -gpua006:3131587:3131750 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [receive] via NET/IB/0 -gpua006:3131587:3131750 [0] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [receive] via NET/IB/0 -gpua006:3131587:3131750 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [send] via NET/IB/0 -gpua006:3131587:3131750 [0] NCCL INFO Connected all trees -gpua006:3131587:3131750 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua006:3131587:3131750 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua006:3131587:3131750 [0] NCCL INFO comm 0x12140a50 rank 4 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua025:809454:809454 [1] NCCL INFO cudaDriverVersion 12020 -gpua025:809454:809454 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.25<0> -gpua025:809454:809454 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua025:809454:809529 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.25<0> -gpua025:809454:809529 [1] NCCL INFO Using network IB -gpua025:809454:809529 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua025:809454:809529 [1] NCCL INFO Trees [0] 18/8/-1->17->16 [1] 18/-1/-1->17->16 -gpua025:809454:809529 [1] NCCL INFO Channel 00/0 : 17[46000] -> 18[85000] via P2P/IPC/read -gpua025:809454:809529 [1] NCCL INFO Channel 01/0 : 17[46000] -> 18[85000] via P2P/IPC/read -gpua025:809454:809529 [1] NCCL INFO Connected all rings -gpua025:809454:809529 [1] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [receive] via NET/IB/0 -gpua025:809454:809529 [1] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [send] via NET/IB/0 -gpua085:1581314:1581314 [2] NCCL INFO cudaDriverVersion 12020 -gpua085:1581314:1581314 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> -gpua085:1581314:1581314 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua085:1581314:1581376 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> -gpua085:1581314:1581376 [2] NCCL INFO Using network IB -gpua085:1581314:1581376 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua085:1581314:1581376 [2] NCCL INFO Trees [0] 55/-1/-1->54->53 [1] 55/-1/-1->54->53 -gpua085:1581314:1581376 [2] NCCL INFO Channel 00/0 : 54[85000] -> 55[c7000] via P2P/IPC/read -gpua085:1581314:1581376 [2] NCCL INFO Channel 01/0 : 54[85000] -> 55[c7000] via P2P/IPC/read -gpua085:1581314:1581376 [2] NCCL INFO Connected all rings -gpua085:1581314:1581376 [2] NCCL INFO Channel 00/0 : 54[85000] -> 53[46000] via P2P/IPC/read -gpua085:1581314:1581376 [2] NCCL INFO Channel 01/0 : 54[85000] -> 53[46000] via P2P/IPC/read -gpua025:809454:809529 [1] NCCL INFO Channel 00/0 : 17[46000] -> 16[7000] via P2P/IPC/read -gpua025:809454:809529 [1] NCCL INFO Channel 01/0 : 17[46000] -> 16[7000] via P2P/IPC/read -gpua025:809454:809529 [1] NCCL INFO Connected all trees -gpua025:809454:809529 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua025:809454:809529 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua025:809454:809529 [1] NCCL INFO comm 0xbe6b120 rank 17 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua085:1581314:1581376 [2] NCCL INFO Connected all trees -gpua085:1581314:1581376 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua085:1581314:1581376 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua085:1581314:1581376 [2] NCCL INFO comm 0x13f13750 rank 54 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua085:1581312:1581312 [0] NCCL INFO cudaDriverVersion 12020 -gpua085:1581312:1581312 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> -gpua085:1581312:1581312 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua085:1581312:1581379 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> -gpua085:1581312:1581379 [0] NCCL INFO Using network IB -gpua085:1581312:1581379 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua085:1581312:1581379 [0] NCCL INFO Trees [0] 53/-1/-1->52->57 [1] 53/48/-1->52->45 -gpua085:1581312:1581379 [0] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 -gpua085:1581312:1581379 [0] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 -gpua085:1581312:1581379 [0] NCCL INFO Channel 00/0 : 52[7000] -> 53[46000] via P2P/IPC/read -gpua085:1581312:1581379 [0] NCCL INFO Channel 01/0 : 52[7000] -> 53[46000] via P2P/IPC/read -gpua085:1581312:1581379 [0] NCCL INFO Connected all rings -gpua085:1581312:1581379 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [receive] via NET/IB/0 -gpua085:1581312:1581379 [0] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [send] via NET/IB/0 -gpua085:1581312:1581379 [0] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [receive] via NET/IB/0 -gpua085:1581312:1581379 [0] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [send] via NET/IB/0 -gpua085:1581312:1581379 [0] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [receive] via NET/IB/0 -gpua085:1581312:1581379 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [send] via NET/IB/0 -gpua085:1581312:1581379 [0] NCCL INFO Connected all trees -gpua085:1581312:1581379 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua085:1581312:1581379 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua085:1581312:1581379 [0] NCCL INFO comm 0x9a80d910 rank 52 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua046:1183483:1183483 [3] NCCL INFO cudaDriverVersion 12020 -gpua046:1183483:1183483 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.46<0> -gpua046:1183483:1183483 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua046:1183483:1183642 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.46<0> -gpua046:1183483:1183642 [3] NCCL INFO Using network IB -gpua046:1183483:1183642 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua046:1183483:1183642 [3] NCCL INFO Trees [0] -1/-1/-1->35->34 [1] -1/-1/-1->35->34 -gpua046:1183483:1183642 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 -gpua046:1183483:1183642 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 -gpua046:1183483:1183642 [3] NCCL INFO Connected all rings -gpua046:1183483:1183642 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 34[85000] via P2P/IPC/read -gpua046:1183483:1183642 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 34[85000] via P2P/IPC/read -gpua088:1911478:1911478 [0] NCCL INFO cudaDriverVersion 12020 -gpua088:1911478:1911478 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.88<0> -gpua088:1911478:1911478 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua088:1911478:1911548 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.88<0> -gpua088:1911478:1911548 [0] NCCL INFO Using network IB -gpua088:1911478:1911548 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua088:1911478:1911548 [0] NCCL INFO Trees [0] 61/-1/-1->60->56 [1] 61/28/-1->60->-1 -gpua088:1911478:1911548 [0] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 -gpua088:1911478:1911548 [0] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 -gpua088:1911478:1911548 [0] NCCL INFO Channel 00/0 : 60[7000] -> 61[46000] via P2P/IPC/read -gpua088:1911478:1911548 [0] NCCL INFO Channel 01/0 : 60[7000] -> 61[46000] via P2P/IPC/read -gpua088:1911478:1911548 [0] NCCL INFO Connected all rings -gpua046:1183483:1183642 [3] NCCL INFO Connected all trees -gpua046:1183483:1183642 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua046:1183483:1183642 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua046:1183483:1183642 [3] NCCL INFO comm 0x12621410 rank 35 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua088:1911478:1911548 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [receive] via NET/IB/0 -gpua088:1911478:1911548 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [receive] via NET/IB/0 -gpua088:1911478:1911548 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [send] via NET/IB/0 -gpua088:1911478:1911548 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [send] via NET/IB/0 -gpua088:1911478:1911548 [0] NCCL INFO Connected all trees -gpua088:1911478:1911548 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua088:1911478:1911548 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua088:1911478:1911548 [0] NCCL INFO comm 0x978c500 rank 60 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua046:1183480:1183480 [0] NCCL INFO cudaDriverVersion 12020 -gpua046:1183480:1183480 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.46<0> -gpua046:1183480:1183480 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua046:1183480:1183640 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.46<0> -gpua046:1183480:1183640 [0] NCCL INFO Using network IB -gpua046:1183480:1183640 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua046:1183480:1183640 [0] NCCL INFO Trees [0] 33/48/-1->32->0 [1] 33/-1/-1->32->36 -gpua046:1183480:1183640 [0] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 -gpua046:1183480:1183640 [0] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 -gpua046:1183480:1183640 [0] NCCL INFO Channel 00/0 : 32[7000] -> 33[46000] via P2P/IPC/read -gpua046:1183480:1183640 [0] NCCL INFO Channel 01/0 : 32[7000] -> 33[46000] via P2P/IPC/read -gpua046:1183480:1183640 [0] NCCL INFO Connected all rings -gpua046:1183480:1183640 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [send] via NET/IB/0 -gpua046:1183480:1183640 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [send] via NET/IB/0 -gpua046:1183480:1183640 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [receive] via NET/IB/0 -gpua046:1183480:1183640 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [send] via NET/IB/0 -gpua046:1183480:1183640 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [receive] via NET/IB/0 -gpua046:1183480:1183640 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [receive] via NET/IB/0 -gpua046:1183480:1183640 [0] NCCL INFO Connected all trees -gpua046:1183480:1183640 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua046:1183480:1183640 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua046:1183480:1183640 [0] NCCL INFO comm 0x105a3b30 rank 32 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua028:990456:990456 [1] NCCL INFO cudaDriverVersion 12020 -gpua028:990456:990456 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.28<0> -gpua028:990456:990456 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua028:990456:990527 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.28<0> -gpua028:990456:990527 [1] NCCL INFO Using network IB -gpua028:990456:990527 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua028:990456:990527 [1] NCCL INFO Trees [0] 26/20/-1->25->24 [1] 26/-1/-1->25->24 -gpua028:990456:990527 [1] NCCL INFO Channel 00/0 : 25[46000] -> 26[85000] via P2P/IPC/read -gpua028:990456:990527 [1] NCCL INFO Channel 01/0 : 25[46000] -> 26[85000] via P2P/IPC/read -gpua028:990456:990527 [1] NCCL INFO Connected all rings -gpua028:990456:990527 [1] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [receive] via NET/IB/0 -gpua028:990456:990527 [1] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [send] via NET/IB/0 -gpua028:990456:990527 [1] NCCL INFO Channel 00/0 : 25[46000] -> 24[7000] via P2P/IPC/read -gpua028:990456:990527 [1] NCCL INFO Channel 01/0 : 25[46000] -> 24[7000] via P2P/IPC/read -gpua028:990456:990527 [1] NCCL INFO Connected all trees -gpua028:990456:990527 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua028:990456:990527 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua028:990456:990527 [1] NCCL INFO comm 0x125ca080 rank 25 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua086:1047481:1047481 [2] NCCL INFO cudaDriverVersion 12020 -gpua086:1047481:1047481 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> -gpua086:1047481:1047481 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua086:1047481:1047544 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> -gpua086:1047481:1047544 [2] NCCL INFO Using network IB -gpua086:1047481:1047544 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua086:1047481:1047544 [2] NCCL INFO Trees [0] 59/-1/-1->58->57 [1] 59/-1/-1->58->57 -gpua086:1047481:1047544 [2] NCCL INFO Channel 00/0 : 58[85000] -> 59[c7000] via P2P/IPC/read -gpua086:1047481:1047544 [2] NCCL INFO Channel 01/0 : 58[85000] -> 59[c7000] via P2P/IPC/read -gpua086:1047481:1047544 [2] NCCL INFO Connected all rings -gpua086:1047481:1047544 [2] NCCL INFO Channel 00/0 : 58[85000] -> 57[46000] via P2P/IPC/read -gpua086:1047481:1047544 [2] NCCL INFO Channel 01/0 : 58[85000] -> 57[46000] via P2P/IPC/read -gpua086:1047481:1047544 [2] NCCL INFO Connected all trees -gpua086:1047481:1047544 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua086:1047481:1047544 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua086:1047481:1047544 [2] NCCL INFO comm 0x24897a20 rank 58 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua001:2078204:2078424 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.1<0> -gpua001:2078204:2078424 [0] NCCL INFO Using network IB -gpua001:2078204:2078424 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua001:2078204:2078424 [0] NCCL INFO Channel 00/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 -gpua001:2078204:2078424 [0] NCCL INFO Channel 01/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 -gpua001:2078204:2078424 [0] NCCL INFO Trees [0] 1/32/-1->0->-1 [1] 1/-1/-1->0->4 -gpua001:2078204:2078424 [0] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 -gpua001:2078204:2078424 [0] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 -gpua001:2078204:2078424 [0] NCCL INFO Channel 00/0 : 0[7000] -> 1[46000] via P2P/IPC/read -gpua001:2078204:2078424 [0] NCCL INFO Channel 01/0 : 0[7000] -> 1[46000] via P2P/IPC/read -gpua001:2078204:2078424 [0] NCCL INFO Connected all rings -gpua001:2078204:2078424 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [send] via NET/IB/0 -gpua001:2078204:2078424 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [receive] via NET/IB/0 -gpua001:2078204:2078424 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [send] via NET/IB/0 -gpua001:2078204:2078424 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [receive] via NET/IB/0 -gpua001:2078204:2078424 [0] NCCL INFO Connected all trees -gpua001:2078204:2078424 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua001:2078204:2078424 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua001:2078204:2078424 [0] NCCL INFO comm 0xeae54be0 rank 0 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua007:736766:736766 [1] NCCL INFO cudaDriverVersion 12020 -gpua007:736766:736766 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> -gpua007:736766:736766 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua007:736766:736924 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> -gpua007:736766:736924 [1] NCCL INFO Using network IB -gpua007:736766:736924 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua007:736766:736924 [1] NCCL INFO Trees [0] 10/4/-1->9->8 [1] 10/-1/-1->9->8 -gpua007:736766:736924 [1] NCCL INFO Channel 00/0 : 9[46000] -> 10[85000] via P2P/IPC/read -gpua007:736766:736924 [1] NCCL INFO Channel 01/0 : 9[46000] -> 10[85000] via P2P/IPC/read -gpua007:736766:736924 [1] NCCL INFO Connected all rings -gpua007:736766:736924 [1] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [receive] via NET/IB/0 -gpua007:736766:736924 [1] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [send] via NET/IB/0 -gpua007:736766:736924 [1] NCCL INFO Channel 00/0 : 9[46000] -> 8[7000] via P2P/IPC/read -gpua007:736766:736924 [1] NCCL INFO Channel 01/0 : 9[46000] -> 8[7000] via P2P/IPC/read -gpua007:736766:736924 [1] NCCL INFO Connected all trees -gpua007:736766:736924 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua007:736766:736924 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua007:736766:736924 [1] NCCL INFO comm 0x9bef25f0 rank 9 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua082:957372:957372 [3] NCCL INFO cudaDriverVersion 12020 -gpua082:957372:957372 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> -gpua082:957372:957372 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua082:957372:957536 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> -gpua082:957372:957536 [3] NCCL INFO Using network IB -gpua082:957372:957536 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua082:957372:957536 [3] NCCL INFO Trees [0] -1/-1/-1->51->50 [1] -1/-1/-1->51->50 -gpua082:957372:957536 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 -gpua082:957372:957536 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 -gpua082:957372:957536 [3] NCCL INFO Connected all rings -gpua082:957372:957536 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 50[85000] via P2P/IPC/read -gpua082:957372:957536 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 50[85000] via P2P/IPC/read -gpua082:957372:957536 [3] NCCL INFO Connected all trees -gpua082:957372:957536 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua082:957372:957536 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua082:957372:957536 [3] NCCL INFO comm 0xe4de2660 rank 51 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua086:1047480:1047480 [1] NCCL INFO cudaDriverVersion 12020 -gpua086:1047480:1047480 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> -gpua086:1047480:1047480 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua086:1047480:1047546 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> -gpua086:1047480:1047546 [1] NCCL INFO Using network IB -gpua086:1047480:1047546 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua086:1047480:1047546 [1] NCCL INFO Trees [0] 58/52/-1->57->56 [1] 58/-1/-1->57->56 -gpua086:1047480:1047546 [1] NCCL INFO Channel 00/0 : 57[46000] -> 58[85000] via P2P/IPC/read -gpua086:1047480:1047546 [1] NCCL INFO Channel 01/0 : 57[46000] -> 58[85000] via P2P/IPC/read -gpua086:1047480:1047546 [1] NCCL INFO Connected all rings -gpua086:1047480:1047546 [1] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [receive] via NET/IB/0 -gpua086:1047480:1047546 [1] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [send] via NET/IB/0 -gpua086:1047480:1047546 [1] NCCL INFO Channel 00/0 : 57[46000] -> 56[7000] via P2P/IPC/read -gpua086:1047480:1047546 [1] NCCL INFO Channel 01/0 : 57[46000] -> 56[7000] via P2P/IPC/read -gpua086:1047480:1047546 [1] NCCL INFO Connected all trees -gpua086:1047480:1047546 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua086:1047480:1047546 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua086:1047480:1047546 [1] NCCL INFO comm 0xd636880 rank 57 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua008:2106623:2106623 [1] NCCL INFO cudaDriverVersion 12020 -gpua008:2106623:2106623 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.8<0> -gpua008:2106623:2106623 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua008:2106623:2106791 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.8<0> -gpua008:2106623:2106791 [1] NCCL INFO Using network IB -gpua008:2106623:2106791 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua008:2106623:2106791 [1] NCCL INFO Trees [0] 14/-1/-1->13->12 [1] 14/20/-1->13->12 -gpua008:2106623:2106791 [1] NCCL INFO Channel 00/0 : 13[46000] -> 14[85000] via P2P/IPC/read -gpua008:2106623:2106791 [1] NCCL INFO Channel 01/0 : 13[46000] -> 14[85000] via P2P/IPC/read -gpua008:2106623:2106791 [1] NCCL INFO Connected all rings -gpua008:2106623:2106791 [1] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [send] via NET/IB/0 -gpua008:2106623:2106791 [1] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [receive] via NET/IB/0 -gpua008:2106623:2106791 [1] NCCL INFO Channel 00/0 : 13[46000] -> 12[7000] via P2P/IPC/read -gpua008:2106623:2106791 [1] NCCL INFO Channel 01/0 : 13[46000] -> 12[7000] via P2P/IPC/read -gpua008:2106623:2106791 [1] NCCL INFO Connected all trees -gpua008:2106623:2106791 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua008:2106623:2106791 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua008:2106623:2106791 [1] NCCL INFO comm 0x39275ec0 rank 13 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua007:736767:736767 [2] NCCL INFO cudaDriverVersion 12020 -gpua007:736767:736767 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> -gpua007:736767:736767 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua007:736767:736922 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> -gpua007:736767:736922 [2] NCCL INFO Using network IB -gpua007:736767:736922 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua007:736767:736922 [2] NCCL INFO Trees [0] 11/-1/-1->10->9 [1] 11/-1/-1->10->9 -gpua007:736767:736922 [2] NCCL INFO Channel 00/0 : 10[85000] -> 11[c7000] via P2P/IPC/read -gpua007:736767:736922 [2] NCCL INFO Channel 01/0 : 10[85000] -> 11[c7000] via P2P/IPC/read -gpua007:736767:736922 [2] NCCL INFO Connected all rings -gpua007:736767:736922 [2] NCCL INFO Channel 00/0 : 10[85000] -> 9[46000] via P2P/IPC/read -gpua007:736767:736922 [2] NCCL INFO Channel 01/0 : 10[85000] -> 9[46000] via P2P/IPC/read -gpua086:1047482:1047482 [3] NCCL INFO cudaDriverVersion 12020 -gpua086:1047482:1047482 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> -gpua086:1047482:1047482 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua086:1047482:1047543 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> -gpua086:1047482:1047543 [3] NCCL INFO Using network IB -gpua086:1047482:1047543 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua086:1047482:1047543 [3] NCCL INFO Trees [0] -1/-1/-1->59->58 [1] -1/-1/-1->59->58 -gpua086:1047482:1047543 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 -gpua086:1047482:1047543 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 -gpua086:1047482:1047543 [3] NCCL INFO Connected all rings -gpua086:1047482:1047543 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 58[85000] via P2P/IPC/read -gpua086:1047482:1047543 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 58[85000] via P2P/IPC/read -gpua007:736767:736922 [2] NCCL INFO Connected all trees -gpua007:736767:736922 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua007:736767:736922 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua007:736767:736922 [2] NCCL INFO comm 0xe09db70 rank 10 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua086:1047482:1047543 [3] NCCL INFO Connected all trees -gpua086:1047482:1047543 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua086:1047482:1047543 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua086:1047482:1047543 [3] NCCL INFO comm 0xc6748a0 rank 59 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua046:1183482:1183482 [2] NCCL INFO cudaDriverVersion 12020 -gpua046:1183482:1183482 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.46<0> -gpua046:1183482:1183482 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua046:1183482:1183641 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.46<0> -gpua046:1183482:1183641 [2] NCCL INFO Using network IB -gpua046:1183482:1183641 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua046:1183482:1183641 [2] NCCL INFO Trees [0] 35/-1/-1->34->33 [1] 35/-1/-1->34->33 -gpua046:1183482:1183641 [2] NCCL INFO Channel 00/0 : 34[85000] -> 35[c7000] via P2P/IPC/read -gpua046:1183482:1183641 [2] NCCL INFO Channel 01/0 : 34[85000] -> 35[c7000] via P2P/IPC/read -gpua046:1183482:1183641 [2] NCCL INFO Connected all rings -gpua046:1183482:1183641 [2] NCCL INFO Channel 00/0 : 34[85000] -> 33[46000] via P2P/IPC/read -gpua046:1183482:1183641 [2] NCCL INFO Channel 01/0 : 34[85000] -> 33[46000] via P2P/IPC/read -gpua046:1183482:1183641 [2] NCCL INFO Connected all trees -gpua046:1183482:1183641 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua046:1183482:1183641 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua046:1183482:1183641 [2] NCCL INFO comm 0xde90f3a0 rank 34 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua008:2106622:2106622 [0] NCCL INFO cudaDriverVersion 12020 -gpua008:2106622:2106622 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.8<0> -gpua008:2106622:2106622 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua008:2106622:2106789 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.8<0> -gpua008:2106622:2106789 [0] NCCL INFO Using network IB -gpua008:2106622:2106789 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua008:2106622:2106789 [0] NCCL INFO Trees [0] 13/-1/-1->12->8 [1] 13/4/-1->12->28 -gpua008:2106622:2106789 [0] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 -gpua008:2106622:2106789 [0] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 -gpua008:2106622:2106789 [0] NCCL INFO Channel 00/0 : 12[7000] -> 13[46000] via P2P/IPC/read -gpua008:2106622:2106789 [0] NCCL INFO Channel 01/0 : 12[7000] -> 13[46000] via P2P/IPC/read -gpua008:2106622:2106789 [0] NCCL INFO Connected all rings -gpua008:2106622:2106789 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [receive] via NET/IB/0 -gpua008:2106622:2106789 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [receive] via NET/IB/0 -gpua008:2106622:2106789 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [send] via NET/IB/0 -gpua008:2106622:2106789 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [receive] via NET/IB/0 -gpua008:2106622:2106789 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [send] via NET/IB/0 -gpua008:2106622:2106789 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [send] via NET/IB/0 -gpua008:2106622:2106789 [0] NCCL INFO Connected all trees -gpua008:2106622:2106789 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua008:2106622:2106789 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua008:2106622:2106789 [0] NCCL INFO comm 0x168357d0 rank 12 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua057:852091:852091 [2] NCCL INFO cudaDriverVersion 12020 -gpua057:852091:852091 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> -gpua057:852091:852091 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua057:852091:852246 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> -gpua057:852091:852246 [2] NCCL INFO Using network IB -gpua057:852091:852246 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua057:852091:852246 [2] NCCL INFO Trees [0] 47/-1/-1->46->45 [1] 47/-1/-1->46->45 -gpua057:852091:852246 [2] NCCL INFO Channel 00/0 : 46[85000] -> 47[c7000] via P2P/IPC/read -gpua057:852091:852246 [2] NCCL INFO Channel 01/0 : 46[85000] -> 47[c7000] via P2P/IPC/read -gpua057:852091:852246 [2] NCCL INFO Connected all rings -gpua057:852091:852246 [2] NCCL INFO Channel 00/0 : 46[85000] -> 45[46000] via P2P/IPC/read -gpua057:852091:852246 [2] NCCL INFO Channel 01/0 : 46[85000] -> 45[46000] via P2P/IPC/read -gpua057:852091:852246 [2] NCCL INFO Connected all trees -gpua057:852091:852246 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua057:852091:852246 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua057:852091:852246 [2] NCCL INFO comm 0x10e8bb80 rank 46 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua057:852090:852090 [1] NCCL INFO cudaDriverVersion 12020 -gpua057:852090:852090 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> -gpua057:852090:852090 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua057:852090:852247 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> -gpua057:852090:852247 [1] NCCL INFO Using network IB -gpua057:852090:852247 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua057:852090:852247 [1] NCCL INFO Trees [0] 46/-1/-1->45->44 [1] 46/52/-1->45->44 -gpua057:852090:852247 [1] NCCL INFO Channel 00/0 : 45[46000] -> 46[85000] via P2P/IPC/read -gpua057:852090:852247 [1] NCCL INFO Channel 01/0 : 45[46000] -> 46[85000] via P2P/IPC/read -gpua057:852090:852247 [1] NCCL INFO Connected all rings -gpua057:852090:852247 [1] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [send] via NET/IB/0 -gpua057:852090:852247 [1] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [receive] via NET/IB/0 -gpua057:852090:852247 [1] NCCL INFO Channel 00/0 : 45[46000] -> 44[7000] via P2P/IPC/read -gpua057:852090:852247 [1] NCCL INFO Channel 01/0 : 45[46000] -> 44[7000] via P2P/IPC/read -gpua057:852090:852247 [1] NCCL INFO Connected all trees -gpua057:852090:852247 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua057:852090:852247 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua057:852090:852247 [1] NCCL INFO comm 0xa4e5410 rank 45 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua056:1503507:1503507 [3] NCCL INFO cudaDriverVersion 12020 -gpua056:1503507:1503507 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> -gpua056:1503507:1503507 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua056:1503507:1503604 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> -gpua056:1503507:1503604 [3] NCCL INFO Using network IB -gpua056:1503507:1503604 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua056:1503507:1503604 [3] NCCL INFO Trees [0] -1/-1/-1->43->42 [1] -1/-1/-1->43->42 -gpua056:1503507:1503604 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 -gpua056:1503507:1503604 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 -gpua056:1503507:1503604 [3] NCCL INFO Connected all rings -gpua056:1503507:1503604 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 42[85000] via P2P/IPC/read -gpua056:1503507:1503604 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 42[85000] via P2P/IPC/read -gpua056:1503507:1503604 [3] NCCL INFO Connected all trees -gpua056:1503507:1503604 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua056:1503507:1503604 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua056:1503507:1503604 [3] NCCL INFO comm 0x1ff960390 rank 43 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua025:809453:809453 [0] NCCL INFO cudaDriverVersion 12020 -gpua025:809453:809453 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.25<0> -gpua025:809453:809453 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua025:809453:809526 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.25<0> -gpua025:809453:809526 [0] NCCL INFO Using network IB -gpua025:809453:809526 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua025:809453:809526 [0] NCCL INFO Trees [0] 17/24/-1->16->33 [1] 17/-1/-1->16->20 -gpua025:809453:809526 [0] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 -gpua025:809453:809526 [0] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 -gpua025:809453:809526 [0] NCCL INFO Channel 00/0 : 16[7000] -> 17[46000] via P2P/IPC/read -gpua025:809453:809526 [0] NCCL INFO Channel 01/0 : 16[7000] -> 17[46000] via P2P/IPC/read -gpua025:809453:809526 [0] NCCL INFO Connected all rings -gpua025:809453:809526 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [send] via NET/IB/0 -gpua025:809453:809526 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [send] via NET/IB/0 -gpua025:809453:809526 [0] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [send] via NET/IB/0 -gpua025:809453:809526 [0] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [receive] via NET/IB/0 -gpua025:809453:809526 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [receive] via NET/IB/0 -gpua025:809453:809526 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [receive] via NET/IB/0 -gpua025:809453:809526 [0] NCCL INFO Connected all trees -gpua025:809453:809526 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua025:809453:809526 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua025:809453:809526 [0] NCCL INFO comm 0xbcf4b70 rank 16 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua026:19277:19277 [2] NCCL INFO cudaDriverVersion 12020 -gpua026:19277:19277 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.26<0> -gpua026:19277:19277 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua026:19277:19343 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.26<0> -gpua026:19277:19343 [2] NCCL INFO Using network IB -gpua026:19277:19343 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua026:19277:19343 [2] NCCL INFO Trees [0] 23/-1/-1->22->21 [1] 23/-1/-1->22->21 -gpua026:19277:19343 [2] NCCL INFO Channel 00/0 : 22[85000] -> 23[c7000] via P2P/IPC/read -gpua026:19277:19343 [2] NCCL INFO Channel 01/0 : 22[85000] -> 23[c7000] via P2P/IPC/read -gpua026:19277:19343 [2] NCCL INFO Connected all rings -gpua026:19277:19343 [2] NCCL INFO Channel 00/0 : 22[85000] -> 21[46000] via P2P/IPC/read -gpua026:19277:19343 [2] NCCL INFO Channel 01/0 : 22[85000] -> 21[46000] via P2P/IPC/read -gpua026:19277:19343 [2] NCCL INFO Connected all trees -gpua026:19277:19343 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua026:19277:19343 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua026:19277:19343 [2] NCCL INFO comm 0x93c967f0 rank 22 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua026:19278:19278 [3] NCCL INFO cudaDriverVersion 12020 -gpua026:19278:19278 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.26<0> -gpua026:19278:19278 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua026:19278:19342 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.26<0> -gpua026:19278:19342 [3] NCCL INFO Using network IB -gpua026:19278:19342 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua026:19278:19342 [3] NCCL INFO Trees [0] -1/-1/-1->23->22 [1] -1/-1/-1->23->22 -gpua026:19278:19342 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 -gpua026:19278:19342 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 -gpua026:19278:19342 [3] NCCL INFO Connected all rings -gpua026:19278:19342 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 22[85000] via P2P/IPC/read -gpua026:19278:19342 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 22[85000] via P2P/IPC/read -gpua026:19278:19342 [3] NCCL INFO Connected all trees -gpua026:19278:19342 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua026:19278:19342 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua026:19278:19342 [3] NCCL INFO comm 0x119cb870 rank 23 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -[gpua001:0/64] 2023-12-12 22:13:49,566 (distributed:1027) INFO: Reducer buckets have been rebuilt in this iteration. -[gpua001:0/64] 2023-12-12 22:15:50,107 (trainer:737) INFO: 30epoch:train:1-100batch: iter_time=4.564, forward_time=0.249, loss_ctc=68.423, loss_att=59.274, acc=0.715, loss=62.019, backward_time=0.299, grad_norm=64.950, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.428e-05, train_time=6.535 -[gpua001:0/64] 2023-12-12 22:18:17,132 (trainer:737) INFO: 30epoch:train:101-200batch: iter_time=9.019e-05, forward_time=0.143, loss_ctc=65.726, loss_att=54.153, acc=0.718, loss=57.625, backward_time=0.283, grad_norm=62.202, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.427e-05, train_time=1.470 -[gpua001:0/64] 2023-12-12 22:22:25,880 (trainer:737) INFO: 30epoch:train:201-300batch: iter_time=3.408e-04, forward_time=0.227, loss_ctc=74.867, loss_att=56.860, acc=0.731, loss=62.262, backward_time=0.442, grad_norm=66.361, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.141, optim0_lr0=7.426e-05, train_time=2.487 -[gpua001:0/64] 2023-12-12 22:26:33,928 (trainer:737) INFO: 30epoch:train:301-400batch: iter_time=1.035e-04, forward_time=0.153, loss_ctc=60.532, loss_att=44.077, acc=0.729, loss=49.013, backward_time=0.397, grad_norm=59.040, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.426e-05, train_time=2.481 -[gpua001:0/64] 2023-12-12 22:31:03,067 (trainer:737) INFO: 30epoch:train:401-500batch: iter_time=1.053e-04, forward_time=0.144, loss_ctc=68.826, loss_att=53.327, acc=0.725, loss=57.977, backward_time=0.415, grad_norm=65.505, clip=100.000, loss_scale=3.468e+31, optim_step_time=0.132, optim0_lr0=7.425e-05, train_time=2.691 -[gpua001:0/64] 2023-12-12 22:34:31,998 (trainer:737) INFO: 30epoch:train:501-600batch: iter_time=9.685e-05, forward_time=0.143, loss_ctc=65.394, loss_att=50.583, acc=0.726, loss=55.027, backward_time=0.323, grad_norm=59.200, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.424e-05, train_time=2.089 -[gpua001:0/64] 2023-12-12 22:38:20,991 (trainer:737) INFO: 30epoch:train:601-700batch: iter_time=2.232e-04, forward_time=0.173, loss_ctc=68.330, loss_att=52.906, acc=0.714, loss=57.533, backward_time=0.352, grad_norm=69.638, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=7.423e-05, train_time=2.290 -[gpua001:0/64] 2023-12-12 22:43:07,643 (trainer:737) INFO: 30epoch:train:701-800batch: iter_time=1.008e-04, forward_time=0.253, loss_ctc=63.881, loss_att=49.048, acc=0.732, loss=53.498, backward_time=0.496, grad_norm=75.597, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.422e-05, train_time=2.866 -[gpua001:0/64] 2023-12-12 22:47:01,141 (trainer:737) INFO: 30epoch:train:801-900batch: iter_time=9.882e-05, forward_time=0.143, loss_ctc=65.850, loss_att=53.148, acc=0.726, loss=56.959, backward_time=0.356, grad_norm=102.279, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.421e-05, train_time=2.335 -[gpua001:0/64] 2023-12-12 22:50:34,871 (trainer:737) INFO: 30epoch:train:901-1000batch: iter_time=8.988e-05, forward_time=0.145, loss_ctc=66.347, loss_att=57.980, acc=0.723, loss=60.490, backward_time=0.408, grad_norm=67.071, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.421e-05, train_time=2.137 -[gpua001:0/64] 2023-12-12 22:53:07,727 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-12 22:54:02,065 (trainer:737) INFO: 30epoch:train:1001-1100batch: iter_time=9.203e-05, forward_time=0.143, loss_ctc=62.017, loss_att=52.277, acc=0.716, loss=55.199, backward_time=0.392, grad_norm=72.819, clip=100.000, loss_scale=3.483e+31, optim_step_time=0.132, optim0_lr0=7.420e-05, train_time=2.072 -[gpua001:0/64] 2023-12-12 22:57:22,096 (trainer:737) INFO: 30epoch:train:1101-1200batch: iter_time=3.298e-04, forward_time=0.152, loss_ctc=69.551, loss_att=57.647, acc=0.695, loss=61.218, backward_time=0.359, grad_norm=132.146, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.419e-05, train_time=2.000 -[gpua001:0/64] 2023-12-12 22:59:17,388 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua001:0/64] 2023-12-12 22:59:35,934 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 22:59:39,537 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 22:59:39,537 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua001:0/64] 2023-12-12 22:59:39,540 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 23:14:01,972 (trainer:737) INFO: 30epoch:train:1201-1300batch: iter_time=3.186, forward_time=0.192, loss_ctc=71.668, loss_att=55.540, acc=0.712, loss=60.379, backward_time=0.379, grad_norm=75.458, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.418e-05, train_time=9.999 -[gpua001:0/64] 2023-12-12 23:18:09,641 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-12 23:22:33,107 (trainer:737) INFO: 30epoch:train:1301-1400batch: iter_time=1.021e-04, forward_time=0.198, loss_ctc=66.832, loss_att=59.878, acc=0.728, loss=61.964, backward_time=0.632, grad_norm=70.840, clip=100.000, loss_scale=1.260e+31, optim_step_time=0.136, optim0_lr0=7.417e-05, train_time=5.111 -[gpua001:0/64] 2023-12-12 23:29:36,178 (trainer:737) INFO: 30epoch:train:1401-1500batch: iter_time=9.886e-05, forward_time=0.149, loss_ctc=64.663, loss_att=49.584, acc=0.740, loss=54.108, backward_time=0.790, grad_norm=70.316, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.416e-05, train_time=4.230 -[gpua001:0/64] 2023-12-12 23:34:33,761 (trainer:737) INFO: 30epoch:train:1501-1600batch: iter_time=9.893e-05, forward_time=0.147, loss_ctc=68.810, loss_att=53.128, acc=0.737, loss=57.833, backward_time=0.540, grad_norm=68.636, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.415e-05, train_time=2.976 -[gpua001:0/64] 2023-12-12 23:38:30,155 (trainer:737) INFO: 30epoch:train:1601-1700batch: iter_time=1.011e-04, forward_time=0.146, loss_ctc=68.323, loss_att=52.846, acc=0.728, loss=57.489, backward_time=0.415, grad_norm=63.790, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.415e-05, train_time=2.364 -[gpua001:0/64] 2023-12-12 23:42:38,999 (trainer:737) INFO: 30epoch:train:1701-1800batch: iter_time=9.690e-05, forward_time=0.147, loss_ctc=66.859, loss_att=54.350, acc=0.736, loss=58.103, backward_time=0.422, grad_norm=60.116, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.414e-05, train_time=2.488 -[gpua001:0/64] 2023-12-12 23:46:11,637 (trainer:737) INFO: 30epoch:train:1801-1900batch: iter_time=9.232e-05, forward_time=0.162, loss_ctc=62.418, loss_att=44.060, acc=0.745, loss=49.567, backward_time=0.403, grad_norm=74.599, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.413e-05, train_time=2.126 -[gpua001:0/64] 2023-12-12 23:49:04,289 (trainer:737) INFO: 30epoch:train:1901-2000batch: iter_time=1.014e-04, forward_time=0.177, loss_ctc=70.653, loss_att=55.834, acc=0.722, loss=60.279, backward_time=0.344, grad_norm=62.440, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.412e-05, train_time=1.726 -[gpua001:0/64] 2023-12-12 23:52:31,900 (trainer:737) INFO: 30epoch:train:2001-2100batch: iter_time=9.514e-05, forward_time=0.220, loss_ctc=56.755, loss_att=45.297, acc=0.741, loss=48.735, backward_time=0.380, grad_norm=57.576, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.411e-05, train_time=2.075 -[gpua001:0/64] 2023-12-12 23:55:06,457 (trainer:737) INFO: 30epoch:train:2101-2200batch: iter_time=9.550e-05, forward_time=0.147, loss_ctc=71.312, loss_att=62.880, acc=0.719, loss=65.409, backward_time=0.310, grad_norm=71.013, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.410e-05, train_time=1.546 -[gpua001:0/64] 2023-12-12 23:58:35,204 (trainer:737) INFO: 30epoch:train:2201-2300batch: iter_time=5.055e-04, forward_time=0.157, loss_ctc=61.305, loss_att=48.222, acc=0.738, loss=52.147, backward_time=0.394, grad_norm=74.912, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.409e-05, train_time=2.087 -[gpua001:0/64] 2023-12-13 00:01:14,265 (trainer:737) INFO: 30epoch:train:2301-2400batch: iter_time=9.764e-05, forward_time=0.241, loss_ctc=65.395, loss_att=56.797, acc=0.717, loss=59.377, backward_time=0.338, grad_norm=75.187, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=7.409e-05, train_time=1.590 -[gpua001:0/64] 2023-12-13 00:03:51,851 (trainer:737) INFO: 30epoch:train:2401-2500batch: iter_time=9.078e-05, forward_time=0.147, loss_ctc=71.477, loss_att=54.781, acc=0.717, loss=59.790, backward_time=0.314, grad_norm=91.423, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.408e-05, train_time=1.575 -[gpua001:0/64] 2023-12-13 00:04:11,917 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua001:0/64] 2023-12-13 00:04:30,433 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 00:04:33,912 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 00:04:33,912 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua001:0/64] 2023-12-13 00:04:33,915 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 00:11:41,493 (trainer:737) INFO: 30epoch:train:2501-2600batch: iter_time=3.205, forward_time=0.147, loss_ctc=66.399, loss_att=57.521, acc=0.723, loss=60.184, backward_time=0.284, grad_norm=71.357, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.407e-05, train_time=4.697 -[gpua001:0/64] 2023-12-13 00:14:23,502 (trainer:737) INFO: 30epoch:train:2601-2700batch: iter_time=8.596e-05, forward_time=0.146, loss_ctc=64.631, loss_att=52.798, acc=0.724, loss=56.348, backward_time=0.342, grad_norm=70.066, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.406e-05, train_time=1.620 -[gpua001:0/64] 2023-12-13 00:16:46,408 (trainer:737) INFO: 30epoch:train:2701-2800batch: iter_time=9.062e-05, forward_time=0.149, loss_ctc=74.280, loss_att=56.107, acc=0.736, loss=61.559, backward_time=0.293, grad_norm=66.640, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.405e-05, train_time=1.429 -[gpua001:0/64] 2023-12-13 00:19:50,930 (trainer:737) INFO: 30epoch:train:2801-2900batch: iter_time=9.318e-05, forward_time=0.177, loss_ctc=59.827, loss_att=43.108, acc=0.734, loss=48.124, backward_time=0.349, grad_norm=78.380, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.404e-05, train_time=1.845 -[gpua001:0/64] 2023-12-13 00:22:24,412 (trainer:737) INFO: 30epoch:train:2901-3000batch: iter_time=1.184e-04, forward_time=0.221, loss_ctc=67.392, loss_att=52.455, acc=0.729, loss=56.936, backward_time=0.332, grad_norm=75.703, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.404e-05, train_time=1.535 -[gpua001:0/64] 2023-12-13 00:25:15,079 (trainer:737) INFO: 30epoch:train:3001-3100batch: iter_time=1.130e-04, forward_time=0.155, loss_ctc=65.112, loss_att=49.461, acc=0.732, loss=54.156, backward_time=0.312, grad_norm=82.710, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.403e-05, train_time=1.706 -[gpua001:0/64] 2023-12-13 00:27:37,357 (trainer:737) INFO: 30epoch:train:3101-3200batch: iter_time=1.066e-04, forward_time=0.146, loss_ctc=67.596, loss_att=52.178, acc=0.718, loss=56.803, backward_time=0.290, grad_norm=68.309, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.402e-05, train_time=1.422 -[gpua001:0/64] 2023-12-13 00:30:14,572 (trainer:737) INFO: 30epoch:train:3201-3300batch: iter_time=1.106e-04, forward_time=0.146, loss_ctc=63.655, loss_att=48.357, acc=0.735, loss=52.947, backward_time=0.297, grad_norm=65.524, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.401e-05, train_time=1.572 -[gpua001:0/64] 2023-12-13 00:32:43,345 (trainer:737) INFO: 30epoch:train:3301-3400batch: iter_time=1.057e-04, forward_time=0.147, loss_ctc=64.669, loss_att=52.432, acc=0.729, loss=56.103, backward_time=0.291, grad_norm=67.267, clip=100.000, loss_scale=1.775e+31, optim_step_time=0.131, optim0_lr0=7.400e-05, train_time=1.488 -[gpua001:0/64] 2023-12-13 00:35:07,147 (trainer:737) INFO: 30epoch:train:3401-3500batch: iter_time=9.526e-05, forward_time=0.147, loss_ctc=64.959, loss_att=56.564, acc=0.729, loss=59.083, backward_time=0.289, grad_norm=68.778, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.399e-05, train_time=1.438 -[gpua001:0/64] 2023-12-13 00:37:31,133 (trainer:737) INFO: 30epoch:train:3501-3600batch: iter_time=9.420e-05, forward_time=0.145, loss_ctc=61.089, loss_att=52.235, acc=0.717, loss=54.891, backward_time=0.282, grad_norm=72.580, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.398e-05, train_time=1.440 -[gpua001:0/64] 2023-12-13 00:39:44,219 (trainer:737) INFO: 30epoch:train:3601-3700batch: iter_time=9.604e-05, forward_time=0.165, loss_ctc=67.480, loss_att=55.792, acc=0.699, loss=59.298, backward_time=0.284, grad_norm=88.077, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.398e-05, train_time=1.330 -[gpua001:0/64] 2023-12-13 00:41:45,035 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua001:0/64] 2023-12-13 00:42:03,877 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 00:42:07,369 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 00:42:07,369 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua001:0/64] 2023-12-13 00:42:07,372 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 00:50:55,038 (trainer:737) INFO: 30epoch:train:3701-3800batch: iter_time=5.013, forward_time=0.212, loss_ctc=70.306, loss_att=53.391, acc=0.714, loss=58.465, backward_time=0.306, grad_norm=73.421, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.397e-05, train_time=6.708 -[gpua001:0/64] 2023-12-13 00:53:07,932 (trainer:737) INFO: 30epoch:train:3801-3900batch: iter_time=8.936e-05, forward_time=0.148, loss_ctc=65.736, loss_att=56.545, acc=0.730, loss=59.302, backward_time=0.296, grad_norm=59.769, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.396e-05, train_time=1.329 -[gpua001:0/64] 2023-12-13 00:55:21,352 (trainer:737) INFO: 30epoch:train:3901-4000batch: iter_time=1.026e-04, forward_time=0.147, loss_ctc=64.467, loss_att=47.955, acc=0.739, loss=52.909, backward_time=0.296, grad_norm=55.999, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.395e-05, train_time=1.334 -[gpua001:0/64] 2023-12-13 00:57:52,835 (trainer:737) INFO: 30epoch:train:4001-4100batch: iter_time=1.025e-04, forward_time=0.147, loss_ctc=68.592, loss_att=51.233, acc=0.737, loss=56.440, backward_time=0.299, grad_norm=53.991, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.394e-05, train_time=1.515 -[gpua001:0/64] 2023-12-13 01:00:18,595 (trainer:737) INFO: 30epoch:train:4101-4200batch: iter_time=9.820e-05, forward_time=0.147, loss_ctc=67.999, loss_att=50.887, acc=0.728, loss=56.020, backward_time=0.288, grad_norm=58.643, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.393e-05, train_time=1.457 -[gpua001:0/64] 2023-12-13 01:02:39,442 (trainer:737) INFO: 30epoch:train:4201-4300batch: iter_time=9.349e-05, forward_time=0.147, loss_ctc=65.865, loss_att=53.347, acc=0.733, loss=57.103, backward_time=0.281, grad_norm=65.055, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.393e-05, train_time=1.408 -[gpua001:0/64] 2023-12-13 01:04:53,669 (trainer:737) INFO: 30epoch:train:4301-4400batch: iter_time=9.201e-05, forward_time=0.146, loss_ctc=61.353, loss_att=42.706, acc=0.745, loss=48.300, backward_time=0.287, grad_norm=68.547, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.392e-05, train_time=1.342 -[gpua001:0/64] 2023-12-13 01:07:24,222 (trainer:737) INFO: 30epoch:train:4401-4500batch: iter_time=9.001e-05, forward_time=0.146, loss_ctc=70.125, loss_att=54.387, acc=0.723, loss=59.108, backward_time=0.324, grad_norm=57.137, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.391e-05, train_time=1.505 -[gpua001:0/64] 2023-12-13 01:10:25,042 (trainer:737) INFO: 30epoch:train:4501-4600batch: iter_time=3.566e-04, forward_time=0.163, loss_ctc=56.616, loss_att=45.454, acc=0.735, loss=48.802, backward_time=0.348, grad_norm=59.895, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.390e-05, train_time=1.808 -[gpua001:0/64] 2023-12-13 01:13:26,633 (trainer:737) INFO: 30epoch:train:4601-4700batch: iter_time=9.755e-05, forward_time=0.187, loss_ctc=70.203, loss_att=61.708, acc=0.711, loss=64.257, backward_time=0.381, grad_norm=65.302, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.389e-05, train_time=1.816 -[gpua001:0/64] 2023-12-13 01:15:59,972 (trainer:737) INFO: 30epoch:train:4701-4800batch: iter_time=9.329e-05, forward_time=0.149, loss_ctc=60.789, loss_att=47.779, acc=0.736, loss=51.682, backward_time=0.323, grad_norm=57.772, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.388e-05, train_time=1.533 -[gpua001:0/64] 2023-12-13 01:18:01,274 (trainer:737) INFO: 30epoch:train:4801-4900batch: iter_time=9.467e-05, forward_time=0.147, loss_ctc=64.308, loss_att=56.231, acc=0.709, loss=58.654, backward_time=0.278, grad_norm=63.295, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.388e-05, train_time=1.213 -[gpua001:0/64] 2023-12-13 01:20:17,862 (trainer:737) INFO: 30epoch:train:4901-5000batch: iter_time=8.708e-05, forward_time=0.146, loss_ctc=69.880, loss_att=52.847, acc=0.714, loss=57.957, backward_time=0.298, grad_norm=78.729, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.387e-05, train_time=1.366 -[gpua001:0/64] 2023-12-13 01:20:37,890 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua001:0/64] 2023-12-13 01:20:56,462 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 01:21:00,160 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 01:21:00,160 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua001:0/64] 2023-12-13 01:21:00,163 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 01:27:48,850 (trainer:737) INFO: 30epoch:train:5001-5100batch: iter_time=2.667, forward_time=0.148, loss_ctc=66.575, loss_att=60.162, acc=0.727, loss=62.086, backward_time=0.282, grad_norm=69.567, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.386e-05, train_time=4.510 -[gpua001:0/64] 2023-12-13 01:29:55,186 (trainer:737) INFO: 30epoch:train:5101-5200batch: iter_time=8.927e-05, forward_time=0.147, loss_ctc=65.228, loss_att=53.943, acc=0.732, loss=57.329, backward_time=0.277, grad_norm=55.409, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.385e-05, train_time=1.263 -[gpua001:0/64] 2023-12-13 01:32:34,420 (trainer:737) INFO: 30epoch:train:5201-5300batch: iter_time=9.150e-05, forward_time=0.147, loss_ctc=73.583, loss_att=57.317, acc=0.740, loss=62.197, backward_time=0.299, grad_norm=58.529, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.384e-05, train_time=1.592 -[gpua001:0/64] 2023-12-13 01:35:16,416 (trainer:737) INFO: 30epoch:train:5301-5400batch: iter_time=8.469e-05, forward_time=0.231, loss_ctc=58.905, loss_att=44.137, acc=0.743, loss=48.568, backward_time=0.356, grad_norm=51.269, clip=100.000, loss_scale=3.549e+31, optim_step_time=0.137, optim0_lr0=7.383e-05, train_time=1.620 -[gpua001:0/64] 2023-12-13 01:37:48,623 (trainer:737) INFO: 30epoch:train:5401-5500batch: iter_time=9.352e-05, forward_time=0.146, loss_ctc=66.531, loss_att=51.563, acc=0.736, loss=56.054, backward_time=0.310, grad_norm=60.275, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.383e-05, train_time=1.522 -[gpua001:0/64] 2023-12-13 01:40:22,257 (trainer:737) INFO: 30epoch:train:5501-5600batch: iter_time=8.958e-05, forward_time=0.146, loss_ctc=64.711, loss_att=49.861, acc=0.743, loss=54.316, backward_time=0.313, grad_norm=61.368, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.382e-05, train_time=1.536 -[gpua001:0/64] 2023-12-13 01:42:49,536 (trainer:737) INFO: 30epoch:train:5601-5700batch: iter_time=9.779e-05, forward_time=0.146, loss_ctc=67.459, loss_att=53.794, acc=0.722, loss=57.894, backward_time=0.304, grad_norm=69.253, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.381e-05, train_time=1.473 -[gpua001:0/64] 2023-12-13 01:46:03,091 (trainer:737) INFO: 30epoch:train:5701-5800batch: iter_time=9.363e-05, forward_time=0.146, loss_ctc=63.629, loss_att=48.454, acc=0.745, loss=53.007, backward_time=0.346, grad_norm=67.360, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.380e-05, train_time=1.935 -[gpua001:0/64] 2023-12-13 01:48:23,743 (trainer:737) INFO: 30epoch:train:5801-5900batch: iter_time=9.556e-05, forward_time=0.146, loss_ctc=64.525, loss_att=52.834, acc=0.735, loss=56.341, backward_time=0.316, grad_norm=74.657, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.379e-05, train_time=1.406 -[gpua001:0/64] 2023-12-13 01:51:00,503 (trainer:737) INFO: 30epoch:train:5901-6000batch: iter_time=8.357e-05, forward_time=0.148, loss_ctc=64.180, loss_att=56.195, acc=0.740, loss=58.590, backward_time=0.314, grad_norm=69.273, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.378e-05, train_time=1.567 -[gpua001:0/64] 2023-12-13 01:53:07,644 (trainer:737) INFO: 30epoch:train:6001-6100batch: iter_time=8.829e-05, forward_time=0.146, loss_ctc=60.268, loss_att=51.890, acc=0.729, loss=54.403, backward_time=0.279, grad_norm=122.988, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.377e-05, train_time=1.271 -[gpua001:0/64] 2023-12-13 01:53:31,839 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-13 01:55:14,208 (trainer:737) INFO: 30epoch:train:6101-6200batch: iter_time=8.466e-05, forward_time=0.146, loss_ctc=66.714, loss_att=55.653, acc=0.712, loss=58.971, backward_time=0.280, grad_norm=99.802, clip=100.000, loss_scale=2.417e+31, optim_step_time=0.132, optim0_lr0=7.377e-05, train_time=1.265 -[gpua001:0/64] 2023-12-13 01:56:51,802 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua001:0/64] 2023-12-13 01:57:10,453 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 01:57:13,953 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 01:57:13,953 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua001:0/64] 2023-12-13 01:57:13,979 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 02:03:18,477 (trainer:737) INFO: 30epoch:train:6201-6300batch: iter_time=3.164, forward_time=0.186, loss_ctc=69.309, loss_att=55.023, acc=0.717, loss=59.309, backward_time=0.323, grad_norm=71.870, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.376e-05, train_time=4.842 -[gpua001:0/64] 2023-12-13 02:04:23,835 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-13 02:05:21,654 (trainer:737) INFO: 30epoch:train:6301-6400batch: iter_time=8.241e-05, forward_time=0.149, loss_ctc=65.797, loss_att=57.715, acc=0.729, loss=60.139, backward_time=0.275, grad_norm=68.263, clip=100.000, loss_scale=1.557e+31, optim_step_time=0.132, optim0_lr0=7.375e-05, train_time=1.232 -[gpua001:0/64] 2023-12-13 02:08:28,524 (trainer:737) INFO: 30epoch:train:6401-6500batch: iter_time=8.197e-05, forward_time=0.146, loss_ctc=64.628, loss_att=48.554, acc=0.739, loss=53.376, backward_time=0.310, grad_norm=71.863, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.374e-05, train_time=1.868 -[gpua001:0/64] 2023-12-13 02:11:10,164 (trainer:737) INFO: 30epoch:train:6501-6600batch: iter_time=8.242e-05, forward_time=0.145, loss_ctc=68.082, loss_att=51.111, acc=0.738, loss=56.203, backward_time=0.293, grad_norm=75.913, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.373e-05, train_time=1.616 -[gpua001:0/64] 2023-12-13 02:12:36,023 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-13 02:13:38,308 (trainer:737) INFO: 30epoch:train:6601-6700batch: iter_time=8.237e-05, forward_time=0.145, loss_ctc=67.236, loss_att=50.498, acc=0.731, loss=55.519, backward_time=0.290, grad_norm=67.781, clip=100.000, loss_scale=7.632e+30, optim_step_time=0.131, optim0_lr0=7.372e-05, train_time=1.481 -[gpua001:0/64] 2023-12-13 02:16:20,893 (trainer:737) INFO: 30epoch:train:6701-6800batch: iter_time=8.351e-05, forward_time=0.145, loss_ctc=65.349, loss_att=52.897, acc=0.736, loss=56.632, backward_time=0.312, grad_norm=59.546, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=7.372e-05, train_time=1.626 -[gpua001:0/64] 2023-12-13 02:18:44,491 (trainer:737) INFO: 30epoch:train:6801-6900batch: iter_time=8.670e-05, forward_time=0.145, loss_ctc=61.307, loss_att=42.371, acc=0.746, loss=48.052, backward_time=0.307, grad_norm=57.001, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=7.371e-05, train_time=1.436 -[gpua001:0/64] 2023-12-13 02:21:28,271 (trainer:737) INFO: 30epoch:train:6901-7000batch: iter_time=8.070e-05, forward_time=0.148, loss_ctc=69.544, loss_att=54.427, acc=0.723, loss=58.962, backward_time=0.354, grad_norm=84.933, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=7.370e-05, train_time=1.638 -[gpua001:0/64] 2023-12-13 02:23:39,009 (trainer:737) INFO: 30epoch:train:7001-7100batch: iter_time=8.419e-05, forward_time=0.146, loss_ctc=56.555, loss_att=45.308, acc=0.737, loss=48.682, backward_time=0.296, grad_norm=59.623, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=7.369e-05, train_time=1.307 -[gpua001:0/64] 2023-12-13 02:25:45,277 (trainer:737) INFO: 30epoch:train:7101-7200batch: iter_time=8.101e-05, forward_time=0.146, loss_ctc=69.893, loss_att=62.407, acc=0.711, loss=64.653, backward_time=0.281, grad_norm=119.184, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=7.368e-05, train_time=1.262 -[gpua001:0/64] 2023-12-13 02:28:46,720 (trainer:737) INFO: 30epoch:train:7201-7300batch: iter_time=8.384e-05, forward_time=0.147, loss_ctc=60.903, loss_att=48.033, acc=0.736, loss=51.894, backward_time=0.366, grad_norm=74.992, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=7.367e-05, train_time=1.814 -[gpua001:0/64] 2023-12-13 02:31:35,869 (trainer:737) INFO: 30epoch:train:7301-7400batch: iter_time=8.282e-05, forward_time=0.146, loss_ctc=64.307, loss_att=56.258, acc=0.710, loss=58.672, backward_time=0.304, grad_norm=85.887, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=7.367e-05, train_time=1.691 -[gpua001:0/64] 2023-12-13 02:34:11,005 (trainer:737) INFO: 30epoch:train:7401-7500batch: iter_time=7.979e-05, forward_time=0.220, loss_ctc=69.675, loss_att=54.225, acc=0.713, loss=58.860, backward_time=0.346, grad_norm=88.041, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.139, optim0_lr0=7.366e-05, train_time=1.551 -[gpua001:0/64] 2023-12-13 02:34:31,066 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua001:0/64] 2023-12-13 02:34:49,607 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 02:34:53,066 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 02:34:53,067 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua001:0/64] 2023-12-13 02:34:53,070 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 02:42:14,542 (trainer:737) INFO: 30epoch:train:7501-7600batch: iter_time=3.245, forward_time=0.147, loss_ctc=65.738, loss_att=58.619, acc=0.733, loss=60.755, backward_time=0.288, grad_norm=90.193, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=7.365e-05, train_time=4.836 -[gpua001:0/64] 2023-12-13 02:44:15,470 (trainer:737) INFO: 30epoch:train:7601-7700batch: iter_time=8.681e-05, forward_time=0.147, loss_ctc=64.159, loss_att=52.934, acc=0.736, loss=56.301, backward_time=0.277, grad_norm=58.659, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=7.364e-05, train_time=1.209 -[gpua001:0/64] 2023-12-13 02:46:18,750 (trainer:737) INFO: 30epoch:train:7701-7800batch: iter_time=9.138e-05, forward_time=0.147, loss_ctc=73.643, loss_att=57.300, acc=0.742, loss=62.203, backward_time=0.280, grad_norm=64.553, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=7.363e-05, train_time=1.233 -[gpua001:0/64] 2023-12-13 02:48:31,332 (trainer:737) INFO: 30epoch:train:7801-7900batch: iter_time=8.474e-05, forward_time=0.146, loss_ctc=58.510, loss_att=43.937, acc=0.743, loss=48.309, backward_time=0.276, grad_norm=57.340, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=7.362e-05, train_time=1.326 -[gpua001:0/64] 2023-12-13 02:51:09,747 (trainer:737) INFO: 30epoch:train:7901-8000batch: iter_time=8.727e-05, forward_time=0.147, loss_ctc=66.136, loss_att=51.895, acc=0.738, loss=56.167, backward_time=0.320, grad_norm=62.508, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=7.362e-05, train_time=1.584 -[gpua001:0/64] 2023-12-13 02:53:34,771 (trainer:737) INFO: 30epoch:train:8001-8100batch: iter_time=9.378e-05, forward_time=0.147, loss_ctc=64.203, loss_att=49.888, acc=0.745, loss=54.183, backward_time=0.291, grad_norm=56.420, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=7.361e-05, train_time=1.450 -[gpua001:0/64] 2023-12-13 02:56:20,332 (trainer:737) INFO: 30epoch:train:8101-8200batch: iter_time=8.903e-05, forward_time=0.147, loss_ctc=66.941, loss_att=53.737, acc=0.723, loss=57.699, backward_time=0.302, grad_norm=60.365, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=7.360e-05, train_time=1.655 -[gpua001:0/64] 2023-12-13 02:59:23,287 (trainer:737) INFO: 30epoch:train:8201-8300batch: iter_time=8.815e-05, forward_time=0.179, loss_ctc=63.300, loss_att=47.776, acc=0.749, loss=52.433, backward_time=0.383, grad_norm=54.422, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.359e-05, train_time=1.829 -[gpua001:0/64] 2023-12-13 03:02:16,069 (trainer:737) INFO: 30epoch:train:8301-8400batch: iter_time=9.209e-05, forward_time=0.178, loss_ctc=63.733, loss_att=52.438, acc=0.739, loss=55.827, backward_time=0.311, grad_norm=60.523, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=7.358e-05, train_time=1.727 -[gpua001:0/64] 2023-12-13 03:04:59,732 (trainer:737) INFO: 30epoch:train:8401-8500batch: iter_time=8.462e-05, forward_time=0.149, loss_ctc=64.328, loss_att=55.889, acc=0.742, loss=58.421, backward_time=0.297, grad_norm=56.955, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=7.358e-05, train_time=1.637 -[gpua001:0/64] 2023-12-13 03:07:09,838 (trainer:737) INFO: 30epoch:train:8501-8600batch: iter_time=8.819e-05, forward_time=0.146, loss_ctc=60.179, loss_att=51.627, acc=0.730, loss=54.193, backward_time=0.275, grad_norm=57.347, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=7.357e-05, train_time=1.301 -[gpua001:0/64] 2023-12-13 03:09:33,274 (trainer:737) INFO: 30epoch:train:8601-8700batch: iter_time=8.625e-05, forward_time=0.146, loss_ctc=66.188, loss_att=55.067, acc=0.715, loss=58.403, backward_time=0.315, grad_norm=77.532, clip=100.000, loss_scale=7.555e+30, optim_step_time=0.132, optim0_lr0=7.356e-05, train_time=1.434 -[gpua001:0/64] 2023-12-13 03:10:53,590 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua001:0/64] 2023-12-13 03:11:12,314 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 03:11:15,821 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 03:11:15,821 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua001:0/64] 2023-12-13 03:11:15,824 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 03:17:14,264 (trainer:737) INFO: 30epoch:train:8701-8800batch: iter_time=3.246, forward_time=0.146, loss_ctc=68.699, loss_att=54.685, acc=0.720, loss=58.890, backward_time=0.277, grad_norm=68.518, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.355e-05, train_time=4.610 -[gpua001:0/64] 2023-12-13 03:19:37,905 (trainer:737) INFO: 30epoch:train:8801-8900batch: iter_time=8.353e-05, forward_time=0.146, loss_ctc=65.529, loss_att=57.320, acc=0.732, loss=59.782, backward_time=0.291, grad_norm=57.216, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.354e-05, train_time=1.436 -[gpua001:0/64] 2023-12-13 03:22:00,325 (trainer:737) INFO: 30epoch:train:8901-9000batch: iter_time=8.563e-05, forward_time=0.146, loss_ctc=64.234, loss_att=48.328, acc=0.741, loss=53.100, backward_time=0.313, grad_norm=53.787, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.353e-05, train_time=1.424 -[gpua001:0/64] 2023-12-13 03:25:06,277 (trainer:737) INFO: 30epoch:train:9001-9100batch: iter_time=9.247e-05, forward_time=0.156, loss_ctc=68.033, loss_att=50.978, acc=0.740, loss=56.094, backward_time=0.374, grad_norm=55.322, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.353e-05, train_time=1.859 -[gpua001:0/64] 2023-12-13 03:28:18,668 (trainer:737) INFO: 30epoch:train:9101-9200batch: iter_time=8.562e-05, forward_time=0.215, loss_ctc=66.785, loss_att=50.069, acc=0.732, loss=55.084, backward_time=0.356, grad_norm=59.174, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.352e-05, train_time=1.924 -[gpua001:0/64] 2023-12-13 03:30:57,569 (trainer:737) INFO: 30epoch:train:9201-9300batch: iter_time=8.693e-05, forward_time=0.147, loss_ctc=64.972, loss_att=52.821, acc=0.736, loss=56.466, backward_time=0.301, grad_norm=54.554, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.351e-05, train_time=1.588 -[gpua001:0/64] 2023-12-13 03:33:50,111 (trainer:737) INFO: 30epoch:train:9301-9400batch: iter_time=8.489e-05, forward_time=0.147, loss_ctc=61.058, loss_att=42.747, acc=0.745, loss=48.241, backward_time=0.346, grad_norm=55.902, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.350e-05, train_time=1.726 -[gpua001:0/64] 2023-12-13 03:36:41,902 (trainer:737) INFO: 30epoch:train:9401-9500batch: iter_time=1.014e-04, forward_time=0.146, loss_ctc=69.514, loss_att=54.395, acc=0.724, loss=58.931, backward_time=0.350, grad_norm=69.037, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.349e-05, train_time=1.718 -[gpua001:0/64] 2023-12-13 03:39:46,206 (trainer:737) INFO: 30epoch:train:9501-9600batch: iter_time=9.715e-05, forward_time=0.146, loss_ctc=56.162, loss_att=45.079, acc=0.737, loss=48.404, backward_time=0.325, grad_norm=50.933, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.348e-05, train_time=1.843 -[gpua001:0/64] 2023-12-13 03:42:38,784 (trainer:737) INFO: 30epoch:train:9601-9700batch: iter_time=9.158e-05, forward_time=0.146, loss_ctc=69.220, loss_att=61.355, acc=0.715, loss=63.715, backward_time=0.311, grad_norm=69.467, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.348e-05, train_time=1.726 -[gpua001:0/64] 2023-12-13 03:45:37,667 (trainer:737) INFO: 30epoch:train:9701-9800batch: iter_time=9.357e-05, forward_time=0.146, loss_ctc=59.938, loss_att=47.595, acc=0.738, loss=51.298, backward_time=0.358, grad_norm=58.601, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.347e-05, train_time=1.789 -[gpua001:0/64] 2023-12-13 03:49:00,404 (trainer:737) INFO: 30epoch:train:9801-9900batch: iter_time=8.649e-05, forward_time=0.146, loss_ctc=64.529, loss_att=56.158, acc=0.711, loss=58.669, backward_time=0.342, grad_norm=65.018, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.346e-05, train_time=2.027 -[gpua001:0/64] 2023-12-13 03:51:55,314 (trainer:737) INFO: 30epoch:train:9901-10000batch: iter_time=8.699e-05, forward_time=0.147, loss_ctc=67.697, loss_att=52.091, acc=0.717, loss=56.773, backward_time=0.335, grad_norm=67.817, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.345e-05, train_time=1.749 -[gpua001:0/64] 2023-12-13 03:52:15,343 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua001:0/64] 2023-12-13 03:52:33,801 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 03:52:37,248 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 03:52:37,248 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua001:0/64] 2023-12-13 03:52:37,251 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 04:02:59,069 (trainer:737) INFO: 30epoch:train:10001-10100batch: iter_time=5.331, forward_time=0.190, loss_ctc=66.015, loss_att=59.141, acc=0.732, loss=61.203, backward_time=0.285, grad_norm=60.759, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.344e-05, train_time=6.637 -[gpua001:0/64] 2023-12-13 04:05:18,443 (trainer:737) INFO: 30epoch:train:10101-10200batch: iter_time=8.843e-05, forward_time=0.147, loss_ctc=63.634, loss_att=52.507, acc=0.738, loss=55.845, backward_time=0.296, grad_norm=54.261, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.343e-05, train_time=1.394 -[gpua001:0/64] 2023-12-13 04:08:09,428 (trainer:737) INFO: 30epoch:train:10201-10300batch: iter_time=8.498e-05, forward_time=0.149, loss_ctc=74.405, loss_att=57.356, acc=0.742, loss=62.471, backward_time=0.300, grad_norm=58.727, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.343e-05, train_time=1.710 -[gpua001:0/64] 2023-12-13 04:10:48,691 (trainer:737) INFO: 30epoch:train:10301-10400batch: iter_time=8.657e-05, forward_time=0.147, loss_ctc=58.961, loss_att=43.675, acc=0.745, loss=48.261, backward_time=0.312, grad_norm=60.228, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.342e-05, train_time=1.592 -[gpua001:0/64] 2023-12-13 04:12:54,240 (trainer:737) INFO: 30epoch:train:10401-10500batch: iter_time=8.080e-05, forward_time=0.148, loss_ctc=65.985, loss_att=51.550, acc=0.737, loss=55.880, backward_time=0.281, grad_norm=57.943, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.341e-05, train_time=1.255 -[gpua001:0/64] 2023-12-13 04:15:18,863 (trainer:737) INFO: 30epoch:train:10501-10600batch: iter_time=8.741e-05, forward_time=0.147, loss_ctc=63.681, loss_att=49.161, acc=0.744, loss=53.517, backward_time=0.292, grad_norm=55.345, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.340e-05, train_time=1.446 -[gpua001:0/64] 2023-12-13 04:17:56,308 (trainer:737) INFO: 30epoch:train:10601-10700batch: iter_time=8.846e-05, forward_time=0.181, loss_ctc=66.715, loss_att=53.275, acc=0.724, loss=57.307, backward_time=0.304, grad_norm=55.363, clip=100.000, loss_scale=1.511e+31, optim_step_time=0.132, optim0_lr0=7.339e-05, train_time=1.574 -[gpua001:0/64] 2023-12-13 04:20:36,262 (trainer:737) INFO: 30epoch:train:10701-10800batch: iter_time=8.931e-05, forward_time=0.210, loss_ctc=62.722, loss_att=48.045, acc=0.748, loss=52.448, backward_time=0.323, grad_norm=52.843, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.339e-05, train_time=1.600 -[gpua001:0/64] 2023-12-13 04:23:10,159 (trainer:737) INFO: 30epoch:train:10801-10900batch: iter_time=9.296e-05, forward_time=0.148, loss_ctc=63.498, loss_att=52.269, acc=0.739, loss=55.638, backward_time=0.315, grad_norm=68.179, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.338e-05, train_time=1.539 -[gpua001:0/64] 2023-12-13 04:25:54,924 (trainer:737) INFO: 30epoch:train:10901-11000batch: iter_time=9.377e-05, forward_time=0.148, loss_ctc=64.288, loss_att=55.731, acc=0.742, loss=58.298, backward_time=0.303, grad_norm=70.006, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.337e-05, train_time=1.647 -[gpua001:0/64] 2023-12-13 04:28:24,617 (trainer:737) INFO: 30epoch:train:11001-11100batch: iter_time=9.200e-05, forward_time=0.146, loss_ctc=59.896, loss_att=51.158, acc=0.732, loss=53.780, backward_time=0.296, grad_norm=57.456, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.336e-05, train_time=1.497 -[gpua001:0/64] 2023-12-13 04:30:56,220 (trainer:737) INFO: 30epoch:train:11101-11200batch: iter_time=8.679e-05, forward_time=0.147, loss_ctc=66.373, loss_att=54.971, acc=0.715, loss=58.392, backward_time=0.296, grad_norm=69.826, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.335e-05, train_time=1.516 -[gpua001:0/64] 2023-12-13 04:32:18,508 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua001:0/64] 2023-12-13 04:32:37,395 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 04:32:40,929 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 04:32:40,929 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua001:0/64] 2023-12-13 04:32:40,932 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 04:38:35,733 (trainer:737) INFO: 30epoch:train:11201-11300batch: iter_time=3.260, forward_time=0.147, loss_ctc=68.604, loss_att=54.534, acc=0.724, loss=58.755, backward_time=0.280, grad_norm=64.636, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.334e-05, train_time=4.595 -[gpua001:0/64] 2023-12-13 04:40:58,676 (trainer:737) INFO: 30epoch:train:11301-11400batch: iter_time=8.199e-05, forward_time=0.147, loss_ctc=65.106, loss_att=58.426, acc=0.739, loss=60.430, backward_time=0.299, grad_norm=56.307, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.334e-05, train_time=1.429 -[gpua001:0/64] 2023-12-13 04:43:17,645 (trainer:737) INFO: 30epoch:train:11401-11500batch: iter_time=8.180e-05, forward_time=0.149, loss_ctc=64.335, loss_att=48.667, acc=0.747, loss=53.367, backward_time=0.284, grad_norm=59.284, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.333e-05, train_time=1.389 -[gpua001:0/64] 2023-12-13 04:46:02,635 (trainer:737) INFO: 30epoch:train:11501-11600batch: iter_time=8.796e-05, forward_time=0.147, loss_ctc=67.867, loss_att=52.373, acc=0.744, loss=57.021, backward_time=0.299, grad_norm=59.295, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.332e-05, train_time=1.650 -[gpua001:0/64] 2023-12-13 04:48:26,453 (trainer:737) INFO: 30epoch:train:11601-11700batch: iter_time=1.707e-04, forward_time=0.255, loss_ctc=67.119, loss_att=51.625, acc=0.736, loss=56.273, backward_time=0.329, grad_norm=57.549, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=7.331e-05, train_time=1.437 -[gpua001:0/64] 2023-12-13 04:50:50,821 (trainer:737) INFO: 30epoch:train:11701-11800batch: iter_time=9.216e-05, forward_time=0.147, loss_ctc=65.056, loss_att=53.677, acc=0.743, loss=57.091, backward_time=0.324, grad_norm=74.310, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.330e-05, train_time=1.444 -[gpua001:0/64] 2023-12-13 04:53:33,921 (trainer:737) INFO: 30epoch:train:11801-11900batch: iter_time=8.705e-05, forward_time=0.147, loss_ctc=61.244, loss_att=43.268, acc=0.750, loss=48.661, backward_time=0.316, grad_norm=60.925, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.329e-05, train_time=1.631 -[gpua001:0/64] 2023-12-13 04:55:59,948 (trainer:737) INFO: 30epoch:train:11901-12000batch: iter_time=8.379e-05, forward_time=0.146, loss_ctc=69.871, loss_att=55.127, acc=0.726, loss=59.550, backward_time=0.295, grad_norm=64.756, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.329e-05, train_time=1.460 -[gpua001:0/64] 2023-12-13 04:58:34,537 (trainer:737) INFO: 30epoch:train:12001-12100batch: iter_time=8.802e-05, forward_time=0.146, loss_ctc=56.031, loss_att=44.782, acc=0.744, loss=48.156, backward_time=0.308, grad_norm=67.334, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.328e-05, train_time=1.546 -[gpua001:0/64] 2023-12-13 05:00:58,030 (trainer:737) INFO: 30epoch:train:12101-12200batch: iter_time=7.920e-05, forward_time=0.147, loss_ctc=69.276, loss_att=61.285, acc=0.726, loss=63.682, backward_time=0.285, grad_norm=66.262, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.327e-05, train_time=1.435 -[gpua001:0/64] 2023-12-13 05:03:37,950 (trainer:737) INFO: 30epoch:train:12201-12300batch: iter_time=7.877e-05, forward_time=0.146, loss_ctc=59.774, loss_att=47.508, acc=0.740, loss=51.188, backward_time=0.299, grad_norm=59.413, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.326e-05, train_time=1.599 -[gpua001:0/64] 2023-12-13 05:06:50,265 (trainer:737) INFO: 30epoch:train:12301-12400batch: iter_time=8.507e-05, forward_time=0.147, loss_ctc=64.001, loss_att=56.483, acc=0.720, loss=58.738, backward_time=0.328, grad_norm=63.943, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.325e-05, train_time=1.923 -[gpua001:0/64] 2023-12-13 05:08:56,892 (trainer:737) INFO: 30epoch:train:12401-12500batch: iter_time=8.943e-05, forward_time=0.146, loss_ctc=67.287, loss_att=52.980, acc=0.721, loss=57.272, backward_time=0.280, grad_norm=71.916, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.325e-05, train_time=1.266 -[gpua001:0/64] 2023-12-13 05:09:16,920 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua001:0/64] 2023-12-13 05:09:35,791 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 05:09:39,252 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 05:09:39,252 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua001:0/64] 2023-12-13 05:09:39,256 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 05:17:01,364 (trainer:737) INFO: 30epoch:train:12501-12600batch: iter_time=3.235, forward_time=0.178, loss_ctc=65.875, loss_att=57.468, acc=0.728, loss=59.990, backward_time=0.318, grad_norm=68.496, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.324e-05, train_time=4.844 -[gpua001:0/64] 2023-12-13 05:19:26,230 (trainer:737) INFO: 30epoch:train:12601-12700batch: iter_time=8.559e-05, forward_time=0.150, loss_ctc=64.051, loss_att=52.877, acc=0.727, loss=56.229, backward_time=0.291, grad_norm=57.806, clip=100.000, loss_scale=3.022e+31, optim_step_time=0.132, optim0_lr0=7.323e-05, train_time=1.449 -[gpua001:0/64] 2023-12-13 05:22:12,913 (trainer:737) INFO: 30epoch:train:12701-12800batch: iter_time=8.649e-05, forward_time=0.147, loss_ctc=73.565, loss_att=56.040, acc=0.736, loss=61.298, backward_time=0.307, grad_norm=56.171, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.322e-05, train_time=1.667 -[gpua001:0/64] 2023-12-13 05:24:40,895 (trainer:737) INFO: 30epoch:train:12801-12900batch: iter_time=8.730e-05, forward_time=0.147, loss_ctc=58.500, loss_att=42.568, acc=0.738, loss=47.348, backward_time=0.290, grad_norm=60.095, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.321e-05, train_time=1.480 -[gpua001:0/64] 2023-12-13 05:27:38,729 (trainer:737) INFO: 30epoch:train:12901-13000batch: iter_time=8.545e-05, forward_time=0.147, loss_ctc=65.220, loss_att=51.633, acc=0.734, loss=55.709, backward_time=0.331, grad_norm=70.080, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.320e-05, train_time=1.778 -[gpua001:0/64] 2023-12-13 05:30:15,290 (trainer:737) INFO: 30epoch:train:13001-13100batch: iter_time=8.518e-05, forward_time=0.147, loss_ctc=63.581, loss_att=48.568, acc=0.738, loss=53.072, backward_time=0.326, grad_norm=59.555, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.320e-05, train_time=1.565 -[gpua001:0/64] 2023-12-13 05:32:46,666 (trainer:737) INFO: 30epoch:train:13101-13200batch: iter_time=8.627e-05, forward_time=0.146, loss_ctc=66.720, loss_att=52.014, acc=0.721, loss=56.426, backward_time=0.300, grad_norm=59.236, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.319e-05, train_time=1.514 -[gpua001:0/64] 2023-12-13 05:35:13,827 (trainer:737) INFO: 30epoch:train:13201-13300batch: iter_time=8.500e-05, forward_time=0.147, loss_ctc=62.436, loss_att=47.519, acc=0.740, loss=51.994, backward_time=0.285, grad_norm=63.586, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.318e-05, train_time=1.471 -[gpua001:0/64] 2023-12-13 05:38:01,351 (trainer:737) INFO: 30epoch:train:13301-13400batch: iter_time=8.464e-05, forward_time=0.157, loss_ctc=63.638, loss_att=51.546, acc=0.735, loss=55.174, backward_time=0.333, grad_norm=75.144, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.317e-05, train_time=1.675 -[gpua001:0/64] 2023-12-13 05:40:59,847 (trainer:737) INFO: 30epoch:train:13401-13500batch: iter_time=8.347e-05, forward_time=0.213, loss_ctc=64.677, loss_att=56.516, acc=0.732, loss=58.964, backward_time=0.353, grad_norm=68.343, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=7.316e-05, train_time=1.785 -[gpua001:0/64] 2023-12-13 05:43:38,189 (trainer:737) INFO: 30epoch:train:13501-13600batch: iter_time=8.543e-05, forward_time=0.146, loss_ctc=59.627, loss_att=50.869, acc=0.725, loss=53.496, backward_time=0.319, grad_norm=89.255, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.316e-05, train_time=1.582 -[gpua001:0/64] 2023-12-13 05:46:00,472 (trainer:737) INFO: 30epoch:train:13601-13700batch: iter_time=8.783e-05, forward_time=0.146, loss_ctc=65.095, loss_att=55.049, acc=0.708, loss=58.063, backward_time=0.296, grad_norm=99.431, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.315e-05, train_time=1.424 -[gpua001:0/64] 2023-12-13 05:47:38,530 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua001:0/64] 2023-12-13 05:47:57,069 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 05:48:00,556 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 05:48:00,556 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua001:0/64] 2023-12-13 05:48:00,559 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 06:01:52,265 (trainer:737) INFO: 30epoch:train:13701-13800batch: iter_time=3.278, forward_time=0.164, loss_ctc=68.633, loss_att=53.275, acc=0.724, loss=57.882, backward_time=0.304, grad_norm=73.737, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.314e-05, train_time=9.518 -[gpua001:0/64] 2023-12-13 06:04:38,318 (trainer:737) INFO: 30epoch:train:13801-13900batch: iter_time=8.650e-05, forward_time=0.146, loss_ctc=65.467, loss_att=58.692, acc=0.738, loss=60.724, backward_time=0.292, grad_norm=63.048, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.313e-05, train_time=1.660 -[gpua001:0/64] 2023-12-13 06:07:54,798 (trainer:737) INFO: 30epoch:train:13901-14000batch: iter_time=8.931e-05, forward_time=0.146, loss_ctc=63.958, loss_att=48.561, acc=0.748, loss=53.180, backward_time=0.387, grad_norm=58.777, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.312e-05, train_time=1.965 -[gpua001:0/64] 2023-12-13 06:10:56,880 (trainer:737) INFO: 30epoch:train:14001-14100batch: iter_time=9.127e-05, forward_time=0.165, loss_ctc=67.788, loss_att=51.963, acc=0.746, loss=56.711, backward_time=0.333, grad_norm=67.469, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.311e-05, train_time=1.821 -[gpua001:0/64] 2023-12-13 06:13:30,441 (trainer:737) INFO: 30epoch:train:14101-14200batch: iter_time=9.291e-05, forward_time=0.201, loss_ctc=65.924, loss_att=51.744, acc=0.733, loss=55.998, backward_time=0.306, grad_norm=113.285, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=7.311e-05, train_time=1.535 -[gpua001:0/64] 2023-12-13 06:16:58,800 (trainer:737) INFO: 30epoch:train:14201-14300batch: iter_time=8.779e-05, forward_time=0.147, loss_ctc=64.899, loss_att=53.312, acc=0.745, loss=56.788, backward_time=0.356, grad_norm=68.704, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.310e-05, train_time=2.083 -[gpua001:0/64] 2023-12-13 06:19:41,538 (trainer:737) INFO: 30epoch:train:14301-14400batch: iter_time=9.401e-05, forward_time=0.146, loss_ctc=60.911, loss_att=42.768, acc=0.753, loss=48.211, backward_time=0.318, grad_norm=83.786, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.309e-05, train_time=1.627 -[gpua001:0/64] 2023-12-13 06:22:31,846 (trainer:737) INFO: 30epoch:train:14401-14500batch: iter_time=0.002, forward_time=0.178, loss_ctc=69.038, loss_att=54.973, acc=0.726, loss=59.193, backward_time=0.311, grad_norm=94.618, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.308e-05, train_time=1.703 -[gpua001:0/64] 2023-12-13 06:24:55,114 (trainer:737) INFO: 30epoch:train:14501-14600batch: iter_time=8.885e-05, forward_time=0.146, loss_ctc=56.227, loss_att=44.295, acc=0.747, loss=47.875, backward_time=0.282, grad_norm=276.977, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.307e-05, train_time=1.432 -[gpua001:0/64] 2023-12-13 06:27:55,448 (trainer:737) INFO: 30epoch:train:14601-14700batch: iter_time=8.521e-05, forward_time=0.146, loss_ctc=69.352, loss_att=61.637, acc=0.726, loss=63.951, backward_time=0.342, grad_norm=195.935, clip=100.000, loss_scale=6.044e+31, optim_step_time=0.131, optim0_lr0=7.307e-05, train_time=1.803 -[gpua001:0/64] 2023-12-13 06:30:24,473 (trainer:737) INFO: 30epoch:train:14701-14800batch: iter_time=9.227e-05, forward_time=0.146, loss_ctc=60.033, loss_att=47.178, acc=0.744, loss=51.034, backward_time=0.289, grad_norm=108.580, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.131, optim0_lr0=7.306e-05, train_time=1.490 -[gpua001:0/64] 2023-12-13 06:33:04,502 (trainer:737) INFO: 30epoch:train:14801-14900batch: iter_time=8.792e-05, forward_time=0.146, loss_ctc=63.624, loss_att=55.960, acc=0.724, loss=58.259, backward_time=0.317, grad_norm=100.712, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.131, optim0_lr0=7.305e-05, train_time=1.600 -[gpua001:0/64] 2023-12-13 06:35:47,072 (trainer:737) INFO: 30epoch:train:14901-15000batch: iter_time=8.299e-05, forward_time=0.156, loss_ctc=67.615, loss_att=53.645, acc=0.724, loss=57.836, backward_time=0.291, grad_norm=95.408, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=7.304e-05, train_time=1.625 -[gpua001:0/64] 2023-12-13 07:01:29,404 (trainer:343) INFO: 30epoch results: [train] iter_time=0.289, forward_time=0.158, loss_ctc=65.374, loss_att=52.450, acc=0.731, loss=56.327, backward_time=0.326, grad_norm=71.118, clip=100.000, loss_scale=2.141e+31, optim_step_time=0.132, optim0_lr0=7.366e-05, train_time=2.043, time=8 hours, 31 minutes and 15.47 seconds, total_count=450000, gpu_max_cached_mem_GB=37.920, [valid] loss_ctc=34.571, cer_ctc=0.181, loss_att=33.719, acc=0.714, cer=0.350, wer=0.995, loss=33.975, time=25 minutes and 17.24 seconds, total_count=140130, gpu_max_cached_mem_GB=37.920 -[gpua001:0/64] 2023-12-13 07:01:53,328 (trainer:391) INFO: The best model has been updated: valid.total_count -[gpua001:0/64] 2023-12-13 07:01:53,355 (average_nbest_models:69) INFO: Averaging 5best models: criterion="valid.acc": exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.acc.ave_5best.till30epoch.pth -[gpua001:0/64] 2023-12-13 07:02:48,870 (average_nbest_models:69) INFO: Averaging 5best models: criterion="valid.total_count": exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.total_count.ave_5best.till30epoch.pth -[gpua001:0/64] 2023-12-13 07:03:19,247 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/25epoch.pth -[gpua001:0/64] 2023-12-13 07:03:19,469 (trainer:272) INFO: 31/40epoch started. Estimated time to finish: 3 days, 17 hours and 43 minutes -[gpua001:0/64] 2023-12-13 07:03:20,321 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua001:0/64] 2023-12-13 07:03:38,924 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 07:03:42,350 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 07:03:42,350 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua001:0/64] 2023-12-13 07:03:42,360 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 07:14:56,252 (trainer:737) INFO: 31epoch:train:1-100batch: iter_time=5.692, forward_time=0.198, loss_ctc=72.579, loss_att=54.526, acc=0.723, loss=59.942, backward_time=0.282, grad_norm=75.763, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=7.303e-05, train_time=6.960 -[gpua001:0/64] 2023-12-13 07:17:22,465 (trainer:737) INFO: 31epoch:train:101-200batch: iter_time=9.114e-05, forward_time=0.254, loss_ctc=82.043, loss_att=63.904, acc=0.703, loss=69.345, backward_time=0.353, grad_norm=69.192, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=7.303e-05, train_time=1.461 -[gpua001:0/64] 2023-12-13 07:19:50,345 (trainer:737) INFO: 31epoch:train:201-300batch: iter_time=4.084e-04, forward_time=0.252, loss_ctc=69.679, loss_att=55.713, acc=0.716, loss=59.903, backward_time=0.356, grad_norm=75.310, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.141, optim0_lr0=7.302e-05, train_time=1.480 -[gpua001:0/64] 2023-12-13 07:22:52,312 (trainer:737) INFO: 31epoch:train:301-400batch: iter_time=0.001, forward_time=0.191, loss_ctc=67.344, loss_att=55.266, acc=0.701, loss=58.889, backward_time=0.330, grad_norm=76.517, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=7.301e-05, train_time=1.819 -[gpua001:0/64] 2023-12-13 07:25:10,642 (trainer:737) INFO: 31epoch:train:401-500batch: iter_time=8.546e-05, forward_time=0.218, loss_ctc=76.042, loss_att=53.027, acc=0.718, loss=59.932, backward_time=0.298, grad_norm=91.971, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=7.300e-05, train_time=1.384 -[gpua001:0/64] 2023-12-13 07:27:35,683 (trainer:737) INFO: 31epoch:train:501-600batch: iter_time=0.004, forward_time=0.295, loss_ctc=55.469, loss_att=42.863, acc=0.728, loss=46.645, backward_time=0.313, grad_norm=68.242, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=7.299e-05, train_time=1.448 -[gpua001:0/64] 2023-12-13 07:30:33,964 (trainer:737) INFO: 31epoch:train:601-700batch: iter_time=8.781e-04, forward_time=0.281, loss_ctc=72.832, loss_att=57.612, acc=0.714, loss=62.178, backward_time=0.329, grad_norm=81.690, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.146, optim0_lr0=7.298e-05, train_time=1.784 -[gpua001:0/64] 2023-12-13 07:33:13,539 (trainer:737) INFO: 31epoch:train:701-800batch: iter_time=0.004, forward_time=0.279, loss_ctc=62.369, loss_att=46.984, acc=0.733, loss=51.600, backward_time=0.333, grad_norm=85.427, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=7.298e-05, train_time=1.595 -[gpua001:0/64] 2023-12-13 07:36:03,179 (trainer:737) INFO: 31epoch:train:801-900batch: iter_time=0.002, forward_time=0.247, loss_ctc=66.821, loss_att=48.739, acc=0.731, loss=54.164, backward_time=0.330, grad_norm=76.713, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=7.297e-05, train_time=1.696 -[gpua001:0/64] 2023-12-13 07:38:58,444 (trainer:737) INFO: 31epoch:train:901-1000batch: iter_time=8.346e-05, forward_time=0.193, loss_ctc=67.261, loss_att=56.422, acc=0.712, loss=59.674, backward_time=0.339, grad_norm=70.341, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=7.296e-05, train_time=1.753 -[gpua001:0/64] 2023-12-13 07:41:38,033 (trainer:737) INFO: 31epoch:train:1001-1100batch: iter_time=0.003, forward_time=0.288, loss_ctc=66.096, loss_att=54.592, acc=0.701, loss=58.043, backward_time=0.314, grad_norm=90.727, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=7.295e-05, train_time=1.596 -[gpua001:0/64] 2023-12-13 07:44:21,056 (trainer:737) INFO: 31epoch:train:1101-1200batch: iter_time=3.566e-04, forward_time=0.285, loss_ctc=56.754, loss_att=46.183, acc=0.717, loss=49.355, backward_time=0.313, grad_norm=60.322, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=7.294e-05, train_time=1.629 -[gpua001:0/64] 2023-12-13 07:45:14,760 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-13 07:45:16,726 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-13 07:45:50,750 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua001:0/64] 2023-12-13 07:46:09,290 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 07:46:13,053 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 07:46:13,053 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua001:0/64] 2023-12-13 07:46:13,056 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 07:52:14,388 (trainer:737) INFO: 31epoch:train:1201-1300batch: iter_time=2.838, forward_time=0.152, loss_ctc=66.586, loss_att=53.538, acc=0.718, loss=57.452, backward_time=0.302, grad_norm=66.269, clip=100.000, loss_scale=4.139e+31, optim_step_time=0.135, optim0_lr0=7.294e-05, train_time=4.734 -[gpua001:0/64] 2023-12-13 07:54:28,568 (trainer:737) INFO: 31epoch:train:1301-1400batch: iter_time=9.719e-04, forward_time=0.205, loss_ctc=79.671, loss_att=55.068, acc=0.736, loss=62.449, backward_time=0.291, grad_norm=75.506, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=7.293e-05, train_time=1.341 -[gpua001:0/64] 2023-12-13 07:57:04,178 (trainer:737) INFO: 31epoch:train:1401-1500batch: iter_time=8.485e-05, forward_time=0.237, loss_ctc=71.174, loss_att=59.608, acc=0.723, loss=63.078, backward_time=0.323, grad_norm=68.556, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.292e-05, train_time=1.556 -[gpua001:0/64] 2023-12-13 08:00:01,250 (trainer:737) INFO: 31epoch:train:1501-1600batch: iter_time=8.812e-05, forward_time=0.163, loss_ctc=67.001, loss_att=51.687, acc=0.711, loss=56.281, backward_time=0.390, grad_norm=77.833, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.291e-05, train_time=1.770 -[gpua001:0/64] 2023-12-13 08:02:07,124 (trainer:737) INFO: 31epoch:train:1601-1700batch: iter_time=8.807e-05, forward_time=0.148, loss_ctc=77.259, loss_att=57.309, acc=0.707, loss=63.294, backward_time=0.278, grad_norm=80.579, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.290e-05, train_time=1.259 -[gpua001:0/64] 2023-12-13 08:04:24,881 (trainer:737) INFO: 31epoch:train:1701-1800batch: iter_time=9.357e-05, forward_time=0.147, loss_ctc=59.227, loss_att=47.341, acc=0.724, loss=50.907, backward_time=0.291, grad_norm=72.598, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.290e-05, train_time=1.377 -[gpua001:0/64] 2023-12-13 08:07:04,470 (trainer:737) INFO: 31epoch:train:1801-1900batch: iter_time=9.346e-05, forward_time=0.147, loss_ctc=58.416, loss_att=40.619, acc=0.738, loss=45.958, backward_time=0.305, grad_norm=60.775, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.289e-05, train_time=1.596 -[gpua001:0/64] 2023-12-13 08:09:43,335 (trainer:737) INFO: 31epoch:train:1901-2000batch: iter_time=8.466e-05, forward_time=0.177, loss_ctc=70.395, loss_att=58.645, acc=0.716, loss=62.170, backward_time=0.307, grad_norm=71.201, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=7.288e-05, train_time=1.588 -[gpua001:0/64] 2023-12-13 08:12:01,737 (trainer:737) INFO: 31epoch:train:2001-2100batch: iter_time=8.787e-05, forward_time=0.227, loss_ctc=66.989, loss_att=47.930, acc=0.733, loss=53.648, backward_time=0.318, grad_norm=92.371, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.287e-05, train_time=1.384 -[gpua001:0/64] 2023-12-13 08:14:25,068 (trainer:737) INFO: 31epoch:train:2101-2200batch: iter_time=9.228e-05, forward_time=0.153, loss_ctc=59.173, loss_att=47.232, acc=0.731, loss=50.814, backward_time=0.305, grad_norm=64.866, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.286e-05, train_time=1.433 -[gpua001:0/64] 2023-12-13 08:16:41,376 (trainer:737) INFO: 31epoch:train:2201-2300batch: iter_time=9.218e-05, forward_time=0.148, loss_ctc=75.185, loss_att=61.844, acc=0.707, loss=65.846, backward_time=0.297, grad_norm=83.328, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.286e-05, train_time=1.362 -[gpua001:0/64] 2023-12-13 08:19:37,798 (trainer:737) INFO: 31epoch:train:2301-2400batch: iter_time=7.912e-05, forward_time=0.149, loss_ctc=57.974, loss_att=48.523, acc=0.702, loss=51.358, backward_time=0.328, grad_norm=65.234, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.285e-05, train_time=1.765 -[gpua001:0/64] 2023-12-13 08:21:54,230 (trainer:737) INFO: 31epoch:train:2401-2500batch: iter_time=8.157e-05, forward_time=0.148, loss_ctc=55.364, loss_att=44.114, acc=0.738, loss=47.489, backward_time=0.287, grad_norm=56.725, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.284e-05, train_time=1.364 -[gpua001:0/64] 2023-12-13 08:22:14,259 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua001:0/64] 2023-12-13 08:22:33,056 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 08:22:36,477 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 08:22:36,477 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua001:0/64] 2023-12-13 08:22:36,480 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 08:29:08,514 (trainer:737) INFO: 31epoch:train:2501-2600batch: iter_time=2.717, forward_time=0.180, loss_ctc=70.875, loss_att=52.141, acc=0.731, loss=57.761, backward_time=0.294, grad_norm=65.883, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.283e-05, train_time=4.343 -[gpua001:0/64] 2023-12-13 08:31:10,004 (trainer:737) INFO: 31epoch:train:2601-2700batch: iter_time=8.231e-05, forward_time=0.150, loss_ctc=79.491, loss_att=62.763, acc=0.712, loss=67.781, backward_time=0.283, grad_norm=66.458, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.282e-05, train_time=1.215 -[gpua001:0/64] 2023-12-13 08:33:12,328 (trainer:737) INFO: 31epoch:train:2701-2800batch: iter_time=8.400e-05, forward_time=0.147, loss_ctc=68.126, loss_att=54.145, acc=0.725, loss=58.339, backward_time=0.280, grad_norm=64.006, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.282e-05, train_time=1.223 -[gpua001:0/64] 2023-12-13 08:35:15,526 (trainer:737) INFO: 31epoch:train:2801-2900batch: iter_time=8.892e-05, forward_time=0.147, loss_ctc=66.479, loss_att=53.871, acc=0.708, loss=57.653, backward_time=0.278, grad_norm=68.811, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.281e-05, train_time=1.230 -[gpua001:0/64] 2023-12-13 08:37:56,581 (trainer:737) INFO: 31epoch:train:2901-3000batch: iter_time=8.738e-05, forward_time=0.148, loss_ctc=71.344, loss_att=50.935, acc=0.725, loss=57.058, backward_time=0.292, grad_norm=77.466, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.280e-05, train_time=1.612 -[gpua001:0/64] 2023-12-13 08:40:23,254 (trainer:737) INFO: 31epoch:train:3001-3100batch: iter_time=3.262e-04, forward_time=0.249, loss_ctc=54.901, loss_att=43.162, acc=0.731, loss=46.684, backward_time=0.312, grad_norm=54.202, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.145, optim0_lr0=7.279e-05, train_time=1.466 -[gpua001:0/64] 2023-12-13 08:42:52,485 (trainer:737) INFO: 31epoch:train:3101-3200batch: iter_time=8.331e-05, forward_time=0.147, loss_ctc=70.737, loss_att=56.290, acc=0.721, loss=60.624, backward_time=0.309, grad_norm=72.773, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.278e-05, train_time=1.492 -[gpua001:0/64] 2023-12-13 08:45:12,156 (trainer:737) INFO: 31epoch:train:3201-3300batch: iter_time=8.668e-05, forward_time=0.147, loss_ctc=61.578, loss_att=46.523, acc=0.738, loss=51.039, backward_time=0.286, grad_norm=56.887, clip=100.000, loss_scale=3.326e+31, optim_step_time=0.134, optim0_lr0=7.278e-05, train_time=1.396 -[gpua001:0/64] 2023-12-13 08:47:43,988 (trainer:737) INFO: 31epoch:train:3301-3400batch: iter_time=8.345e-05, forward_time=0.149, loss_ctc=66.191, loss_att=47.515, acc=0.737, loss=53.118, backward_time=0.305, grad_norm=61.558, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.277e-05, train_time=1.518 -[gpua001:0/64] 2023-12-13 08:50:26,827 (trainer:737) INFO: 31epoch:train:3401-3500batch: iter_time=9.190e-05, forward_time=0.147, loss_ctc=65.035, loss_att=55.823, acc=0.716, loss=58.587, backward_time=0.326, grad_norm=62.659, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.276e-05, train_time=1.628 -[gpua001:0/64] 2023-12-13 08:53:18,517 (trainer:737) INFO: 31epoch:train:3501-3600batch: iter_time=8.901e-05, forward_time=0.147, loss_ctc=64.739, loss_att=52.651, acc=0.708, loss=56.278, backward_time=0.314, grad_norm=64.186, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.275e-05, train_time=1.714 -[gpua001:0/64] 2023-12-13 08:55:51,380 (trainer:737) INFO: 31epoch:train:3601-3700batch: iter_time=9.034e-05, forward_time=0.147, loss_ctc=55.874, loss_att=45.527, acc=0.723, loss=48.631, backward_time=0.313, grad_norm=61.479, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.274e-05, train_time=1.531 -[gpua001:0/64] 2023-12-13 08:57:22,360 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua001:0/64] 2023-12-13 08:57:41,280 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 08:57:44,971 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 08:57:44,971 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua001:0/64] 2023-12-13 08:57:45,708 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 09:06:59,637 (trainer:737) INFO: 31epoch:train:3701-3800batch: iter_time=3.486, forward_time=0.195, loss_ctc=65.121, loss_att=52.620, acc=0.721, loss=56.370, backward_time=0.293, grad_norm=68.066, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.274e-05, train_time=6.682 -[gpua001:0/64] 2023-12-13 09:09:03,273 (trainer:737) INFO: 31epoch:train:3801-3900batch: iter_time=7.611e-05, forward_time=0.148, loss_ctc=78.321, loss_att=54.365, acc=0.741, loss=61.552, backward_time=0.281, grad_norm=66.866, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.273e-05, train_time=1.236 -[gpua001:0/64] 2023-12-13 09:11:07,745 (trainer:737) INFO: 31epoch:train:3901-4000batch: iter_time=7.967e-05, forward_time=0.147, loss_ctc=70.798, loss_att=59.591, acc=0.725, loss=62.953, backward_time=0.280, grad_norm=61.130, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.272e-05, train_time=1.244 -[gpua001:0/64] 2023-12-13 09:13:38,454 (trainer:737) INFO: 31epoch:train:4001-4100batch: iter_time=8.002e-05, forward_time=0.146, loss_ctc=65.764, loss_att=50.391, acc=0.717, loss=55.003, backward_time=0.293, grad_norm=57.333, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.271e-05, train_time=1.507 -[gpua001:0/64] 2023-12-13 09:16:31,755 (trainer:737) INFO: 31epoch:train:4101-4200batch: iter_time=7.928e-05, forward_time=0.147, loss_ctc=76.076, loss_att=57.120, acc=0.712, loss=62.806, backward_time=0.336, grad_norm=71.937, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.270e-05, train_time=1.733 -[gpua001:0/64] 2023-12-13 09:19:12,099 (trainer:737) INFO: 31epoch:train:4201-4300batch: iter_time=7.976e-05, forward_time=0.146, loss_ctc=57.871, loss_att=47.595, acc=0.726, loss=50.678, backward_time=0.301, grad_norm=62.019, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.270e-05, train_time=1.603 -[gpua001:0/64] 2023-12-13 09:21:36,059 (trainer:737) INFO: 31epoch:train:4301-4400batch: iter_time=8.320e-05, forward_time=0.204, loss_ctc=57.845, loss_att=40.117, acc=0.742, loss=45.436, backward_time=0.295, grad_norm=66.881, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=7.269e-05, train_time=1.439 -[gpua001:0/64] 2023-12-13 09:24:25,689 (trainer:737) INFO: 31epoch:train:4401-4500batch: iter_time=7.964e-05, forward_time=0.217, loss_ctc=69.109, loss_att=57.905, acc=0.720, loss=61.266, backward_time=0.334, grad_norm=74.317, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.268e-05, train_time=1.696 -[gpua001:0/64] 2023-12-13 09:27:14,122 (trainer:737) INFO: 31epoch:train:4501-4600batch: iter_time=8.120e-05, forward_time=0.146, loss_ctc=66.349, loss_att=47.426, acc=0.738, loss=53.103, backward_time=0.336, grad_norm=67.375, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.267e-05, train_time=1.685 -[gpua001:0/64] 2023-12-13 09:29:40,971 (trainer:737) INFO: 31epoch:train:4601-4700batch: iter_time=8.462e-05, forward_time=0.146, loss_ctc=58.652, loss_att=46.877, acc=0.732, loss=50.409, backward_time=0.292, grad_norm=79.776, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.266e-05, train_time=1.468 -[gpua001:0/64] 2023-12-13 09:32:15,206 (trainer:737) INFO: 31epoch:train:4701-4800batch: iter_time=8.384e-05, forward_time=0.146, loss_ctc=73.706, loss_att=61.291, acc=0.710, loss=65.015, backward_time=0.321, grad_norm=88.434, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.266e-05, train_time=1.542 -[gpua001:0/64] 2023-12-13 09:34:30,866 (trainer:737) INFO: 31epoch:train:4801-4900batch: iter_time=8.663e-05, forward_time=0.146, loss_ctc=58.018, loss_att=47.184, acc=0.711, loss=50.434, backward_time=0.286, grad_norm=78.481, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.265e-05, train_time=1.356 -[gpua001:0/64] 2023-12-13 09:36:51,662 (trainer:737) INFO: 31epoch:train:4901-5000batch: iter_time=8.844e-05, forward_time=0.147, loss_ctc=54.315, loss_att=43.820, acc=0.739, loss=46.968, backward_time=0.291, grad_norm=82.208, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.264e-05, train_time=1.408 -[gpua001:0/64] 2023-12-13 09:37:11,690 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua001:0/64] 2023-12-13 09:37:30,446 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 09:37:34,153 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 09:37:34,153 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua001:0/64] 2023-12-13 09:37:34,156 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 09:44:55,313 (trainer:737) INFO: 31epoch:train:5001-5100batch: iter_time=3.347, forward_time=0.180, loss_ctc=70.682, loss_att=52.209, acc=0.733, loss=57.751, backward_time=0.299, grad_norm=78.072, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.263e-05, train_time=4.836 -[gpua001:0/64] 2023-12-13 09:47:26,533 (trainer:737) INFO: 31epoch:train:5101-5200batch: iter_time=9.264e-05, forward_time=0.147, loss_ctc=78.171, loss_att=61.661, acc=0.716, loss=66.614, backward_time=0.291, grad_norm=72.614, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.262e-05, train_time=1.512 -[gpua001:0/64] 2023-12-13 09:50:14,401 (trainer:737) INFO: 31epoch:train:5201-5300batch: iter_time=9.861e-05, forward_time=0.147, loss_ctc=68.124, loss_att=54.155, acc=0.726, loss=58.346, backward_time=0.290, grad_norm=66.588, clip=100.000, loss_scale=6.653e+31, optim_step_time=0.134, optim0_lr0=7.262e-05, train_time=1.678 -[gpua001:0/64] 2023-12-13 09:52:55,265 (trainer:737) INFO: 31epoch:train:5301-5400batch: iter_time=9.438e-05, forward_time=0.147, loss_ctc=64.954, loss_att=53.144, acc=0.711, loss=56.687, backward_time=0.332, grad_norm=65.823, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=7.261e-05, train_time=1.608 -[gpua001:0/64] 2023-12-13 09:55:32,106 (trainer:737) INFO: 31epoch:train:5401-5500batch: iter_time=1.078e-04, forward_time=0.147, loss_ctc=71.225, loss_att=50.428, acc=0.728, loss=56.668, backward_time=0.297, grad_norm=77.280, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=7.260e-05, train_time=1.568 -[gpua001:0/64] 2023-12-13 09:57:48,255 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-13 09:58:10,188 (trainer:737) INFO: 31epoch:train:5501-5600batch: iter_time=9.141e-05, forward_time=0.149, loss_ctc=54.286, loss_att=42.242, acc=0.737, loss=45.855, backward_time=0.320, grad_norm=53.858, clip=100.000, loss_scale=7.457e+31, optim_step_time=0.134, optim0_lr0=7.259e-05, train_time=1.581 -[gpua001:0/64] 2023-12-13 10:00:40,410 (trainer:737) INFO: 31epoch:train:5601-5700batch: iter_time=9.328e-05, forward_time=0.209, loss_ctc=69.909, loss_att=55.710, acc=0.725, loss=59.970, backward_time=0.313, grad_norm=68.001, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=7.258e-05, train_time=1.502 -[gpua001:0/64] 2023-12-13 10:03:08,916 (trainer:737) INFO: 31epoch:train:5701-5800batch: iter_time=9.132e-05, forward_time=0.213, loss_ctc=60.853, loss_att=45.818, acc=0.741, loss=50.328, backward_time=0.300, grad_norm=75.529, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=7.258e-05, train_time=1.485 -[gpua001:0/64] 2023-12-13 10:05:16,111 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-13 10:05:44,389 (trainer:737) INFO: 31epoch:train:5801-5900batch: iter_time=9.591e-05, forward_time=0.149, loss_ctc=66.018, loss_att=47.599, acc=0.738, loss=53.125, backward_time=0.350, grad_norm=59.960, clip=100.000, loss_scale=3.626e+31, optim_step_time=0.134, optim0_lr0=7.257e-05, train_time=1.555 -[gpua001:0/64] 2023-12-13 10:08:22,621 (trainer:737) INFO: 31epoch:train:5901-6000batch: iter_time=9.666e-05, forward_time=0.148, loss_ctc=64.979, loss_att=54.961, acc=0.720, loss=57.966, backward_time=0.325, grad_norm=63.232, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.256e-05, train_time=1.582 -[gpua001:0/64] 2023-12-13 10:11:07,332 (trainer:737) INFO: 31epoch:train:6001-6100batch: iter_time=9.386e-05, forward_time=0.148, loss_ctc=63.826, loss_att=52.380, acc=0.710, loss=55.814, backward_time=0.302, grad_norm=75.771, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.255e-05, train_time=1.647 -[gpua001:0/64] 2023-12-13 10:13:40,986 (trainer:737) INFO: 31epoch:train:6101-6200batch: iter_time=9.149e-05, forward_time=0.150, loss_ctc=55.322, loss_att=45.097, acc=0.725, loss=48.165, backward_time=0.315, grad_norm=88.742, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.254e-05, train_time=1.536 -[gpua001:0/64] 2023-12-13 10:15:08,442 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua001:0/64] 2023-12-13 10:15:27,739 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 10:15:31,272 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 10:15:31,272 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua001:0/64] 2023-12-13 10:15:31,275 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 10:21:36,897 (trainer:737) INFO: 31epoch:train:6201-6300batch: iter_time=3.358, forward_time=0.184, loss_ctc=65.005, loss_att=54.186, acc=0.725, loss=57.432, backward_time=0.305, grad_norm=65.123, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.254e-05, train_time=4.759 -[gpua001:0/64] 2023-12-13 10:27:50,675 (trainer:737) INFO: 31epoch:train:6301-6400batch: iter_time=9.442e-05, forward_time=0.149, loss_ctc=78.127, loss_att=54.835, acc=0.747, loss=61.823, backward_time=0.737, grad_norm=73.914, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.253e-05, train_time=3.738 -[gpua001:0/64] 2023-12-13 10:34:53,647 (trainer:737) INFO: 31epoch:train:6401-6500batch: iter_time=9.444e-05, forward_time=0.148, loss_ctc=69.579, loss_att=59.281, acc=0.733, loss=62.371, backward_time=0.628, grad_norm=65.692, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.252e-05, train_time=4.230 -[gpua001:0/64] 2023-12-13 10:41:31,602 (trainer:737) INFO: 31epoch:train:6501-6600batch: iter_time=1.020e-04, forward_time=0.148, loss_ctc=65.317, loss_att=52.575, acc=0.719, loss=56.398, backward_time=0.604, grad_norm=60.311, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.251e-05, train_time=3.979 -[gpua001:0/64] 2023-12-13 10:47:02,056 (trainer:737) INFO: 31epoch:train:6601-6700batch: iter_time=1.027e-04, forward_time=0.151, loss_ctc=73.888, loss_att=57.645, acc=0.720, loss=62.518, backward_time=0.608, grad_norm=156.154, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.250e-05, train_time=3.304 -[gpua001:0/64] 2023-12-13 10:50:28,779 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-13 10:52:57,937 (trainer:737) INFO: 31epoch:train:6701-6800batch: iter_time=1.098e-04, forward_time=0.148, loss_ctc=58.048, loss_att=47.782, acc=0.731, loss=50.862, backward_time=0.503, grad_norm=87.908, clip=100.000, loss_scale=1.506e+31, optim_step_time=0.134, optim0_lr0=7.250e-05, train_time=3.559 -[gpua001:0/64] 2023-12-13 11:02:05,403 (trainer:737) INFO: 31epoch:train:6801-6900batch: iter_time=1.162e-04, forward_time=0.201, loss_ctc=57.065, loss_att=39.976, acc=0.746, loss=45.103, backward_time=0.921, grad_norm=58.055, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.249e-05, train_time=5.474 -[gpua001:0/64] 2023-12-13 11:07:52,212 (trainer:737) INFO: 31epoch:train:6901-7000batch: iter_time=1.121e-04, forward_time=0.159, loss_ctc=68.821, loss_att=58.697, acc=0.726, loss=61.734, backward_time=0.404, grad_norm=71.339, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.248e-05, train_time=3.467 -[gpua001:0/64] 2023-12-13 11:13:54,822 (trainer:737) INFO: 31epoch:train:7001-7100batch: iter_time=9.886e-05, forward_time=0.150, loss_ctc=66.133, loss_att=47.578, acc=0.744, loss=53.145, backward_time=0.686, grad_norm=76.540, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.247e-05, train_time=3.626 -[gpua001:0/64] 2023-12-13 11:17:28,105 (trainer:737) INFO: 31epoch:train:7101-7200batch: iter_time=9.336e-05, forward_time=0.150, loss_ctc=58.952, loss_att=47.791, acc=0.738, loss=51.139, backward_time=0.410, grad_norm=86.441, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.246e-05, train_time=2.133 -[gpua001:0/64] 2023-12-13 11:20:40,891 (trainer:737) INFO: 31epoch:train:7201-7300batch: iter_time=8.620e-05, forward_time=0.148, loss_ctc=72.987, loss_att=62.705, acc=0.717, loss=65.790, backward_time=0.320, grad_norm=74.227, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.246e-05, train_time=1.928 -[gpua001:0/64] 2023-12-13 11:23:29,188 (trainer:737) INFO: 31epoch:train:7301-7400batch: iter_time=8.677e-05, forward_time=0.150, loss_ctc=57.363, loss_att=47.994, acc=0.715, loss=50.804, backward_time=0.312, grad_norm=69.195, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.245e-05, train_time=1.683 -[gpua001:0/64] 2023-12-13 11:26:21,513 (trainer:737) INFO: 31epoch:train:7401-7500batch: iter_time=8.521e-05, forward_time=0.154, loss_ctc=55.255, loss_att=44.301, acc=0.746, loss=47.587, backward_time=0.357, grad_norm=138.556, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.244e-05, train_time=1.723 -[gpua001:0/64] 2023-12-13 11:26:41,542 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua001:0/64] 2023-12-13 11:27:00,342 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 11:27:03,998 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 11:27:03,998 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua001:0/64] 2023-12-13 11:27:04,549 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 11:41:39,434 (trainer:737) INFO: 31epoch:train:7501-7600batch: iter_time=3.436, forward_time=0.181, loss_ctc=71.014, loss_att=54.019, acc=0.735, loss=59.118, backward_time=0.304, grad_norm=80.100, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.243e-05, train_time=9.179 -[gpua001:0/64] 2023-12-13 11:44:08,883 (trainer:737) INFO: 31epoch:train:7601-7700batch: iter_time=8.205e-05, forward_time=0.148, loss_ctc=77.707, loss_att=61.534, acc=0.726, loss=66.386, backward_time=0.312, grad_norm=66.828, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.242e-05, train_time=1.494 -[gpua001:0/64] 2023-12-13 11:47:27,654 (trainer:737) INFO: 31epoch:train:7701-7800batch: iter_time=8.931e-04, forward_time=0.199, loss_ctc=67.933, loss_att=54.420, acc=0.735, loss=58.474, backward_time=0.388, grad_norm=61.759, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.140, optim0_lr0=7.242e-05, train_time=1.987 -[gpua001:0/64] 2023-12-13 11:50:15,569 (trainer:737) INFO: 31epoch:train:7801-7900batch: iter_time=8.663e-05, forward_time=0.160, loss_ctc=64.974, loss_att=53.762, acc=0.719, loss=57.125, backward_time=0.305, grad_norm=109.624, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.241e-05, train_time=1.679 -[gpua001:0/64] 2023-12-13 11:53:27,741 (trainer:737) INFO: 31epoch:train:7901-8000batch: iter_time=8.675e-05, forward_time=0.148, loss_ctc=70.467, loss_att=50.495, acc=0.736, loss=56.487, backward_time=0.371, grad_norm=209.491, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.240e-05, train_time=1.921 -[gpua001:0/64] 2023-12-13 11:55:51,068 (trainer:737) INFO: 31epoch:train:8001-8100batch: iter_time=8.553e-05, forward_time=0.148, loss_ctc=54.287, loss_att=43.414, acc=0.735, loss=46.676, backward_time=0.286, grad_norm=78.387, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.239e-05, train_time=1.433 -[gpua001:0/64] 2023-12-13 11:58:28,175 (trainer:737) INFO: 31epoch:train:8101-8200batch: iter_time=8.643e-05, forward_time=0.148, loss_ctc=69.858, loss_att=55.684, acc=0.732, loss=59.936, backward_time=0.302, grad_norm=74.114, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.239e-05, train_time=1.571 -[gpua001:0/64] 2023-12-13 12:01:24,119 (trainer:737) INFO: 31epoch:train:8201-8300batch: iter_time=8.635e-05, forward_time=0.245, loss_ctc=60.860, loss_att=46.259, acc=0.744, loss=50.639, backward_time=0.331, grad_norm=60.182, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.138, optim0_lr0=7.238e-05, train_time=1.759 -[gpua001:0/64] 2023-12-13 12:03:48,889 (trainer:737) INFO: 31epoch:train:8301-8400batch: iter_time=9.043e-05, forward_time=0.153, loss_ctc=66.280, loss_att=47.992, acc=0.749, loss=53.478, backward_time=0.288, grad_norm=61.879, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.237e-05, train_time=1.448 -[gpua001:0/64] 2023-12-13 12:06:40,433 (trainer:737) INFO: 31epoch:train:8401-8500batch: iter_time=8.980e-05, forward_time=0.149, loss_ctc=64.059, loss_att=55.343, acc=0.726, loss=57.958, backward_time=0.305, grad_norm=75.421, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.236e-05, train_time=1.715 -[gpua001:0/64] 2023-12-13 12:09:16,217 (trainer:737) INFO: 31epoch:train:8501-8600batch: iter_time=9.635e-05, forward_time=0.149, loss_ctc=63.663, loss_att=54.141, acc=0.714, loss=56.998, backward_time=0.337, grad_norm=83.440, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.235e-05, train_time=1.558 -[gpua001:0/64] 2023-12-13 12:12:14,278 (trainer:737) INFO: 31epoch:train:8601-8700batch: iter_time=9.860e-05, forward_time=0.197, loss_ctc=55.414, loss_att=45.641, acc=0.728, loss=48.573, backward_time=0.358, grad_norm=139.813, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=7.235e-05, train_time=1.780 -[gpua001:0/64] 2023-12-13 12:13:50,751 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua001:0/64] 2023-12-13 12:14:09,474 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 12:14:12,956 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 12:14:12,957 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua001:0/64] 2023-12-13 12:14:12,960 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 12:23:52,680 (trainer:737) INFO: 31epoch:train:8701-8800batch: iter_time=3.013, forward_time=0.206, loss_ctc=64.807, loss_att=53.563, acc=0.729, loss=56.936, backward_time=0.287, grad_norm=98.825, clip=100.000, loss_scale=1.531e+31, optim_step_time=0.135, optim0_lr0=7.234e-05, train_time=6.984 -[gpua001:0/64] 2023-12-13 12:25:59,678 (trainer:737) INFO: 31epoch:train:8801-8900batch: iter_time=8.661e-05, forward_time=0.148, loss_ctc=77.167, loss_att=53.798, acc=0.750, loss=60.808, backward_time=0.281, grad_norm=80.348, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.233e-05, train_time=1.270 -[gpua001:0/64] 2023-12-13 12:28:34,452 (trainer:737) INFO: 31epoch:train:8901-9000batch: iter_time=8.261e-05, forward_time=0.150, loss_ctc=69.856, loss_att=58.566, acc=0.736, loss=61.953, backward_time=0.285, grad_norm=258.759, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.232e-05, train_time=1.548 -[gpua001:0/64] 2023-12-13 12:31:22,240 (trainer:737) INFO: 31epoch:train:9001-9100batch: iter_time=8.697e-05, forward_time=0.154, loss_ctc=65.507, loss_att=51.456, acc=0.723, loss=55.671, backward_time=0.309, grad_norm=65.120, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.231e-05, train_time=1.678 -[gpua001:0/64] 2023-12-13 12:33:52,714 (trainer:737) INFO: 31epoch:train:9101-9200batch: iter_time=9.321e-05, forward_time=0.193, loss_ctc=73.915, loss_att=56.917, acc=0.723, loss=62.016, backward_time=0.300, grad_norm=77.420, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.231e-05, train_time=1.504 -[gpua001:0/64] 2023-12-13 12:36:19,212 (trainer:737) INFO: 31epoch:train:9201-9300batch: iter_time=8.837e-05, forward_time=0.214, loss_ctc=57.850, loss_att=47.555, acc=0.734, loss=50.644, backward_time=0.305, grad_norm=64.131, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.230e-05, train_time=1.465 -[gpua001:0/64] 2023-12-13 12:39:07,793 (trainer:737) INFO: 31epoch:train:9301-9400batch: iter_time=8.582e-05, forward_time=0.148, loss_ctc=57.726, loss_att=40.206, acc=0.746, loss=45.462, backward_time=0.340, grad_norm=73.264, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.229e-05, train_time=1.686 -[gpua001:0/64] 2023-12-13 12:41:33,766 (trainer:737) INFO: 31epoch:train:9401-9500batch: iter_time=8.843e-05, forward_time=0.159, loss_ctc=68.720, loss_att=58.153, acc=0.728, loss=61.323, backward_time=0.296, grad_norm=74.059, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.228e-05, train_time=1.460 -[gpua001:0/64] 2023-12-13 12:44:22,489 (trainer:737) INFO: 31epoch:train:9501-9600batch: iter_time=2.458e-04, forward_time=0.172, loss_ctc=66.168, loss_att=47.205, acc=0.745, loss=52.894, backward_time=0.320, grad_norm=71.626, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=7.227e-05, train_time=1.687 -[gpua001:0/64] 2023-12-13 12:47:16,856 (trainer:737) INFO: 31epoch:train:9601-9700batch: iter_time=8.890e-05, forward_time=0.176, loss_ctc=58.330, loss_att=46.883, acc=0.740, loss=50.317, backward_time=0.328, grad_norm=62.465, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.227e-05, train_time=1.743 -[gpua001:0/64] 2023-12-13 12:49:52,482 (trainer:737) INFO: 31epoch:train:9701-9800batch: iter_time=9.454e-05, forward_time=0.211, loss_ctc=72.625, loss_att=61.834, acc=0.719, loss=65.071, backward_time=0.335, grad_norm=86.616, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=7.226e-05, train_time=1.556 -[gpua001:0/64] 2023-12-13 12:52:30,345 (trainer:737) INFO: 31epoch:train:9801-9900batch: iter_time=9.606e-05, forward_time=0.149, loss_ctc=56.835, loss_att=47.479, acc=0.716, loss=50.286, backward_time=0.313, grad_norm=63.470, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.225e-05, train_time=1.578 -[gpua001:0/64] 2023-12-13 12:55:03,313 (trainer:737) INFO: 31epoch:train:9901-10000batch: iter_time=9.033e-05, forward_time=0.153, loss_ctc=54.077, loss_att=43.584, acc=0.749, loss=46.732, backward_time=0.305, grad_norm=64.322, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.224e-05, train_time=1.529 -[gpua001:0/64] 2023-12-13 12:55:23,499 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua001:0/64] 2023-12-13 12:55:43,457 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 12:55:47,416 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 12:55:47,416 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua001:0/64] 2023-12-13 12:55:47,419 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 13:02:48,159 (trainer:737) INFO: 31epoch:train:10001-10100batch: iter_time=3.238, forward_time=0.189, loss_ctc=70.342, loss_att=53.520, acc=0.737, loss=58.567, backward_time=0.287, grad_norm=67.223, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.224e-05, train_time=4.648 -[gpua001:0/64] 2023-12-13 13:05:25,455 (trainer:737) INFO: 31epoch:train:10101-10200batch: iter_time=8.380e-05, forward_time=0.149, loss_ctc=77.905, loss_att=61.399, acc=0.727, loss=66.351, backward_time=0.297, grad_norm=62.713, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.223e-05, train_time=1.573 -[gpua001:0/64] 2023-12-13 13:08:47,990 (trainer:737) INFO: 31epoch:train:10201-10300batch: iter_time=8.152e-05, forward_time=0.148, loss_ctc=67.334, loss_att=53.740, acc=0.736, loss=57.818, backward_time=0.359, grad_norm=59.497, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.222e-05, train_time=2.025 -[gpua001:0/64] 2023-12-13 13:11:34,373 (trainer:737) INFO: 31epoch:train:10301-10400batch: iter_time=8.677e-05, forward_time=0.148, loss_ctc=64.028, loss_att=53.187, acc=0.721, loss=56.439, backward_time=0.312, grad_norm=59.510, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.221e-05, train_time=1.664 -[gpua001:0/64] 2023-12-13 13:14:18,099 (trainer:737) INFO: 31epoch:train:10401-10500batch: iter_time=9.149e-05, forward_time=0.149, loss_ctc=70.296, loss_att=50.616, acc=0.738, loss=56.520, backward_time=0.303, grad_norm=87.140, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.220e-05, train_time=1.637 -[gpua001:0/64] 2023-12-13 13:17:19,375 (trainer:737) INFO: 31epoch:train:10501-10600batch: iter_time=8.255e-05, forward_time=0.223, loss_ctc=53.609, loss_att=43.114, acc=0.738, loss=46.263, backward_time=0.317, grad_norm=55.131, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.142, optim0_lr0=7.220e-05, train_time=1.813 -[gpua001:0/64] 2023-12-13 13:20:05,061 (trainer:737) INFO: 31epoch:train:10601-10700batch: iter_time=8.526e-05, forward_time=0.169, loss_ctc=68.792, loss_att=55.275, acc=0.734, loss=59.330, backward_time=0.347, grad_norm=63.336, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.219e-05, train_time=1.656 -[gpua001:0/64] 2023-12-13 13:22:55,451 (trainer:737) INFO: 31epoch:train:10701-10800batch: iter_time=8.485e-05, forward_time=0.147, loss_ctc=60.942, loss_att=46.529, acc=0.746, loss=50.853, backward_time=0.306, grad_norm=54.491, clip=100.000, loss_scale=3.063e+31, optim_step_time=0.133, optim0_lr0=7.218e-05, train_time=1.704 -[gpua001:0/64] 2023-12-13 13:25:37,634 (trainer:737) INFO: 31epoch:train:10801-10900batch: iter_time=9.541e-05, forward_time=0.148, loss_ctc=65.717, loss_att=47.597, acc=0.751, loss=53.033, backward_time=0.307, grad_norm=57.795, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.217e-05, train_time=1.622 -[gpua001:0/64] 2023-12-13 13:28:44,823 (trainer:737) INFO: 31epoch:train:10901-11000batch: iter_time=9.515e-05, forward_time=0.147, loss_ctc=63.918, loss_att=55.571, acc=0.725, loss=58.075, backward_time=0.319, grad_norm=57.371, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.217e-05, train_time=1.872 -[gpua001:0/64] 2023-12-13 13:31:19,211 (trainer:737) INFO: 31epoch:train:11001-11100batch: iter_time=8.150e-05, forward_time=0.178, loss_ctc=63.307, loss_att=53.426, acc=0.719, loss=56.390, backward_time=0.318, grad_norm=66.076, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=7.216e-05, train_time=1.544 -[gpua001:0/64] 2023-12-13 13:33:52,087 (trainer:737) INFO: 31epoch:train:11101-11200batch: iter_time=9.229e-05, forward_time=0.202, loss_ctc=55.472, loss_att=45.603, acc=0.730, loss=48.564, backward_time=0.315, grad_norm=67.104, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.215e-05, train_time=1.529 -[gpua001:0/64] 2023-12-13 13:35:24,649 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua001:0/64] 2023-12-13 13:35:43,552 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 13:35:47,065 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 13:35:47,065 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua001:0/64] 2023-12-13 13:35:47,068 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 13:41:58,519 (trainer:737) INFO: 31epoch:train:11201-11300batch: iter_time=3.377, forward_time=0.225, loss_ctc=64.203, loss_att=52.940, acc=0.732, loss=56.319, backward_time=0.297, grad_norm=57.102, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.214e-05, train_time=4.864 -[gpua001:0/64] 2023-12-13 13:44:14,361 (trainer:737) INFO: 31epoch:train:11301-11400batch: iter_time=8.413e-05, forward_time=0.148, loss_ctc=77.241, loss_att=54.227, acc=0.750, loss=61.131, backward_time=0.291, grad_norm=59.457, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.213e-05, train_time=1.358 -[gpua001:0/64] 2023-12-13 13:46:36,374 (trainer:737) INFO: 31epoch:train:11401-11500batch: iter_time=8.551e-05, forward_time=0.173, loss_ctc=69.470, loss_att=57.983, acc=0.739, loss=61.429, backward_time=0.284, grad_norm=57.192, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.213e-05, train_time=1.420 -[gpua001:0/64] 2023-12-13 13:49:10,088 (trainer:737) INFO: 31epoch:train:11501-11600batch: iter_time=9.106e-05, forward_time=0.172, loss_ctc=64.423, loss_att=50.525, acc=0.727, loss=54.695, backward_time=0.288, grad_norm=64.469, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.212e-05, train_time=1.537 -[gpua001:0/64] 2023-12-13 13:51:24,193 (trainer:737) INFO: 31epoch:train:11601-11700batch: iter_time=9.173e-05, forward_time=0.148, loss_ctc=73.397, loss_att=56.517, acc=0.725, loss=61.581, backward_time=0.286, grad_norm=84.283, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.211e-05, train_time=1.341 -[gpua001:0/64] 2023-12-13 13:53:47,952 (trainer:737) INFO: 31epoch:train:11701-11800batch: iter_time=5.562e-04, forward_time=0.199, loss_ctc=57.797, loss_att=47.038, acc=0.733, loss=50.265, backward_time=0.310, grad_norm=88.909, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.210e-05, train_time=1.437 -[gpua001:0/64] 2023-12-13 13:56:24,045 (trainer:737) INFO: 31epoch:train:11801-11900batch: iter_time=8.841e-05, forward_time=0.148, loss_ctc=56.689, loss_att=39.746, acc=0.749, loss=44.829, backward_time=0.285, grad_norm=69.209, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.209e-05, train_time=1.561 -[gpua001:0/64] 2023-12-13 13:58:54,887 (trainer:737) INFO: 31epoch:train:11901-12000batch: iter_time=8.516e-05, forward_time=0.153, loss_ctc=68.217, loss_att=57.448, acc=0.732, loss=60.679, backward_time=0.318, grad_norm=72.670, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.209e-05, train_time=1.508 -[gpua001:0/64] 2023-12-13 13:59:46,110 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-13 14:02:01,879 (trainer:737) INFO: 31epoch:train:12001-12100batch: iter_time=8.472e-05, forward_time=0.160, loss_ctc=65.967, loss_att=47.511, acc=0.745, loss=53.048, backward_time=0.322, grad_norm=70.101, clip=100.000, loss_scale=2.725e+31, optim_step_time=0.134, optim0_lr0=7.208e-05, train_time=1.870 -[gpua001:0/64] 2023-12-13 14:04:52,559 (trainer:737) INFO: 31epoch:train:12101-12200batch: iter_time=9.063e-05, forward_time=0.148, loss_ctc=58.136, loss_att=46.744, acc=0.741, loss=50.161, backward_time=0.320, grad_norm=59.778, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.207e-05, train_time=1.707 -[gpua001:0/64] 2023-12-13 14:07:36,551 (trainer:737) INFO: 31epoch:train:12201-12300batch: iter_time=8.711e-05, forward_time=0.180, loss_ctc=72.169, loss_att=61.510, acc=0.721, loss=64.708, backward_time=0.319, grad_norm=83.640, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.206e-05, train_time=1.640 -[gpua001:0/64] 2023-12-13 14:09:42,863 (trainer:737) INFO: 31epoch:train:12301-12400batch: iter_time=8.756e-05, forward_time=0.169, loss_ctc=56.457, loss_att=47.385, acc=0.716, loss=50.107, backward_time=0.279, grad_norm=64.973, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.206e-05, train_time=1.262 -[gpua001:0/64] 2023-12-13 14:12:08,713 (trainer:737) INFO: 31epoch:train:12401-12500batch: iter_time=8.645e-05, forward_time=0.148, loss_ctc=54.244, loss_att=43.486, acc=0.748, loss=46.713, backward_time=0.305, grad_norm=69.663, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.205e-05, train_time=1.459 -[gpua001:0/64] 2023-12-13 14:12:28,835 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua001:0/64] 2023-12-13 14:12:47,466 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 14:12:50,961 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 14:12:50,961 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua001:0/64] 2023-12-13 14:12:50,964 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 14:19:58,602 (trainer:737) INFO: 31epoch:train:12501-12600batch: iter_time=3.346, forward_time=0.181, loss_ctc=69.665, loss_att=53.061, acc=0.738, loss=58.042, backward_time=0.283, grad_norm=150.554, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.204e-05, train_time=4.699 -[gpua001:0/64] 2023-12-13 14:22:10,027 (trainer:737) INFO: 31epoch:train:12601-12700batch: iter_time=8.992e-05, forward_time=0.148, loss_ctc=77.011, loss_att=61.492, acc=0.728, loss=66.147, backward_time=0.280, grad_norm=85.011, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.203e-05, train_time=1.314 -[gpua001:0/64] 2023-12-13 14:24:19,907 (trainer:737) INFO: 31epoch:train:12701-12800batch: iter_time=8.385e-05, forward_time=0.147, loss_ctc=66.725, loss_att=53.303, acc=0.740, loss=57.330, backward_time=0.278, grad_norm=67.195, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.202e-05, train_time=1.298 -[gpua001:0/64] 2023-12-13 14:26:39,430 (trainer:737) INFO: 31epoch:train:12801-12900batch: iter_time=8.432e-05, forward_time=0.153, loss_ctc=64.200, loss_att=53.923, acc=0.720, loss=57.006, backward_time=0.285, grad_norm=105.789, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.202e-05, train_time=1.395 -[gpua001:0/64] 2023-12-13 14:29:21,796 (trainer:737) INFO: 31epoch:train:12901-13000batch: iter_time=8.921e-05, forward_time=0.261, loss_ctc=69.833, loss_att=49.562, acc=0.740, loss=55.644, backward_time=0.336, grad_norm=68.594, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.145, optim0_lr0=7.201e-05, train_time=1.623 -[gpua001:0/64] 2023-12-13 14:31:53,274 (trainer:737) INFO: 31epoch:train:13001-13100batch: iter_time=8.850e-05, forward_time=0.148, loss_ctc=53.886, loss_att=42.662, acc=0.741, loss=46.029, backward_time=0.328, grad_norm=62.845, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.200e-05, train_time=1.515 -[gpua001:0/64] 2023-12-13 14:35:10,952 (trainer:737) INFO: 31epoch:train:13101-13200batch: iter_time=8.775e-05, forward_time=0.148, loss_ctc=69.414, loss_att=55.519, acc=0.733, loss=59.687, backward_time=0.369, grad_norm=70.506, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.199e-05, train_time=1.977 -[gpua001:0/64] 2023-12-13 14:38:00,722 (trainer:737) INFO: 31epoch:train:13201-13300batch: iter_time=8.850e-05, forward_time=0.147, loss_ctc=60.588, loss_att=45.487, acc=0.747, loss=50.018, backward_time=0.294, grad_norm=54.155, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.199e-05, train_time=1.697 -[gpua001:0/64] 2023-12-13 14:40:39,726 (trainer:737) INFO: 31epoch:train:13301-13400batch: iter_time=9.259e-05, forward_time=0.149, loss_ctc=65.899, loss_att=47.603, acc=0.752, loss=53.092, backward_time=0.290, grad_norm=58.624, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.198e-05, train_time=1.590 -[gpua001:0/64] 2023-12-13 14:43:05,570 (trainer:737) INFO: 31epoch:train:13401-13500batch: iter_time=3.006e-04, forward_time=0.174, loss_ctc=64.148, loss_att=55.343, acc=0.725, loss=57.984, backward_time=0.291, grad_norm=71.797, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.197e-05, train_time=1.457 -[gpua001:0/64] 2023-12-13 14:46:07,565 (trainer:737) INFO: 31epoch:train:13501-13600batch: iter_time=0.001, forward_time=0.199, loss_ctc=62.970, loss_att=53.243, acc=0.718, loss=56.161, backward_time=0.403, grad_norm=78.672, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=7.196e-05, train_time=1.820 -[gpua001:0/64] 2023-12-13 14:48:26,101 (trainer:737) INFO: 31epoch:train:13601-13700batch: iter_time=9.487e-05, forward_time=0.149, loss_ctc=55.405, loss_att=44.975, acc=0.732, loss=48.104, backward_time=0.329, grad_norm=60.723, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.195e-05, train_time=1.385 -[gpua001:0/64] 2023-12-13 14:49:47,227 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua001:0/64] 2023-12-13 14:50:06,312 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 14:50:09,806 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 14:50:09,806 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua001:0/64] 2023-12-13 14:50:09,810 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 14:56:11,821 (trainer:737) INFO: 31epoch:train:13701-13800batch: iter_time=3.270, forward_time=0.185, loss_ctc=64.365, loss_att=52.852, acc=0.729, loss=56.306, backward_time=0.283, grad_norm=62.812, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.195e-05, train_time=4.657 -[gpua001:0/64] 2023-12-13 14:58:28,521 (trainer:737) INFO: 31epoch:train:13801-13900batch: iter_time=8.945e-05, forward_time=0.148, loss_ctc=77.132, loss_att=54.751, acc=0.742, loss=61.466, backward_time=0.294, grad_norm=68.290, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.194e-05, train_time=1.367 -[gpua001:0/64] 2023-12-13 15:00:44,185 (trainer:737) INFO: 31epoch:train:13901-14000batch: iter_time=8.158e-05, forward_time=0.147, loss_ctc=68.940, loss_att=58.684, acc=0.731, loss=61.761, backward_time=0.285, grad_norm=64.414, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.193e-05, train_time=1.356 -[gpua001:0/64] 2023-12-13 15:03:34,281 (trainer:737) INFO: 31epoch:train:14001-14100batch: iter_time=8.770e-05, forward_time=0.147, loss_ctc=64.625, loss_att=50.681, acc=0.721, loss=54.864, backward_time=0.317, grad_norm=63.751, clip=100.000, loss_scale=3.347e+31, optim_step_time=0.134, optim0_lr0=7.192e-05, train_time=1.701 -[gpua001:0/64] 2023-12-13 15:06:12,478 (trainer:737) INFO: 31epoch:train:14101-14200batch: iter_time=8.663e-05, forward_time=0.229, loss_ctc=72.891, loss_att=56.904, acc=0.714, loss=61.700, backward_time=0.350, grad_norm=67.336, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.141, optim0_lr0=7.192e-05, train_time=1.582 -[gpua001:0/64] 2023-12-13 15:08:38,196 (trainer:737) INFO: 31epoch:train:14201-14300batch: iter_time=9.282e-05, forward_time=0.160, loss_ctc=57.391, loss_att=47.099, acc=0.730, loss=50.187, backward_time=0.286, grad_norm=67.229, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.191e-05, train_time=1.457 -[gpua001:0/64] 2023-12-13 15:08:44,121 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-13 15:11:14,138 (trainer:737) INFO: 31epoch:train:14301-14400batch: iter_time=9.447e-05, forward_time=0.150, loss_ctc=56.845, loss_att=39.788, acc=0.747, loss=44.905, backward_time=0.308, grad_norm=78.978, clip=100.000, loss_scale=2.110e+31, optim_step_time=0.134, optim0_lr0=7.190e-05, train_time=1.559 -[gpua001:0/64] 2023-12-13 15:14:18,350 (trainer:737) INFO: 31epoch:train:14401-14500batch: iter_time=9.070e-05, forward_time=0.147, loss_ctc=67.878, loss_att=57.572, acc=0.725, loss=60.664, backward_time=0.294, grad_norm=61.777, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.189e-05, train_time=1.842 -[gpua001:0/64] 2023-12-13 15:17:07,419 (trainer:737) INFO: 31epoch:train:14501-14600batch: iter_time=9.039e-05, forward_time=0.219, loss_ctc=65.329, loss_att=47.027, acc=0.742, loss=52.517, backward_time=0.316, grad_norm=83.990, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=7.188e-05, train_time=1.690 -[gpua001:0/64] 2023-12-13 15:20:18,491 (trainer:737) INFO: 31epoch:train:14601-14700batch: iter_time=8.770e-05, forward_time=0.157, loss_ctc=57.930, loss_att=46.636, acc=0.735, loss=50.024, backward_time=0.361, grad_norm=78.647, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.188e-05, train_time=1.911 -[gpua001:0/64] 2023-12-13 15:22:55,649 (trainer:737) INFO: 31epoch:train:14701-14800batch: iter_time=9.216e-05, forward_time=0.147, loss_ctc=72.063, loss_att=60.508, acc=0.715, loss=63.975, backward_time=0.302, grad_norm=79.790, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.187e-05, train_time=1.571 -[gpua001:0/64] 2023-12-13 15:25:02,745 (trainer:737) INFO: 31epoch:train:14801-14900batch: iter_time=7.999e-05, forward_time=0.152, loss_ctc=56.447, loss_att=46.942, acc=0.714, loss=49.794, backward_time=0.289, grad_norm=83.955, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.186e-05, train_time=1.271 -[gpua001:0/64] 2023-12-13 15:28:13,199 (trainer:737) INFO: 31epoch:train:14901-15000batch: iter_time=8.151e-05, forward_time=0.223, loss_ctc=54.198, loss_att=43.841, acc=0.740, loss=46.948, backward_time=0.373, grad_norm=122.651, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.185e-05, train_time=1.904 -[gpua001:0/64] 2023-12-13 15:55:19,171 (trainer:343) INFO: 31epoch results: [train] iter_time=0.274, forward_time=0.172, loss_ctc=65.519, loss_att=51.598, acc=0.729, loss=55.774, backward_time=0.329, grad_norm=75.380, clip=100.000, loss_scale=3.055e+31, optim_step_time=0.135, optim0_lr0=7.244e-05, train_time=2.019, time=8 hours, 25 minutes and 17.41 seconds, total_count=465000, gpu_max_cached_mem_GB=37.920, [valid] loss_ctc=34.583, cer_ctc=0.178, loss_att=33.698, acc=0.718, cer=0.344, wer=0.992, loss=33.963, time=26 minutes and 41.96 seconds, total_count=144801, gpu_max_cached_mem_GB=37.920 -[gpua001:0/64] 2023-12-13 15:55:38,779 (trainer:391) INFO: The best model has been updated: valid.total_count -[gpua001:0/64] 2023-12-13 15:55:38,853 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/18epoch.pth -[gpua001:0/64] 2023-12-13 15:55:38,853 (trainer:272) INFO: 32/40epoch started. Estimated time to finish: 3 days, 8 hours and 18 minutes -[gpua001:0/64] 2023-12-13 15:55:38,864 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua001:0/64] 2023-12-13 15:55:57,346 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 15:56:00,785 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 15:56:00,785 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua001:0/64] 2023-12-13 15:56:00,788 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 16:02:55,568 (trainer:737) INFO: 32epoch:train:1-100batch: iter_time=2.754, forward_time=0.177, loss_ctc=61.661, loss_att=50.499, acc=0.714, loss=53.848, backward_time=0.280, grad_norm=133.246, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.185e-05, train_time=4.366 -[gpua001:0/64] 2023-12-13 16:04:56,311 (trainer:737) INFO: 32epoch:train:101-200batch: iter_time=9.299e-05, forward_time=0.146, loss_ctc=62.706, loss_att=51.318, acc=0.718, loss=54.735, backward_time=0.276, grad_norm=81.760, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.184e-05, train_time=1.208 -[gpua001:0/64] 2023-12-13 16:07:05,379 (trainer:737) INFO: 32epoch:train:201-300batch: iter_time=8.871e-05, forward_time=0.147, loss_ctc=63.040, loss_att=52.869, acc=0.712, loss=55.921, backward_time=0.284, grad_norm=86.345, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.183e-05, train_time=1.290 -[gpua001:0/64] 2023-12-13 16:09:32,566 (trainer:737) INFO: 32epoch:train:301-400batch: iter_time=8.792e-05, forward_time=0.268, loss_ctc=59.672, loss_att=46.490, acc=0.728, loss=50.445, backward_time=0.330, grad_norm=57.236, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=7.182e-05, train_time=1.472 -[gpua001:0/64] 2023-12-13 16:11:51,865 (trainer:737) INFO: 32epoch:train:401-500batch: iter_time=8.538e-05, forward_time=0.148, loss_ctc=73.594, loss_att=56.619, acc=0.717, loss=61.712, backward_time=0.295, grad_norm=71.614, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.182e-05, train_time=1.393 -[gpua001:0/64] 2023-12-13 16:14:12,039 (trainer:737) INFO: 32epoch:train:501-600batch: iter_time=8.500e-05, forward_time=0.170, loss_ctc=67.614, loss_att=53.940, acc=0.706, loss=58.043, backward_time=0.285, grad_norm=70.037, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.181e-05, train_time=1.402 -[gpua001:0/64] 2023-12-13 16:16:35,855 (trainer:737) INFO: 32epoch:train:601-700batch: iter_time=8.716e-05, forward_time=0.149, loss_ctc=69.812, loss_att=55.840, acc=0.717, loss=60.031, backward_time=0.311, grad_norm=74.491, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.180e-05, train_time=1.438 -[gpua001:0/64] 2023-12-13 16:19:30,121 (trainer:737) INFO: 32epoch:train:701-800batch: iter_time=8.670e-05, forward_time=0.286, loss_ctc=63.563, loss_att=50.191, acc=0.731, loss=54.203, backward_time=0.341, grad_norm=58.246, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=7.179e-05, train_time=1.742 -[gpua001:0/64] 2023-12-13 16:21:09,252 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-13 16:21:57,689 (trainer:737) INFO: 32epoch:train:801-900batch: iter_time=8.595e-05, forward_time=0.148, loss_ctc=67.843, loss_att=59.947, acc=0.709, loss=62.316, backward_time=0.303, grad_norm=114.874, clip=100.000, loss_scale=1.700e+31, optim_step_time=0.134, optim0_lr0=7.178e-05, train_time=1.475 -[gpua001:0/64] 2023-12-13 16:24:02,671 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-13 16:24:37,430 (trainer:737) INFO: 32epoch:train:901-1000batch: iter_time=8.241e-05, forward_time=0.146, loss_ctc=76.333, loss_att=56.251, acc=0.727, loss=62.276, backward_time=0.329, grad_norm=62.516, clip=100.000, loss_scale=9.117e+30, optim_step_time=0.133, optim0_lr0=7.178e-05, train_time=1.597 -[gpua001:0/64] 2023-12-13 16:27:10,312 (trainer:737) INFO: 32epoch:train:1001-1100batch: iter_time=8.331e-05, forward_time=0.146, loss_ctc=69.230, loss_att=52.962, acc=0.730, loss=57.843, backward_time=0.322, grad_norm=67.791, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.177e-05, train_time=1.529 -[gpua001:0/64] 2023-12-13 16:29:59,900 (trainer:737) INFO: 32epoch:train:1101-1200batch: iter_time=2.707e-04, forward_time=0.225, loss_ctc=86.720, loss_att=65.533, acc=0.715, loss=71.889, backward_time=0.354, grad_norm=86.947, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.138, optim0_lr0=7.176e-05, train_time=1.694 -[gpua001:0/64] 2023-12-13 16:31:24,645 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua001:0/64] 2023-12-13 16:31:43,173 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 16:31:46,627 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 16:31:46,627 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua001:0/64] 2023-12-13 16:31:46,631 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 16:39:14,018 (trainer:737) INFO: 32epoch:train:1201-1300batch: iter_time=2.659, forward_time=0.148, loss_ctc=61.243, loss_att=45.543, acc=0.733, loss=50.253, backward_time=0.281, grad_norm=98.557, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.175e-05, train_time=5.542 -[gpua001:0/64] 2023-12-13 16:40:33,320 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-13 16:41:15,678 (trainer:737) INFO: 32epoch:train:1301-1400batch: iter_time=8.377e-05, forward_time=0.148, loss_ctc=65.381, loss_att=49.251, acc=0.716, loss=54.090, backward_time=0.278, grad_norm=68.354, clip=100.000, loss_scale=4.200e+30, optim_step_time=0.134, optim0_lr0=7.175e-05, train_time=1.216 -[gpua001:0/64] 2023-12-13 16:43:34,183 (trainer:737) INFO: 32epoch:train:1401-1500batch: iter_time=8.360e-05, forward_time=0.147, loss_ctc=64.346, loss_att=55.726, acc=0.714, loss=58.312, backward_time=0.291, grad_norm=83.918, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.174e-05, train_time=1.385 -[gpua001:0/64] 2023-12-13 16:45:45,420 (trainer:737) INFO: 32epoch:train:1501-1600batch: iter_time=8.260e-05, forward_time=0.150, loss_ctc=51.855, loss_att=44.142, acc=0.723, loss=46.456, backward_time=0.280, grad_norm=225.881, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.173e-05, train_time=1.312 -[gpua001:0/64] 2023-12-13 16:48:12,443 (trainer:737) INFO: 32epoch:train:1601-1700batch: iter_time=9.118e-05, forward_time=0.148, loss_ctc=65.844, loss_att=46.526, acc=0.743, loss=52.321, backward_time=0.285, grad_norm=75.849, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.172e-05, train_time=1.470 -[gpua001:0/64] 2023-12-13 16:50:59,691 (trainer:737) INFO: 32epoch:train:1701-1800batch: iter_time=0.001, forward_time=0.302, loss_ctc=70.907, loss_att=58.322, acc=0.713, loss=62.097, backward_time=0.326, grad_norm=85.888, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.139, optim0_lr0=7.172e-05, train_time=1.672 -[gpua001:0/64] 2023-12-13 16:53:25,411 (trainer:737) INFO: 32epoch:train:1801-1900batch: iter_time=8.248e-05, forward_time=0.148, loss_ctc=66.248, loss_att=54.154, acc=0.708, loss=57.782, backward_time=0.295, grad_norm=80.313, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.171e-05, train_time=1.455 -[gpua001:0/64] 2023-12-13 16:56:06,754 (trainer:737) INFO: 32epoch:train:1901-2000batch: iter_time=8.348e-05, forward_time=0.148, loss_ctc=67.206, loss_att=55.329, acc=0.716, loss=58.892, backward_time=0.313, grad_norm=73.746, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.135, optim0_lr0=7.170e-05, train_time=1.615 -[gpua001:0/64] 2023-12-13 16:58:39,434 (trainer:737) INFO: 32epoch:train:2001-2100batch: iter_time=8.490e-05, forward_time=0.167, loss_ctc=65.511, loss_att=51.783, acc=0.734, loss=55.901, backward_time=0.339, grad_norm=71.594, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.169e-05, train_time=1.527 -[gpua001:0/64] 2023-12-13 17:01:23,746 (trainer:737) INFO: 32epoch:train:2101-2200batch: iter_time=8.359e-05, forward_time=0.147, loss_ctc=67.989, loss_att=56.245, acc=0.729, loss=59.768, backward_time=0.298, grad_norm=69.173, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.168e-05, train_time=1.643 -[gpua001:0/64] 2023-12-13 17:04:02,676 (trainer:737) INFO: 32epoch:train:2201-2300batch: iter_time=8.579e-05, forward_time=0.148, loss_ctc=76.382, loss_att=57.819, acc=0.730, loss=63.388, backward_time=0.339, grad_norm=78.443, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.168e-05, train_time=1.589 -[gpua001:0/64] 2023-12-13 17:06:26,357 (trainer:737) INFO: 32epoch:train:2301-2400batch: iter_time=8.445e-05, forward_time=0.148, loss_ctc=66.335, loss_att=49.187, acc=0.731, loss=54.331, backward_time=0.280, grad_norm=79.567, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.167e-05, train_time=1.437 -[gpua001:0/64] 2023-12-13 17:09:06,721 (trainer:737) INFO: 32epoch:train:2401-2500batch: iter_time=8.825e-04, forward_time=0.259, loss_ctc=83.852, loss_att=62.511, acc=0.714, loss=68.914, backward_time=0.322, grad_norm=80.203, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.145, optim0_lr0=7.166e-05, train_time=1.603 -[gpua001:0/64] 2023-12-13 17:09:26,750 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua001:0/64] 2023-12-13 17:09:45,599 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 17:09:49,130 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 17:09:49,130 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua001:0/64] 2023-12-13 17:09:49,133 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 17:16:09,119 (trainer:737) INFO: 32epoch:train:2501-2600batch: iter_time=2.629, forward_time=0.152, loss_ctc=59.924, loss_att=50.003, acc=0.722, loss=52.980, backward_time=0.284, grad_norm=103.768, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.135, optim0_lr0=7.165e-05, train_time=4.224 -[gpua001:0/64] 2023-12-13 17:18:32,597 (trainer:737) INFO: 32epoch:train:2601-2700batch: iter_time=8.475e-05, forward_time=0.150, loss_ctc=61.767, loss_att=51.609, acc=0.733, loss=54.656, backward_time=0.287, grad_norm=63.804, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.135, optim0_lr0=7.165e-05, train_time=1.435 -[gpua001:0/64] 2023-12-13 17:20:44,547 (trainer:737) INFO: 32epoch:train:2701-2800batch: iter_time=8.091e-05, forward_time=0.149, loss_ctc=62.256, loss_att=51.709, acc=0.724, loss=54.873, backward_time=0.282, grad_norm=79.398, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.164e-05, train_time=1.319 -[gpua001:0/64] 2023-12-13 17:23:38,905 (trainer:737) INFO: 32epoch:train:2801-2900batch: iter_time=8.862e-05, forward_time=0.149, loss_ctc=58.755, loss_att=46.889, acc=0.740, loss=50.449, backward_time=0.343, grad_norm=66.734, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.163e-05, train_time=1.743 -[gpua001:0/64] 2023-12-13 17:26:16,882 (trainer:737) INFO: 32epoch:train:2901-3000batch: iter_time=0.004, forward_time=0.295, loss_ctc=68.896, loss_att=55.515, acc=0.731, loss=59.529, backward_time=0.316, grad_norm=76.465, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.138, optim0_lr0=7.162e-05, train_time=1.578 -[gpua001:0/64] 2023-12-13 17:28:44,018 (trainer:737) INFO: 32epoch:train:3001-3100batch: iter_time=8.463e-05, forward_time=0.152, loss_ctc=65.813, loss_att=53.821, acc=0.720, loss=57.418, backward_time=0.287, grad_norm=96.360, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.162e-05, train_time=1.472 -[gpua001:0/64] 2023-12-13 17:31:24,534 (trainer:737) INFO: 32epoch:train:3101-3200batch: iter_time=8.266e-05, forward_time=0.151, loss_ctc=69.793, loss_att=57.198, acc=0.730, loss=60.976, backward_time=0.289, grad_norm=65.641, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.161e-05, train_time=1.605 -[gpua001:0/64] 2023-12-13 17:33:59,804 (trainer:737) INFO: 32epoch:train:3201-3300batch: iter_time=8.601e-05, forward_time=0.151, loss_ctc=62.735, loss_att=49.230, acc=0.736, loss=53.282, backward_time=0.284, grad_norm=90.275, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.160e-05, train_time=1.553 -[gpua001:0/64] 2023-12-13 17:36:26,143 (trainer:737) INFO: 32epoch:train:3301-3400batch: iter_time=8.608e-05, forward_time=0.151, loss_ctc=67.710, loss_att=59.172, acc=0.723, loss=61.733, backward_time=0.298, grad_norm=69.359, clip=100.000, loss_scale=3.397e+30, optim_step_time=0.135, optim0_lr0=7.159e-05, train_time=1.463 -[gpua001:0/64] 2023-12-13 17:41:28,280 (trainer:737) INFO: 32epoch:train:3401-3500batch: iter_time=9.178e-05, forward_time=0.157, loss_ctc=74.706, loss_att=56.879, acc=0.740, loss=62.227, backward_time=0.298, grad_norm=66.184, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.159e-05, train_time=3.021 -[gpua001:0/64] 2023-12-13 17:44:07,398 (trainer:737) INFO: 32epoch:train:3501-3600batch: iter_time=8.742e-05, forward_time=0.213, loss_ctc=68.155, loss_att=52.410, acc=0.741, loss=57.133, backward_time=0.384, grad_norm=71.766, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.145, optim0_lr0=7.158e-05, train_time=1.591 -[gpua001:0/64] 2023-12-13 17:47:07,533 (trainer:737) INFO: 32epoch:train:3601-3700batch: iter_time=8.851e-05, forward_time=0.149, loss_ctc=81.297, loss_att=63.712, acc=0.726, loss=68.988, backward_time=0.325, grad_norm=109.695, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.157e-05, train_time=1.800 -[gpua001:0/64] 2023-12-13 17:48:37,924 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua001:0/64] 2023-12-13 17:48:56,421 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 17:48:59,903 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 17:48:59,903 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua001:0/64] 2023-12-13 17:48:59,906 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 17:55:05,460 (trainer:737) INFO: 32epoch:train:3701-3800batch: iter_time=2.896, forward_time=0.197, loss_ctc=60.714, loss_att=45.631, acc=0.738, loss=50.156, backward_time=0.297, grad_norm=80.839, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.156e-05, train_time=4.780 -[gpua001:0/64] 2023-12-13 17:57:06,327 (trainer:737) INFO: 32epoch:train:3801-3900batch: iter_time=8.827e-05, forward_time=0.148, loss_ctc=64.902, loss_att=49.721, acc=0.719, loss=54.275, backward_time=0.277, grad_norm=71.193, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.155e-05, train_time=1.209 -[gpua001:0/64] 2023-12-13 17:59:24,090 (trainer:737) INFO: 32epoch:train:3901-4000batch: iter_time=8.961e-05, forward_time=0.170, loss_ctc=64.690, loss_att=55.367, acc=0.718, loss=58.164, backward_time=0.290, grad_norm=92.349, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.137, optim0_lr0=7.155e-05, train_time=1.377 -[gpua001:0/64] 2023-12-13 18:01:42,096 (trainer:737) INFO: 32epoch:train:4001-4100batch: iter_time=9.409e-05, forward_time=0.149, loss_ctc=51.650, loss_att=43.818, acc=0.727, loss=46.167, backward_time=0.280, grad_norm=59.069, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.154e-05, train_time=1.378 -[gpua001:0/64] 2023-12-13 18:04:21,677 (trainer:737) INFO: 32epoch:train:4101-4200batch: iter_time=9.778e-05, forward_time=0.206, loss_ctc=65.106, loss_att=45.939, acc=0.747, loss=51.690, backward_time=0.323, grad_norm=64.972, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.153e-05, train_time=1.597 -[gpua001:0/64] 2023-12-13 18:06:38,172 (trainer:737) INFO: 32epoch:train:4201-4300batch: iter_time=9.031e-05, forward_time=0.167, loss_ctc=68.153, loss_att=57.285, acc=0.718, loss=60.545, backward_time=0.300, grad_norm=72.377, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=7.152e-05, train_time=1.365 -[gpua001:0/64] 2023-12-13 18:09:08,746 (trainer:737) INFO: 32epoch:train:4301-4400batch: iter_time=8.357e-05, forward_time=0.157, loss_ctc=65.831, loss_att=53.491, acc=0.713, loss=57.193, backward_time=0.305, grad_norm=64.829, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.137, optim0_lr0=7.152e-05, train_time=1.506 -[gpua001:0/64] 2023-12-13 18:11:32,479 (trainer:737) INFO: 32epoch:train:4401-4500batch: iter_time=8.884e-05, forward_time=0.159, loss_ctc=67.573, loss_att=55.563, acc=0.717, loss=59.166, backward_time=0.292, grad_norm=72.690, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.151e-05, train_time=1.437 -[gpua001:0/64] 2023-12-13 18:14:32,961 (trainer:737) INFO: 32epoch:train:4501-4600batch: iter_time=9.251e-05, forward_time=0.172, loss_ctc=65.767, loss_att=51.655, acc=0.738, loss=55.889, backward_time=0.358, grad_norm=78.355, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=7.150e-05, train_time=1.802 -[gpua001:0/64] 2023-12-13 18:16:56,711 (trainer:737) INFO: 32epoch:train:4601-4700batch: iter_time=2.321e-04, forward_time=0.160, loss_ctc=67.865, loss_att=55.696, acc=0.735, loss=59.347, backward_time=0.335, grad_norm=79.109, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.138, optim0_lr0=7.149e-05, train_time=1.439 -[gpua001:0/64] 2023-12-13 18:19:25,626 (trainer:737) INFO: 32epoch:train:4701-4800batch: iter_time=9.144e-05, forward_time=0.159, loss_ctc=75.186, loss_att=57.110, acc=0.734, loss=62.533, backward_time=0.289, grad_norm=62.263, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.149e-05, train_time=1.489 -[gpua001:0/64] 2023-12-13 18:21:53,260 (trainer:737) INFO: 32epoch:train:4801-4900batch: iter_time=8.601e-05, forward_time=0.157, loss_ctc=64.974, loss_att=48.986, acc=0.734, loss=53.782, backward_time=0.316, grad_norm=85.105, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.148e-05, train_time=1.476 -[gpua001:0/64] 2023-12-13 18:24:49,876 (trainer:737) INFO: 32epoch:train:4901-5000batch: iter_time=1.714e-04, forward_time=0.201, loss_ctc=82.930, loss_att=61.822, acc=0.716, loss=68.154, backward_time=0.371, grad_norm=86.717, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.147e-05, train_time=1.766 -[gpua001:0/64] 2023-12-13 18:25:09,905 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua001:0/64] 2023-12-13 18:25:28,534 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 18:25:32,038 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 18:25:32,038 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua001:0/64] 2023-12-13 18:25:32,041 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 18:31:27,238 (trainer:737) INFO: 32epoch:train:5001-5100batch: iter_time=2.699, forward_time=0.185, loss_ctc=59.750, loss_att=49.039, acc=0.728, loss=52.253, backward_time=0.286, grad_norm=68.699, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.146e-05, train_time=3.973 -[gpua001:0/64] 2023-12-13 18:33:38,270 (trainer:737) INFO: 32epoch:train:5101-5200batch: iter_time=8.306e-05, forward_time=0.149, loss_ctc=61.104, loss_att=50.807, acc=0.735, loss=53.896, backward_time=0.295, grad_norm=97.001, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.146e-05, train_time=1.310 -[gpua001:0/64] 2023-12-13 18:35:49,799 (trainer:737) INFO: 32epoch:train:5201-5300batch: iter_time=8.534e-05, forward_time=0.151, loss_ctc=60.298, loss_att=50.332, acc=0.732, loss=53.322, backward_time=0.285, grad_norm=70.875, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.145e-05, train_time=1.315 -[gpua001:0/64] 2023-12-13 18:38:32,284 (trainer:737) INFO: 32epoch:train:5301-5400batch: iter_time=8.429e-05, forward_time=0.280, loss_ctc=58.800, loss_att=46.817, acc=0.741, loss=50.412, backward_time=0.322, grad_norm=60.063, clip=100.000, loss_scale=6.795e+30, optim_step_time=0.141, optim0_lr0=7.144e-05, train_time=1.624 -[gpua001:0/64] 2023-12-13 18:40:36,035 (trainer:737) INFO: 32epoch:train:5401-5500batch: iter_time=8.314e-05, forward_time=0.149, loss_ctc=68.956, loss_att=55.703, acc=0.732, loss=59.679, backward_time=0.281, grad_norm=82.562, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.143e-05, train_time=1.237 -[gpua001:0/64] 2023-12-13 18:43:04,419 (trainer:737) INFO: 32epoch:train:5501-5600batch: iter_time=8.818e-05, forward_time=0.148, loss_ctc=65.477, loss_att=53.708, acc=0.721, loss=57.239, backward_time=0.308, grad_norm=74.478, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.143e-05, train_time=1.484 -[gpua001:0/64] 2023-12-13 18:45:22,661 (trainer:737) INFO: 32epoch:train:5601-5700batch: iter_time=8.603e-05, forward_time=0.148, loss_ctc=69.484, loss_att=57.218, acc=0.729, loss=60.898, backward_time=0.293, grad_norm=66.673, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.142e-05, train_time=1.382 -[gpua001:0/64] 2023-12-13 18:48:06,890 (trainer:737) INFO: 32epoch:train:5701-5800batch: iter_time=0.005, forward_time=0.260, loss_ctc=62.582, loss_att=49.116, acc=0.737, loss=53.156, backward_time=0.312, grad_norm=101.713, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.140, optim0_lr0=7.141e-05, train_time=1.642 -[gpua001:0/64] 2023-12-13 18:50:51,259 (trainer:737) INFO: 32epoch:train:5801-5900batch: iter_time=8.902e-05, forward_time=0.153, loss_ctc=67.377, loss_att=58.950, acc=0.725, loss=61.478, backward_time=0.300, grad_norm=69.050, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.140e-05, train_time=1.643 -[gpua001:0/64] 2023-12-13 18:53:32,326 (trainer:737) INFO: 32epoch:train:5901-6000batch: iter_time=8.714e-05, forward_time=0.149, loss_ctc=73.701, loss_att=56.161, acc=0.742, loss=61.423, backward_time=0.310, grad_norm=64.750, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.139e-05, train_time=1.611 -[gpua001:0/64] 2023-12-13 18:56:13,468 (trainer:737) INFO: 32epoch:train:6001-6100batch: iter_time=8.704e-05, forward_time=0.149, loss_ctc=68.342, loss_att=52.414, acc=0.741, loss=57.192, backward_time=0.308, grad_norm=65.746, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.139e-05, train_time=1.611 -[gpua001:0/64] 2023-12-13 18:58:56,829 (trainer:737) INFO: 32epoch:train:6101-6200batch: iter_time=0.001, forward_time=0.300, loss_ctc=80.340, loss_att=63.572, acc=0.732, loss=68.603, backward_time=0.315, grad_norm=76.270, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=7.138e-05, train_time=1.632 -[gpua001:0/64] 2023-12-13 19:00:18,679 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua001:0/64] 2023-12-13 19:00:37,284 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 19:00:40,802 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 19:00:40,802 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua001:0/64] 2023-12-13 19:00:40,805 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 19:06:34,462 (trainer:737) INFO: 32epoch:train:6201-6300batch: iter_time=3.265, forward_time=0.182, loss_ctc=59.896, loss_att=44.877, acc=0.742, loss=49.382, backward_time=0.285, grad_norm=77.168, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.137e-05, train_time=4.577 -[gpua001:0/64] 2023-12-13 19:08:36,934 (trainer:737) INFO: 32epoch:train:6301-6400batch: iter_time=8.538e-05, forward_time=0.149, loss_ctc=63.973, loss_att=48.921, acc=0.729, loss=53.437, backward_time=0.278, grad_norm=85.263, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.136e-05, train_time=1.225 -[gpua001:0/64] 2023-12-13 19:11:10,756 (trainer:737) INFO: 32epoch:train:6401-6500batch: iter_time=8.305e-05, forward_time=0.148, loss_ctc=64.015, loss_att=55.384, acc=0.730, loss=57.973, backward_time=0.281, grad_norm=76.780, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.136e-05, train_time=1.538 -[gpua001:0/64] 2023-12-13 19:13:26,723 (trainer:737) INFO: 32epoch:train:6501-6600batch: iter_time=8.274e-05, forward_time=0.148, loss_ctc=51.044, loss_att=42.940, acc=0.735, loss=45.371, backward_time=0.282, grad_norm=116.551, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.135e-05, train_time=1.358 -[gpua001:0/64] 2023-12-13 19:16:16,526 (trainer:737) INFO: 32epoch:train:6601-6700batch: iter_time=8.156e-05, forward_time=0.246, loss_ctc=65.133, loss_att=47.661, acc=0.752, loss=52.903, backward_time=0.327, grad_norm=57.477, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.144, optim0_lr0=7.134e-05, train_time=1.699 -[gpua001:0/64] 2023-12-13 19:18:42,654 (trainer:737) INFO: 32epoch:train:6701-6800batch: iter_time=8.080e-05, forward_time=0.147, loss_ctc=67.319, loss_att=56.449, acc=0.728, loss=59.710, backward_time=0.326, grad_norm=69.775, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.133e-05, train_time=1.461 -[gpua001:0/64] 2023-12-13 19:21:38,918 (trainer:737) INFO: 32epoch:train:6801-6900batch: iter_time=8.019e-05, forward_time=0.148, loss_ctc=65.602, loss_att=54.336, acc=0.722, loss=57.716, backward_time=0.417, grad_norm=75.065, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.133e-05, train_time=1.762 -[gpua001:0/64] 2023-12-13 19:24:20,380 (trainer:737) INFO: 32epoch:train:6901-7000batch: iter_time=8.061e-05, forward_time=0.174, loss_ctc=66.908, loss_att=56.169, acc=0.719, loss=59.391, backward_time=0.321, grad_norm=103.300, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.132e-05, train_time=1.614 -[gpua001:0/64] 2023-12-13 19:27:03,646 (trainer:737) INFO: 32epoch:train:7001-7100batch: iter_time=0.002, forward_time=0.236, loss_ctc=64.925, loss_att=50.845, acc=0.748, loss=55.069, backward_time=0.312, grad_norm=123.257, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.138, optim0_lr0=7.131e-05, train_time=1.632 -[gpua001:0/64] 2023-12-13 19:29:21,211 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-13 19:29:45,273 (trainer:737) INFO: 32epoch:train:7101-7200batch: iter_time=8.123e-05, forward_time=0.148, loss_ctc=67.167, loss_att=56.116, acc=0.742, loss=59.431, backward_time=0.287, grad_norm=83.446, clip=100.000, loss_scale=9.475e+30, optim_step_time=0.135, optim0_lr0=7.130e-05, train_time=1.616 -[gpua001:0/64] 2023-12-13 19:32:25,600 (trainer:737) INFO: 32epoch:train:7201-7300batch: iter_time=8.034e-05, forward_time=0.148, loss_ctc=75.032, loss_att=57.516, acc=0.740, loss=62.771, backward_time=0.287, grad_norm=78.101, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.130e-05, train_time=1.603 -[gpua001:0/64] 2023-12-13 19:35:21,235 (trainer:737) INFO: 32epoch:train:7301-7400batch: iter_time=8.729e-05, forward_time=0.153, loss_ctc=64.075, loss_att=48.892, acc=0.745, loss=53.447, backward_time=0.322, grad_norm=79.780, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.129e-05, train_time=1.756 -[gpua001:0/64] 2023-12-13 19:38:00,062 (trainer:737) INFO: 32epoch:train:7401-7500batch: iter_time=8.628e-05, forward_time=0.255, loss_ctc=82.302, loss_att=61.936, acc=0.726, loss=68.045, backward_time=0.312, grad_norm=91.567, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.147, optim0_lr0=7.128e-05, train_time=1.588 -[gpua001:0/64] 2023-12-13 19:38:20,126 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua001:0/64] 2023-12-13 19:38:38,578 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 19:38:42,004 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 19:38:42,004 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua001:0/64] 2023-12-13 19:38:42,007 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 19:45:47,418 (trainer:737) INFO: 32epoch:train:7501-7600batch: iter_time=3.259, forward_time=0.212, loss_ctc=59.388, loss_att=48.053, acc=0.729, loss=51.454, backward_time=0.285, grad_norm=73.339, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=7.127e-05, train_time=4.673 -[gpua001:0/64] 2023-12-13 19:47:59,193 (trainer:737) INFO: 32epoch:train:7601-7700batch: iter_time=8.531e-05, forward_time=0.148, loss_ctc=60.900, loss_att=50.078, acc=0.738, loss=53.324, backward_time=0.286, grad_norm=93.141, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.127e-05, train_time=1.318 -[gpua001:0/64] 2023-12-13 19:50:18,144 (trainer:737) INFO: 32epoch:train:7701-7800batch: iter_time=8.803e-05, forward_time=0.188, loss_ctc=61.012, loss_att=50.737, acc=0.730, loss=53.819, backward_time=0.353, grad_norm=69.730, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.143, optim0_lr0=7.126e-05, train_time=1.389 -[gpua001:0/64] 2023-12-13 19:52:45,677 (trainer:737) INFO: 32epoch:train:7801-7900batch: iter_time=8.295e-05, forward_time=0.183, loss_ctc=58.246, loss_att=45.811, acc=0.746, loss=49.541, backward_time=0.299, grad_norm=54.177, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.145, optim0_lr0=7.125e-05, train_time=1.475 -[gpua001:0/64] 2023-12-13 19:55:10,422 (trainer:737) INFO: 32epoch:train:7901-8000batch: iter_time=8.839e-05, forward_time=0.148, loss_ctc=68.417, loss_att=54.826, acc=0.735, loss=58.903, backward_time=0.284, grad_norm=67.571, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.124e-05, train_time=1.447 -[gpua001:0/64] 2023-12-13 19:57:22,231 (trainer:737) INFO: 32epoch:train:8001-8100batch: iter_time=8.085e-05, forward_time=0.149, loss_ctc=65.237, loss_att=53.201, acc=0.724, loss=56.812, backward_time=0.286, grad_norm=64.786, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.124e-05, train_time=1.318 -[gpua001:0/64] 2023-12-13 20:00:39,293 (trainer:737) INFO: 32epoch:train:8101-8200batch: iter_time=8.873e-05, forward_time=0.170, loss_ctc=68.867, loss_att=56.164, acc=0.733, loss=59.975, backward_time=0.361, grad_norm=66.756, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=7.123e-05, train_time=1.970 -[gpua001:0/64] 2023-12-13 20:03:33,177 (trainer:737) INFO: 32epoch:train:8201-8300batch: iter_time=8.472e-05, forward_time=0.181, loss_ctc=62.060, loss_att=48.780, acc=0.739, loss=52.764, backward_time=0.334, grad_norm=157.506, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=7.122e-05, train_time=1.739 -[gpua001:0/64] 2023-12-13 20:05:50,294 (trainer:737) INFO: 32epoch:train:8301-8400batch: iter_time=8.765e-05, forward_time=0.150, loss_ctc=66.485, loss_att=57.820, acc=0.729, loss=60.420, backward_time=0.282, grad_norm=72.417, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.121e-05, train_time=1.371 -[gpua001:0/64] 2023-12-13 20:06:08,767 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-13 20:08:19,331 (trainer:737) INFO: 32epoch:train:8401-8500batch: iter_time=9.007e-05, forward_time=0.149, loss_ctc=73.534, loss_att=56.059, acc=0.744, loss=61.302, backward_time=0.321, grad_norm=110.404, clip=100.000, loss_scale=2.868e+30, optim_step_time=0.134, optim0_lr0=7.121e-05, train_time=1.490 -[gpua001:0/64] 2023-12-13 20:11:06,424 (trainer:737) INFO: 32epoch:train:8501-8600batch: iter_time=8.480e-05, forward_time=0.149, loss_ctc=67.726, loss_att=51.912, acc=0.743, loss=56.656, backward_time=0.293, grad_norm=70.905, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.120e-05, train_time=1.671 -[gpua001:0/64] 2023-12-13 20:13:19,598 (trainer:737) INFO: 32epoch:train:8601-8700batch: iter_time=9.000e-05, forward_time=0.202, loss_ctc=79.330, loss_att=62.294, acc=0.733, loss=67.405, backward_time=0.287, grad_norm=93.985, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.135, optim0_lr0=7.119e-05, train_time=1.332 -[gpua001:0/64] 2023-12-13 20:14:51,326 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua001:0/64] 2023-12-13 20:15:10,230 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 20:15:13,727 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 20:15:13,727 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua001:0/64] 2023-12-13 20:15:13,731 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 20:21:02,746 (trainer:737) INFO: 32epoch:train:8701-8800batch: iter_time=3.202, forward_time=0.233, loss_ctc=59.960, loss_att=44.988, acc=0.745, loss=49.479, backward_time=0.298, grad_norm=71.315, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.139, optim0_lr0=7.118e-05, train_time=4.631 -[gpua001:0/64] 2023-12-13 20:23:07,272 (trainer:737) INFO: 32epoch:train:8801-8900batch: iter_time=8.129e-05, forward_time=0.148, loss_ctc=64.052, loss_att=50.613, acc=0.719, loss=54.644, backward_time=0.283, grad_norm=84.186, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.118e-05, train_time=1.245 -[gpua001:0/64] 2023-12-13 20:25:27,168 (trainer:737) INFO: 32epoch:train:8901-9000batch: iter_time=7.938e-05, forward_time=0.160, loss_ctc=63.197, loss_att=56.182, acc=0.719, loss=58.287, backward_time=0.299, grad_norm=121.610, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.136, optim0_lr0=7.117e-05, train_time=1.399 -[gpua001:0/64] 2023-12-13 20:27:47,058 (trainer:737) INFO: 32epoch:train:9001-9100batch: iter_time=5.139e-04, forward_time=0.174, loss_ctc=51.378, loss_att=43.871, acc=0.728, loss=46.123, backward_time=0.294, grad_norm=64.556, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.136, optim0_lr0=7.116e-05, train_time=1.399 -[gpua001:0/64] 2023-12-13 20:30:36,293 (trainer:737) INFO: 32epoch:train:9101-9200batch: iter_time=9.847e-05, forward_time=0.216, loss_ctc=64.829, loss_att=46.367, acc=0.747, loss=51.906, backward_time=0.348, grad_norm=55.013, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.137, optim0_lr0=7.115e-05, train_time=1.692 -[gpua001:0/64] 2023-12-13 20:33:15,705 (trainer:737) INFO: 32epoch:train:9201-9300batch: iter_time=9.324e-05, forward_time=0.151, loss_ctc=67.314, loss_att=57.274, acc=0.719, loss=60.286, backward_time=0.298, grad_norm=74.926, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.135, optim0_lr0=7.115e-05, train_time=1.594 -[gpua001:0/64] 2023-12-13 20:35:55,707 (trainer:737) INFO: 32epoch:train:9301-9400batch: iter_time=8.981e-05, forward_time=0.162, loss_ctc=65.583, loss_att=53.605, acc=0.714, loss=57.198, backward_time=0.312, grad_norm=74.409, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.135, optim0_lr0=7.114e-05, train_time=1.600 -[gpua001:0/64] 2023-12-13 20:38:56,662 (trainer:737) INFO: 32epoch:train:9401-9500batch: iter_time=8.928e-05, forward_time=0.188, loss_ctc=66.554, loss_att=54.707, acc=0.721, loss=58.261, backward_time=0.335, grad_norm=60.477, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.139, optim0_lr0=7.113e-05, train_time=1.809 -[gpua001:0/64] 2023-12-13 20:41:38,930 (trainer:737) INFO: 32epoch:train:9501-9600batch: iter_time=9.252e-05, forward_time=0.178, loss_ctc=64.658, loss_att=51.204, acc=0.741, loss=55.240, backward_time=0.316, grad_norm=60.359, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.136, optim0_lr0=7.112e-05, train_time=1.623 -[gpua001:0/64] 2023-12-13 20:43:55,804 (trainer:737) INFO: 32epoch:train:9601-9700batch: iter_time=8.731e-05, forward_time=0.166, loss_ctc=67.213, loss_att=55.495, acc=0.736, loss=59.010, backward_time=0.291, grad_norm=62.891, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.136, optim0_lr0=7.112e-05, train_time=1.368 -[gpua001:0/64] 2023-12-13 20:46:19,466 (trainer:737) INFO: 32epoch:train:9701-9800batch: iter_time=9.742e-05, forward_time=0.161, loss_ctc=74.381, loss_att=56.926, acc=0.736, loss=62.162, backward_time=0.288, grad_norm=73.466, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.136, optim0_lr0=7.111e-05, train_time=1.437 -[gpua001:0/64] 2023-12-13 20:48:44,251 (trainer:737) INFO: 32epoch:train:9801-9900batch: iter_time=1.063e-04, forward_time=0.161, loss_ctc=64.046, loss_att=49.647, acc=0.735, loss=53.967, backward_time=0.318, grad_norm=167.712, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.137, optim0_lr0=7.110e-05, train_time=1.447 -[gpua001:0/64] 2023-12-13 20:51:38,751 (trainer:737) INFO: 32epoch:train:9901-10000batch: iter_time=2.171e-04, forward_time=0.186, loss_ctc=81.708, loss_att=61.350, acc=0.721, loss=67.458, backward_time=0.356, grad_norm=77.551, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.140, optim0_lr0=7.109e-05, train_time=1.744 -[gpua001:0/64] 2023-12-13 20:51:59,032 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua001:0/64] 2023-12-13 20:52:17,386 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 20:52:20,829 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 20:52:20,829 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua001:0/64] 2023-12-13 20:52:20,846 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 20:59:07,740 (trainer:737) INFO: 32epoch:train:10001-10100batch: iter_time=3.185, forward_time=0.177, loss_ctc=59.572, loss_att=48.906, acc=0.731, loss=52.106, backward_time=0.285, grad_norm=59.684, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.136, optim0_lr0=7.109e-05, train_time=4.490 -[gpua001:0/64] 2023-12-13 21:01:15,036 (trainer:737) INFO: 32epoch:train:10101-10200batch: iter_time=8.785e-05, forward_time=0.149, loss_ctc=59.931, loss_att=50.066, acc=0.738, loss=53.026, backward_time=0.281, grad_norm=59.443, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.108e-05, train_time=1.273 -[gpua001:0/64] 2023-12-13 21:03:30,280 (trainer:737) INFO: 32epoch:train:10201-10300batch: iter_time=9.231e-05, forward_time=0.174, loss_ctc=60.276, loss_att=50.389, acc=0.734, loss=53.355, backward_time=0.301, grad_norm=74.714, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.138, optim0_lr0=7.107e-05, train_time=1.351 -[gpua001:0/64] 2023-12-13 21:05:44,615 (trainer:737) INFO: 32epoch:train:10301-10400batch: iter_time=9.249e-05, forward_time=0.157, loss_ctc=57.964, loss_att=45.989, acc=0.745, loss=49.581, backward_time=0.300, grad_norm=61.715, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.135, optim0_lr0=7.106e-05, train_time=1.343 -[gpua001:0/64] 2023-12-13 21:07:54,954 (trainer:737) INFO: 32epoch:train:10401-10500batch: iter_time=9.215e-05, forward_time=0.182, loss_ctc=67.529, loss_att=55.125, acc=0.734, loss=58.846, backward_time=0.293, grad_norm=81.802, clip=100.000, loss_scale=4.716e+30, optim_step_time=0.135, optim0_lr0=7.106e-05, train_time=1.305 -[gpua001:0/64] 2023-12-13 21:10:30,673 (trainer:737) INFO: 32epoch:train:10501-10600batch: iter_time=8.871e-05, forward_time=0.147, loss_ctc=64.137, loss_att=52.979, acc=0.724, loss=56.327, backward_time=0.297, grad_norm=234.966, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.105e-05, train_time=1.557 -[gpua001:0/64] 2023-12-13 21:13:06,863 (trainer:737) INFO: 32epoch:train:10601-10700batch: iter_time=0.001, forward_time=0.147, loss_ctc=68.853, loss_att=56.690, acc=0.732, loss=60.339, backward_time=0.327, grad_norm=72.896, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.143, optim0_lr0=7.104e-05, train_time=1.562 -[gpua001:0/64] 2023-12-13 21:16:18,065 (trainer:737) INFO: 32epoch:train:10701-10800batch: iter_time=9.488e-05, forward_time=0.191, loss_ctc=61.726, loss_att=48.127, acc=0.740, loss=52.207, backward_time=0.344, grad_norm=66.510, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=7.103e-05, train_time=1.911 -[gpua001:0/64] 2023-12-13 21:18:37,440 (trainer:737) INFO: 32epoch:train:10801-10900batch: iter_time=2.273e-04, forward_time=0.171, loss_ctc=66.979, loss_att=58.649, acc=0.730, loss=61.148, backward_time=0.298, grad_norm=66.996, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.137, optim0_lr0=7.103e-05, train_time=1.392 -[gpua001:0/64] 2023-12-13 21:21:29,013 (trainer:737) INFO: 32epoch:train:10901-11000batch: iter_time=9.643e-05, forward_time=0.148, loss_ctc=73.663, loss_att=56.036, acc=0.744, loss=61.324, backward_time=0.295, grad_norm=117.620, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.102e-05, train_time=1.717 -[gpua001:0/64] 2023-12-13 21:24:13,728 (trainer:737) INFO: 32epoch:train:11001-11100batch: iter_time=9.266e-05, forward_time=0.151, loss_ctc=67.249, loss_att=51.739, acc=0.743, loss=56.392, backward_time=0.320, grad_norm=65.557, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.101e-05, train_time=1.647 -[gpua001:0/64] 2023-12-13 21:26:36,070 (trainer:737) INFO: 32epoch:train:11101-11200batch: iter_time=9.367e-05, forward_time=0.204, loss_ctc=79.832, loss_att=62.547, acc=0.735, loss=67.732, backward_time=0.345, grad_norm=80.150, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.140, optim0_lr0=7.100e-05, train_time=1.422 -[gpua001:0/64] 2023-12-13 21:28:06,830 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua001:0/64] 2023-12-13 21:28:25,543 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 21:28:29,041 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 21:28:29,041 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua001:0/64] 2023-12-13 21:28:29,046 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 21:34:13,807 (trainer:737) INFO: 32epoch:train:11201-11300batch: iter_time=3.161, forward_time=0.199, loss_ctc=60.203, loss_att=45.311, acc=0.744, loss=49.779, backward_time=0.303, grad_norm=64.991, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.140, optim0_lr0=7.100e-05, train_time=4.577 -[gpua001:0/64] 2023-12-13 21:36:35,191 (trainer:737) INFO: 32epoch:train:11301-11400batch: iter_time=8.591e-05, forward_time=0.228, loss_ctc=63.274, loss_att=48.885, acc=0.724, loss=53.201, backward_time=0.371, grad_norm=93.790, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.146, optim0_lr0=7.099e-05, train_time=1.415 -[gpua001:0/64] 2023-12-13 21:38:47,814 (trainer:737) INFO: 32epoch:train:11401-11500batch: iter_time=8.271e-05, forward_time=0.147, loss_ctc=61.812, loss_att=54.886, acc=0.723, loss=56.963, backward_time=0.300, grad_norm=80.975, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.098e-05, train_time=1.326 -[gpua001:0/64] 2023-12-13 21:41:11,069 (trainer:737) INFO: 32epoch:train:11501-11600batch: iter_time=8.603e-05, forward_time=0.147, loss_ctc=50.473, loss_att=43.125, acc=0.731, loss=45.330, backward_time=0.294, grad_norm=94.748, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.097e-05, train_time=1.432 -[gpua001:0/64] 2023-12-13 21:44:04,031 (trainer:737) INFO: 32epoch:train:11601-11700batch: iter_time=8.691e-05, forward_time=0.208, loss_ctc=65.127, loss_att=46.111, acc=0.747, loss=51.816, backward_time=0.321, grad_norm=110.531, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.143, optim0_lr0=7.097e-05, train_time=1.729 -[gpua001:0/64] 2023-12-13 21:46:25,796 (trainer:737) INFO: 32epoch:train:11701-11800batch: iter_time=8.892e-05, forward_time=0.180, loss_ctc=66.131, loss_att=56.238, acc=0.721, loss=59.206, backward_time=0.291, grad_norm=73.892, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.096e-05, train_time=1.418 -[gpua001:0/64] 2023-12-13 21:49:07,229 (trainer:737) INFO: 32epoch:train:11801-11900batch: iter_time=8.745e-05, forward_time=0.146, loss_ctc=65.257, loss_att=53.054, acc=0.716, loss=56.715, backward_time=0.292, grad_norm=66.085, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.095e-05, train_time=1.614 -[gpua001:0/64] 2023-12-13 21:51:54,073 (trainer:737) INFO: 32epoch:train:11901-12000batch: iter_time=8.467e-05, forward_time=0.146, loss_ctc=66.373, loss_att=54.687, acc=0.723, loss=58.192, backward_time=0.313, grad_norm=57.408, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.094e-05, train_time=1.668 -[gpua001:0/64] 2023-12-13 21:54:34,092 (trainer:737) INFO: 32epoch:train:12001-12100batch: iter_time=8.094e-05, forward_time=0.197, loss_ctc=64.662, loss_att=51.104, acc=0.741, loss=55.171, backward_time=0.336, grad_norm=71.668, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.094e-05, train_time=1.599 -[gpua001:0/64] 2023-12-13 21:57:00,174 (trainer:737) INFO: 32epoch:train:12101-12200batch: iter_time=1.027e-04, forward_time=0.165, loss_ctc=67.100, loss_att=55.356, acc=0.738, loss=58.879, backward_time=0.303, grad_norm=62.269, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.093e-05, train_time=1.462 -[gpua001:0/64] 2023-12-13 21:59:06,306 (trainer:737) INFO: 32epoch:train:12201-12300batch: iter_time=8.767e-05, forward_time=0.146, loss_ctc=74.472, loss_att=56.969, acc=0.737, loss=62.220, backward_time=0.277, grad_norm=61.397, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.092e-05, train_time=1.261 -[gpua001:0/64] 2023-12-13 22:01:12,275 (trainer:737) INFO: 32epoch:train:12301-12400batch: iter_time=8.851e-05, forward_time=0.146, loss_ctc=63.772, loss_att=48.524, acc=0.736, loss=53.098, backward_time=0.280, grad_norm=63.002, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.091e-05, train_time=1.260 -[gpua001:0/64] 2023-12-13 22:04:28,218 (trainer:737) INFO: 32epoch:train:12401-12500batch: iter_time=8.436e-05, forward_time=0.146, loss_ctc=81.308, loss_att=61.273, acc=0.720, loss=67.283, backward_time=0.344, grad_norm=82.185, clip=100.000, loss_scale=9.431e+30, optim_step_time=0.134, optim0_lr0=7.091e-05, train_time=1.959 -[gpua001:0/64] 2023-12-13 22:04:48,246 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua001:0/64] 2023-12-13 22:05:07,079 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 22:05:10,588 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 22:05:10,588 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua001:0/64] 2023-12-13 22:05:10,591 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 22:12:14,311 (trainer:737) INFO: 32epoch:train:12501-12600batch: iter_time=3.364, forward_time=0.204, loss_ctc=59.621, loss_att=48.635, acc=0.732, loss=51.931, backward_time=0.286, grad_norm=61.538, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.090e-05, train_time=4.660 -[gpua001:0/64] 2023-12-13 22:14:23,477 (trainer:737) INFO: 32epoch:train:12601-12700batch: iter_time=8.146e-05, forward_time=0.148, loss_ctc=60.442, loss_att=50.182, acc=0.738, loss=53.260, backward_time=0.281, grad_norm=72.952, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.089e-05, train_time=1.292 -[gpua001:0/64] 2023-12-13 22:17:10,116 (trainer:737) INFO: 32epoch:train:12701-12800batch: iter_time=8.350e-05, forward_time=0.253, loss_ctc=59.108, loss_att=49.653, acc=0.735, loss=52.489, backward_time=0.339, grad_norm=67.607, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.140, optim0_lr0=7.089e-05, train_time=1.666 -[gpua001:0/64] 2023-12-13 22:20:02,379 (trainer:737) INFO: 32epoch:train:12801-12900batch: iter_time=9.978e-05, forward_time=0.155, loss_ctc=58.178, loss_att=45.958, acc=0.744, loss=49.624, backward_time=0.315, grad_norm=59.978, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.088e-05, train_time=1.722 -[gpua001:0/64] 2023-12-13 22:22:36,265 (trainer:737) INFO: 32epoch:train:12901-13000batch: iter_time=8.847e-05, forward_time=0.149, loss_ctc=66.328, loss_att=54.151, acc=0.737, loss=57.804, backward_time=0.283, grad_norm=97.689, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.087e-05, train_time=1.539 -[gpua001:0/64] 2023-12-13 22:25:22,457 (trainer:737) INFO: 32epoch:train:13001-13100batch: iter_time=9.272e-05, forward_time=0.257, loss_ctc=64.792, loss_att=53.287, acc=0.724, loss=56.738, backward_time=0.330, grad_norm=71.735, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.138, optim0_lr0=7.086e-05, train_time=1.662 -[gpua001:0/64] 2023-12-13 22:28:34,801 (trainer:737) INFO: 32epoch:train:13101-13200batch: iter_time=9.285e-05, forward_time=0.165, loss_ctc=68.238, loss_att=55.973, acc=0.734, loss=59.652, backward_time=0.320, grad_norm=87.785, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.086e-05, train_time=1.923 -[gpua001:0/64] 2023-12-13 22:30:43,303 (trainer:737) INFO: 32epoch:train:13201-13300batch: iter_time=9.152e-05, forward_time=0.150, loss_ctc=62.075, loss_att=48.400, acc=0.740, loss=52.502, backward_time=0.286, grad_norm=55.067, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.085e-05, train_time=1.285 -[gpua001:0/64] 2023-12-13 22:32:54,083 (trainer:737) INFO: 32epoch:train:13301-13400batch: iter_time=9.035e-05, forward_time=0.174, loss_ctc=67.065, loss_att=58.068, acc=0.729, loss=60.767, backward_time=0.316, grad_norm=155.247, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.138, optim0_lr0=7.084e-05, train_time=1.308 -[gpua001:0/64] 2023-12-13 22:35:36,305 (trainer:737) INFO: 32epoch:train:13401-13500batch: iter_time=3.517e-04, forward_time=0.201, loss_ctc=73.682, loss_att=56.071, acc=0.742, loss=61.354, backward_time=0.381, grad_norm=87.264, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=7.083e-05, train_time=1.621 -[gpua001:0/64] 2023-12-13 22:37:46,678 (trainer:737) INFO: 32epoch:train:13501-13600batch: iter_time=8.893e-05, forward_time=0.149, loss_ctc=67.526, loss_att=52.046, acc=0.744, loss=56.690, backward_time=0.284, grad_norm=63.886, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.083e-05, train_time=1.304 -[gpua001:0/64] 2023-12-13 22:40:43,118 (trainer:737) INFO: 32epoch:train:13601-13700batch: iter_time=9.912e-05, forward_time=0.170, loss_ctc=79.226, loss_att=62.796, acc=0.735, loss=67.725, backward_time=0.335, grad_norm=83.163, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=7.082e-05, train_time=1.764 -[gpua001:0/64] 2023-12-13 22:42:44,505 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua001:0/64] 2023-12-13 22:43:03,616 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 22:43:07,071 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 22:43:07,071 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua001:0/64] 2023-12-13 22:43:07,075 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 22:52:49,601 (trainer:737) INFO: 32epoch:train:13701-13800batch: iter_time=3.030, forward_time=0.281, loss_ctc=59.614, loss_att=44.940, acc=0.745, loss=49.342, backward_time=0.334, grad_norm=75.226, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.138, optim0_lr0=7.081e-05, train_time=7.265 -[gpua001:0/64] 2023-12-13 22:54:50,992 (trainer:737) INFO: 32epoch:train:13801-13900batch: iter_time=8.094e-05, forward_time=0.149, loss_ctc=63.742, loss_att=49.370, acc=0.723, loss=53.682, backward_time=0.280, grad_norm=70.653, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.080e-05, train_time=1.214 -[gpua001:0/64] 2023-12-13 22:57:13,986 (trainer:737) INFO: 32epoch:train:13901-14000batch: iter_time=8.424e-05, forward_time=0.272, loss_ctc=62.512, loss_att=55.052, acc=0.723, loss=57.290, backward_time=0.304, grad_norm=71.451, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.138, optim0_lr0=7.080e-05, train_time=1.429 -[gpua001:0/64] 2023-12-13 23:00:13,182 (trainer:737) INFO: 32epoch:train:14001-14100batch: iter_time=9.034e-05, forward_time=0.149, loss_ctc=50.138, loss_att=43.044, acc=0.734, loss=45.172, backward_time=0.310, grad_norm=54.161, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.079e-05, train_time=1.792 -[gpua001:0/64] 2023-12-13 23:02:36,153 (trainer:737) INFO: 32epoch:train:14101-14200batch: iter_time=8.771e-05, forward_time=0.149, loss_ctc=64.476, loss_att=45.712, acc=0.751, loss=51.341, backward_time=0.279, grad_norm=83.969, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.078e-05, train_time=1.430 -[gpua001:0/64] 2023-12-13 23:05:47,092 (trainer:737) INFO: 32epoch:train:14201-14300batch: iter_time=8.888e-05, forward_time=0.277, loss_ctc=66.553, loss_att=56.461, acc=0.720, loss=59.489, backward_time=0.336, grad_norm=65.627, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.140, optim0_lr0=7.077e-05, train_time=1.909 -[gpua001:0/64] 2023-12-13 23:08:51,596 (trainer:737) INFO: 32epoch:train:14301-14400batch: iter_time=9.144e-05, forward_time=0.148, loss_ctc=65.220, loss_att=53.038, acc=0.716, loss=56.692, backward_time=0.338, grad_norm=60.378, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.077e-05, train_time=1.845 -[gpua001:0/64] 2023-12-13 23:11:32,022 (trainer:737) INFO: 32epoch:train:14401-14500batch: iter_time=2.298e-04, forward_time=0.234, loss_ctc=66.057, loss_att=54.491, acc=0.722, loss=57.961, backward_time=0.332, grad_norm=58.684, clip=100.000, loss_scale=1.886e+31, optim_step_time=0.138, optim0_lr0=7.076e-05, train_time=1.602 -[gpua001:0/64] 2023-12-13 23:13:54,221 (trainer:737) INFO: 32epoch:train:14501-14600batch: iter_time=8.491e-05, forward_time=0.148, loss_ctc=64.541, loss_att=51.233, acc=0.741, loss=55.226, backward_time=0.296, grad_norm=56.591, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.075e-05, train_time=1.423 -[gpua001:0/64] 2023-12-13 23:16:34,376 (trainer:737) INFO: 32epoch:train:14601-14700batch: iter_time=8.889e-05, forward_time=0.148, loss_ctc=66.850, loss_att=55.318, acc=0.739, loss=58.778, backward_time=0.341, grad_norm=79.358, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.074e-05, train_time=1.602 -[gpua001:0/64] 2023-12-13 23:19:40,887 (trainer:737) INFO: 32epoch:train:14701-14800batch: iter_time=4.309e-04, forward_time=0.270, loss_ctc=74.723, loss_att=57.086, acc=0.736, loss=62.377, backward_time=0.346, grad_norm=65.266, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=7.074e-05, train_time=1.864 -[gpua001:0/64] 2023-12-13 23:22:01,967 (trainer:737) INFO: 32epoch:train:14801-14900batch: iter_time=8.894e-05, forward_time=0.148, loss_ctc=63.828, loss_att=48.395, acc=0.737, loss=53.025, backward_time=0.306, grad_norm=65.936, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.073e-05, train_time=1.411 -[gpua001:0/64] 2023-12-13 23:24:56,782 (trainer:737) INFO: 32epoch:train:14901-15000batch: iter_time=6.620e-04, forward_time=0.228, loss_ctc=79.905, loss_att=60.113, acc=0.722, loss=66.051, backward_time=0.329, grad_norm=75.654, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=7.072e-05, train_time=1.748 -[gpua001:0/64] 2023-12-13 23:51:05,805 (trainer:343) INFO: 32epoch results: [train] iter_time=0.241, forward_time=0.176, loss_ctc=66.225, loss_att=52.902, acc=0.731, loss=56.899, backward_time=0.309, grad_norm=79.973, clip=100.000, loss_scale=7.198e+30, optim_step_time=0.136, optim0_lr0=7.128e-05, train_time=1.797, time=7 hours, 29 minutes and 43.57 seconds, total_count=480000, gpu_max_cached_mem_GB=37.920, [valid] loss_ctc=32.873, cer_ctc=0.172, loss_att=31.660, acc=0.725, cer=0.289, wer=0.987, loss=32.024, time=25 minutes and 43.23 seconds, total_count=149472, gpu_max_cached_mem_GB=37.920 -[gpua001:0/64] 2023-12-13 23:51:25,367 (trainer:391) INFO: The best model has been updated: valid.acc, valid.total_count -[gpua001:0/64] 2023-12-13 23:51:25,390 (trainer:272) INFO: 33/40epoch started. Estimated time to finish: 2 days, 20 hours and 43 minutes -[gpua001:0/64] 2023-12-13 23:51:25,402 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua001:0/64] 2023-12-13 23:51:43,953 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-13 23:51:47,447 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-13 23:51:47,447 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua001:0/64] 2023-12-13 23:51:47,518 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-13 23:59:04,393 (trainer:737) INFO: 33epoch:train:1-100batch: iter_time=2.942, forward_time=0.184, loss_ctc=64.340, loss_att=53.431, acc=0.728, loss=56.704, backward_time=0.284, grad_norm=72.463, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.072e-05, train_time=4.590 -[gpua001:0/64] 2023-12-14 00:01:05,282 (trainer:737) INFO: 33epoch:train:101-200batch: iter_time=9.077e-05, forward_time=0.148, loss_ctc=58.501, loss_att=44.143, acc=0.737, loss=48.450, backward_time=0.280, grad_norm=53.954, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.071e-05, train_time=1.209 -[gpua001:0/64] 2023-12-14 00:03:33,792 (trainer:737) INFO: 33epoch:train:201-300batch: iter_time=6.461e-04, forward_time=0.274, loss_ctc=61.473, loss_att=48.445, acc=0.723, loss=52.353, backward_time=0.325, grad_norm=63.399, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.144, optim0_lr0=7.070e-05, train_time=1.483 -[gpua001:0/64] 2023-12-14 00:05:45,033 (trainer:737) INFO: 33epoch:train:301-400batch: iter_time=9.393e-05, forward_time=0.149, loss_ctc=73.186, loss_att=57.756, acc=0.721, loss=62.385, backward_time=0.288, grad_norm=110.993, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.069e-05, train_time=1.314 -[gpua001:0/64] 2023-12-14 00:08:10,839 (trainer:737) INFO: 33epoch:train:401-500batch: iter_time=9.547e-05, forward_time=0.150, loss_ctc=68.447, loss_att=55.936, acc=0.736, loss=59.689, backward_time=0.295, grad_norm=149.132, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.069e-05, train_time=1.458 -[gpua001:0/64] 2023-12-14 00:10:54,389 (trainer:737) INFO: 33epoch:train:501-600batch: iter_time=9.645e-05, forward_time=0.184, loss_ctc=66.545, loss_att=55.224, acc=0.716, loss=58.620, backward_time=0.299, grad_norm=63.562, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.068e-05, train_time=1.635 -[gpua001:0/64] 2023-12-14 00:13:15,425 (trainer:737) INFO: 33epoch:train:601-700batch: iter_time=8.654e-05, forward_time=0.239, loss_ctc=61.388, loss_att=51.498, acc=0.729, loss=54.465, backward_time=0.311, grad_norm=60.589, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=7.067e-05, train_time=1.409 -[gpua001:0/64] 2023-12-14 00:15:42,115 (trainer:737) INFO: 33epoch:train:701-800batch: iter_time=9.470e-05, forward_time=0.149, loss_ctc=67.096, loss_att=56.706, acc=0.729, loss=59.823, backward_time=0.294, grad_norm=73.523, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.066e-05, train_time=1.468 -[gpua001:0/64] 2023-12-14 00:18:06,277 (trainer:737) INFO: 33epoch:train:801-900batch: iter_time=9.673e-05, forward_time=0.170, loss_ctc=60.642, loss_att=41.750, acc=0.746, loss=47.417, backward_time=0.293, grad_norm=60.828, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.066e-05, train_time=1.441 -[gpua001:0/64] 2023-12-14 00:20:51,121 (trainer:737) INFO: 33epoch:train:901-1000batch: iter_time=5.752e-04, forward_time=0.163, loss_ctc=62.042, loss_att=49.194, acc=0.739, loss=53.049, backward_time=0.328, grad_norm=68.884, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=7.065e-05, train_time=1.648 -[gpua001:0/64] 2023-12-14 00:23:52,264 (trainer:737) INFO: 33epoch:train:1001-1100batch: iter_time=9.483e-05, forward_time=0.208, loss_ctc=62.421, loss_att=49.319, acc=0.744, loss=53.249, backward_time=0.361, grad_norm=70.476, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=7.064e-05, train_time=1.811 -[gpua001:0/64] 2023-12-14 00:26:24,337 (trainer:737) INFO: 33epoch:train:1101-1200batch: iter_time=9.814e-05, forward_time=0.147, loss_ctc=67.114, loss_att=51.413, acc=0.730, loss=56.123, backward_time=0.288, grad_norm=86.685, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.063e-05, train_time=1.519 -[gpua001:0/64] 2023-12-14 00:26:29,639 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-14 00:27:51,050 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua001:0/64] 2023-12-14 00:28:09,660 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-14 00:28:13,172 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-14 00:28:13,172 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua001:0/64] 2023-12-14 00:28:13,175 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-14 00:33:33,566 (trainer:737) INFO: 33epoch:train:1201-1300batch: iter_time=2.949, forward_time=0.167, loss_ctc=72.248, loss_att=55.115, acc=0.726, loss=60.255, backward_time=0.301, grad_norm=82.546, clip=100.000, loss_scale=1.045e+31, optim_step_time=0.134, optim0_lr0=7.063e-05, train_time=4.293 -[gpua001:0/64] 2023-12-14 00:35:36,710 (trainer:737) INFO: 33epoch:train:1301-1400batch: iter_time=8.529e-05, forward_time=0.149, loss_ctc=67.730, loss_att=54.445, acc=0.731, loss=58.430, backward_time=0.280, grad_norm=70.244, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.062e-05, train_time=1.231 -[gpua001:0/64] 2023-12-14 00:37:47,934 (trainer:737) INFO: 33epoch:train:1401-1500batch: iter_time=8.296e-05, forward_time=0.161, loss_ctc=52.959, loss_att=42.359, acc=0.717, loss=45.539, backward_time=0.281, grad_norm=55.484, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.061e-05, train_time=1.312 -[gpua001:0/64] 2023-12-14 00:40:49,462 (trainer:737) INFO: 33epoch:train:1501-1600batch: iter_time=9.117e-05, forward_time=0.207, loss_ctc=74.361, loss_att=56.559, acc=0.714, loss=61.899, backward_time=0.313, grad_norm=77.399, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.060e-05, train_time=1.815 -[gpua001:0/64] 2023-12-14 00:43:17,460 (trainer:737) INFO: 33epoch:train:1601-1700batch: iter_time=9.083e-05, forward_time=0.148, loss_ctc=66.050, loss_att=48.467, acc=0.738, loss=53.742, backward_time=0.311, grad_norm=65.547, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.060e-05, train_time=1.479 -[gpua001:0/64] 2023-12-14 00:45:45,764 (trainer:737) INFO: 33epoch:train:1701-1800batch: iter_time=9.345e-05, forward_time=0.163, loss_ctc=67.485, loss_att=56.807, acc=0.719, loss=60.010, backward_time=0.296, grad_norm=65.201, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.059e-05, train_time=1.484 -[gpua001:0/64] 2023-12-14 00:48:16,035 (trainer:737) INFO: 33epoch:train:1801-1900batch: iter_time=8.887e-05, forward_time=0.163, loss_ctc=63.494, loss_att=56.038, acc=0.699, loss=58.275, backward_time=0.310, grad_norm=61.942, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.058e-05, train_time=1.502 -[gpua001:0/64] 2023-12-14 00:50:45,118 (trainer:737) INFO: 33epoch:train:1901-2000batch: iter_time=9.331e-05, forward_time=0.151, loss_ctc=65.557, loss_att=55.611, acc=0.737, loss=58.595, backward_time=0.296, grad_norm=124.489, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.058e-05, train_time=1.491 -[gpua001:0/64] 2023-12-14 00:53:22,864 (trainer:737) INFO: 33epoch:train:2001-2100batch: iter_time=9.206e-05, forward_time=0.152, loss_ctc=63.115, loss_att=46.003, acc=0.731, loss=51.136, backward_time=0.340, grad_norm=65.082, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.057e-05, train_time=1.577 -[gpua001:0/64] 2023-12-14 00:55:53,716 (trainer:737) INFO: 33epoch:train:2101-2200batch: iter_time=8.993e-05, forward_time=0.208, loss_ctc=58.650, loss_att=45.978, acc=0.739, loss=49.779, backward_time=0.320, grad_norm=68.538, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=7.056e-05, train_time=1.508 -[gpua001:0/64] 2023-12-14 00:58:12,956 (trainer:737) INFO: 33epoch:train:2201-2300batch: iter_time=9.148e-05, forward_time=0.148, loss_ctc=69.193, loss_att=53.375, acc=0.731, loss=58.121, backward_time=0.301, grad_norm=74.330, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.055e-05, train_time=1.392 -[gpua001:0/64] 2023-12-14 01:00:25,800 (trainer:737) INFO: 33epoch:train:2301-2400batch: iter_time=9.355e-05, forward_time=0.146, loss_ctc=57.516, loss_att=44.890, acc=0.743, loss=48.677, backward_time=0.281, grad_norm=66.131, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.055e-05, train_time=1.326 -[gpua001:0/64] 2023-12-14 01:02:56,441 (trainer:737) INFO: 33epoch:train:2401-2500batch: iter_time=7.971e-05, forward_time=0.170, loss_ctc=75.548, loss_att=55.025, acc=0.717, loss=61.182, backward_time=0.283, grad_norm=76.427, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.054e-05, train_time=1.508 -[gpua001:0/64] 2023-12-14 01:03:16,481 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua001:0/64] 2023-12-14 01:03:35,076 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-14 01:03:38,598 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-14 01:03:38,599 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua001:0/64] 2023-12-14 01:03:38,971 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-14 01:10:31,614 (trainer:737) INFO: 33epoch:train:2501-2600batch: iter_time=2.841, forward_time=0.168, loss_ctc=64.109, loss_att=53.252, acc=0.732, loss=56.509, backward_time=0.284, grad_norm=64.509, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.053e-05, train_time=4.551 -[gpua001:0/64] 2023-12-14 01:12:37,444 (trainer:737) INFO: 33epoch:train:2601-2700batch: iter_time=8.539e-05, forward_time=0.148, loss_ctc=58.315, loss_att=43.968, acc=0.743, loss=48.272, backward_time=0.278, grad_norm=106.463, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.052e-05, train_time=1.258 -[gpua001:0/64] 2023-12-14 01:15:01,272 (trainer:737) INFO: 33epoch:train:2701-2800batch: iter_time=8.992e-05, forward_time=0.162, loss_ctc=61.397, loss_att=47.524, acc=0.732, loss=51.686, backward_time=0.293, grad_norm=103.901, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.052e-05, train_time=1.438 -[gpua001:0/64] 2023-12-14 01:17:31,671 (trainer:737) INFO: 33epoch:train:2801-2900batch: iter_time=9.373e-05, forward_time=0.219, loss_ctc=72.023, loss_att=57.507, acc=0.725, loss=61.862, backward_time=0.293, grad_norm=84.023, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=7.051e-05, train_time=1.502 -[gpua001:0/64] 2023-12-14 01:20:00,895 (trainer:737) INFO: 33epoch:train:2901-3000batch: iter_time=9.846e-05, forward_time=0.171, loss_ctc=67.798, loss_att=54.998, acc=0.741, loss=58.838, backward_time=0.304, grad_norm=58.656, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.050e-05, train_time=1.494 -[gpua001:0/64] 2023-12-14 01:22:32,240 (trainer:737) INFO: 33epoch:train:3001-3100batch: iter_time=9.720e-05, forward_time=0.148, loss_ctc=65.743, loss_att=54.307, acc=0.722, loss=57.738, backward_time=0.297, grad_norm=87.439, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.050e-05, train_time=1.513 -[gpua001:0/64] 2023-12-14 01:24:39,681 (trainer:737) INFO: 33epoch:train:3101-3200batch: iter_time=9.212e-05, forward_time=0.149, loss_ctc=61.169, loss_att=51.653, acc=0.729, loss=54.508, backward_time=0.289, grad_norm=68.511, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.049e-05, train_time=1.274 -[gpua001:0/64] 2023-12-14 01:27:15,160 (trainer:737) INFO: 33epoch:train:3201-3300batch: iter_time=9.229e-05, forward_time=0.164, loss_ctc=65.416, loss_att=55.985, acc=0.735, loss=58.814, backward_time=0.288, grad_norm=121.147, clip=100.000, loss_scale=1.988e+31, optim_step_time=0.135, optim0_lr0=7.048e-05, train_time=1.554 -[gpua001:0/64] 2023-12-14 01:30:03,967 (trainer:737) INFO: 33epoch:train:3301-3400batch: iter_time=1.006e-04, forward_time=0.237, loss_ctc=59.962, loss_att=40.851, acc=0.751, loss=46.585, backward_time=0.309, grad_norm=87.358, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=7.047e-05, train_time=1.688 -[gpua001:0/64] 2023-12-14 01:32:29,133 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-14 01:32:31,557 (trainer:737) INFO: 33epoch:train:3401-3500batch: iter_time=9.711e-05, forward_time=0.151, loss_ctc=61.225, loss_att=48.850, acc=0.743, loss=52.563, backward_time=0.317, grad_norm=75.557, clip=100.000, loss_scale=2.008e+31, optim_step_time=0.134, optim0_lr0=7.047e-05, train_time=1.476 -[gpua001:0/64] 2023-12-14 01:34:41,857 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-14 01:34:51,956 (trainer:737) INFO: 33epoch:train:3501-3600batch: iter_time=9.578e-05, forward_time=0.148, loss_ctc=61.824, loss_att=49.145, acc=0.746, loss=52.948, backward_time=0.296, grad_norm=100.295, clip=100.000, loss_scale=9.834e+30, optim_step_time=0.134, optim0_lr0=7.046e-05, train_time=1.404 -[gpua001:0/64] 2023-12-14 01:37:11,386 (trainer:737) INFO: 33epoch:train:3601-3700batch: iter_time=9.733e-05, forward_time=0.152, loss_ctc=65.426, loss_att=50.562, acc=0.734, loss=55.021, backward_time=0.304, grad_norm=62.832, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.045e-05, train_time=1.394 -[gpua001:0/64] 2023-12-14 01:38:38,631 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua001:0/64] 2023-12-14 01:38:57,330 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-14 01:39:00,793 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-14 01:39:00,793 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua001:0/64] 2023-12-14 01:39:00,799 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-14 01:44:26,011 (trainer:737) INFO: 33epoch:train:3701-3800batch: iter_time=2.661, forward_time=0.184, loss_ctc=70.668, loss_att=54.466, acc=0.730, loss=59.327, backward_time=0.288, grad_norm=75.043, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.044e-05, train_time=4.346 -[gpua001:0/64] 2023-12-14 01:46:28,164 (trainer:737) INFO: 33epoch:train:3801-3900batch: iter_time=8.166e-05, forward_time=0.151, loss_ctc=67.127, loss_att=53.825, acc=0.736, loss=57.816, backward_time=0.282, grad_norm=71.804, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.044e-05, train_time=1.221 -[gpua001:0/64] 2023-12-14 01:48:31,020 (trainer:737) INFO: 33epoch:train:3901-4000batch: iter_time=8.598e-05, forward_time=0.165, loss_ctc=53.111, loss_att=42.194, acc=0.720, loss=45.469, backward_time=0.278, grad_norm=69.325, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.043e-05, train_time=1.228 -[gpua001:0/64] 2023-12-14 01:50:50,969 (trainer:737) INFO: 33epoch:train:4001-4100batch: iter_time=0.001, forward_time=0.162, loss_ctc=73.630, loss_att=56.488, acc=0.718, loss=61.630, backward_time=0.281, grad_norm=113.732, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.042e-05, train_time=1.399 -[gpua001:0/64] 2023-12-14 01:53:34,324 (trainer:737) INFO: 33epoch:train:4101-4200batch: iter_time=3.384e-04, forward_time=0.176, loss_ctc=65.473, loss_att=48.066, acc=0.741, loss=53.288, backward_time=0.314, grad_norm=89.101, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=7.042e-05, train_time=1.634 -[gpua001:0/64] 2023-12-14 01:55:54,354 (trainer:737) INFO: 33epoch:train:4201-4300batch: iter_time=0.001, forward_time=0.175, loss_ctc=67.204, loss_att=56.269, acc=0.723, loss=59.549, backward_time=0.282, grad_norm=75.505, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.041e-05, train_time=1.400 -[gpua001:0/64] 2023-12-14 01:58:25,263 (trainer:737) INFO: 33epoch:train:4301-4400batch: iter_time=4.593e-04, forward_time=0.163, loss_ctc=62.872, loss_att=55.470, acc=0.701, loss=57.691, backward_time=0.298, grad_norm=145.683, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.040e-05, train_time=1.508 -[gpua001:0/64] 2023-12-14 02:00:49,508 (trainer:737) INFO: 33epoch:train:4401-4500batch: iter_time=8.976e-05, forward_time=0.164, loss_ctc=65.248, loss_att=55.537, acc=0.738, loss=58.450, backward_time=0.282, grad_norm=128.960, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.039e-05, train_time=1.444 -[gpua001:0/64] 2023-12-14 02:03:24,508 (trainer:737) INFO: 33epoch:train:4501-4600batch: iter_time=0.001, forward_time=0.207, loss_ctc=61.781, loss_att=45.478, acc=0.735, loss=50.369, backward_time=0.330, grad_norm=68.341, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.141, optim0_lr0=7.039e-05, train_time=1.550 -[gpua001:0/64] 2023-12-14 02:05:49,791 (trainer:737) INFO: 33epoch:train:4601-4700batch: iter_time=8.581e-05, forward_time=0.161, loss_ctc=57.708, loss_att=45.547, acc=0.744, loss=49.196, backward_time=0.299, grad_norm=67.305, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.038e-05, train_time=1.453 -[gpua001:0/64] 2023-12-14 02:08:11,882 (trainer:737) INFO: 33epoch:train:4701-4800batch: iter_time=8.570e-05, forward_time=0.164, loss_ctc=68.948, loss_att=53.713, acc=0.734, loss=58.283, backward_time=0.282, grad_norm=72.296, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.137, optim0_lr0=7.037e-05, train_time=1.420 -[gpua001:0/64] 2023-12-14 02:10:32,390 (trainer:737) INFO: 33epoch:train:4801-4900batch: iter_time=8.687e-05, forward_time=0.148, loss_ctc=56.786, loss_att=44.384, acc=0.747, loss=48.104, backward_time=0.278, grad_norm=63.703, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.036e-05, train_time=1.405 -[gpua001:0/64] 2023-12-14 02:12:59,110 (trainer:737) INFO: 33epoch:train:4901-5000batch: iter_time=8.521e-05, forward_time=0.193, loss_ctc=73.497, loss_att=53.920, acc=0.720, loss=59.793, backward_time=0.325, grad_norm=99.169, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.139, optim0_lr0=7.036e-05, train_time=1.468 -[gpua001:0/64] 2023-12-14 02:13:19,161 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua001:0/64] 2023-12-14 02:13:37,756 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-14 02:13:41,245 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-14 02:13:41,245 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua001:0/64] 2023-12-14 02:13:41,251 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-14 02:20:10,251 (trainer:737) INFO: 33epoch:train:5001-5100batch: iter_time=3.076, forward_time=0.162, loss_ctc=64.022, loss_att=53.052, acc=0.733, loss=56.343, backward_time=0.279, grad_norm=77.269, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.035e-05, train_time=4.311 -[gpua001:0/64] 2023-12-14 02:22:11,633 (trainer:737) INFO: 33epoch:train:5101-5200batch: iter_time=8.834e-05, forward_time=0.150, loss_ctc=58.527, loss_att=44.124, acc=0.743, loss=48.445, backward_time=0.277, grad_norm=60.969, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.034e-05, train_time=1.214 -[gpua001:0/64] 2023-12-14 02:24:32,048 (trainer:737) INFO: 33epoch:train:5201-5300batch: iter_time=9.625e-05, forward_time=0.149, loss_ctc=60.686, loss_att=47.703, acc=0.730, loss=51.598, backward_time=0.292, grad_norm=87.604, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.034e-05, train_time=1.404 -[gpua001:0/64] 2023-12-14 02:26:38,034 (trainer:737) INFO: 33epoch:train:5301-5400batch: iter_time=1.004e-04, forward_time=0.149, loss_ctc=71.650, loss_att=56.967, acc=0.730, loss=61.372, backward_time=0.277, grad_norm=82.752, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.033e-05, train_time=1.260 -[gpua001:0/64] 2023-12-14 02:29:02,243 (trainer:737) INFO: 33epoch:train:5401-5500batch: iter_time=9.515e-05, forward_time=0.182, loss_ctc=67.655, loss_att=55.039, acc=0.742, loss=58.823, backward_time=0.319, grad_norm=64.680, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.137, optim0_lr0=7.032e-05, train_time=1.442 -[gpua001:0/64] 2023-12-14 02:31:32,779 (trainer:737) INFO: 33epoch:train:5501-5600batch: iter_time=9.912e-05, forward_time=0.178, loss_ctc=64.848, loss_att=54.104, acc=0.723, loss=57.327, backward_time=0.305, grad_norm=63.376, clip=100.000, loss_scale=5.375e+30, optim_step_time=0.134, optim0_lr0=7.031e-05, train_time=1.505 -[gpua001:0/64] 2023-12-14 02:33:49,927 (trainer:737) INFO: 33epoch:train:5601-5700batch: iter_time=9.480e-05, forward_time=0.191, loss_ctc=60.731, loss_att=50.634, acc=0.735, loss=53.663, backward_time=0.280, grad_norm=60.450, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.031e-05, train_time=1.371 -[gpua001:0/64] 2023-12-14 02:36:06,924 (trainer:737) INFO: 33epoch:train:5701-5800batch: iter_time=1.071e-04, forward_time=0.150, loss_ctc=64.306, loss_att=55.557, acc=0.735, loss=58.182, backward_time=0.288, grad_norm=65.907, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.030e-05, train_time=1.370 -[gpua001:0/64] 2023-12-14 02:39:05,932 (trainer:737) INFO: 33epoch:train:5801-5900batch: iter_time=1.055e-04, forward_time=0.149, loss_ctc=59.784, loss_att=41.048, acc=0.753, loss=46.669, backward_time=0.296, grad_norm=53.513, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.029e-05, train_time=1.790 -[gpua001:0/64] 2023-12-14 02:41:51,496 (trainer:737) INFO: 33epoch:train:5901-6000batch: iter_time=1.013e-04, forward_time=0.149, loss_ctc=60.638, loss_att=47.868, acc=0.748, loss=51.699, backward_time=0.312, grad_norm=63.498, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.028e-05, train_time=1.655 -[gpua001:0/64] 2023-12-14 02:44:28,632 (trainer:737) INFO: 33epoch:train:6001-6100batch: iter_time=9.596e-05, forward_time=0.182, loss_ctc=61.153, loss_att=49.183, acc=0.748, loss=52.774, backward_time=0.307, grad_norm=86.174, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.028e-05, train_time=1.571 -[gpua001:0/64] 2023-12-14 02:46:46,196 (trainer:737) INFO: 33epoch:train:6101-6200batch: iter_time=9.391e-05, forward_time=0.174, loss_ctc=65.304, loss_att=50.643, acc=0.734, loss=55.041, backward_time=0.285, grad_norm=58.364, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.027e-05, train_time=1.375 -[gpua001:0/64] 2023-12-14 02:48:14,873 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua001:0/64] 2023-12-14 02:48:33,635 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-14 02:48:37,447 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-14 02:48:37,447 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua001:0/64] 2023-12-14 02:48:37,450 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-14 02:54:13,715 (trainer:737) INFO: 33epoch:train:6201-6300batch: iter_time=3.105, forward_time=0.188, loss_ctc=69.398, loss_att=54.447, acc=0.732, loss=58.932, backward_time=0.286, grad_norm=148.990, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.026e-05, train_time=4.475 -[gpua001:0/64] 2023-12-14 02:56:23,523 (trainer:737) INFO: 33epoch:train:6301-6400batch: iter_time=8.311e-05, forward_time=0.175, loss_ctc=66.931, loss_att=53.689, acc=0.736, loss=57.661, backward_time=0.282, grad_norm=57.683, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.026e-05, train_time=1.298 -[gpua001:0/64] 2023-12-14 02:58:52,954 (trainer:737) INFO: 33epoch:train:6401-6500batch: iter_time=8.449e-05, forward_time=0.157, loss_ctc=52.532, loss_att=41.858, acc=0.723, loss=45.060, backward_time=0.308, grad_norm=65.838, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.025e-05, train_time=1.494 -[gpua001:0/64] 2023-12-14 03:01:12,990 (trainer:737) INFO: 33epoch:train:6501-6600batch: iter_time=9.333e-05, forward_time=0.148, loss_ctc=72.962, loss_att=56.064, acc=0.719, loss=61.133, backward_time=0.307, grad_norm=91.132, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.024e-05, train_time=1.400 -[gpua001:0/64] 2023-12-14 03:03:50,408 (trainer:737) INFO: 33epoch:train:6601-6700batch: iter_time=4.148e-04, forward_time=0.163, loss_ctc=65.400, loss_att=47.665, acc=0.744, loss=52.986, backward_time=0.329, grad_norm=62.734, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.023e-05, train_time=1.574 -[gpua001:0/64] 2023-12-14 03:06:16,619 (trainer:737) INFO: 33epoch:train:6701-6800batch: iter_time=8.587e-05, forward_time=0.149, loss_ctc=66.505, loss_att=55.416, acc=0.726, loss=58.743, backward_time=0.292, grad_norm=70.137, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.023e-05, train_time=1.462 -[gpua001:0/64] 2023-12-14 03:08:49,027 (trainer:737) INFO: 33epoch:train:6801-6900batch: iter_time=8.610e-05, forward_time=0.193, loss_ctc=63.165, loss_att=55.535, acc=0.701, loss=57.824, backward_time=0.286, grad_norm=66.711, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.022e-05, train_time=1.524 -[gpua001:0/64] 2023-12-14 03:11:22,934 (trainer:737) INFO: 33epoch:train:6901-7000batch: iter_time=8.894e-05, forward_time=0.159, loss_ctc=64.848, loss_att=55.472, acc=0.740, loss=58.285, backward_time=0.290, grad_norm=58.800, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.021e-05, train_time=1.539 -[gpua001:0/64] 2023-12-14 03:13:48,995 (trainer:737) INFO: 33epoch:train:7001-7100batch: iter_time=8.769e-05, forward_time=0.148, loss_ctc=60.629, loss_att=44.839, acc=0.736, loss=49.576, backward_time=0.304, grad_norm=72.959, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.021e-05, train_time=1.460 -[gpua001:0/64] 2023-12-14 03:16:29,928 (trainer:737) INFO: 33epoch:train:7101-7200batch: iter_time=8.663e-05, forward_time=0.217, loss_ctc=57.699, loss_att=44.910, acc=0.746, loss=48.747, backward_time=0.307, grad_norm=81.211, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.020e-05, train_time=1.610 -[gpua001:0/64] 2023-12-14 03:19:03,594 (trainer:737) INFO: 33epoch:train:7201-7300batch: iter_time=8.915e-05, forward_time=0.154, loss_ctc=68.727, loss_att=53.198, acc=0.736, loss=57.857, backward_time=0.336, grad_norm=84.708, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.019e-05, train_time=1.536 -[gpua001:0/64] 2023-12-14 03:21:09,826 (trainer:737) INFO: 33epoch:train:7301-7400batch: iter_time=9.083e-05, forward_time=0.147, loss_ctc=56.534, loss_att=44.448, acc=0.746, loss=48.074, backward_time=0.279, grad_norm=71.669, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.018e-05, train_time=1.262 -[gpua001:0/64] 2023-12-14 03:23:32,920 (trainer:737) INFO: 33epoch:train:7401-7500batch: iter_time=8.113e-05, forward_time=0.178, loss_ctc=73.315, loss_att=53.772, acc=0.719, loss=59.635, backward_time=0.306, grad_norm=158.484, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.018e-05, train_time=1.431 -[gpua001:0/64] 2023-12-14 03:23:52,949 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua001:0/64] 2023-12-14 03:24:11,690 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-14 03:24:15,316 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-14 03:24:15,316 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua001:0/64] 2023-12-14 03:24:15,319 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-14 03:32:04,583 (trainer:737) INFO: 33epoch:train:7501-7600batch: iter_time=3.873, forward_time=0.172, loss_ctc=63.947, loss_att=50.588, acc=0.729, loss=54.595, backward_time=0.282, grad_norm=78.375, clip=100.000, loss_scale=1.075e+31, optim_step_time=0.135, optim0_lr0=7.017e-05, train_time=5.116 -[gpua001:0/64] 2023-12-14 03:34:04,973 (trainer:737) INFO: 33epoch:train:7601-7700batch: iter_time=8.903e-05, forward_time=0.148, loss_ctc=57.724, loss_att=44.047, acc=0.733, loss=48.150, backward_time=0.278, grad_norm=71.116, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.016e-05, train_time=1.204 -[gpua001:0/64] 2023-12-14 03:36:06,951 (trainer:737) INFO: 33epoch:train:7701-7800batch: iter_time=8.843e-05, forward_time=0.147, loss_ctc=60.971, loss_att=47.801, acc=0.720, loss=51.752, backward_time=0.276, grad_norm=76.061, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.015e-05, train_time=1.220 -[gpua001:0/64] 2023-12-14 03:38:38,583 (trainer:737) INFO: 33epoch:train:7801-7900batch: iter_time=1.006e-04, forward_time=0.147, loss_ctc=71.118, loss_att=54.848, acc=0.726, loss=59.729, backward_time=0.299, grad_norm=87.887, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.015e-05, train_time=1.516 -[gpua001:0/64] 2023-12-14 03:41:30,248 (trainer:737) INFO: 33epoch:train:7901-8000batch: iter_time=1.120e-04, forward_time=0.150, loss_ctc=66.599, loss_att=54.687, acc=0.733, loss=58.260, backward_time=0.314, grad_norm=84.839, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.014e-05, train_time=1.716 -[gpua001:0/64] 2023-12-14 03:43:56,801 (trainer:737) INFO: 33epoch:train:8001-8100batch: iter_time=9.699e-05, forward_time=0.196, loss_ctc=65.052, loss_att=54.188, acc=0.711, loss=57.448, backward_time=0.291, grad_norm=65.648, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.013e-05, train_time=1.465 -[gpua001:0/64] 2023-12-14 03:46:18,414 (trainer:737) INFO: 33epoch:train:8101-8200batch: iter_time=9.147e-05, forward_time=0.181, loss_ctc=60.788, loss_att=49.962, acc=0.729, loss=53.210, backward_time=0.286, grad_norm=59.324, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.013e-05, train_time=1.416 -[gpua001:0/64] 2023-12-14 03:48:33,175 (trainer:737) INFO: 33epoch:train:8201-8300batch: iter_time=8.927e-05, forward_time=0.147, loss_ctc=63.789, loss_att=54.419, acc=0.733, loss=57.230, backward_time=0.289, grad_norm=73.235, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.012e-05, train_time=1.347 -[gpua001:0/64] 2023-12-14 03:51:06,986 (trainer:737) INFO: 33epoch:train:8301-8400batch: iter_time=9.126e-05, forward_time=0.147, loss_ctc=59.487, loss_att=40.828, acc=0.749, loss=46.426, backward_time=0.323, grad_norm=64.873, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.011e-05, train_time=1.538 -[gpua001:0/64] 2023-12-14 03:53:31,727 (trainer:737) INFO: 33epoch:train:8401-8500batch: iter_time=9.245e-05, forward_time=0.147, loss_ctc=61.096, loss_att=48.328, acc=0.739, loss=52.158, backward_time=0.283, grad_norm=80.385, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.010e-05, train_time=1.447 -[gpua001:0/64] 2023-12-14 03:56:24,848 (trainer:737) INFO: 33epoch:train:8501-8600batch: iter_time=9.093e-05, forward_time=0.146, loss_ctc=60.904, loss_att=47.526, acc=0.745, loss=51.540, backward_time=0.334, grad_norm=89.326, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.010e-05, train_time=1.731 -[gpua001:0/64] 2023-12-14 03:58:53,634 (trainer:737) INFO: 33epoch:train:8601-8700batch: iter_time=3.399e-04, forward_time=0.177, loss_ctc=64.572, loss_att=50.070, acc=0.726, loss=54.420, backward_time=0.286, grad_norm=71.242, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.009e-05, train_time=1.488 -[gpua001:0/64] 2023-12-14 04:00:27,436 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua001:0/64] 2023-12-14 04:00:46,345 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-14 04:00:49,853 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-14 04:00:49,853 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua001:0/64] 2023-12-14 04:00:49,856 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-14 04:06:12,563 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-14 04:06:13,786 (trainer:737) INFO: 33epoch:train:8701-8800batch: iter_time=3.026, forward_time=0.226, loss_ctc=69.558, loss_att=52.396, acc=0.725, loss=57.545, backward_time=0.299, grad_norm=98.252, clip=100.000, loss_scale=2.018e+31, optim_step_time=0.136, optim0_lr0=7.008e-05, train_time=4.401 -[gpua001:0/64] 2023-12-14 04:08:16,532 (trainer:737) INFO: 33epoch:train:8801-8900batch: iter_time=8.456e-05, forward_time=0.150, loss_ctc=66.722, loss_att=52.704, acc=0.738, loss=56.909, backward_time=0.278, grad_norm=72.353, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.008e-05, train_time=1.227 -[gpua001:0/64] 2023-12-14 04:10:41,615 (trainer:737) INFO: 33epoch:train:8901-9000batch: iter_time=8.264e-05, forward_time=0.147, loss_ctc=52.281, loss_att=41.225, acc=0.723, loss=44.542, backward_time=0.296, grad_norm=60.891, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.007e-05, train_time=1.451 -[gpua001:0/64] 2023-12-14 04:12:52,726 (trainer:737) INFO: 33epoch:train:9001-9100batch: iter_time=9.214e-05, forward_time=0.147, loss_ctc=73.516, loss_att=56.087, acc=0.717, loss=61.316, backward_time=0.276, grad_norm=105.375, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.006e-05, train_time=1.311 -[gpua001:0/64] 2023-12-14 04:15:17,459 (trainer:737) INFO: 33epoch:train:9101-9200batch: iter_time=8.586e-05, forward_time=0.211, loss_ctc=64.818, loss_att=47.313, acc=0.744, loss=52.565, backward_time=0.331, grad_norm=81.952, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.005e-05, train_time=1.447 -[gpua001:0/64] 2023-12-14 04:17:56,195 (trainer:737) INFO: 33epoch:train:9201-9300batch: iter_time=8.409e-05, forward_time=0.181, loss_ctc=66.562, loss_att=55.640, acc=0.724, loss=58.917, backward_time=0.316, grad_norm=69.118, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=7.005e-05, train_time=1.587 -[gpua001:0/64] 2023-12-14 04:19:16,878 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-14 04:20:13,096 (trainer:737) INFO: 33epoch:train:9301-9400batch: iter_time=9.353e-05, forward_time=0.147, loss_ctc=62.969, loss_att=55.247, acc=0.703, loss=57.564, backward_time=0.283, grad_norm=81.441, clip=100.000, loss_scale=7.939e+30, optim_step_time=0.134, optim0_lr0=7.004e-05, train_time=1.369 -[gpua001:0/64] 2023-12-14 04:22:38,443 (trainer:737) INFO: 33epoch:train:9401-9500batch: iter_time=9.396e-05, forward_time=0.148, loss_ctc=65.052, loss_att=55.104, acc=0.742, loss=58.088, backward_time=0.291, grad_norm=63.940, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.003e-05, train_time=1.453 -[gpua001:0/64] 2023-12-14 04:25:21,133 (trainer:737) INFO: 33epoch:train:9501-9600batch: iter_time=8.821e-05, forward_time=0.147, loss_ctc=60.151, loss_att=44.917, acc=0.735, loss=49.487, backward_time=0.303, grad_norm=87.492, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.003e-05, train_time=1.627 -[gpua001:0/64] 2023-12-14 04:28:05,740 (trainer:737) INFO: 33epoch:train:9601-9700batch: iter_time=4.500e-04, forward_time=0.173, loss_ctc=57.364, loss_att=44.757, acc=0.745, loss=48.539, backward_time=0.300, grad_norm=75.458, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.137, optim0_lr0=7.002e-05, train_time=1.646 -[gpua001:0/64] 2023-12-14 04:30:39,043 (trainer:737) INFO: 33epoch:train:9701-9800batch: iter_time=8.878e-05, forward_time=0.183, loss_ctc=68.106, loss_att=52.901, acc=0.739, loss=57.462, backward_time=0.308, grad_norm=83.752, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=7.001e-05, train_time=1.533 -[gpua001:0/64] 2023-12-14 04:32:57,656 (trainer:737) INFO: 33epoch:train:9801-9900batch: iter_time=8.179e-05, forward_time=0.173, loss_ctc=56.554, loss_att=44.617, acc=0.744, loss=48.198, backward_time=0.289, grad_norm=65.893, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=7.000e-05, train_time=1.386 -[gpua001:0/64] 2023-12-14 04:35:18,438 (trainer:737) INFO: 33epoch:train:9901-10000batch: iter_time=7.953e-05, forward_time=0.148, loss_ctc=72.241, loss_att=53.843, acc=0.721, loss=59.362, backward_time=0.282, grad_norm=130.524, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.000e-05, train_time=1.408 -[gpua001:0/64] 2023-12-14 04:35:38,467 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua001:0/64] 2023-12-14 04:35:57,090 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-14 04:36:00,506 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-14 04:36:00,506 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua001:0/64] 2023-12-14 04:36:00,509 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-14 04:42:36,025 (trainer:737) INFO: 33epoch:train:10001-10100batch: iter_time=3.080, forward_time=0.170, loss_ctc=64.037, loss_att=53.832, acc=0.732, loss=56.894, backward_time=0.282, grad_norm=72.060, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=6.999e-05, train_time=4.376 -[gpua001:0/64] 2023-12-14 04:44:58,271 (trainer:737) INFO: 33epoch:train:10101-10200batch: iter_time=8.454e-05, forward_time=0.149, loss_ctc=57.599, loss_att=44.101, acc=0.745, loss=48.150, backward_time=0.287, grad_norm=57.259, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=6.998e-05, train_time=1.422 -[gpua001:0/64] 2023-12-14 04:47:07,681 (trainer:737) INFO: 33epoch:train:10201-10300batch: iter_time=8.059e-05, forward_time=0.148, loss_ctc=61.073, loss_att=47.767, acc=0.733, loss=51.759, backward_time=0.289, grad_norm=82.887, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=6.998e-05, train_time=1.293 -[gpua001:0/64] 2023-12-14 04:49:42,559 (trainer:737) INFO: 33epoch:train:10301-10400batch: iter_time=8.991e-05, forward_time=0.150, loss_ctc=70.970, loss_att=56.698, acc=0.731, loss=60.980, backward_time=0.295, grad_norm=92.176, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=6.997e-05, train_time=1.549 -[gpua001:0/64] 2023-12-14 04:52:19,991 (trainer:737) INFO: 33epoch:train:10401-10500batch: iter_time=8.470e-05, forward_time=0.210, loss_ctc=66.715, loss_att=54.849, acc=0.745, loss=58.409, backward_time=0.319, grad_norm=63.038, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.152, optim0_lr0=6.996e-05, train_time=1.574 -[gpua001:0/64] 2023-12-14 04:54:53,618 (trainer:737) INFO: 33epoch:train:10501-10600batch: iter_time=9.016e-05, forward_time=0.158, loss_ctc=65.508, loss_att=54.145, acc=0.725, loss=57.554, backward_time=0.305, grad_norm=65.558, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=6.995e-05, train_time=1.536 -[gpua001:0/64] 2023-12-14 04:57:24,758 (trainer:737) INFO: 33epoch:train:10601-10700batch: iter_time=8.741e-05, forward_time=0.149, loss_ctc=60.698, loss_att=51.278, acc=0.732, loss=54.104, backward_time=0.280, grad_norm=58.933, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=6.995e-05, train_time=1.511 -[gpua001:0/64] 2023-12-14 05:00:06,390 (trainer:737) INFO: 33epoch:train:10701-10800batch: iter_time=8.633e-05, forward_time=0.149, loss_ctc=64.228, loss_att=55.885, acc=0.736, loss=58.388, backward_time=0.314, grad_norm=65.333, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=6.994e-05, train_time=1.616 -[gpua001:0/64] 2023-12-14 05:02:25,320 (trainer:737) INFO: 33epoch:train:10801-10900batch: iter_time=9.254e-05, forward_time=0.149, loss_ctc=59.948, loss_att=40.840, acc=0.753, loss=46.572, backward_time=0.290, grad_norm=69.182, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=6.993e-05, train_time=1.388 -[gpua001:0/64] 2023-12-14 05:04:46,275 (trainer:737) INFO: 33epoch:train:10901-11000batch: iter_time=8.933e-05, forward_time=0.160, loss_ctc=60.459, loss_att=48.037, acc=0.748, loss=51.763, backward_time=0.290, grad_norm=83.998, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.139, optim0_lr0=6.993e-05, train_time=1.410 -[gpua001:0/64] 2023-12-14 05:07:10,251 (trainer:737) INFO: 33epoch:train:11001-11100batch: iter_time=8.433e-05, forward_time=0.213, loss_ctc=60.863, loss_att=48.518, acc=0.749, loss=52.222, backward_time=0.328, grad_norm=59.911, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.138, optim0_lr0=6.992e-05, train_time=1.440 -[gpua001:0/64] 2023-12-14 05:09:34,475 (trainer:737) INFO: 33epoch:train:11101-11200batch: iter_time=8.851e-05, forward_time=0.152, loss_ctc=64.768, loss_att=50.336, acc=0.736, loss=54.666, backward_time=0.303, grad_norm=64.582, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=6.991e-05, train_time=1.442 -[gpua001:0/64] 2023-12-14 05:11:15,320 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua001:0/64] 2023-12-14 05:11:34,060 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-14 05:11:37,698 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-14 05:11:37,698 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua001:0/64] 2023-12-14 05:11:37,702 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-14 05:16:46,976 (trainer:737) INFO: 33epoch:train:11201-11300batch: iter_time=2.778, forward_time=0.186, loss_ctc=68.479, loss_att=53.633, acc=0.733, loss=58.087, backward_time=0.311, grad_norm=70.203, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=6.990e-05, train_time=4.325 -[gpua001:0/64] 2023-12-14 05:18:50,214 (trainer:737) INFO: 33epoch:train:11301-11400batch: iter_time=8.595e-05, forward_time=0.149, loss_ctc=66.730, loss_att=53.788, acc=0.737, loss=57.671, backward_time=0.277, grad_norm=67.671, clip=100.000, loss_scale=7.251e+30, optim_step_time=0.135, optim0_lr0=6.990e-05, train_time=1.232 -[gpua001:0/64] 2023-12-14 05:21:09,573 (trainer:737) INFO: 33epoch:train:11401-11500batch: iter_time=3.573e-04, forward_time=0.216, loss_ctc=52.385, loss_att=41.587, acc=0.725, loss=44.826, backward_time=0.318, grad_norm=53.965, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.139, optim0_lr0=6.989e-05, train_time=1.393 -[gpua001:0/64] 2023-12-14 05:23:26,997 (trainer:737) INFO: 33epoch:train:11501-11600batch: iter_time=9.247e-05, forward_time=0.167, loss_ctc=72.893, loss_att=56.040, acc=0.718, loss=61.096, backward_time=0.307, grad_norm=78.781, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.988e-05, train_time=1.374 -[gpua001:0/64] 2023-12-14 05:25:40,884 (trainer:737) INFO: 33epoch:train:11601-11700batch: iter_time=9.806e-05, forward_time=0.187, loss_ctc=65.198, loss_att=47.551, acc=0.746, loss=52.845, backward_time=0.304, grad_norm=62.751, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.139, optim0_lr0=6.988e-05, train_time=1.338 -[gpua001:0/64] 2023-12-14 05:28:10,242 (trainer:737) INFO: 33epoch:train:11701-11800batch: iter_time=9.292e-05, forward_time=0.189, loss_ctc=66.859, loss_att=55.663, acc=0.726, loss=59.022, backward_time=0.320, grad_norm=59.109, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.987e-05, train_time=1.494 -[gpua001:0/64] 2023-12-14 05:30:47,211 (trainer:737) INFO: 33epoch:train:11801-11900batch: iter_time=9.726e-05, forward_time=0.174, loss_ctc=62.593, loss_att=55.165, acc=0.701, loss=57.393, backward_time=0.309, grad_norm=58.216, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.986e-05, train_time=1.569 -[gpua001:0/64] 2023-12-14 05:33:47,283 (trainer:737) INFO: 33epoch:train:11901-12000batch: iter_time=9.583e-05, forward_time=0.169, loss_ctc=64.609, loss_att=55.238, acc=0.741, loss=58.049, backward_time=0.319, grad_norm=66.151, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.985e-05, train_time=1.801 -[gpua001:0/64] 2023-12-14 05:36:27,653 (trainer:737) INFO: 33epoch:train:12001-12100batch: iter_time=9.635e-05, forward_time=0.179, loss_ctc=60.127, loss_att=44.771, acc=0.739, loss=49.378, backward_time=0.320, grad_norm=67.950, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.985e-05, train_time=1.602 -[gpua001:0/64] 2023-12-14 05:38:59,725 (trainer:737) INFO: 33epoch:train:12101-12200batch: iter_time=1.046e-04, forward_time=0.162, loss_ctc=57.655, loss_att=45.043, acc=0.746, loss=48.827, backward_time=0.310, grad_norm=66.161, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.984e-05, train_time=1.522 -[gpua001:0/64] 2023-12-14 05:41:27,914 (trainer:737) INFO: 33epoch:train:12201-12300batch: iter_time=1.004e-04, forward_time=0.170, loss_ctc=68.502, loss_att=52.665, acc=0.739, loss=57.416, backward_time=0.290, grad_norm=70.656, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.983e-05, train_time=1.481 -[gpua001:0/64] 2023-12-14 05:43:42,108 (trainer:737) INFO: 33epoch:train:12301-12400batch: iter_time=1.201e-04, forward_time=0.163, loss_ctc=56.306, loss_att=44.195, acc=0.747, loss=47.828, backward_time=0.293, grad_norm=56.371, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.983e-05, train_time=1.342 -[gpua001:0/64] 2023-12-14 05:46:04,930 (trainer:737) INFO: 33epoch:train:12401-12500batch: iter_time=4.575e-04, forward_time=0.196, loss_ctc=72.981, loss_att=53.138, acc=0.724, loss=59.091, backward_time=0.305, grad_norm=79.367, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.982e-05, train_time=1.428 -[gpua001:0/64] 2023-12-14 05:46:24,959 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua001:0/64] 2023-12-14 05:46:43,474 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-14 05:46:47,082 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-14 05:46:47,082 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua001:0/64] 2023-12-14 05:46:47,085 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-14 05:53:11,252 (trainer:737) INFO: 33epoch:train:12501-12600batch: iter_time=2.952, forward_time=0.189, loss_ctc=62.971, loss_att=52.716, acc=0.735, loss=55.793, backward_time=0.285, grad_norm=87.174, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.981e-05, train_time=4.263 -[gpua001:0/64] 2023-12-14 05:55:14,361 (trainer:737) INFO: 33epoch:train:12601-12700batch: iter_time=8.390e-05, forward_time=0.149, loss_ctc=57.959, loss_att=43.533, acc=0.746, loss=47.861, backward_time=0.280, grad_norm=70.031, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.981e-05, train_time=1.231 -[gpua001:0/64] 2023-12-14 05:57:43,007 (trainer:737) INFO: 33epoch:train:12701-12800batch: iter_time=8.548e-05, forward_time=0.148, loss_ctc=60.275, loss_att=47.664, acc=0.731, loss=51.447, backward_time=0.294, grad_norm=69.220, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.980e-05, train_time=1.486 -[gpua001:0/64] 2023-12-14 05:59:56,638 (trainer:737) INFO: 33epoch:train:12801-12900batch: iter_time=5.042e-04, forward_time=0.165, loss_ctc=71.266, loss_att=56.920, acc=0.731, loss=61.224, backward_time=0.284, grad_norm=77.040, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.979e-05, train_time=1.336 -[gpua001:0/64] 2023-12-14 06:02:27,268 (trainer:737) INFO: 33epoch:train:12901-13000batch: iter_time=8.784e-05, forward_time=0.213, loss_ctc=66.666, loss_att=54.950, acc=0.745, loss=58.465, backward_time=0.337, grad_norm=67.038, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.978e-05, train_time=1.506 -[gpua001:0/64] 2023-12-14 06:05:02,018 (trainer:737) INFO: 33epoch:train:13001-13100batch: iter_time=9.364e-05, forward_time=0.190, loss_ctc=64.948, loss_att=54.372, acc=0.725, loss=57.545, backward_time=0.309, grad_norm=57.979, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.978e-05, train_time=1.547 -[gpua001:0/64] 2023-12-14 06:08:04,756 (trainer:737) INFO: 33epoch:train:13101-13200batch: iter_time=9.213e-05, forward_time=0.147, loss_ctc=60.303, loss_att=50.919, acc=0.734, loss=53.734, backward_time=0.369, grad_norm=63.019, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.977e-05, train_time=1.827 -[gpua001:0/64] 2023-12-14 06:10:44,858 (trainer:737) INFO: 33epoch:train:13201-13300batch: iter_time=9.103e-05, forward_time=0.148, loss_ctc=63.605, loss_att=55.683, acc=0.736, loss=58.060, backward_time=0.300, grad_norm=98.027, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.976e-05, train_time=1.601 -[gpua001:0/64] 2023-12-14 06:13:30,565 (trainer:737) INFO: 33epoch:train:13301-13400batch: iter_time=2.250e-04, forward_time=0.158, loss_ctc=59.611, loss_att=41.052, acc=0.753, loss=46.620, backward_time=0.293, grad_norm=57.483, clip=100.000, loss_scale=1.450e+31, optim_step_time=0.135, optim0_lr0=6.976e-05, train_time=1.657 -[gpua001:0/64] 2023-12-14 06:15:47,952 (trainer:737) INFO: 33epoch:train:13401-13500batch: iter_time=9.084e-05, forward_time=0.232, loss_ctc=60.071, loss_att=47.990, acc=0.749, loss=51.614, backward_time=0.301, grad_norm=68.772, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.975e-05, train_time=1.374 -[gpua001:0/64] 2023-12-14 06:18:26,992 (trainer:737) INFO: 33epoch:train:13501-13600batch: iter_time=9.492e-05, forward_time=0.167, loss_ctc=60.926, loss_att=48.609, acc=0.749, loss=52.304, backward_time=0.313, grad_norm=85.100, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.974e-05, train_time=1.590 -[gpua001:0/64] 2023-12-14 06:20:33,293 (trainer:737) INFO: 33epoch:train:13601-13700batch: iter_time=9.756e-05, forward_time=0.148, loss_ctc=64.270, loss_att=50.287, acc=0.736, loss=54.482, backward_time=0.283, grad_norm=57.946, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.973e-05, train_time=1.263 -[gpua001:0/64] 2023-12-14 06:21:55,996 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua001:0/64] 2023-12-14 06:22:14,913 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-14 06:22:18,892 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-14 06:22:18,892 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua001:0/64] 2023-12-14 06:22:18,895 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-14 06:27:49,767 (trainer:737) INFO: 33epoch:train:13701-13800batch: iter_time=3.043, forward_time=0.184, loss_ctc=68.212, loss_att=52.872, acc=0.741, loss=57.474, backward_time=0.282, grad_norm=73.765, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.973e-05, train_time=4.364 -[gpua001:0/64] 2023-12-14 06:29:53,292 (trainer:737) INFO: 33epoch:train:13801-13900batch: iter_time=8.833e-05, forward_time=0.153, loss_ctc=66.540, loss_att=54.542, acc=0.742, loss=58.141, backward_time=0.280, grad_norm=64.151, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.972e-05, train_time=1.235 -[gpua001:0/64] 2023-12-14 06:32:00,055 (trainer:737) INFO: 33epoch:train:13901-14000batch: iter_time=8.257e-05, forward_time=0.160, loss_ctc=52.259, loss_att=40.686, acc=0.739, loss=44.158, backward_time=0.312, grad_norm=63.571, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.971e-05, train_time=1.267 -[gpua001:0/64] 2023-12-14 06:34:23,279 (trainer:737) INFO: 33epoch:train:14001-14100batch: iter_time=9.684e-05, forward_time=0.188, loss_ctc=72.575, loss_att=56.965, acc=0.725, loss=61.648, backward_time=0.327, grad_norm=84.852, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.971e-05, train_time=1.432 -[gpua001:0/64] 2023-12-14 06:37:21,807 (trainer:737) INFO: 33epoch:train:14101-14200batch: iter_time=9.631e-05, forward_time=0.171, loss_ctc=64.615, loss_att=47.307, acc=0.750, loss=52.499, backward_time=0.316, grad_norm=74.994, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=6.970e-05, train_time=1.785 -[gpua001:0/64] 2023-12-14 06:39:37,973 (trainer:737) INFO: 33epoch:train:14201-14300batch: iter_time=8.607e-05, forward_time=0.163, loss_ctc=66.773, loss_att=55.391, acc=0.742, loss=58.806, backward_time=0.299, grad_norm=83.794, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.969e-05, train_time=1.361 -[gpua001:0/64] 2023-12-14 06:42:25,702 (trainer:737) INFO: 33epoch:train:14301-14400batch: iter_time=1.003e-04, forward_time=0.204, loss_ctc=62.309, loss_att=55.657, acc=0.713, loss=57.653, backward_time=0.320, grad_norm=78.745, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.146, optim0_lr0=6.968e-05, train_time=1.677 -[gpua001:0/64] 2023-12-14 06:44:57,440 (trainer:737) INFO: 33epoch:train:14401-14500batch: iter_time=2.827e-04, forward_time=0.160, loss_ctc=64.412, loss_att=56.974, acc=0.739, loss=59.205, backward_time=0.304, grad_norm=67.806, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.968e-05, train_time=1.517 -[gpua001:0/64] 2023-12-14 06:47:29,375 (trainer:737) INFO: 33epoch:train:14501-14600batch: iter_time=1.062e-04, forward_time=0.161, loss_ctc=59.997, loss_att=44.715, acc=0.739, loss=49.299, backward_time=0.290, grad_norm=65.502, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.967e-05, train_time=1.519 -[gpua001:0/64] 2023-12-14 06:50:13,686 (trainer:737) INFO: 33epoch:train:14601-14700batch: iter_time=9.662e-05, forward_time=0.181, loss_ctc=57.576, loss_att=44.987, acc=0.751, loss=48.764, backward_time=0.334, grad_norm=67.111, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.966e-05, train_time=1.642 -[gpua001:0/64] 2023-12-14 06:52:46,498 (trainer:737) INFO: 33epoch:train:14701-14800batch: iter_time=9.002e-05, forward_time=0.163, loss_ctc=68.245, loss_att=55.096, acc=0.739, loss=59.040, backward_time=0.327, grad_norm=81.609, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.966e-05, train_time=1.529 -[gpua001:0/64] 2023-12-14 06:55:10,488 (trainer:737) INFO: 33epoch:train:14801-14900batch: iter_time=9.246e-05, forward_time=0.168, loss_ctc=56.357, loss_att=44.090, acc=0.756, loss=47.770, backward_time=0.302, grad_norm=61.009, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.965e-05, train_time=1.440 -[gpua001:0/64] 2023-12-14 06:58:02,059 (trainer:737) INFO: 33epoch:train:14901-15000batch: iter_time=8.704e-05, forward_time=0.165, loss_ctc=71.344, loss_att=54.336, acc=0.734, loss=59.438, backward_time=0.327, grad_norm=72.780, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.964e-05, train_time=1.715 -[gpua001:0/64] 2023-12-14 07:23:56,952 (trainer:343) INFO: 33epoch results: [train] iter_time=0.242, forward_time=0.169, loss_ctc=64.011, loss_att=50.759, acc=0.734, loss=54.734, backward_time=0.300, grad_norm=76.221, clip=100.000, loss_scale=1.173e+31, optim_step_time=0.135, optim0_lr0=7.017e-05, train_time=1.706, time=7 hours, 7 minutes and 2.61 seconds, total_count=495000, gpu_max_cached_mem_GB=37.920, [valid] loss_ctc=32.610, cer_ctc=0.172, loss_att=31.023, acc=0.737, cer=0.244, wer=0.962, loss=31.499, time=25 minutes and 28.86 seconds, total_count=154143, gpu_max_cached_mem_GB=37.920 -[gpua001:0/64] 2023-12-14 07:24:15,993 (trainer:391) INFO: The best model has been updated: valid.acc, valid.total_count -[gpua001:0/64] 2023-12-14 07:24:16,033 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/20epoch.pth, exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/28epoch.pth -[gpua001:0/64] 2023-12-14 07:24:16,033 (trainer:272) INFO: 34/40epoch started. Estimated time to finish: 2 days, 10 hours and 18 minutes -[gpua001:0/64] 2023-12-14 07:24:16,044 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua001:0/64] 2023-12-14 07:24:33,740 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-14 07:24:37,105 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-14 07:24:37,105 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua001:0/64] 2023-12-14 07:24:37,109 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-14 07:31:18,485 (trainer:737) INFO: 34epoch:train:1-100batch: iter_time=2.685, forward_time=0.173, loss_ctc=67.082, loss_att=57.244, acc=0.721, loss=60.195, backward_time=0.281, grad_norm=83.972, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.964e-05, train_time=4.224 -[gpua001:0/64] 2023-12-14 07:33:25,696 (trainer:737) INFO: 34epoch:train:101-200batch: iter_time=1.011e-04, forward_time=0.147, loss_ctc=63.526, loss_att=47.540, acc=0.736, loss=52.336, backward_time=0.278, grad_norm=77.117, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.963e-05, train_time=1.272 -[gpua001:0/64] 2023-12-14 07:35:30,456 (trainer:737) INFO: 34epoch:train:201-300batch: iter_time=1.035e-04, forward_time=0.164, loss_ctc=70.789, loss_att=55.409, acc=0.720, loss=60.023, backward_time=0.280, grad_norm=78.610, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.962e-05, train_time=1.247 -[gpua001:0/64] 2023-12-14 07:37:59,904 (trainer:737) INFO: 34epoch:train:301-400batch: iter_time=1.126e-04, forward_time=0.290, loss_ctc=65.025, loss_att=49.530, acc=0.715, loss=54.178, backward_time=0.307, grad_norm=79.814, clip=100.000, loss_scale=2.900e+31, optim_step_time=0.139, optim0_lr0=6.961e-05, train_time=1.494 -[gpua001:0/64] 2023-12-14 07:40:08,499 (trainer:737) INFO: 34epoch:train:401-500batch: iter_time=1.038e-04, forward_time=0.149, loss_ctc=66.151, loss_att=54.234, acc=0.713, loss=57.809, backward_time=0.284, grad_norm=80.665, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.961e-05, train_time=1.286 -[gpua001:0/64] 2023-12-14 07:42:40,675 (trainer:737) INFO: 34epoch:train:501-600batch: iter_time=9.549e-05, forward_time=0.147, loss_ctc=63.430, loss_att=51.517, acc=0.725, loss=55.091, backward_time=0.299, grad_norm=65.301, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.960e-05, train_time=1.522 -[gpua001:0/64] 2023-12-14 07:45:11,597 (trainer:737) INFO: 34epoch:train:601-700batch: iter_time=0.002, forward_time=0.149, loss_ctc=65.052, loss_att=50.904, acc=0.734, loss=55.148, backward_time=0.294, grad_norm=69.379, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.959e-05, train_time=1.509 -[gpua001:0/64] 2023-12-14 07:47:45,653 (trainer:737) INFO: 34epoch:train:701-800batch: iter_time=1.513e-04, forward_time=0.227, loss_ctc=74.556, loss_att=60.507, acc=0.719, loss=64.722, backward_time=0.321, grad_norm=71.838, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.959e-05, train_time=1.540 -[gpua001:0/64] 2023-12-14 07:47:55,924 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-14 07:50:05,368 (trainer:737) INFO: 34epoch:train:801-900batch: iter_time=1.022e-04, forward_time=0.149, loss_ctc=65.577, loss_att=54.248, acc=0.727, loss=57.647, backward_time=0.295, grad_norm=68.540, clip=100.000, loss_scale=2.172e+31, optim_step_time=0.135, optim0_lr0=6.958e-05, train_time=1.397 -[gpua001:0/64] 2023-12-14 07:52:47,766 (trainer:737) INFO: 34epoch:train:901-1000batch: iter_time=1.038e-04, forward_time=0.150, loss_ctc=66.809, loss_att=49.025, acc=0.725, loss=54.360, backward_time=0.292, grad_norm=80.952, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.957e-05, train_time=1.624 -[gpua001:0/64] 2023-12-14 07:55:07,668 (trainer:737) INFO: 34epoch:train:1001-1100batch: iter_time=1.024e-04, forward_time=0.149, loss_ctc=62.387, loss_att=46.757, acc=0.734, loss=51.446, backward_time=0.294, grad_norm=98.983, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.957e-05, train_time=1.399 -[gpua001:0/64] 2023-12-14 07:57:46,338 (trainer:737) INFO: 34epoch:train:1101-1200batch: iter_time=1.031e-04, forward_time=0.170, loss_ctc=60.567, loss_att=50.785, acc=0.732, loss=53.719, backward_time=0.289, grad_norm=66.693, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.956e-05, train_time=1.586 -[gpua001:0/64] 2023-12-14 07:59:22,288 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua001:0/64] 2023-12-14 07:59:41,222 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-14 07:59:44,757 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-14 07:59:44,757 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua001:0/64] 2023-12-14 07:59:44,762 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-14 08:04:33,057 (trainer:737) INFO: 34epoch:train:1201-1300batch: iter_time=2.597, forward_time=0.187, loss_ctc=61.979, loss_att=52.451, acc=0.732, loss=55.310, backward_time=0.323, grad_norm=111.679, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.955e-05, train_time=4.068 -[gpua001:0/64] 2023-12-14 08:06:41,662 (trainer:737) INFO: 34epoch:train:1301-1400batch: iter_time=8.291e-05, forward_time=0.148, loss_ctc=68.848, loss_att=57.890, acc=0.708, loss=61.177, backward_time=0.277, grad_norm=69.015, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.954e-05, train_time=1.286 -[gpua001:0/64] 2023-12-14 08:08:57,119 (trainer:737) INFO: 34epoch:train:1401-1500batch: iter_time=8.753e-05, forward_time=0.149, loss_ctc=62.183, loss_att=45.549, acc=0.740, loss=50.539, backward_time=0.278, grad_norm=60.278, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.954e-05, train_time=1.354 -[gpua001:0/64] 2023-12-14 08:11:25,084 (trainer:737) INFO: 34epoch:train:1501-1600batch: iter_time=8.493e-05, forward_time=0.149, loss_ctc=75.690, loss_att=59.006, acc=0.710, loss=64.011, backward_time=0.294, grad_norm=70.603, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.953e-05, train_time=1.480 -[gpua001:0/64] 2023-12-14 08:13:54,609 (trainer:737) INFO: 34epoch:train:1601-1700batch: iter_time=9.051e-05, forward_time=0.148, loss_ctc=59.889, loss_att=44.909, acc=0.735, loss=49.403, backward_time=0.292, grad_norm=74.668, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.952e-05, train_time=1.495 -[gpua001:0/64] 2023-12-14 08:16:41,491 (trainer:737) INFO: 34epoch:train:1701-1800batch: iter_time=8.655e-04, forward_time=0.165, loss_ctc=64.121, loss_att=55.223, acc=0.707, loss=57.893, backward_time=0.292, grad_norm=61.290, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.952e-05, train_time=1.667 -[gpua001:0/64] 2023-12-14 08:19:10,177 (trainer:737) INFO: 34epoch:train:1801-1900batch: iter_time=9.076e-05, forward_time=0.223, loss_ctc=59.112, loss_att=46.348, acc=0.735, loss=50.177, backward_time=0.315, grad_norm=62.514, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.141, optim0_lr0=6.951e-05, train_time=1.488 -[gpua001:0/64] 2023-12-14 08:22:15,246 (trainer:737) INFO: 34epoch:train:1901-2000batch: iter_time=8.844e-05, forward_time=0.148, loss_ctc=71.009, loss_att=51.872, acc=0.733, loss=57.613, backward_time=0.343, grad_norm=84.772, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.950e-05, train_time=1.850 -[gpua001:0/64] 2023-12-14 08:24:33,021 (trainer:737) INFO: 34epoch:train:2001-2100batch: iter_time=8.326e-05, forward_time=0.146, loss_ctc=67.161, loss_att=60.270, acc=0.708, loss=62.338, backward_time=0.298, grad_norm=64.039, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.950e-05, train_time=1.378 -[gpua001:0/64] 2023-12-14 08:26:53,956 (trainer:737) INFO: 34epoch:train:2101-2200batch: iter_time=8.325e-05, forward_time=0.149, loss_ctc=70.846, loss_att=54.519, acc=0.717, loss=59.417, backward_time=0.289, grad_norm=75.926, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.949e-05, train_time=1.409 -[gpua001:0/64] 2023-12-14 08:29:21,397 (trainer:737) INFO: 34epoch:train:2201-2300batch: iter_time=8.504e-05, forward_time=0.147, loss_ctc=59.876, loss_att=45.852, acc=0.724, loss=50.059, backward_time=0.311, grad_norm=66.711, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.948e-05, train_time=1.474 -[gpua001:0/64] 2023-12-14 08:31:38,776 (trainer:737) INFO: 34epoch:train:2301-2400batch: iter_time=2.790e-04, forward_time=0.148, loss_ctc=58.403, loss_att=49.358, acc=0.724, loss=52.072, backward_time=0.282, grad_norm=73.438, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.947e-05, train_time=1.374 -[gpua001:0/64] 2023-12-14 08:34:01,049 (trainer:737) INFO: 34epoch:train:2401-2500batch: iter_time=2.795e-04, forward_time=0.149, loss_ctc=62.404, loss_att=47.538, acc=0.728, loss=51.998, backward_time=0.282, grad_norm=74.858, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.947e-05, train_time=1.422 -[gpua001:0/64] 2023-12-14 08:34:21,084 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua001:0/64] 2023-12-14 08:34:39,449 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-14 08:34:42,943 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-14 08:34:42,943 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua001:0/64] 2023-12-14 08:34:42,947 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-14 08:40:57,308 (trainer:737) INFO: 34epoch:train:2501-2600batch: iter_time=2.871, forward_time=0.205, loss_ctc=65.842, loss_att=57.440, acc=0.728, loss=59.961, backward_time=0.287, grad_norm=64.166, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.946e-05, train_time=4.162 -[gpua001:0/64] 2023-12-14 08:43:03,066 (trainer:737) INFO: 34epoch:train:2601-2700batch: iter_time=8.690e-05, forward_time=0.148, loss_ctc=63.405, loss_att=47.571, acc=0.742, loss=52.321, backward_time=0.283, grad_norm=57.241, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.945e-05, train_time=1.257 -[gpua001:0/64] 2023-12-14 08:45:15,007 (trainer:737) INFO: 34epoch:train:2701-2800batch: iter_time=9.478e-05, forward_time=0.148, loss_ctc=70.354, loss_att=54.409, acc=0.728, loss=59.192, backward_time=0.283, grad_norm=66.735, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.945e-05, train_time=1.319 -[gpua001:0/64] 2023-12-14 08:48:22,138 (trainer:737) INFO: 34epoch:train:2801-2900batch: iter_time=9.760e-05, forward_time=0.155, loss_ctc=63.649, loss_att=48.461, acc=0.722, loss=53.018, backward_time=0.292, grad_norm=64.193, clip=100.000, loss_scale=3.894e+31, optim_step_time=0.136, optim0_lr0=6.944e-05, train_time=1.871 -[gpua001:0/64] 2023-12-14 08:50:59,098 (trainer:737) INFO: 34epoch:train:2901-3000batch: iter_time=9.375e-05, forward_time=0.282, loss_ctc=64.422, loss_att=53.362, acc=0.720, loss=56.680, backward_time=0.309, grad_norm=66.821, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.943e-05, train_time=1.570 -[gpua001:0/64] 2023-12-14 08:53:33,459 (trainer:737) INFO: 34epoch:train:3001-3100batch: iter_time=9.340e-05, forward_time=0.149, loss_ctc=62.768, loss_att=51.090, acc=0.730, loss=54.594, backward_time=0.291, grad_norm=60.990, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.943e-05, train_time=1.543 -[gpua001:0/64] 2023-12-14 08:56:03,054 (trainer:737) INFO: 34epoch:train:3101-3200batch: iter_time=8.908e-05, forward_time=0.148, loss_ctc=64.493, loss_att=50.426, acc=0.739, loss=54.646, backward_time=0.305, grad_norm=61.487, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.942e-05, train_time=1.496 -[gpua001:0/64] 2023-12-14 08:58:40,358 (trainer:737) INFO: 34epoch:train:3201-3300batch: iter_time=8.856e-05, forward_time=0.148, loss_ctc=72.369, loss_att=59.373, acc=0.727, loss=63.272, backward_time=0.344, grad_norm=77.475, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.941e-05, train_time=1.573 -[gpua001:0/64] 2023-12-14 09:01:29,518 (trainer:737) INFO: 34epoch:train:3301-3400batch: iter_time=3.489e-04, forward_time=0.156, loss_ctc=64.681, loss_att=53.144, acc=0.732, loss=56.605, backward_time=0.305, grad_norm=55.725, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.940e-05, train_time=1.691 -[gpua001:0/64] 2023-12-14 09:04:20,616 (trainer:737) INFO: 34epoch:train:3401-3500batch: iter_time=9.756e-05, forward_time=0.264, loss_ctc=65.936, loss_att=48.241, acc=0.730, loss=53.549, backward_time=0.382, grad_norm=61.167, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.141, optim0_lr0=6.940e-05, train_time=1.711 -[gpua001:0/64] 2023-12-14 09:07:12,243 (trainer:737) INFO: 34epoch:train:3501-3600batch: iter_time=9.719e-05, forward_time=0.150, loss_ctc=60.826, loss_att=46.020, acc=0.738, loss=50.462, backward_time=0.332, grad_norm=63.428, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.939e-05, train_time=1.716 -[gpua001:0/64] 2023-12-14 09:10:01,822 (trainer:737) INFO: 34epoch:train:3601-3700batch: iter_time=8.913e-05, forward_time=0.149, loss_ctc=59.958, loss_att=50.340, acc=0.738, loss=53.226, backward_time=0.305, grad_norm=53.798, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.938e-05, train_time=1.696 -[gpua001:0/64] 2023-12-14 09:11:30,947 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua001:0/64] 2023-12-14 09:11:49,636 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-14 09:11:53,135 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-14 09:11:53,135 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua001:0/64] 2023-12-14 09:11:53,138 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-14 09:17:50,494 (trainer:737) INFO: 34epoch:train:3701-3800batch: iter_time=3.327, forward_time=0.181, loss_ctc=61.063, loss_att=50.499, acc=0.742, loss=53.668, backward_time=0.289, grad_norm=60.781, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.938e-05, train_time=4.686 -[gpua001:0/64] 2023-12-14 09:19:53,744 (trainer:737) INFO: 34epoch:train:3801-3900batch: iter_time=9.151e-05, forward_time=0.149, loss_ctc=67.483, loss_att=56.262, acc=0.724, loss=59.628, backward_time=0.279, grad_norm=69.557, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.937e-05, train_time=1.233 -[gpua001:0/64] 2023-12-14 09:21:57,826 (trainer:737) INFO: 34epoch:train:3901-4000batch: iter_time=9.139e-05, forward_time=0.148, loss_ctc=61.567, loss_att=44.727, acc=0.746, loss=49.779, backward_time=0.278, grad_norm=56.516, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.936e-05, train_time=1.241 -[gpua001:0/64] 2023-12-14 09:24:33,083 (trainer:737) INFO: 34epoch:train:4001-4100batch: iter_time=9.966e-05, forward_time=0.149, loss_ctc=74.839, loss_att=58.924, acc=0.714, loss=63.699, backward_time=0.284, grad_norm=96.401, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.936e-05, train_time=1.552 -[gpua001:0/64] 2023-12-14 09:27:18,594 (trainer:737) INFO: 34epoch:train:4101-4200batch: iter_time=8.772e-05, forward_time=0.166, loss_ctc=59.018, loss_att=44.697, acc=0.738, loss=48.994, backward_time=0.306, grad_norm=85.724, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.935e-05, train_time=1.655 -[gpua001:0/64] 2023-12-14 09:29:41,735 (trainer:737) INFO: 34epoch:train:4201-4300batch: iter_time=0.004, forward_time=0.230, loss_ctc=63.737, loss_att=54.293, acc=0.719, loss=57.126, backward_time=0.320, grad_norm=73.356, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.934e-05, train_time=1.431 -[gpua001:0/64] 2023-12-14 09:32:23,495 (trainer:737) INFO: 34epoch:train:4301-4400batch: iter_time=8.936e-05, forward_time=0.148, loss_ctc=59.387, loss_att=45.985, acc=0.743, loss=50.005, backward_time=0.293, grad_norm=79.341, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.934e-05, train_time=1.617 -[gpua001:0/64] 2023-12-14 09:35:03,124 (trainer:737) INFO: 34epoch:train:4401-4500batch: iter_time=8.884e-05, forward_time=0.149, loss_ctc=70.279, loss_att=52.573, acc=0.735, loss=57.885, backward_time=0.320, grad_norm=94.109, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.933e-05, train_time=1.596 -[gpua001:0/64] 2023-12-14 09:37:10,540 (trainer:737) INFO: 34epoch:train:4501-4600batch: iter_time=8.697e-05, forward_time=0.148, loss_ctc=66.765, loss_att=59.679, acc=0.725, loss=61.805, backward_time=0.282, grad_norm=65.211, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.932e-05, train_time=1.274 -[gpua001:0/64] 2023-12-14 09:39:19,352 (trainer:737) INFO: 34epoch:train:4601-4700batch: iter_time=8.921e-05, forward_time=0.149, loss_ctc=70.696, loss_att=54.027, acc=0.731, loss=59.028, backward_time=0.283, grad_norm=70.292, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.931e-05, train_time=1.288 -[gpua001:0/64] 2023-12-14 09:41:52,655 (trainer:737) INFO: 34epoch:train:4701-4800batch: iter_time=8.933e-05, forward_time=0.251, loss_ctc=59.556, loss_att=45.141, acc=0.738, loss=49.465, backward_time=0.333, grad_norm=74.743, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.931e-05, train_time=1.532 -[gpua001:0/64] 2023-12-14 09:44:40,510 (trainer:737) INFO: 34epoch:train:4801-4900batch: iter_time=9.446e-05, forward_time=0.169, loss_ctc=57.454, loss_att=47.845, acc=0.737, loss=50.728, backward_time=0.303, grad_norm=62.349, clip=100.000, loss_scale=7.788e+31, optim_step_time=0.135, optim0_lr0=6.930e-05, train_time=1.679 -[gpua001:0/64] 2023-12-14 09:47:14,676 (trainer:737) INFO: 34epoch:train:4901-5000batch: iter_time=9.317e-05, forward_time=0.148, loss_ctc=62.094, loss_att=48.318, acc=0.736, loss=52.451, backward_time=0.284, grad_norm=68.470, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.929e-05, train_time=1.542 -[gpua001:0/64] 2023-12-14 09:47:34,704 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua001:0/64] 2023-12-14 09:47:53,137 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-14 09:47:56,608 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-14 09:47:56,609 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua001:0/64] 2023-12-14 09:47:56,612 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-14 09:54:24,782 (trainer:737) INFO: 34epoch:train:5001-5100batch: iter_time=2.886, forward_time=0.196, loss_ctc=65.451, loss_att=57.221, acc=0.725, loss=59.690, backward_time=0.293, grad_norm=71.249, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=6.929e-05, train_time=4.301 -[gpua001:0/64] 2023-12-14 09:56:37,486 (trainer:737) INFO: 34epoch:train:5101-5200batch: iter_time=8.514e-05, forward_time=0.149, loss_ctc=63.591, loss_att=47.464, acc=0.738, loss=52.302, backward_time=0.278, grad_norm=59.860, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=6.928e-05, train_time=1.327 -[gpua001:0/64] 2023-12-14 09:58:49,386 (trainer:737) INFO: 34epoch:train:5201-5300batch: iter_time=8.402e-05, forward_time=0.176, loss_ctc=69.303, loss_att=54.362, acc=0.726, loss=58.844, backward_time=0.285, grad_norm=62.575, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=6.927e-05, train_time=1.317 -[gpua001:0/64] 2023-12-14 10:01:09,246 (trainer:737) INFO: 34epoch:train:5301-5400batch: iter_time=8.753e-05, forward_time=0.148, loss_ctc=63.486, loss_att=47.436, acc=0.726, loss=52.251, backward_time=0.281, grad_norm=93.833, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=6.927e-05, train_time=1.399 -[gpua001:0/64] 2023-12-14 10:03:27,080 (trainer:737) INFO: 34epoch:train:5401-5500batch: iter_time=8.977e-05, forward_time=0.149, loss_ctc=64.650, loss_att=53.467, acc=0.718, loss=56.822, backward_time=0.308, grad_norm=154.965, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=6.926e-05, train_time=1.379 -[gpua001:0/64] 2023-12-14 10:04:15,076 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-14 10:05:55,625 (trainer:737) INFO: 34epoch:train:5501-5600batch: iter_time=8.741e-05, forward_time=0.168, loss_ctc=62.364, loss_att=50.992, acc=0.720, loss=54.403, backward_time=0.309, grad_norm=96.976, clip=100.000, loss_scale=5.368e+31, optim_step_time=0.136, optim0_lr0=6.925e-05, train_time=1.485 -[gpua001:0/64] 2023-12-14 10:08:23,002 (trainer:737) INFO: 34epoch:train:5601-5700batch: iter_time=9.105e-05, forward_time=0.196, loss_ctc=63.777, loss_att=49.914, acc=0.740, loss=54.073, backward_time=0.301, grad_norm=90.685, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.925e-05, train_time=1.474 -[gpua001:0/64] 2023-12-14 10:10:32,350 (trainer:737) INFO: 34epoch:train:5701-5800batch: iter_time=9.041e-05, forward_time=0.148, loss_ctc=72.289, loss_att=57.375, acc=0.724, loss=61.849, backward_time=0.279, grad_norm=70.950, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.924e-05, train_time=1.293 -[gpua001:0/64] 2023-12-14 10:12:57,713 (trainer:737) INFO: 34epoch:train:5801-5900batch: iter_time=8.503e-05, forward_time=0.159, loss_ctc=64.302, loss_att=53.758, acc=0.716, loss=56.921, backward_time=0.309, grad_norm=91.084, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.923e-05, train_time=1.453 -[gpua001:0/64] 2023-12-14 10:15:36,505 (trainer:737) INFO: 34epoch:train:5901-6000batch: iter_time=8.714e-05, forward_time=0.148, loss_ctc=64.666, loss_att=47.560, acc=0.726, loss=52.692, backward_time=0.299, grad_norm=81.636, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.922e-05, train_time=1.587 -[gpua001:0/64] 2023-12-14 10:18:06,368 (trainer:737) INFO: 34epoch:train:6001-6100batch: iter_time=8.860e-05, forward_time=0.148, loss_ctc=59.920, loss_att=45.878, acc=0.732, loss=50.091, backward_time=0.296, grad_norm=100.475, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.922e-05, train_time=1.499 -[gpua001:0/64] 2023-12-14 10:20:29,820 (trainer:737) INFO: 34epoch:train:6101-6200batch: iter_time=8.336e-05, forward_time=0.189, loss_ctc=59.656, loss_att=48.950, acc=0.736, loss=52.162, backward_time=0.292, grad_norm=88.398, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.921e-05, train_time=1.434 -[gpua001:0/64] 2023-12-14 10:21:58,758 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua001:0/64] 2023-12-14 10:22:17,536 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-14 10:22:21,006 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-14 10:22:21,006 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua001:0/64] 2023-12-14 10:22:21,012 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-14 10:27:00,070 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-14 10:27:29,496 (trainer:737) INFO: 34epoch:train:6201-6300batch: iter_time=2.866, forward_time=0.180, loss_ctc=61.715, loss_att=51.482, acc=0.730, loss=54.552, backward_time=0.287, grad_norm=78.849, clip=100.000, loss_scale=3.565e+31, optim_step_time=0.136, optim0_lr0=6.920e-05, train_time=4.196 -[gpua001:0/64] 2023-12-14 10:29:33,891 (trainer:737) INFO: 34epoch:train:6301-6400batch: iter_time=8.336e-05, forward_time=0.151, loss_ctc=67.297, loss_att=55.693, acc=0.717, loss=59.174, backward_time=0.280, grad_norm=69.890, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.920e-05, train_time=1.244 -[gpua001:0/64] 2023-12-14 10:31:36,770 (trainer:737) INFO: 34epoch:train:6401-6500batch: iter_time=8.575e-05, forward_time=0.148, loss_ctc=61.190, loss_att=44.201, acc=0.746, loss=49.298, backward_time=0.279, grad_norm=72.851, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.919e-05, train_time=1.229 -[gpua001:0/64] 2023-12-14 10:33:53,912 (trainer:737) INFO: 34epoch:train:6501-6600batch: iter_time=8.605e-05, forward_time=0.153, loss_ctc=74.594, loss_att=58.159, acc=0.714, loss=63.089, backward_time=0.303, grad_norm=82.563, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.918e-05, train_time=1.371 -[gpua001:0/64] 2023-12-14 10:36:40,884 (trainer:737) INFO: 34epoch:train:6601-6700batch: iter_time=9.618e-05, forward_time=0.165, loss_ctc=58.800, loss_att=44.158, acc=0.740, loss=48.551, backward_time=0.295, grad_norm=67.588, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.918e-05, train_time=1.669 -[gpua001:0/64] 2023-12-14 10:39:13,846 (trainer:737) INFO: 34epoch:train:6701-6800batch: iter_time=9.594e-05, forward_time=0.184, loss_ctc=63.317, loss_att=53.814, acc=0.712, loss=56.665, backward_time=0.286, grad_norm=88.974, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.142, optim0_lr0=6.917e-05, train_time=1.529 -[gpua001:0/64] 2023-12-14 10:41:48,723 (trainer:737) INFO: 34epoch:train:6801-6900batch: iter_time=3.351e-04, forward_time=0.174, loss_ctc=58.319, loss_att=45.380, acc=0.739, loss=49.262, backward_time=0.291, grad_norm=101.225, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.916e-05, train_time=1.548 -[gpua001:0/64] 2023-12-14 10:44:20,742 (trainer:737) INFO: 34epoch:train:6901-7000batch: iter_time=9.172e-05, forward_time=0.168, loss_ctc=69.921, loss_att=50.711, acc=0.739, loss=56.474, backward_time=0.304, grad_norm=82.927, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.916e-05, train_time=1.520 -[gpua001:0/64] 2023-12-14 10:46:44,644 (trainer:737) INFO: 34epoch:train:7001-7100batch: iter_time=8.906e-05, forward_time=0.147, loss_ctc=66.485, loss_att=59.603, acc=0.712, loss=61.668, backward_time=0.281, grad_norm=68.567, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.915e-05, train_time=1.439 -[gpua001:0/64] 2023-12-14 10:49:09,154 (trainer:737) INFO: 34epoch:train:7101-7200batch: iter_time=9.145e-05, forward_time=0.153, loss_ctc=69.720, loss_att=53.499, acc=0.721, loss=58.365, backward_time=0.285, grad_norm=72.326, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.914e-05, train_time=1.445 -[gpua001:0/64] 2023-12-14 10:51:36,842 (trainer:737) INFO: 34epoch:train:7201-7300batch: iter_time=8.683e-05, forward_time=0.147, loss_ctc=59.173, loss_att=45.314, acc=0.729, loss=49.472, backward_time=0.290, grad_norm=59.383, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.913e-05, train_time=1.477 -[gpua001:0/64] 2023-12-14 10:53:53,431 (trainer:737) INFO: 34epoch:train:7301-7400batch: iter_time=0.002, forward_time=0.177, loss_ctc=57.083, loss_att=47.821, acc=0.732, loss=50.600, backward_time=0.293, grad_norm=65.895, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.142, optim0_lr0=6.913e-05, train_time=1.366 -[gpua001:0/64] 2023-12-14 10:56:18,075 (trainer:737) INFO: 34epoch:train:7401-7500batch: iter_time=8.837e-05, forward_time=0.157, loss_ctc=62.246, loss_att=47.362, acc=0.729, loss=51.828, backward_time=0.306, grad_norm=84.329, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.912e-05, train_time=1.446 -[gpua001:0/64] 2023-12-14 10:56:38,296 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua001:0/64] 2023-12-14 10:56:56,542 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-14 10:57:00,027 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-14 10:57:00,027 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua001:0/64] 2023-12-14 10:57:00,030 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-14 11:03:37,710 (trainer:737) INFO: 34epoch:train:7501-7600batch: iter_time=2.974, forward_time=0.178, loss_ctc=65.498, loss_att=57.138, acc=0.734, loss=59.646, backward_time=0.287, grad_norm=85.215, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.911e-05, train_time=4.395 -[gpua001:0/64] 2023-12-14 11:05:46,315 (trainer:737) INFO: 34epoch:train:7601-7700batch: iter_time=8.410e-05, forward_time=0.152, loss_ctc=62.489, loss_att=46.781, acc=0.748, loss=51.493, backward_time=0.282, grad_norm=89.513, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.911e-05, train_time=1.287 -[gpua001:0/64] 2023-12-14 11:08:11,751 (trainer:737) INFO: 34epoch:train:7701-7800batch: iter_time=9.152e-05, forward_time=0.173, loss_ctc=69.375, loss_att=54.171, acc=0.728, loss=58.732, backward_time=0.305, grad_norm=106.697, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.910e-05, train_time=1.454 -[gpua001:0/64] 2023-12-14 11:10:18,716 (trainer:737) INFO: 34epoch:train:7801-7900batch: iter_time=8.764e-05, forward_time=0.147, loss_ctc=62.975, loss_att=47.851, acc=0.728, loss=52.388, backward_time=0.280, grad_norm=92.015, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.909e-05, train_time=1.269 -[gpua001:0/64] 2023-12-14 11:12:46,500 (trainer:737) INFO: 34epoch:train:7901-8000batch: iter_time=8.525e-05, forward_time=0.169, loss_ctc=63.419, loss_att=52.406, acc=0.725, loss=55.709, backward_time=0.299, grad_norm=100.567, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.909e-05, train_time=1.478 -[gpua001:0/64] 2023-12-14 11:15:16,326 (trainer:737) INFO: 34epoch:train:8001-8100batch: iter_time=8.681e-05, forward_time=0.190, loss_ctc=62.750, loss_att=51.262, acc=0.731, loss=54.709, backward_time=0.306, grad_norm=74.708, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.908e-05, train_time=1.498 -[gpua001:0/64] 2023-12-14 11:17:30,026 (trainer:737) INFO: 34epoch:train:8101-8200batch: iter_time=8.369e-05, forward_time=0.151, loss_ctc=63.845, loss_att=49.764, acc=0.743, loss=53.989, backward_time=0.282, grad_norm=82.196, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.907e-05, train_time=1.337 -[gpua001:0/64] 2023-12-14 11:20:15,793 (trainer:737) INFO: 34epoch:train:8201-8300batch: iter_time=8.606e-05, forward_time=0.152, loss_ctc=72.182, loss_att=59.237, acc=0.728, loss=63.120, backward_time=0.301, grad_norm=79.802, clip=100.000, loss_scale=2.515e+31, optim_step_time=0.135, optim0_lr0=6.907e-05, train_time=1.658 -[gpua001:0/64] 2023-12-14 11:22:49,302 (trainer:737) INFO: 34epoch:train:8301-8400batch: iter_time=8.469e-05, forward_time=0.147, loss_ctc=64.186, loss_att=53.419, acc=0.731, loss=56.649, backward_time=0.335, grad_norm=142.341, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.906e-05, train_time=1.535 -[gpua001:0/64] 2023-12-14 11:25:06,033 (trainer:737) INFO: 34epoch:train:8401-8500batch: iter_time=8.119e-05, forward_time=0.150, loss_ctc=65.009, loss_att=47.463, acc=0.735, loss=52.727, backward_time=0.281, grad_norm=80.146, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.905e-05, train_time=1.367 -[gpua001:0/64] 2023-12-14 11:27:32,571 (trainer:737) INFO: 34epoch:train:8501-8600batch: iter_time=8.591e-05, forward_time=0.201, loss_ctc=59.720, loss_att=44.778, acc=0.745, loss=49.260, backward_time=0.300, grad_norm=72.954, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.905e-05, train_time=1.465 -[gpua001:0/64] 2023-12-14 11:29:58,602 (trainer:737) INFO: 34epoch:train:8601-8700batch: iter_time=9.908e-05, forward_time=0.172, loss_ctc=59.350, loss_att=49.105, acc=0.743, loss=52.179, backward_time=0.290, grad_norm=68.101, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.904e-05, train_time=1.460 -[gpua001:0/64] 2023-12-14 11:31:24,529 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua001:0/64] 2023-12-14 11:31:43,142 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-14 11:31:46,614 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-14 11:31:46,614 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua001:0/64] 2023-12-14 11:31:46,617 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-14 11:37:14,372 (trainer:737) INFO: 34epoch:train:8701-8800batch: iter_time=3.042, forward_time=0.173, loss_ctc=60.955, loss_att=51.145, acc=0.738, loss=54.088, backward_time=0.293, grad_norm=97.134, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.903e-05, train_time=4.357 -[gpua001:0/64] 2023-12-14 11:39:17,764 (trainer:737) INFO: 34epoch:train:8801-8900batch: iter_time=8.154e-05, forward_time=0.161, loss_ctc=67.228, loss_att=56.517, acc=0.714, loss=59.730, backward_time=0.296, grad_norm=69.154, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.902e-05, train_time=1.234 -[gpua001:0/64] 2023-12-14 11:41:45,719 (trainer:737) INFO: 34epoch:train:8901-9000batch: iter_time=8.343e-05, forward_time=0.150, loss_ctc=61.102, loss_att=44.310, acc=0.746, loss=49.348, backward_time=0.308, grad_norm=56.626, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.902e-05, train_time=1.479 -[gpua001:0/64] 2023-12-14 11:44:04,319 (trainer:737) INFO: 34epoch:train:9001-9100batch: iter_time=8.364e-05, forward_time=0.148, loss_ctc=74.392, loss_att=58.069, acc=0.715, loss=62.966, backward_time=0.288, grad_norm=81.633, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.901e-05, train_time=1.386 -[gpua001:0/64] 2023-12-14 11:46:38,499 (trainer:737) INFO: 34epoch:train:9101-9200batch: iter_time=8.434e-05, forward_time=0.148, loss_ctc=58.792, loss_att=44.381, acc=0.739, loss=48.705, backward_time=0.305, grad_norm=63.625, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.900e-05, train_time=1.542 -[gpua001:0/64] 2023-12-14 11:49:06,238 (trainer:737) INFO: 34epoch:train:9201-9300batch: iter_time=8.347e-05, forward_time=0.200, loss_ctc=63.450, loss_att=54.197, acc=0.712, loss=56.973, backward_time=0.298, grad_norm=66.207, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.900e-05, train_time=1.477 -[gpua001:0/64] 2023-12-14 11:51:30,907 (trainer:737) INFO: 34epoch:train:9301-9400batch: iter_time=8.256e-05, forward_time=0.188, loss_ctc=58.740, loss_att=45.497, acc=0.740, loss=49.470, backward_time=0.313, grad_norm=71.685, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.899e-05, train_time=1.447 -[gpua001:0/64] 2023-12-14 11:54:14,510 (trainer:737) INFO: 34epoch:train:9401-9500batch: iter_time=8.177e-05, forward_time=0.170, loss_ctc=69.877, loss_att=50.833, acc=0.739, loss=56.546, backward_time=0.324, grad_norm=70.537, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.898e-05, train_time=1.636 -[gpua001:0/64] 2023-12-14 11:56:44,265 (trainer:737) INFO: 34epoch:train:9501-9600batch: iter_time=8.470e-05, forward_time=0.147, loss_ctc=66.141, loss_att=59.451, acc=0.712, loss=61.458, backward_time=0.302, grad_norm=81.274, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.898e-05, train_time=1.498 -[gpua001:0/64] 2023-12-14 11:59:03,491 (trainer:737) INFO: 34epoch:train:9601-9700batch: iter_time=8.264e-05, forward_time=0.166, loss_ctc=69.888, loss_att=53.717, acc=0.720, loss=58.568, backward_time=0.306, grad_norm=71.456, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.897e-05, train_time=1.392 -[gpua001:0/64] 2023-12-14 12:01:38,678 (trainer:737) INFO: 34epoch:train:9701-9800batch: iter_time=8.743e-05, forward_time=0.158, loss_ctc=58.885, loss_att=45.140, acc=0.731, loss=49.264, backward_time=0.309, grad_norm=103.707, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.896e-05, train_time=1.551 -[gpua001:0/64] 2023-12-14 12:03:55,396 (trainer:737) INFO: 34epoch:train:9801-9900batch: iter_time=8.433e-05, forward_time=0.168, loss_ctc=57.054, loss_att=47.912, acc=0.733, loss=50.655, backward_time=0.296, grad_norm=62.688, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.896e-05, train_time=1.367 -[gpua001:0/64] 2023-12-14 12:06:36,001 (trainer:737) INFO: 34epoch:train:9901-10000batch: iter_time=8.024e-05, forward_time=0.153, loss_ctc=61.561, loss_att=46.946, acc=0.732, loss=51.330, backward_time=0.295, grad_norm=81.680, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.895e-05, train_time=1.606 -[gpua001:0/64] 2023-12-14 12:06:56,026 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua001:0/64] 2023-12-14 12:07:14,499 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-14 12:07:17,990 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-14 12:07:17,990 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua001:0/64] 2023-12-14 12:07:17,993 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-14 12:17:44,963 (trainer:737) INFO: 34epoch:train:10001-10100batch: iter_time=5.400, forward_time=0.201, loss_ctc=65.099, loss_att=56.366, acc=0.735, loss=58.986, backward_time=0.285, grad_norm=84.119, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.894e-05, train_time=6.689 -[gpua001:0/64] 2023-12-14 12:20:24,159 (trainer:737) INFO: 34epoch:train:10101-10200batch: iter_time=0.002, forward_time=0.414, loss_ctc=62.836, loss_att=46.560, acc=0.749, loss=51.442, backward_time=0.336, grad_norm=55.167, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.145, optim0_lr0=6.894e-05, train_time=1.591 -[gpua001:0/64] 2023-12-14 12:23:52,928 (trainer:737) INFO: 34epoch:train:10201-10300batch: iter_time=0.002, forward_time=0.353, loss_ctc=69.600, loss_att=54.439, acc=0.728, loss=58.987, backward_time=0.388, grad_norm=81.067, clip=100.000, loss_scale=5.030e+31, optim_step_time=0.143, optim0_lr0=6.893e-05, train_time=2.086 -[gpua001:0/64] 2023-12-14 12:26:49,005 (trainer:737) INFO: 34epoch:train:10301-10400batch: iter_time=0.005, forward_time=0.417, loss_ctc=62.852, loss_att=47.680, acc=0.728, loss=52.231, backward_time=0.374, grad_norm=77.466, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.153, optim0_lr0=6.892e-05, train_time=1.761 -[gpua001:0/64] 2023-12-14 12:29:40,083 (trainer:737) INFO: 34epoch:train:10401-10500batch: iter_time=7.590e-04, forward_time=0.273, loss_ctc=63.133, loss_att=52.341, acc=0.724, loss=55.579, backward_time=0.372, grad_norm=66.960, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.145, optim0_lr0=6.892e-05, train_time=1.711 -[gpua001:0/64] 2023-12-14 12:32:28,157 (trainer:737) INFO: 34epoch:train:10501-10600batch: iter_time=0.007, forward_time=0.439, loss_ctc=62.233, loss_att=51.017, acc=0.731, loss=54.382, backward_time=0.373, grad_norm=59.879, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.146, optim0_lr0=6.891e-05, train_time=1.676 -[gpua001:0/64] 2023-12-14 12:35:39,888 (trainer:737) INFO: 34epoch:train:10601-10700batch: iter_time=0.001, forward_time=0.437, loss_ctc=63.092, loss_att=49.460, acc=0.744, loss=53.550, backward_time=0.415, grad_norm=70.421, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.152, optim0_lr0=6.890e-05, train_time=1.917 -[gpua001:0/64] 2023-12-14 12:39:07,224 (trainer:737) INFO: 34epoch:train:10701-10800batch: iter_time=0.003, forward_time=0.637, loss_ctc=71.332, loss_att=58.660, acc=0.729, loss=62.462, backward_time=0.507, grad_norm=62.078, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.153, optim0_lr0=6.890e-05, train_time=2.070 -[gpua001:0/64] 2023-12-14 12:42:23,502 (trainer:737) INFO: 34epoch:train:10801-10900batch: iter_time=0.001, forward_time=0.491, loss_ctc=64.201, loss_att=53.654, acc=0.731, loss=56.818, backward_time=0.398, grad_norm=68.768, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.149, optim0_lr0=6.889e-05, train_time=1.961 -[gpua001:0/64] 2023-12-14 12:44:57,759 (trainer:737) INFO: 34epoch:train:10901-11000batch: iter_time=8.864e-05, forward_time=0.148, loss_ctc=64.279, loss_att=47.295, acc=0.737, loss=52.390, backward_time=0.286, grad_norm=72.384, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=6.888e-05, train_time=1.545 -[gpua001:0/64] 2023-12-14 12:45:00,142 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-14 12:47:57,288 (trainer:737) INFO: 34epoch:train:11001-11100batch: iter_time=9.007e-05, forward_time=0.148, loss_ctc=59.467, loss_att=44.421, acc=0.746, loss=48.935, backward_time=0.338, grad_norm=104.151, clip=100.000, loss_scale=4.097e+31, optim_step_time=0.135, optim0_lr0=6.887e-05, train_time=1.795 -[gpua001:0/64] 2023-12-14 12:50:38,724 (trainer:737) INFO: 34epoch:train:11101-11200batch: iter_time=6.969e-04, forward_time=0.280, loss_ctc=59.362, loss_att=49.550, acc=0.741, loss=52.494, backward_time=0.318, grad_norm=60.117, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.150, optim0_lr0=6.887e-05, train_time=1.613 -[gpua001:0/64] 2023-12-14 12:52:01,173 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua001:0/64] 2023-12-14 12:52:20,143 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-14 12:52:23,673 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-14 12:52:23,673 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua001:0/64] 2023-12-14 12:52:23,677 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-14 12:57:53,126 (trainer:737) INFO: 34epoch:train:11201-11300batch: iter_time=3.052, forward_time=0.194, loss_ctc=60.618, loss_att=49.772, acc=0.746, loss=53.026, backward_time=0.284, grad_norm=60.293, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.886e-05, train_time=4.344 -[gpua001:0/64] 2023-12-14 13:00:25,367 (trainer:737) INFO: 34epoch:train:11301-11400batch: iter_time=8.650e-05, forward_time=0.150, loss_ctc=67.396, loss_att=55.130, acc=0.730, loss=58.810, backward_time=0.364, grad_norm=68.315, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.885e-05, train_time=1.522 -[gpua001:0/64] 2023-12-14 13:03:07,117 (trainer:737) INFO: 34epoch:train:11401-11500batch: iter_time=5.254e-04, forward_time=0.205, loss_ctc=61.457, loss_att=44.709, acc=0.749, loss=49.733, backward_time=0.372, grad_norm=52.941, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.885e-05, train_time=1.617 -[gpua001:0/64] 2023-12-14 13:05:38,432 (trainer:737) INFO: 34epoch:train:11501-11600batch: iter_time=7.990e-05, forward_time=0.147, loss_ctc=74.078, loss_att=58.320, acc=0.717, loss=63.047, backward_time=0.301, grad_norm=72.381, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.884e-05, train_time=1.513 -[gpua001:0/64] 2023-12-14 13:08:13,717 (trainer:737) INFO: 34epoch:train:11601-11700batch: iter_time=8.343e-05, forward_time=0.148, loss_ctc=58.546, loss_att=44.230, acc=0.743, loss=48.524, backward_time=0.323, grad_norm=56.998, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.883e-05, train_time=1.553 -[gpua001:0/64] 2023-12-14 13:11:06,489 (trainer:737) INFO: 34epoch:train:11701-11800batch: iter_time=8.598e-05, forward_time=0.210, loss_ctc=63.416, loss_att=54.019, acc=0.721, loss=56.838, backward_time=0.325, grad_norm=74.636, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.883e-05, train_time=1.727 -[gpua001:0/64] 2023-12-14 13:13:32,908 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-14 13:13:49,846 (trainer:737) INFO: 34epoch:train:11801-11900batch: iter_time=8.686e-05, forward_time=0.148, loss_ctc=58.058, loss_att=45.009, acc=0.747, loss=48.924, backward_time=0.304, grad_norm=85.643, clip=100.000, loss_scale=3.831e+31, optim_step_time=0.135, optim0_lr0=6.882e-05, train_time=1.633 -[gpua001:0/64] 2023-12-14 13:16:52,341 (trainer:737) INFO: 34epoch:train:11901-12000batch: iter_time=5.012e-04, forward_time=0.202, loss_ctc=69.200, loss_att=52.098, acc=0.739, loss=57.229, backward_time=0.421, grad_norm=78.142, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=6.881e-05, train_time=1.824 -[gpua001:0/64] 2023-12-14 13:19:24,674 (trainer:737) INFO: 34epoch:train:12001-12100batch: iter_time=0.002, forward_time=0.255, loss_ctc=66.000, loss_att=59.243, acc=0.725, loss=61.270, backward_time=0.315, grad_norm=82.335, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=6.881e-05, train_time=1.524 -[gpua001:0/64] 2023-12-14 13:22:06,159 (trainer:737) INFO: 34epoch:train:12101-12200batch: iter_time=8.724e-05, forward_time=0.296, loss_ctc=69.772, loss_att=54.176, acc=0.732, loss=58.855, backward_time=0.367, grad_norm=80.201, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.155, optim0_lr0=6.880e-05, train_time=1.615 -[gpua001:0/64] 2023-12-14 13:23:09,544 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-14 13:24:47,111 (trainer:737) INFO: 34epoch:train:12201-12300batch: iter_time=9.231e-04, forward_time=0.213, loss_ctc=58.878, loss_att=44.489, acc=0.742, loss=48.806, backward_time=0.355, grad_norm=67.529, clip=100.000, loss_scale=1.465e+31, optim_step_time=0.138, optim0_lr0=6.879e-05, train_time=1.609 -[gpua001:0/64] 2023-12-14 13:27:49,097 (trainer:737) INFO: 34epoch:train:12301-12400batch: iter_time=2.484e-04, forward_time=0.191, loss_ctc=56.452, loss_att=46.517, acc=0.743, loss=49.498, backward_time=0.369, grad_norm=74.000, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.141, optim0_lr0=6.879e-05, train_time=1.820 -[gpua001:0/64] 2023-12-14 13:31:23,544 (trainer:737) INFO: 34epoch:train:12401-12500batch: iter_time=0.002, forward_time=0.425, loss_ctc=61.931, loss_att=47.831, acc=0.741, loss=52.061, backward_time=0.346, grad_norm=89.827, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.156, optim0_lr0=6.878e-05, train_time=2.140 -[gpua001:0/64] 2023-12-14 13:31:43,918 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua001:0/64] 2023-12-14 13:32:02,481 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-14 13:32:05,959 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-14 13:32:05,959 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua001:0/64] 2023-12-14 13:32:05,963 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-14 13:39:05,955 (trainer:737) INFO: 34epoch:train:12501-12600batch: iter_time=3.355, forward_time=0.181, loss_ctc=65.036, loss_att=57.704, acc=0.725, loss=59.904, backward_time=0.282, grad_norm=108.859, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.877e-05, train_time=4.626 -[gpua001:0/64] 2023-12-14 13:41:28,871 (trainer:737) INFO: 34epoch:train:12601-12700batch: iter_time=8.733e-05, forward_time=0.148, loss_ctc=62.808, loss_att=46.516, acc=0.743, loss=51.403, backward_time=0.281, grad_norm=107.449, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.877e-05, train_time=1.429 -[gpua001:0/64] 2023-12-14 13:44:17,506 (trainer:737) INFO: 34epoch:train:12701-12800batch: iter_time=8.436e-05, forward_time=0.278, loss_ctc=69.221, loss_att=53.841, acc=0.731, loss=58.455, backward_time=0.369, grad_norm=72.050, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.144, optim0_lr0=6.876e-05, train_time=1.686 -[gpua001:0/64] 2023-12-14 13:47:14,468 (trainer:737) INFO: 34epoch:train:12801-12900batch: iter_time=9.004e-05, forward_time=0.150, loss_ctc=62.848, loss_att=47.354, acc=0.727, loss=52.002, backward_time=0.301, grad_norm=132.175, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.875e-05, train_time=1.769 -[gpua001:0/64] 2023-12-14 13:49:42,204 (trainer:737) INFO: 34epoch:train:12901-13000batch: iter_time=9.056e-05, forward_time=0.147, loss_ctc=62.806, loss_att=52.552, acc=0.721, loss=55.628, backward_time=0.321, grad_norm=62.246, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.875e-05, train_time=1.477 -[gpua001:0/64] 2023-12-14 13:52:22,444 (trainer:737) INFO: 34epoch:train:13001-13100batch: iter_time=8.672e-05, forward_time=0.147, loss_ctc=62.253, loss_att=50.827, acc=0.721, loss=54.255, backward_time=0.343, grad_norm=70.922, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.874e-05, train_time=1.602 -[gpua001:0/64] 2023-12-14 13:55:17,521 (trainer:737) INFO: 34epoch:train:13101-13200batch: iter_time=8.712e-05, forward_time=0.253, loss_ctc=63.124, loss_att=48.903, acc=0.744, loss=53.169, backward_time=0.361, grad_norm=69.752, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.143, optim0_lr0=6.873e-05, train_time=1.751 -[gpua001:0/64] 2023-12-14 13:58:05,322 (trainer:737) INFO: 34epoch:train:13201-13300batch: iter_time=8.499e-05, forward_time=0.147, loss_ctc=71.253, loss_att=56.693, acc=0.726, loss=61.061, backward_time=0.297, grad_norm=69.442, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.873e-05, train_time=1.678 -[gpua001:0/64] 2023-12-14 14:00:55,255 (trainer:737) INFO: 34epoch:train:13301-13400batch: iter_time=8.376e-05, forward_time=0.149, loss_ctc=63.519, loss_att=52.988, acc=0.721, loss=56.147, backward_time=0.335, grad_norm=73.889, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.872e-05, train_time=1.699 -[gpua001:0/64] 2023-12-14 14:03:46,405 (trainer:737) INFO: 34epoch:train:13401-13500batch: iter_time=8.609e-05, forward_time=0.147, loss_ctc=64.463, loss_att=47.567, acc=0.729, loss=52.636, backward_time=0.387, grad_norm=74.206, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.871e-05, train_time=1.711 -[gpua001:0/64] 2023-12-14 14:06:15,752 (trainer:737) INFO: 34epoch:train:13501-13600batch: iter_time=9.136e-05, forward_time=0.235, loss_ctc=59.613, loss_att=45.862, acc=0.732, loss=49.987, backward_time=0.310, grad_norm=73.956, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.871e-05, train_time=1.493 -[gpua001:0/64] 2023-12-14 14:08:36,250 (trainer:737) INFO: 34epoch:train:13601-13700batch: iter_time=8.801e-05, forward_time=0.148, loss_ctc=59.043, loss_att=48.619, acc=0.740, loss=51.746, backward_time=0.293, grad_norm=63.744, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.870e-05, train_time=1.405 -[gpua001:0/64] 2023-12-14 14:10:13,180 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua001:0/64] 2023-12-14 14:10:31,985 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-14 14:10:35,528 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-14 14:10:35,528 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua001:0/64] 2023-12-14 14:10:35,531 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-14 14:15:55,094 (trainer:737) INFO: 34epoch:train:13701-13800batch: iter_time=2.967, forward_time=0.179, loss_ctc=60.743, loss_att=50.171, acc=0.735, loss=53.342, backward_time=0.296, grad_norm=91.409, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.869e-05, train_time=4.388 -[gpua001:0/64] 2023-12-14 14:18:02,496 (trainer:737) INFO: 34epoch:train:13801-13900batch: iter_time=0.006, forward_time=0.158, loss_ctc=66.649, loss_att=54.889, acc=0.722, loss=58.417, backward_time=0.281, grad_norm=74.200, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.869e-05, train_time=1.273 -[gpua001:0/64] 2023-12-14 14:20:39,282 (trainer:737) INFO: 34epoch:train:13901-14000batch: iter_time=9.474e-05, forward_time=0.260, loss_ctc=60.584, loss_att=43.775, acc=0.749, loss=48.818, backward_time=0.346, grad_norm=64.067, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.140, optim0_lr0=6.868e-05, train_time=1.568 -[gpua001:0/64] 2023-12-14 14:23:04,960 (trainer:737) INFO: 34epoch:train:14001-14100batch: iter_time=1.027e-04, forward_time=0.149, loss_ctc=74.037, loss_att=57.415, acc=0.718, loss=62.401, backward_time=0.294, grad_norm=77.220, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.867e-05, train_time=1.456 -[gpua001:0/64] 2023-12-14 14:25:31,191 (trainer:737) INFO: 34epoch:train:14101-14200batch: iter_time=9.623e-05, forward_time=0.178, loss_ctc=58.006, loss_att=43.551, acc=0.742, loss=47.888, backward_time=0.294, grad_norm=63.253, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.866e-05, train_time=1.462 -[gpua001:0/64] 2023-12-14 14:27:51,344 (trainer:737) INFO: 34epoch:train:14201-14300batch: iter_time=8.831e-05, forward_time=0.240, loss_ctc=62.937, loss_att=53.447, acc=0.714, loss=56.294, backward_time=0.322, grad_norm=66.694, clip=100.000, loss_scale=1.572e+31, optim_step_time=0.138, optim0_lr0=6.866e-05, train_time=1.401 -[gpua001:0/64] 2023-12-14 14:30:31,190 (trainer:737) INFO: 34epoch:train:14301-14400batch: iter_time=8.335e-05, forward_time=0.147, loss_ctc=58.008, loss_att=44.957, acc=0.743, loss=48.872, backward_time=0.284, grad_norm=62.087, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.865e-05, train_time=1.599 -[gpua001:0/64] 2023-12-14 14:33:24,144 (trainer:737) INFO: 34epoch:train:14401-14500batch: iter_time=8.588e-05, forward_time=0.154, loss_ctc=69.489, loss_att=50.562, acc=0.740, loss=56.240, backward_time=0.310, grad_norm=68.005, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.864e-05, train_time=1.729 -[gpua001:0/64] 2023-12-14 14:36:20,674 (trainer:737) INFO: 34epoch:train:14501-14600batch: iter_time=9.531e-05, forward_time=0.235, loss_ctc=65.852, loss_att=59.537, acc=0.713, loss=61.432, backward_time=0.318, grad_norm=64.712, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=6.864e-05, train_time=1.763 -[gpua001:0/64] 2023-12-14 14:39:09,721 (trainer:737) INFO: 34epoch:train:14601-14700batch: iter_time=9.591e-05, forward_time=0.164, loss_ctc=69.343, loss_att=53.178, acc=0.723, loss=58.027, backward_time=0.347, grad_norm=89.774, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.863e-05, train_time=1.692 -[gpua001:0/64] 2023-12-14 14:41:20,689 (trainer:737) INFO: 34epoch:train:14701-14800batch: iter_time=9.333e-05, forward_time=0.153, loss_ctc=58.873, loss_att=45.011, acc=0.731, loss=49.170, backward_time=0.299, grad_norm=82.303, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.862e-05, train_time=1.310 -[gpua001:0/64] 2023-12-14 14:43:35,240 (trainer:737) INFO: 34epoch:train:14801-14900batch: iter_time=9.534e-05, forward_time=0.174, loss_ctc=56.751, loss_att=48.077, acc=0.732, loss=50.679, backward_time=0.287, grad_norm=68.728, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.862e-05, train_time=1.345 -[gpua001:0/64] 2023-12-14 14:46:04,741 (trainer:737) INFO: 34epoch:train:14901-15000batch: iter_time=9.566e-05, forward_time=0.242, loss_ctc=61.599, loss_att=46.800, acc=0.733, loss=51.240, backward_time=0.314, grad_norm=75.493, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.861e-05, train_time=1.494 -[gpua001:0/64] 2023-12-14 15:13:45,371 (trainer:343) INFO: 34epoch results: [train] iter_time=0.254, forward_time=0.188, loss_ctc=64.196, loss_att=51.014, acc=0.730, loss=54.969, backward_time=0.310, grad_norm=76.156, clip=100.000, loss_scale=3.303e+31, optim_step_time=0.137, optim0_lr0=6.912e-05, train_time=1.767, time=7 hours, 22 minutes and 14.34 seconds, total_count=510000, gpu_max_cached_mem_GB=38.227, [valid] loss_ctc=33.912, cer_ctc=0.176, loss_att=34.593, acc=0.719, cer=0.240, wer=0.990, loss=34.389, time=27 minutes and 14.83 seconds, total_count=158814, gpu_max_cached_mem_GB=38.227 -[gpua001:0/64] 2023-12-14 15:14:05,744 (trainer:391) INFO: The best model has been updated: valid.total_count -[gpua001:0/64] 2023-12-14 15:14:05,753 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/29epoch.pth -[gpua001:0/64] 2023-12-14 15:14:05,755 (trainer:272) INFO: 35/40epoch started. Estimated time to finish: 2 days, 1 hour and 22 minutes -[gpua001:0/64] 2023-12-14 15:14:06,540 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua001:0/64] 2023-12-14 15:14:24,405 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-14 15:14:27,802 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-14 15:14:27,802 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua001:0/64] 2023-12-14 15:14:27,806 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -srun: Job step aborted: Waiting up to 32 seconds for job step to finish. -slurmstepd: error: *** STEP 2746992.0 ON gpua001 CANCELLED AT 2023-12-14T15:15:15 *** diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.5.log b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.5.log deleted file mode 100644 index 28fc836aa84fed3df9dee29ae5293e36dd8258eb..0000000000000000000000000000000000000000 --- a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.5.log +++ /dev/null @@ -1,3809 +0,0 @@ -# Running on gpua001.delta.ncsa.illinois.edu -# Started at Mon Dec 11 10:45:14 CST 2023 -# SLURMD_NODENAME=gpua001 -# SLURM_CLUSTER_NAME=delta -# SLURM_CONF=/var/spool/slurmd/conf-cache/slurm.conf -# SLURM_CPUS_ON_NODE=64 -# SLURM_CPUS_PER_TASK=64 -# SLURM_EXPORT_ENV=PATH -# SLURM_GET_USER_ENV=1 -# SLURM_GPUS_ON_NODE=4 -# SLURM_GTIDS=0 -# SLURM_JOBID=2744254 -# SLURM_JOB_ACCOUNT=bbjs-delta-gpu -# SLURM_JOB_CPUS_PER_NODE='64(x16)' -# SLURM_JOB_END_TIME=1702485895 -# SLURM_JOB_GID=202 -# SLURM_JOB_GPUS=0,1,2,3 -# SLURM_JOB_ID=2744254 -# SLURM_JOB_NAME=exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.log -# SLURM_JOB_NODELIST='gpua[001,006-008,031,033-034,037,046-047,056-057,082,091,093-094]' -# SLURM_JOB_NUM_NODES=16 -# SLURM_JOB_PARTITION=gpuA100x4 -# SLURM_JOB_QOS=bbjs-delta-gpu -# SLURM_JOB_START_TIME=1702313095 -# SLURM_JOB_UID=68077 -# SLURM_JOB_USER=peng6 -# SLURM_LOCALID=0 -# SLURM_MEM_PER_NODE=240000 -# SLURM_NNODES=16 -# SLURM_NODEID=0 -# SLURM_NODELIST='gpua[001,006-008,031,033-034,037,046-047,056-057,082,091,093-094]' -# SLURM_NODE_ALIASES='(null)' -# SLURM_OPEN_MODE=a -# SLURM_PRIO_PROCESS=0 -# SLURM_PROCID=0 -# SLURM_SUBMIT_DIR=/scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1 -# SLURM_SUBMIT_HOST=dt-login01.delta.ncsa.illinois.edu -# SLURM_TASKS_PER_NODE='1(x16)' -# SLURM_TASK_PID=1989186 -# SLURM_TOPOLOGY_ADDR=ss00.ss05.gpua001 -# SLURM_TOPOLOGY_ADDR_PATTERN=switch.switch.node -# SLURM_WORKING_CLUSTER=delta:dt-sched:6817:9984:109 -# srun --export=ALL python3 -m espnet2.bin.s2t_train --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 -/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 -[gpua001:0/64] 2023-12-11 10:50:54,853 (distributed_c10d:319) INFO: Added key: store_based_barrier_key:1 to store for rank: 0 -[gpua001:0/64] 2023-12-11 10:50:55,707 (distributed_c10d:353) INFO: Rank 0: Completed store-based barrier for key:store_based_barrier_key:1 with 64 nodes. -[gpua001:0/64] 2023-12-11 10:50:55,739 (s2t:464) INFO: Vocabulary size: 50002 -[gpua001:0/64] 2023-12-11 10:51:10,180 (abs_task:1231) INFO: pytorch.version=1.13.1, cuda.available=True, cudnn.version=8500, cudnn.benchmark=False, cudnn.deterministic=True -[gpua001:0/64] 2023-12-11 10:51:10,194 (abs_task:1232) INFO: Model structure: -ESPnetS2TModel( - (frontend): DefaultFrontend( - (stft): Stft(n_fft=512, win_length=400, hop_length=160, center=True, normalized=False, onesided=True) - (frontend): Frontend() - (logmel): LogMel(sr=16000, n_fft=512, n_mels=80, fmin=0, fmax=8000.0, htk=False) - ) - (specaug): SpecAug( - (freq_mask): MaskAlongAxis(mask_width_range=[0, 27], num_mask=2, axis=freq) - (time_mask): MaskAlongAxisVariableMaxWidth(mask_width_ratio_range=[0.0, 0.05], num_mask=10, axis=time) - ) - (normalize): GlobalMVN(stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz, norm_means=True, norm_vars=True) - (encoder): EBranchformerEncoder( - (embed): Conv2dSubsampling( - (conv): Sequential( - (0): Conv2d(1, 1024, kernel_size=(3, 3), stride=(2, 2)) - (1): ReLU() - (2): Conv2d(1024, 1024, kernel_size=(3, 3), stride=(2, 2)) - (3): ReLU() - ) - (out): Sequential( - (0): Linear(in_features=19456, out_features=1024, bias=True) - (1): PositionalEncoding( - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - ) - (encoders): MultiSequential( - (0): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (1): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (2): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (3): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (4): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (5): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (6): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (7): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (8): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (9): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (10): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (11): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (12): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (13): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (14): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (15): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (16): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (17): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - ) - (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - ) - (decoder): TransformerDecoder( - (embed): Sequential( - (0): Embedding(50002, 1024) - (1): PositionalEncoding( - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (output_layer): Linear(in_features=1024, out_features=50002, bias=True) - (decoders): MultiSequential( - (0): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (1): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (2): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (3): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (4): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (5): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (6): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (7): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (8): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (9): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (10): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (11): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (12): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (13): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (14): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (15): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (16): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (17): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - ) - (criterion_att): LabelSmoothingLoss( - (criterion): KLDivLoss() - ) - (ctc): CTC( - (ctc_lo): Linear(in_features=1024, out_features=50002, bias=True) - (ctc_loss): CTCLoss() - ) -) - -Model summary: - Class Name: ESPnetS2TModel - Total Number of model parameters: 1.02 B - Number of trainable parameters: 1.02 B (100.0%) - Size: 4.07 GB - Type: torch.float32 -[gpua001:0/64] 2023-12-11 10:51:10,194 (abs_task:1235) INFO: Optimizer: -AdamW ( -Parameter Group 0 - amsgrad: False - betas: [0.9, 0.98] - capturable: False - eps: 1e-06 - foreach: None - initial_lr: 0.0002 - lr: 1.6666666666666667e-09 - maximize: False - weight_decay: 0.0 -) -[gpua001:0/64] 2023-12-11 10:51:10,194 (abs_task:1236) INFO: Scheduler: PiecewiseLinearWarmupLR(warmup_steps_list=[0, 30000, 60000], warmup_lr_list=[0.0, 5e-05, 0.0002]) -[gpua001:0/64] 2023-12-11 10:51:10,211 (abs_task:1245) INFO: Saving the configuration in exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/config.yaml -[gpua001:0/64] 2023-12-11 10:51:15,539 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-11 10:51:16,443 (abs_task:1616) INFO: [valid] dataset: -ESPnetDataset( - speech: {"path": "dump/raw/dev_v3/wav.scp", "type": "kaldi_ark"} - text_prev: {"path": "dump/raw/dev_v3/text.prev", "type": "text"} - text_ctc: {"path": "dump/raw/dev_v3/text.ctc", "type": "text"} - text: {"path": "dump/raw/dev_v3/text", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-11 10:51:16,443 (abs_task:1617) INFO: [valid] Batch sampler: UnsortedBatchSampler(N-batch=4671, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/valid/speech_shape, -[gpua001:0/64] 2023-12-11 10:51:16,444 (abs_task:1618) INFO: [valid] mini-batch sizes summary: N-batch=4671, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-11 10:51:45,894 (trainer:159) INFO: The training was resumed using exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/checkpoint.pth -gpua001:1989293:1989293 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.1<0> -gpua001:1989293:1989293 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua001:1989293:1989293 [0] NCCL INFO cudaDriverVersion 12020 -NCCL version 2.14.3+cuda11.7 -[gpua001:0/64] 2023-12-11 10:51:53,165 (trainer:284) INFO: 26/40epoch started -[gpua001:0/64] 2023-12-11 10:51:53,224 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua001:0/64] 2023-12-11 10:52:10,654 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-11 10:52:13,929 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-11 10:52:13,929 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua001:0/64] 2023-12-11 10:52:13,932 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -gpua034:2843969:2843969 [1] NCCL INFO cudaDriverVersion 12020 -gpua034:2843969:2843969 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.34<0> -gpua034:2843969:2843969 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua034:2843969:2844045 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.34<0> -gpua034:2843969:2844045 [1] NCCL INFO Using network IB -gpua034:2843969:2844045 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua034:2843969:2844045 [1] NCCL INFO Trees [0] 26/20/-1->25->24 [1] 26/-1/-1->25->24 -gpua034:2843969:2844045 [1] NCCL INFO Channel 00/0 : 25[46000] -> 26[85000] via P2P/IPC/read -gpua034:2843969:2844045 [1] NCCL INFO Channel 01/0 : 25[46000] -> 26[85000] via P2P/IPC/read -gpua034:2843969:2844045 [1] NCCL INFO Connected all rings -gpua034:2843969:2844045 [1] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [receive] via NET/IB/0 -gpua034:2843969:2844045 [1] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [send] via NET/IB/0 -gpua034:2843969:2844045 [1] NCCL INFO Channel 00/0 : 25[46000] -> 24[7000] via P2P/IPC/read -gpua034:2843969:2844045 [1] NCCL INFO Channel 01/0 : 25[46000] -> 24[7000] via P2P/IPC/read -gpua034:2843969:2844045 [1] NCCL INFO Connected all trees -gpua034:2843969:2844045 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua034:2843969:2844045 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua034:2843969:2844045 [1] NCCL INFO comm 0x9c6f7370 rank 25 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua034:2843971:2843971 [3] NCCL INFO cudaDriverVersion 12020 -gpua034:2843971:2843971 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.34<0> -gpua034:2843971:2843971 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua034:2843971:2844046 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.34<0> -gpua034:2843971:2844046 [3] NCCL INFO Using network IB -gpua034:2843971:2844046 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua034:2843971:2844046 [3] NCCL INFO Trees [0] -1/-1/-1->27->26 [1] -1/-1/-1->27->26 -gpua034:2843971:2844046 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 -gpua034:2843971:2844046 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 -gpua034:2843971:2844046 [3] NCCL INFO Connected all rings -gpua034:2843971:2844046 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 26[85000] via P2P/IPC/read -gpua034:2843971:2844046 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 26[85000] via P2P/IPC/read -gpua034:2843971:2844046 [3] NCCL INFO Connected all trees -gpua034:2843971:2844046 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua034:2843971:2844046 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua034:2843971:2844046 [3] NCCL INFO comm 0x17504330 rank 27 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua034:2843968:2843968 [0] NCCL INFO cudaDriverVersion 12020 -gpua034:2843968:2843968 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.34<0> -gpua034:2843968:2843968 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua034:2843968:2844047 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.34<0> -gpua034:2843968:2844047 [0] NCCL INFO Using network IB -gpua034:2843968:2844047 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua034:2843968:2844047 [0] NCCL INFO Trees [0] 25/28/-1->24->16 [1] 25/-1/-1->24->21 -gpua034:2843968:2844047 [0] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 -gpua034:2843968:2844047 [0] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 -gpua034:2843968:2844047 [0] NCCL INFO Channel 00/0 : 24[7000] -> 25[46000] via P2P/IPC/read -gpua034:2843968:2844047 [0] NCCL INFO Channel 01/0 : 24[7000] -> 25[46000] via P2P/IPC/read -gpua034:2843968:2844047 [0] NCCL INFO Connected all rings -gpua034:2843968:2844047 [0] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [receive] via NET/IB/0 -gpua034:2843968:2844047 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [send] via NET/IB/0 -gpua034:2843968:2844047 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [receive] via NET/IB/0 -gpua034:2843968:2844047 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [send] via NET/IB/0 -gpua034:2843968:2844047 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [receive] via NET/IB/0 -gpua034:2843968:2844047 [0] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [send] via NET/IB/0 -gpua034:2843968:2844047 [0] NCCL INFO Connected all trees -gpua034:2843968:2844047 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua034:2843968:2844047 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua034:2843968:2844047 [0] NCCL INFO comm 0xf0dda50 rank 24 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua034:2843970:2843970 [2] NCCL INFO cudaDriverVersion 12020 -gpua034:2843970:2843970 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.34<0> -gpua034:2843970:2843970 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua034:2843970:2844044 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.34<0> -gpua034:2843970:2844044 [2] NCCL INFO Using network IB -gpua034:2843970:2844044 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua034:2843970:2844044 [2] NCCL INFO Trees [0] 27/-1/-1->26->25 [1] 27/-1/-1->26->25 -gpua034:2843970:2844044 [2] NCCL INFO Channel 00/0 : 26[85000] -> 27[c7000] via P2P/IPC/read -gpua034:2843970:2844044 [2] NCCL INFO Channel 01/0 : 26[85000] -> 27[c7000] via P2P/IPC/read -gpua034:2843970:2844044 [2] NCCL INFO Connected all rings -gpua034:2843970:2844044 [2] NCCL INFO Channel 00/0 : 26[85000] -> 25[46000] via P2P/IPC/read -gpua034:2843970:2844044 [2] NCCL INFO Channel 01/0 : 26[85000] -> 25[46000] via P2P/IPC/read -gpua034:2843970:2844044 [2] NCCL INFO Connected all trees -gpua034:2843970:2844044 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua034:2843970:2844044 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua034:2843970:2844044 [2] NCCL INFO comm 0x30e0a8f0 rank 26 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua046:1095498:1095498 [3] NCCL INFO cudaDriverVersion 12020 -gpua046:1095498:1095498 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.46<0> -gpua046:1095498:1095498 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua046:1095498:1095569 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.46<0> -gpua046:1095498:1095569 [3] NCCL INFO Using network IB -gpua046:1095498:1095569 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua046:1095498:1095569 [3] NCCL INFO Trees [0] -1/-1/-1->35->34 [1] -1/-1/-1->35->34 -gpua046:1095498:1095569 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 -gpua046:1095498:1095569 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 -gpua046:1095498:1095569 [3] NCCL INFO Connected all rings -gpua046:1095498:1095569 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 34[85000] via P2P/IPC/read -gpua046:1095498:1095569 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 34[85000] via P2P/IPC/read -gpua046:1095498:1095569 [3] NCCL INFO Connected all trees -gpua046:1095498:1095569 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua046:1095498:1095569 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua046:1095498:1095569 [3] NCCL INFO comm 0xfb708d0 rank 35 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua091:609432:609432 [0] NCCL INFO cudaDriverVersion 12020 -gpua091:609432:609432 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.91<0> -gpua091:609432:609432 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua091:609432:609503 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.91<0> -gpua091:609432:609503 [0] NCCL INFO Using network IB -gpua091:609432:609503 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua091:609432:609503 [0] NCCL INFO Trees [0] 53/-1/-1->52->57 [1] 53/48/-1->52->45 -gpua091:609432:609503 [0] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 -gpua091:609432:609503 [0] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 -gpua091:609432:609503 [0] NCCL INFO Channel 00/0 : 52[7000] -> 53[46000] via P2P/IPC/read -gpua091:609432:609503 [0] NCCL INFO Channel 01/0 : 52[7000] -> 53[46000] via P2P/IPC/read -gpua091:609432:609503 [0] NCCL INFO Connected all rings -gpua091:609432:609503 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [receive] via NET/IB/0 -gpua091:609432:609503 [0] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [send] via NET/IB/0 -gpua091:609432:609503 [0] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [receive] via NET/IB/0 -gpua091:609432:609503 [0] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [send] via NET/IB/0 -gpua091:609432:609503 [0] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [receive] via NET/IB/0 -gpua091:609432:609503 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [send] via NET/IB/0 -gpua091:609432:609503 [0] NCCL INFO Connected all trees -gpua091:609432:609503 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua091:609432:609503 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua091:609432:609503 [0] NCCL INFO comm 0xe8f6ae60 rank 52 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua091:609433:609433 [1] NCCL INFO cudaDriverVersion 12020 -gpua091:609433:609433 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.91<0> -gpua091:609433:609433 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua091:609433:609505 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.91<0> -gpua091:609433:609505 [1] NCCL INFO Using network IB -gpua091:609433:609505 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua091:609433:609505 [1] NCCL INFO Trees [0] 54/-1/-1->53->52 [1] 54/56/-1->53->52 -gpua091:609433:609505 [1] NCCL INFO Channel 00/0 : 53[46000] -> 54[85000] via P2P/IPC/read -gpua091:609433:609505 [1] NCCL INFO Channel 01/0 : 53[46000] -> 54[85000] via P2P/IPC/read -gpua091:609433:609505 [1] NCCL INFO Connected all rings -gpua091:609433:609505 [1] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [send] via NET/IB/0 -gpua091:609433:609505 [1] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [receive] via NET/IB/0 -gpua091:609433:609505 [1] NCCL INFO Channel 00/0 : 53[46000] -> 52[7000] via P2P/IPC/read -gpua091:609433:609505 [1] NCCL INFO Channel 01/0 : 53[46000] -> 52[7000] via P2P/IPC/read -gpua091:609433:609505 [1] NCCL INFO Connected all trees -gpua091:609433:609505 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua091:609433:609505 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua091:609433:609505 [1] NCCL INFO comm 0xe148f20 rank 53 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua091:609434:609434 [2] NCCL INFO cudaDriverVersion 12020 -gpua091:609434:609434 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.91<0> -gpua091:609434:609434 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua091:609434:609506 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.91<0> -gpua091:609434:609506 [2] NCCL INFO Using network IB -gpua091:609434:609506 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua091:609434:609506 [2] NCCL INFO Trees [0] 55/-1/-1->54->53 [1] 55/-1/-1->54->53 -gpua091:609434:609506 [2] NCCL INFO Channel 00/0 : 54[85000] -> 55[c7000] via P2P/IPC/read -gpua091:609434:609506 [2] NCCL INFO Channel 01/0 : 54[85000] -> 55[c7000] via P2P/IPC/read -gpua091:609434:609506 [2] NCCL INFO Connected all rings -gpua091:609434:609506 [2] NCCL INFO Channel 00/0 : 54[85000] -> 53[46000] via P2P/IPC/read -gpua091:609434:609506 [2] NCCL INFO Channel 01/0 : 54[85000] -> 53[46000] via P2P/IPC/read -gpua091:609434:609506 [2] NCCL INFO Connected all trees -gpua091:609434:609506 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua091:609434:609506 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua091:609434:609506 [2] NCCL INFO comm 0x90ff44f0 rank 54 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua093:765100:765100 [2] NCCL INFO cudaDriverVersion 12020 -gpua093:765100:765100 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.93<0> -gpua093:765100:765100 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua093:765100:765178 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.93<0> -gpua093:765100:765178 [2] NCCL INFO Using network IB -gpua093:765100:765178 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua093:765100:765178 [2] NCCL INFO Trees [0] 59/-1/-1->58->57 [1] 59/-1/-1->58->57 -gpua093:765100:765178 [2] NCCL INFO Channel 00/0 : 58[85000] -> 59[c7000] via P2P/IPC/read -gpua093:765100:765178 [2] NCCL INFO Channel 01/0 : 58[85000] -> 59[c7000] via P2P/IPC/read -gpua093:765100:765178 [2] NCCL INFO Connected all rings -gpua093:765100:765178 [2] NCCL INFO Channel 00/0 : 58[85000] -> 57[46000] via P2P/IPC/read -gpua093:765100:765178 [2] NCCL INFO Channel 01/0 : 58[85000] -> 57[46000] via P2P/IPC/read -gpua093:765100:765178 [2] NCCL INFO Connected all trees -gpua093:765100:765178 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua093:765100:765178 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua093:765100:765178 [2] NCCL INFO comm 0xe6014860 rank 58 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua031:1028650:1028650 [2] NCCL INFO cudaDriverVersion 12020 -gpua031:1028650:1028650 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> -gpua031:1028650:1028650 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua031:1028650:1028729 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> -gpua031:1028650:1028729 [2] NCCL INFO Using network IB -gpua031:1028650:1028729 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua031:1028650:1028729 [2] NCCL INFO Trees [0] 19/-1/-1->18->17 [1] 19/-1/-1->18->17 -gpua031:1028650:1028729 [2] NCCL INFO Channel 00/0 : 18[85000] -> 19[c7000] via P2P/IPC/read -gpua031:1028650:1028729 [2] NCCL INFO Channel 01/0 : 18[85000] -> 19[c7000] via P2P/IPC/read -gpua031:1028650:1028729 [2] NCCL INFO Connected all rings -gpua031:1028650:1028729 [2] NCCL INFO Channel 00/0 : 18[85000] -> 17[46000] via P2P/IPC/read -gpua031:1028650:1028729 [2] NCCL INFO Channel 01/0 : 18[85000] -> 17[46000] via P2P/IPC/read -gpua031:1028650:1028729 [2] NCCL INFO Connected all trees -gpua031:1028650:1028729 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua031:1028650:1028729 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua031:1028650:1028729 [2] NCCL INFO comm 0x9e479ca0 rank 18 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua037:2013665:2013665 [3] NCCL INFO cudaDriverVersion 12020 -gpua037:2013665:2013665 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.37<0> -gpua037:2013665:2013665 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua037:2013665:2013740 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.37<0> -gpua037:2013665:2013740 [3] NCCL INFO Using network IB -gpua037:2013665:2013740 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua037:2013665:2013740 [3] NCCL INFO Trees [0] -1/-1/-1->31->30 [1] -1/-1/-1->31->30 -gpua037:2013665:2013740 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 -gpua037:2013665:2013740 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 -gpua037:2013665:2013740 [3] NCCL INFO Connected all rings -gpua037:2013665:2013740 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 30[85000] via P2P/IPC/read -gpua037:2013665:2013740 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 30[85000] via P2P/IPC/read -gpua037:2013665:2013740 [3] NCCL INFO Connected all trees -gpua037:2013665:2013740 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua037:2013665:2013740 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua037:2013665:2013740 [3] NCCL INFO comm 0x9d12e790 rank 31 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua031:1028651:1028651 [3] NCCL INFO cudaDriverVersion 12020 -gpua031:1028651:1028651 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> -gpua031:1028651:1028651 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua031:1028651:1028728 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> -gpua031:1028651:1028728 [3] NCCL INFO Using network IB -gpua031:1028651:1028728 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua031:1028651:1028728 [3] NCCL INFO Trees [0] -1/-1/-1->19->18 [1] -1/-1/-1->19->18 -gpua031:1028651:1028728 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 -gpua031:1028651:1028728 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 -gpua031:1028651:1028728 [3] NCCL INFO Connected all rings -gpua031:1028651:1028728 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 18[85000] via P2P/IPC/read -gpua031:1028651:1028728 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 18[85000] via P2P/IPC/read -gpua007:648245:648245 [1] NCCL INFO cudaDriverVersion 12020 -gpua007:648245:648245 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> -gpua007:648245:648245 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua007:648245:648331 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> -gpua007:648245:648331 [1] NCCL INFO Using network IB -gpua007:648245:648331 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua007:648245:648331 [1] NCCL INFO Trees [0] 10/4/-1->9->8 [1] 10/-1/-1->9->8 -gpua007:648245:648331 [1] NCCL INFO Channel 00/0 : 9[46000] -> 10[85000] via P2P/IPC/read -gpua007:648245:648331 [1] NCCL INFO Channel 01/0 : 9[46000] -> 10[85000] via P2P/IPC/read -gpua007:648245:648331 [1] NCCL INFO Connected all rings -gpua007:648245:648331 [1] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [receive] via NET/IB/0 -gpua007:648245:648331 [1] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [send] via NET/IB/0 -gpua031:1028651:1028728 [3] NCCL INFO Connected all trees -gpua031:1028651:1028728 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua031:1028651:1028728 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua031:1028651:1028728 [3] NCCL INFO comm 0x179ef120 rank 19 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua007:648245:648331 [1] NCCL INFO Channel 00/0 : 9[46000] -> 8[7000] via P2P/IPC/read -gpua007:648245:648331 [1] NCCL INFO Channel 01/0 : 9[46000] -> 8[7000] via P2P/IPC/read -gpua007:648245:648331 [1] NCCL INFO Connected all trees -gpua007:648245:648331 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua007:648245:648331 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua007:648245:648331 [1] NCCL INFO comm 0x98c6be0 rank 9 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua007:648244:648244 [0] NCCL INFO cudaDriverVersion 12020 -gpua007:648244:648244 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> -gpua007:648244:648244 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua007:648244:648332 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> -gpua007:648244:648332 [0] NCCL INFO Using network IB -gpua007:648244:648332 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua007:648244:648332 [0] NCCL INFO Trees [0] 9/12/-1->8->17 [1] 9/-1/-1->8->5 -gpua007:648244:648332 [0] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 -gpua007:648244:648332 [0] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 -gpua007:648244:648332 [0] NCCL INFO Channel 00/0 : 8[7000] -> 9[46000] via P2P/IPC/read -gpua007:648244:648332 [0] NCCL INFO Channel 01/0 : 8[7000] -> 9[46000] via P2P/IPC/read -gpua007:648244:648332 [0] NCCL INFO Connected all rings -gpua007:648244:648332 [0] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [receive] via NET/IB/0 -gpua007:648244:648332 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [send] via NET/IB/0 -gpua007:648244:648332 [0] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [send] via NET/IB/0 -gpua007:648244:648332 [0] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [receive] via NET/IB/0 -gpua007:648244:648332 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [receive] via NET/IB/0 -gpua007:648244:648332 [0] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [send] via NET/IB/0 -gpua007:648244:648332 [0] NCCL INFO Connected all trees -gpua007:648244:648332 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua007:648244:648332 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua007:648244:648332 [0] NCCL INFO comm 0x9b18c910 rank 8 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua057:762656:762656 [1] NCCL INFO cudaDriverVersion 12020 -gpua057:762656:762656 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> -gpua057:762656:762656 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua057:762656:762727 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> -gpua057:762656:762727 [1] NCCL INFO Using network IB -gpua057:762656:762727 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua057:762656:762727 [1] NCCL INFO Trees [0] 46/-1/-1->45->44 [1] 46/52/-1->45->44 -gpua057:762656:762727 [1] NCCL INFO Channel 00/0 : 45[46000] -> 46[85000] via P2P/IPC/read -gpua057:762656:762727 [1] NCCL INFO Channel 01/0 : 45[46000] -> 46[85000] via P2P/IPC/read -gpua057:762656:762727 [1] NCCL INFO Connected all rings -gpua057:762656:762727 [1] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [send] via NET/IB/0 -gpua057:762656:762727 [1] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [receive] via NET/IB/0 -gpua093:765098:765098 [0] NCCL INFO cudaDriverVersion 12020 -gpua093:765098:765098 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.93<0> -gpua093:765098:765098 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua093:765098:765180 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.93<0> -gpua093:765098:765180 [0] NCCL INFO Using network IB -gpua093:765098:765180 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua093:765098:765180 [0] NCCL INFO Trees [0] 57/60/-1->56->48 [1] 57/-1/-1->56->53 -gpua093:765098:765180 [0] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 -gpua093:765098:765180 [0] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 -gpua093:765098:765180 [0] NCCL INFO Channel 00/0 : 56[7000] -> 57[46000] via P2P/IPC/read -gpua093:765098:765180 [0] NCCL INFO Channel 01/0 : 56[7000] -> 57[46000] via P2P/IPC/read -gpua093:765098:765180 [0] NCCL INFO Connected all rings -gpua057:762656:762727 [1] NCCL INFO Channel 00/0 : 45[46000] -> 44[7000] via P2P/IPC/read -gpua057:762656:762727 [1] NCCL INFO Channel 01/0 : 45[46000] -> 44[7000] via P2P/IPC/read -gpua057:762656:762727 [1] NCCL INFO Connected all trees -gpua057:762656:762727 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua057:762656:762727 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua057:762656:762727 [1] NCCL INFO comm 0x9aa04f70 rank 45 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua093:765098:765180 [0] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [receive] via NET/IB/0 -gpua093:765098:765180 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [send] via NET/IB/0 -gpua093:765098:765180 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [receive] via NET/IB/0 -gpua093:765098:765180 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [send] via NET/IB/0 -gpua093:765098:765180 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [receive] via NET/IB/0 -gpua093:765098:765180 [0] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [send] via NET/IB/0 -gpua093:765098:765180 [0] NCCL INFO Connected all trees -gpua093:765098:765180 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua093:765098:765180 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua093:765098:765180 [0] NCCL INFO comm 0x2e51e530 rank 56 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua007:648246:648246 [2] NCCL INFO cudaDriverVersion 12020 -gpua007:648246:648246 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> -gpua007:648246:648246 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua007:648246:648330 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> -gpua007:648246:648330 [2] NCCL INFO Using network IB -gpua007:648246:648330 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua007:648246:648330 [2] NCCL INFO Trees [0] 11/-1/-1->10->9 [1] 11/-1/-1->10->9 -gpua007:648246:648330 [2] NCCL INFO Channel 00/0 : 10[85000] -> 11[c7000] via P2P/IPC/read -gpua007:648246:648330 [2] NCCL INFO Channel 01/0 : 10[85000] -> 11[c7000] via P2P/IPC/read -gpua007:648246:648330 [2] NCCL INFO Connected all rings -gpua007:648246:648330 [2] NCCL INFO Channel 00/0 : 10[85000] -> 9[46000] via P2P/IPC/read -gpua007:648246:648330 [2] NCCL INFO Channel 01/0 : 10[85000] -> 9[46000] via P2P/IPC/read -gpua037:2013663:2013663 [1] NCCL INFO cudaDriverVersion 12020 -gpua037:2013663:2013663 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.37<0> -gpua037:2013663:2013663 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua037:2013663:2013737 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.37<0> -gpua037:2013663:2013737 [1] NCCL INFO Using network IB -gpua037:2013663:2013737 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua037:2013663:2013737 [1] NCCL INFO Trees [0] 30/-1/-1->29->28 [1] 30/44/-1->29->28 -gpua037:2013663:2013737 [1] NCCL INFO Channel 00/0 : 29[46000] -> 30[85000] via P2P/IPC/read -gpua037:2013663:2013737 [1] NCCL INFO Channel 01/0 : 29[46000] -> 30[85000] via P2P/IPC/read -gpua037:2013663:2013737 [1] NCCL INFO Connected all rings -gpua037:2013663:2013737 [1] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [send] via NET/IB/0 -gpua037:2013663:2013737 [1] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [receive] via NET/IB/0 -gpua007:648246:648330 [2] NCCL INFO Connected all trees -gpua007:648246:648330 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua007:648246:648330 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua007:648246:648330 [2] NCCL INFO comm 0xe3edc60 rank 10 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua037:2013663:2013737 [1] NCCL INFO Channel 00/0 : 29[46000] -> 28[7000] via P2P/IPC/read -gpua037:2013663:2013737 [1] NCCL INFO Channel 01/0 : 29[46000] -> 28[7000] via P2P/IPC/read -gpua037:2013663:2013737 [1] NCCL INFO Connected all trees -gpua037:2013663:2013737 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua037:2013663:2013737 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua037:2013663:2013737 [1] NCCL INFO comm 0xcb455a0 rank 29 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua047:1156455:1156455 [2] NCCL INFO cudaDriverVersion 12020 -gpua047:1156455:1156455 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.47<0> -gpua047:1156455:1156455 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua047:1156455:1156540 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.47<0> -gpua047:1156455:1156540 [2] NCCL INFO Using network IB -gpua047:1156455:1156540 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua047:1156455:1156540 [2] NCCL INFO Trees [0] 39/-1/-1->38->37 [1] 39/-1/-1->38->37 -gpua047:1156455:1156540 [2] NCCL INFO Channel 00/0 : 38[85000] -> 39[c7000] via P2P/IPC/read -gpua047:1156455:1156540 [2] NCCL INFO Channel 01/0 : 38[85000] -> 39[c7000] via P2P/IPC/read -gpua047:1156455:1156540 [2] NCCL INFO Connected all rings -gpua047:1156455:1156540 [2] NCCL INFO Channel 00/0 : 38[85000] -> 37[46000] via P2P/IPC/read -gpua047:1156455:1156540 [2] NCCL INFO Channel 01/0 : 38[85000] -> 37[46000] via P2P/IPC/read -gpua047:1156455:1156540 [2] NCCL INFO Connected all trees -gpua047:1156455:1156540 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua047:1156455:1156540 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua047:1156455:1156540 [2] NCCL INFO comm 0xe219e920 rank 38 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua031:1028649:1028649 [1] NCCL INFO cudaDriverVersion 12020 -gpua031:1028649:1028649 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> -gpua031:1028649:1028649 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua031:1028649:1028724 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> -gpua031:1028649:1028724 [1] NCCL INFO Using network IB -gpua031:1028649:1028724 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua031:1028649:1028724 [1] NCCL INFO Trees [0] 18/8/-1->17->16 [1] 18/-1/-1->17->16 -gpua031:1028649:1028724 [1] NCCL INFO Channel 00/0 : 17[46000] -> 18[85000] via P2P/IPC/read -gpua031:1028649:1028724 [1] NCCL INFO Channel 01/0 : 17[46000] -> 18[85000] via P2P/IPC/read -gpua031:1028649:1028724 [1] NCCL INFO Connected all rings -gpua031:1028649:1028724 [1] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [receive] via NET/IB/0 -gpua031:1028649:1028724 [1] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [send] via NET/IB/0 -gpua031:1028649:1028724 [1] NCCL INFO Channel 00/0 : 17[46000] -> 16[7000] via P2P/IPC/read -gpua031:1028649:1028724 [1] NCCL INFO Channel 01/0 : 17[46000] -> 16[7000] via P2P/IPC/read -gpua031:1028649:1028724 [1] NCCL INFO Connected all trees -gpua031:1028649:1028724 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua031:1028649:1028724 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua031:1028649:1028724 [1] NCCL INFO comm 0x154a9d10 rank 17 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua057:762658:762658 [3] NCCL INFO cudaDriverVersion 12020 -gpua057:762658:762658 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> -gpua057:762658:762658 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua057:762658:762728 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> -gpua057:762658:762728 [3] NCCL INFO Using network IB -gpua057:762658:762728 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua057:762658:762728 [3] NCCL INFO Trees [0] -1/-1/-1->47->46 [1] -1/-1/-1->47->46 -gpua057:762658:762728 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 -gpua057:762658:762728 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 -gpua057:762658:762728 [3] NCCL INFO Connected all rings -gpua057:762658:762728 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 46[85000] via P2P/IPC/read -gpua057:762658:762728 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 46[85000] via P2P/IPC/read -gpua046:1095496:1095496 [1] NCCL INFO cudaDriverVersion 12020 -gpua046:1095496:1095496 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.46<0> -gpua046:1095496:1095496 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua046:1095496:1095566 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.46<0> -gpua046:1095496:1095566 [1] NCCL INFO Using network IB -gpua046:1095496:1095566 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua046:1095496:1095566 [1] NCCL INFO Trees [0] 34/16/-1->33->32 [1] 34/-1/-1->33->32 -gpua046:1095496:1095566 [1] NCCL INFO Channel 00/0 : 33[46000] -> 34[85000] via P2P/IPC/read -gpua046:1095496:1095566 [1] NCCL INFO Channel 01/0 : 33[46000] -> 34[85000] via P2P/IPC/read -gpua046:1095496:1095566 [1] NCCL INFO Connected all rings -gpua046:1095496:1095566 [1] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [receive] via NET/IB/0 -gpua046:1095496:1095566 [1] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [send] via NET/IB/0 -gpua057:762658:762728 [3] NCCL INFO Connected all trees -gpua057:762658:762728 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua057:762658:762728 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua057:762658:762728 [3] NCCL INFO comm 0x2ddfc710 rank 47 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua094:2342545:2342545 [3] NCCL INFO cudaDriverVersion 12020 -gpua094:2342545:2342545 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.94<0> -gpua094:2342545:2342545 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua094:2342545:2342615 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.94<0> -gpua094:2342545:2342615 [3] NCCL INFO Using network IB -gpua094:2342545:2342615 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua094:2342545:2342615 [3] NCCL INFO Trees [0] -1/-1/-1->63->62 [1] -1/-1/-1->63->62 -gpua094:2342545:2342615 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 -gpua094:2342545:2342615 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 -gpua094:2342545:2342615 [3] NCCL INFO Connected all rings -gpua094:2342545:2342615 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 62[85000] via P2P/IPC/read -gpua094:2342545:2342615 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 62[85000] via P2P/IPC/read -gpua046:1095496:1095566 [1] NCCL INFO Channel 00/0 : 33[46000] -> 32[7000] via P2P/IPC/read -gpua046:1095496:1095566 [1] NCCL INFO Channel 01/0 : 33[46000] -> 32[7000] via P2P/IPC/read -gpua046:1095496:1095566 [1] NCCL INFO Connected all trees -gpua046:1095496:1095566 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua046:1095496:1095566 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua046:1095496:1095566 [1] NCCL INFO comm 0x9a75b700 rank 33 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua094:2342545:2342615 [3] NCCL INFO Connected all trees -gpua094:2342545:2342615 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua094:2342545:2342615 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua094:2342545:2342615 [3] NCCL INFO comm 0x98b14db0 rank 63 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua094:2342543:2342543 [1] NCCL INFO cudaDriverVersion 12020 -gpua094:2342543:2342543 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.94<0> -gpua094:2342543:2342543 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua094:2342543:2342614 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.94<0> -gpua094:2342543:2342614 [1] NCCL INFO Using network IB -gpua094:2342543:2342614 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua094:2342543:2342614 [1] NCCL INFO Trees [0] 62/-1/-1->61->60 [1] 62/-1/-1->61->60 -gpua094:2342543:2342614 [1] NCCL INFO Channel 00/0 : 61[46000] -> 62[85000] via P2P/IPC/read -gpua094:2342543:2342614 [1] NCCL INFO Channel 01/0 : 61[46000] -> 62[85000] via P2P/IPC/read -gpua094:2342543:2342614 [1] NCCL INFO Connected all rings -gpua094:2342543:2342614 [1] NCCL INFO Channel 00/0 : 61[46000] -> 60[7000] via P2P/IPC/read -gpua094:2342543:2342614 [1] NCCL INFO Channel 01/0 : 61[46000] -> 60[7000] via P2P/IPC/read -gpua094:2342543:2342614 [1] NCCL INFO Connected all trees -gpua094:2342543:2342614 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua094:2342543:2342614 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua094:2342543:2342614 [1] NCCL INFO comm 0x1a7cd9a0 rank 61 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua082:869171:869171 [2] NCCL INFO cudaDriverVersion 12020 -gpua082:869171:869171 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> -gpua082:869171:869171 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua082:869171:869246 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> -gpua082:869171:869246 [2] NCCL INFO Using network IB -gpua082:869171:869246 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua082:869171:869246 [2] NCCL INFO Trees [0] 51/-1/-1->50->49 [1] 51/-1/-1->50->49 -gpua082:869171:869246 [2] NCCL INFO Channel 00/0 : 50[85000] -> 51[c7000] via P2P/IPC/read -gpua082:869171:869246 [2] NCCL INFO Channel 01/0 : 50[85000] -> 51[c7000] via P2P/IPC/read -gpua082:869171:869246 [2] NCCL INFO Connected all rings -gpua082:869171:869246 [2] NCCL INFO Channel 00/0 : 50[85000] -> 49[46000] via P2P/IPC/read -gpua082:869171:869246 [2] NCCL INFO Channel 01/0 : 50[85000] -> 49[46000] via P2P/IPC/read -gpua082:869171:869246 [2] NCCL INFO Connected all trees -gpua082:869171:869246 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua082:869171:869246 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua082:869171:869246 [2] NCCL INFO comm 0x11c51160 rank 50 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua037:2013664:2013664 [2] NCCL INFO cudaDriverVersion 12020 -gpua037:2013664:2013664 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.37<0> -gpua037:2013664:2013664 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua037:2013664:2013739 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.37<0> -gpua037:2013664:2013739 [2] NCCL INFO Using network IB -gpua037:2013664:2013739 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua037:2013664:2013739 [2] NCCL INFO Trees [0] 31/-1/-1->30->29 [1] 31/-1/-1->30->29 -gpua037:2013664:2013739 [2] NCCL INFO Channel 00/0 : 30[85000] -> 31[c7000] via P2P/IPC/read -gpua037:2013664:2013739 [2] NCCL INFO Channel 01/0 : 30[85000] -> 31[c7000] via P2P/IPC/read -gpua037:2013664:2013739 [2] NCCL INFO Connected all rings -gpua037:2013664:2013739 [2] NCCL INFO Channel 00/0 : 30[85000] -> 29[46000] via P2P/IPC/read -gpua037:2013664:2013739 [2] NCCL INFO Channel 01/0 : 30[85000] -> 29[46000] via P2P/IPC/read -gpua037:2013664:2013739 [2] NCCL INFO Connected all trees -gpua037:2013664:2013739 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua037:2013664:2013739 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua037:2013664:2013739 [2] NCCL INFO comm 0xe4516fa0 rank 30 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua007:648247:648247 [3] NCCL INFO cudaDriverVersion 12020 -gpua007:648247:648247 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> -gpua007:648247:648247 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua007:648247:648329 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> -gpua007:648247:648329 [3] NCCL INFO Using network IB -gpua007:648247:648329 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua007:648247:648329 [3] NCCL INFO Trees [0] -1/-1/-1->11->10 [1] -1/-1/-1->11->10 -gpua007:648247:648329 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 -gpua007:648247:648329 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 -gpua007:648247:648329 [3] NCCL INFO Connected all rings -gpua007:648247:648329 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 10[85000] via P2P/IPC/read -gpua007:648247:648329 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 10[85000] via P2P/IPC/read -gpua007:648247:648329 [3] NCCL INFO Connected all trees -gpua007:648247:648329 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua007:648247:648329 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua007:648247:648329 [3] NCCL INFO comm 0x1d8907f0 rank 11 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua006:3043759:3043759 [2] NCCL INFO cudaDriverVersion 12020 -gpua006:3043759:3043759 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> -gpua006:3043759:3043759 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua006:3043759:3043822 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> -gpua006:3043759:3043822 [2] NCCL INFO Using network IB -gpua006:3043759:3043822 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua006:3043759:3043822 [2] NCCL INFO Trees [0] 7/-1/-1->6->5 [1] 7/-1/-1->6->5 -gpua006:3043759:3043822 [2] NCCL INFO Channel 00/0 : 6[85000] -> 7[c7000] via P2P/IPC/read -gpua006:3043759:3043822 [2] NCCL INFO Channel 01/0 : 6[85000] -> 7[c7000] via P2P/IPC/read -gpua006:3043759:3043822 [2] NCCL INFO Connected all rings -gpua006:3043759:3043822 [2] NCCL INFO Channel 00/0 : 6[85000] -> 5[46000] via P2P/IPC/read -gpua006:3043759:3043822 [2] NCCL INFO Channel 01/0 : 6[85000] -> 5[46000] via P2P/IPC/read -gpua006:3043759:3043822 [2] NCCL INFO Connected all trees -gpua006:3043759:3043822 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua006:3043759:3043822 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua006:3043759:3043822 [2] NCCL INFO comm 0x9cce6290 rank 6 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua056:1415344:1415344 [1] NCCL INFO cudaDriverVersion 12020 -gpua056:1415344:1415344 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> -gpua056:1415344:1415344 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua056:1415344:1415423 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> -gpua056:1415344:1415423 [1] NCCL INFO Using network IB -gpua056:1415344:1415423 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua056:1415344:1415423 [1] NCCL INFO Trees [0] 42/36/-1->41->40 [1] 42/-1/-1->41->40 -gpua056:1415344:1415423 [1] NCCL INFO Channel 00/0 : 41[46000] -> 42[85000] via P2P/IPC/read -gpua056:1415344:1415423 [1] NCCL INFO Channel 01/0 : 41[46000] -> 42[85000] via P2P/IPC/read -gpua056:1415344:1415423 [1] NCCL INFO Connected all rings -gpua056:1415344:1415423 [1] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [receive] via NET/IB/0 -gpua056:1415344:1415423 [1] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [send] via NET/IB/0 -gpua056:1415344:1415423 [1] NCCL INFO Channel 00/0 : 41[46000] -> 40[7000] via P2P/IPC/read -gpua056:1415344:1415423 [1] NCCL INFO Channel 01/0 : 41[46000] -> 40[7000] via P2P/IPC/read -gpua056:1415344:1415423 [1] NCCL INFO Connected all trees -gpua056:1415344:1415423 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua056:1415344:1415423 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua056:1415344:1415423 [1] NCCL INFO comm 0x36d3d9a0 rank 41 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua033:1192777:1192777 [1] NCCL INFO cudaDriverVersion 12020 -gpua033:1192777:1192777 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.33<0> -gpua033:1192777:1192777 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua033:1192777:1192858 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.33<0> -gpua033:1192777:1192858 [1] NCCL INFO Using network IB -gpua033:1192777:1192858 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua033:1192777:1192858 [1] NCCL INFO Trees [0] 22/-1/-1->21->20 [1] 22/24/-1->21->20 -gpua033:1192777:1192858 [1] NCCL INFO Channel 00/0 : 21[46000] -> 22[85000] via P2P/IPC/read -gpua033:1192777:1192858 [1] NCCL INFO Channel 01/0 : 21[46000] -> 22[85000] via P2P/IPC/read -gpua033:1192777:1192858 [1] NCCL INFO Connected all rings -gpua033:1192777:1192858 [1] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [send] via NET/IB/0 -gpua033:1192777:1192858 [1] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [receive] via NET/IB/0 -gpua033:1192777:1192858 [1] NCCL INFO Channel 00/0 : 21[46000] -> 20[7000] via P2P/IPC/read -gpua033:1192777:1192858 [1] NCCL INFO Channel 01/0 : 21[46000] -> 20[7000] via P2P/IPC/read -gpua033:1192777:1192858 [1] NCCL INFO Connected all trees -gpua033:1192777:1192858 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua033:1192777:1192858 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua033:1192777:1192858 [1] NCCL INFO comm 0x110984d0 rank 21 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua056:1415346:1415346 [3] NCCL INFO cudaDriverVersion 12020 -gpua056:1415346:1415346 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> -gpua056:1415346:1415346 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua056:1415346:1415418 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> -gpua056:1415346:1415418 [3] NCCL INFO Using network IB -gpua056:1415346:1415418 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua056:1415346:1415418 [3] NCCL INFO Trees [0] -1/-1/-1->43->42 [1] -1/-1/-1->43->42 -gpua056:1415346:1415418 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 -gpua056:1415346:1415418 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 -gpua056:1415346:1415418 [3] NCCL INFO Connected all rings -gpua056:1415346:1415418 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 42[85000] via P2P/IPC/read -gpua056:1415346:1415418 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 42[85000] via P2P/IPC/read -gpua033:1192779:1192779 [3] NCCL INFO cudaDriverVersion 12020 -gpua033:1192779:1192779 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.33<0> -gpua033:1192779:1192779 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua033:1192779:1192861 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.33<0> -gpua033:1192779:1192861 [3] NCCL INFO Using network IB -gpua033:1192779:1192861 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua033:1192779:1192861 [3] NCCL INFO Trees [0] -1/-1/-1->23->22 [1] -1/-1/-1->23->22 -gpua033:1192779:1192861 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 -gpua033:1192779:1192861 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 -gpua033:1192779:1192861 [3] NCCL INFO Connected all rings -gpua033:1192779:1192861 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 22[85000] via P2P/IPC/read -gpua033:1192779:1192861 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 22[85000] via P2P/IPC/read -gpua056:1415346:1415418 [3] NCCL INFO Connected all trees -gpua056:1415346:1415418 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua056:1415346:1415418 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua056:1415346:1415418 [3] NCCL INFO comm 0xac69e40 rank 43 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua057:762657:762657 [2] NCCL INFO cudaDriverVersion 12020 -gpua057:762657:762657 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> -gpua057:762657:762657 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua057:762657:762729 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> -gpua057:762657:762729 [2] NCCL INFO Using network IB -gpua057:762657:762729 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua057:762657:762729 [2] NCCL INFO Trees [0] 47/-1/-1->46->45 [1] 47/-1/-1->46->45 -gpua057:762657:762729 [2] NCCL INFO Channel 00/0 : 46[85000] -> 47[c7000] via P2P/IPC/read -gpua057:762657:762729 [2] NCCL INFO Channel 01/0 : 46[85000] -> 47[c7000] via P2P/IPC/read -gpua057:762657:762729 [2] NCCL INFO Connected all rings -gpua057:762657:762729 [2] NCCL INFO Channel 00/0 : 46[85000] -> 45[46000] via P2P/IPC/read -gpua057:762657:762729 [2] NCCL INFO Channel 01/0 : 46[85000] -> 45[46000] via P2P/IPC/read -gpua033:1192779:1192861 [3] NCCL INFO Connected all trees -gpua033:1192779:1192861 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua033:1192779:1192861 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua033:1192779:1192861 [3] NCCL INFO comm 0xdfc0b60 rank 23 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua057:762657:762729 [2] NCCL INFO Connected all trees -gpua057:762657:762729 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua057:762657:762729 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua057:762657:762729 [2] NCCL INFO comm 0x2c2daa20 rank 46 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua057:762655:762655 [0] NCCL INFO cudaDriverVersion 12020 -gpua057:762655:762655 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> -gpua057:762655:762655 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua057:762655:762726 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> -gpua057:762655:762726 [0] NCCL INFO Using network IB -gpua057:762655:762726 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua057:762655:762726 [0] NCCL INFO Trees [0] 45/-1/-1->44->40 [1] 45/36/-1->44->29 -gpua057:762655:762726 [0] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 -gpua057:762655:762726 [0] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 -gpua057:762655:762726 [0] NCCL INFO Channel 00/0 : 44[7000] -> 45[46000] via P2P/IPC/read -gpua057:762655:762726 [0] NCCL INFO Channel 01/0 : 44[7000] -> 45[46000] via P2P/IPC/read -gpua057:762655:762726 [0] NCCL INFO Connected all rings -gpua057:762655:762726 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [receive] via NET/IB/0 -gpua057:762655:762726 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [receive] via NET/IB/0 -gpua057:762655:762726 [0] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [receive] via NET/IB/0 -gpua057:762655:762726 [0] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [send] via NET/IB/0 -gpua057:762655:762726 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [send] via NET/IB/0 -gpua057:762655:762726 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [send] via NET/IB/0 -gpua057:762655:762726 [0] NCCL INFO Connected all trees -gpua057:762655:762726 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua057:762655:762726 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua057:762655:762726 [0] NCCL INFO comm 0x1c433d40 rank 44 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua001:1989293:1989363 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.1<0> -gpua001:1989293:1989363 [0] NCCL INFO Using network IB -gpua001:1989293:1989363 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua001:1989293:1989363 [0] NCCL INFO Channel 00/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 -gpua001:1989293:1989363 [0] NCCL INFO Channel 01/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 -gpua001:1989293:1989363 [0] NCCL INFO Trees [0] 1/32/-1->0->-1 [1] 1/-1/-1->0->4 -gpua001:1989293:1989363 [0] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 -gpua001:1989293:1989363 [0] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 -gpua001:1989293:1989363 [0] NCCL INFO Channel 00/0 : 0[7000] -> 1[46000] via P2P/IPC/read -gpua001:1989293:1989363 [0] NCCL INFO Channel 01/0 : 0[7000] -> 1[46000] via P2P/IPC/read -gpua001:1989293:1989363 [0] NCCL INFO Connected all rings -gpua001:1989293:1989363 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [send] via NET/IB/0 -gpua001:1989293:1989363 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [receive] via NET/IB/0 -gpua001:1989293:1989363 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [send] via NET/IB/0 -gpua001:1989293:1989363 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [receive] via NET/IB/0 -gpua001:1989293:1989363 [0] NCCL INFO Connected all trees -gpua001:1989293:1989363 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua001:1989293:1989363 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua001:1989293:1989363 [0] NCCL INFO comm 0xb8b1310 rank 0 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua006:3043760:3043760 [3] NCCL INFO cudaDriverVersion 12020 -gpua006:3043760:3043760 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> -gpua006:3043760:3043760 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua006:3043760:3043820 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> -gpua006:3043760:3043820 [3] NCCL INFO Using network IB -gpua006:3043760:3043820 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua006:3043760:3043820 [3] NCCL INFO Trees [0] -1/-1/-1->7->6 [1] -1/-1/-1->7->6 -gpua006:3043760:3043820 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 -gpua006:3043760:3043820 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 -gpua006:3043760:3043820 [3] NCCL INFO Connected all rings -gpua006:3043760:3043820 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 6[85000] via P2P/IPC/read -gpua006:3043760:3043820 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 6[85000] via P2P/IPC/read -gpua046:1095497:1095497 [2] NCCL INFO cudaDriverVersion 12020 -gpua046:1095497:1095497 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.46<0> -gpua046:1095497:1095497 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua046:1095497:1095567 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.46<0> -gpua046:1095497:1095567 [2] NCCL INFO Using network IB -gpua046:1095497:1095567 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua046:1095497:1095567 [2] NCCL INFO Trees [0] 35/-1/-1->34->33 [1] 35/-1/-1->34->33 -gpua046:1095497:1095567 [2] NCCL INFO Channel 00/0 : 34[85000] -> 35[c7000] via P2P/IPC/read -gpua046:1095497:1095567 [2] NCCL INFO Channel 01/0 : 34[85000] -> 35[c7000] via P2P/IPC/read -gpua046:1095497:1095567 [2] NCCL INFO Connected all rings -gpua046:1095497:1095567 [2] NCCL INFO Channel 00/0 : 34[85000] -> 33[46000] via P2P/IPC/read -gpua046:1095497:1095567 [2] NCCL INFO Channel 01/0 : 34[85000] -> 33[46000] via P2P/IPC/read -gpua006:3043760:3043820 [3] NCCL INFO Connected all trees -gpua006:3043760:3043820 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua006:3043760:3043820 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua006:3043760:3043820 [3] NCCL INFO comm 0xc536df0 rank 7 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua046:1095497:1095567 [2] NCCL INFO Connected all trees -gpua046:1095497:1095567 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua046:1095497:1095567 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua046:1095497:1095567 [2] NCCL INFO comm 0x1eeea080 rank 34 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua006:3043758:3043758 [1] NCCL INFO cudaDriverVersion 12020 -gpua006:3043758:3043758 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> -gpua006:3043758:3043758 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua006:3043758:3043823 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> -gpua006:3043758:3043823 [1] NCCL INFO Using network IB -gpua006:3043758:3043823 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua006:3043758:3043823 [1] NCCL INFO Trees [0] 6/-1/-1->5->4 [1] 6/8/-1->5->4 -gpua006:3043758:3043823 [1] NCCL INFO Channel 00/0 : 5[46000] -> 6[85000] via P2P/IPC/read -gpua006:3043758:3043823 [1] NCCL INFO Channel 01/0 : 5[46000] -> 6[85000] via P2P/IPC/read -gpua006:3043758:3043823 [1] NCCL INFO Connected all rings -gpua006:3043758:3043823 [1] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [send] via NET/IB/0 -gpua006:3043758:3043823 [1] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [receive] via NET/IB/0 -gpua094:2342544:2342544 [2] NCCL INFO cudaDriverVersion 12020 -gpua094:2342544:2342544 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.94<0> -gpua094:2342544:2342544 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua094:2342544:2342612 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.94<0> -gpua094:2342544:2342612 [2] NCCL INFO Using network IB -gpua094:2342544:2342612 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua094:2342544:2342612 [2] NCCL INFO Trees [0] 63/-1/-1->62->61 [1] 63/-1/-1->62->61 -gpua094:2342544:2342612 [2] NCCL INFO Channel 00/0 : 62[85000] -> 63[c7000] via P2P/IPC/read -gpua094:2342544:2342612 [2] NCCL INFO Channel 01/0 : 62[85000] -> 63[c7000] via P2P/IPC/read -gpua094:2342544:2342612 [2] NCCL INFO Connected all rings -gpua094:2342544:2342612 [2] NCCL INFO Channel 00/0 : 62[85000] -> 61[46000] via P2P/IPC/read -gpua094:2342544:2342612 [2] NCCL INFO Channel 01/0 : 62[85000] -> 61[46000] via P2P/IPC/read -gpua006:3043758:3043823 [1] NCCL INFO Channel 00/0 : 5[46000] -> 4[7000] via P2P/IPC/read -gpua006:3043758:3043823 [1] NCCL INFO Channel 01/0 : 5[46000] -> 4[7000] via P2P/IPC/read -gpua006:3043758:3043823 [1] NCCL INFO Connected all trees -gpua006:3043758:3043823 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua006:3043758:3043823 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua006:3043758:3043823 [1] NCCL INFO comm 0x4b74bc20 rank 5 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua094:2342544:2342612 [2] NCCL INFO Connected all trees -gpua094:2342544:2342612 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua094:2342544:2342612 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua094:2342544:2342612 [2] NCCL INFO comm 0x9c3eaf10 rank 62 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua006:3043757:3043757 [0] NCCL INFO cudaDriverVersion 12020 -gpua006:3043757:3043757 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> -gpua006:3043757:3043757 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua006:3043757:3043821 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> -gpua006:3043757:3043821 [0] NCCL INFO Using network IB -gpua006:3043757:3043821 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua006:3043757:3043821 [0] NCCL INFO Trees [0] 5/-1/-1->4->9 [1] 5/0/-1->4->12 -gpua006:3043757:3043821 [0] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 -gpua006:3043757:3043821 [0] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 -gpua006:3043757:3043821 [0] NCCL INFO Channel 00/0 : 4[7000] -> 5[46000] via P2P/IPC/read -gpua006:3043757:3043821 [0] NCCL INFO Channel 01/0 : 4[7000] -> 5[46000] via P2P/IPC/read -gpua006:3043757:3043821 [0] NCCL INFO Connected all rings -gpua006:3043757:3043821 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [receive] via NET/IB/0 -gpua006:3043757:3043821 [0] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [send] via NET/IB/0 -gpua006:3043757:3043821 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [send] via NET/IB/0 -gpua006:3043757:3043821 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [receive] via NET/IB/0 -gpua006:3043757:3043821 [0] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [receive] via NET/IB/0 -gpua006:3043757:3043821 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [send] via NET/IB/0 -gpua006:3043757:3043821 [0] NCCL INFO Connected all trees -gpua006:3043757:3043821 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua006:3043757:3043821 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua006:3043757:3043821 [0] NCCL INFO comm 0xdbf8bb0 rank 4 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua001:1989295:1989295 [2] NCCL INFO cudaDriverVersion 12020 -gpua001:1989295:1989295 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.1<0> -gpua001:1989295:1989295 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua001:1989295:1989365 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.1<0> -gpua001:1989295:1989365 [2] NCCL INFO Using network IB -gpua001:1989295:1989365 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua001:1989295:1989365 [2] NCCL INFO Trees [0] 3/-1/-1->2->1 [1] 3/-1/-1->2->1 -gpua001:1989295:1989365 [2] NCCL INFO Channel 00/0 : 2[85000] -> 3[c7000] via P2P/IPC/read -gpua001:1989295:1989365 [2] NCCL INFO Channel 01/0 : 2[85000] -> 3[c7000] via P2P/IPC/read -gpua001:1989295:1989365 [2] NCCL INFO Connected all rings -gpua001:1989295:1989365 [2] NCCL INFO Channel 00/0 : 2[85000] -> 1[46000] via P2P/IPC/read -gpua001:1989295:1989365 [2] NCCL INFO Channel 01/0 : 2[85000] -> 1[46000] via P2P/IPC/read -gpua082:869172:869172 [3] NCCL INFO cudaDriverVersion 12020 -gpua082:869172:869172 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> -gpua082:869172:869172 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua082:869172:869250 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> -gpua082:869172:869250 [3] NCCL INFO Using network IB -gpua082:869172:869250 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua082:869172:869250 [3] NCCL INFO Trees [0] -1/-1/-1->51->50 [1] -1/-1/-1->51->50 -gpua082:869172:869250 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 -gpua082:869172:869250 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 -gpua082:869172:869250 [3] NCCL INFO Connected all rings -gpua082:869172:869250 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 50[85000] via P2P/IPC/read -gpua082:869172:869250 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 50[85000] via P2P/IPC/read -gpua001:1989295:1989365 [2] NCCL INFO Connected all trees -gpua001:1989295:1989365 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua001:1989295:1989365 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua001:1989295:1989365 [2] NCCL INFO comm 0xe4ea3c0 rank 2 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua082:869172:869250 [3] NCCL INFO Connected all trees -gpua082:869172:869250 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua082:869172:869250 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua082:869172:869250 [3] NCCL INFO comm 0xe24c160 rank 51 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua046:1095495:1095495 [0] NCCL INFO cudaDriverVersion 12020 -gpua046:1095495:1095495 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.46<0> -gpua046:1095495:1095495 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua046:1095495:1095568 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.46<0> -gpua046:1095495:1095568 [0] NCCL INFO Using network IB -gpua046:1095495:1095568 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua046:1095495:1095568 [0] NCCL INFO Trees [0] 33/48/-1->32->0 [1] 33/-1/-1->32->36 -gpua046:1095495:1095568 [0] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 -gpua046:1095495:1095568 [0] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 -gpua046:1095495:1095568 [0] NCCL INFO Channel 00/0 : 32[7000] -> 33[46000] via P2P/IPC/read -gpua046:1095495:1095568 [0] NCCL INFO Channel 01/0 : 32[7000] -> 33[46000] via P2P/IPC/read -gpua046:1095495:1095568 [0] NCCL INFO Connected all rings -gpua046:1095495:1095568 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [send] via NET/IB/0 -gpua046:1095495:1095568 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [send] via NET/IB/0 -gpua046:1095495:1095568 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [receive] via NET/IB/0 -gpua046:1095495:1095568 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [send] via NET/IB/0 -gpua046:1095495:1095568 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [receive] via NET/IB/0 -gpua046:1095495:1095568 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [receive] via NET/IB/0 -gpua046:1095495:1095568 [0] NCCL INFO Connected all trees -gpua046:1095495:1095568 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua046:1095495:1095568 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua046:1095495:1095568 [0] NCCL INFO comm 0x1346a160 rank 32 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua047:1156454:1156454 [1] NCCL INFO cudaDriverVersion 12020 -gpua047:1156454:1156454 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.47<0> -gpua047:1156454:1156454 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua047:1156454:1156538 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.47<0> -gpua047:1156454:1156538 [1] NCCL INFO Using network IB -gpua047:1156454:1156538 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua047:1156454:1156538 [1] NCCL INFO Trees [0] 38/-1/-1->37->36 [1] 38/40/-1->37->36 -gpua047:1156454:1156538 [1] NCCL INFO Channel 00/0 : 37[46000] -> 38[85000] via P2P/IPC/read -gpua047:1156454:1156538 [1] NCCL INFO Channel 01/0 : 37[46000] -> 38[85000] via P2P/IPC/read -gpua047:1156454:1156538 [1] NCCL INFO Connected all rings -gpua047:1156454:1156538 [1] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [send] via NET/IB/0 -gpua047:1156454:1156538 [1] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [receive] via NET/IB/0 -gpua047:1156454:1156538 [1] NCCL INFO Channel 00/0 : 37[46000] -> 36[7000] via P2P/IPC/read -gpua047:1156454:1156538 [1] NCCL INFO Channel 01/0 : 37[46000] -> 36[7000] via P2P/IPC/read -gpua047:1156454:1156538 [1] NCCL INFO Connected all trees -gpua047:1156454:1156538 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua047:1156454:1156538 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua047:1156454:1156538 [1] NCCL INFO comm 0xd8b8ce0 rank 37 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua093:765101:765101 [3] NCCL INFO cudaDriverVersion 12020 -gpua093:765101:765101 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.93<0> -gpua093:765101:765101 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua093:765101:765181 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.93<0> -gpua093:765101:765181 [3] NCCL INFO Using network IB -gpua093:765101:765181 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua093:765101:765181 [3] NCCL INFO Trees [0] -1/-1/-1->59->58 [1] -1/-1/-1->59->58 -gpua093:765101:765181 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 -gpua093:765101:765181 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 -gpua093:765101:765181 [3] NCCL INFO Connected all rings -gpua093:765101:765181 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 58[85000] via P2P/IPC/read -gpua093:765101:765181 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 58[85000] via P2P/IPC/read -gpua047:1156456:1156456 [3] NCCL INFO cudaDriverVersion 12020 -gpua047:1156456:1156456 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.47<0> -gpua047:1156456:1156456 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua047:1156456:1156539 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.47<0> -gpua047:1156456:1156539 [3] NCCL INFO Using network IB -gpua047:1156456:1156539 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua047:1156456:1156539 [3] NCCL INFO Trees [0] -1/-1/-1->39->38 [1] -1/-1/-1->39->38 -gpua047:1156456:1156539 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 -gpua047:1156456:1156539 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 -gpua047:1156456:1156539 [3] NCCL INFO Connected all rings -gpua047:1156456:1156539 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 38[85000] via P2P/IPC/read -gpua047:1156456:1156539 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 38[85000] via P2P/IPC/read -gpua093:765101:765181 [3] NCCL INFO Connected all trees -gpua093:765101:765181 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua093:765101:765181 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua093:765101:765181 [3] NCCL INFO comm 0xec682c10 rank 59 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua047:1156456:1156539 [3] NCCL INFO Connected all trees -gpua047:1156456:1156539 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua047:1156456:1156539 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua047:1156456:1156539 [3] NCCL INFO comm 0x2236ba20 rank 39 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua082:869170:869170 [1] NCCL INFO cudaDriverVersion 12020 -gpua082:869170:869170 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> -gpua082:869170:869170 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua082:869170:869248 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> -gpua082:869170:869248 [1] NCCL INFO Using network IB -gpua082:869170:869248 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua082:869170:869248 [1] NCCL INFO Trees [0] 50/40/-1->49->48 [1] 50/-1/-1->49->48 -gpua082:869170:869248 [1] NCCL INFO Channel 00/0 : 49[46000] -> 50[85000] via P2P/IPC/read -gpua082:869170:869248 [1] NCCL INFO Channel 01/0 : 49[46000] -> 50[85000] via P2P/IPC/read -gpua082:869170:869248 [1] NCCL INFO Connected all rings -gpua082:869170:869248 [1] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [receive] via NET/IB/0 -gpua082:869170:869248 [1] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [send] via NET/IB/0 -gpua082:869170:869248 [1] NCCL INFO Channel 00/0 : 49[46000] -> 48[7000] via P2P/IPC/read -gpua082:869170:869248 [1] NCCL INFO Channel 01/0 : 49[46000] -> 48[7000] via P2P/IPC/read -gpua082:869170:869248 [1] NCCL INFO Connected all trees -gpua082:869170:869248 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua082:869170:869248 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua082:869170:869248 [1] NCCL INFO comm 0x94b71090 rank 49 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua008:2018089:2018089 [0] NCCL INFO cudaDriverVersion 12020 -gpua008:2018089:2018089 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.8<0> -gpua008:2018089:2018089 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua008:2018089:2018155 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.8<0> -gpua008:2018089:2018155 [0] NCCL INFO Using network IB -gpua008:2018089:2018155 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua008:2018089:2018155 [0] NCCL INFO Trees [0] 13/-1/-1->12->8 [1] 13/4/-1->12->28 -gpua008:2018089:2018155 [0] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 -gpua008:2018089:2018155 [0] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 -gpua008:2018089:2018155 [0] NCCL INFO Channel 00/0 : 12[7000] -> 13[46000] via P2P/IPC/read -gpua008:2018089:2018155 [0] NCCL INFO Channel 01/0 : 12[7000] -> 13[46000] via P2P/IPC/read -gpua008:2018089:2018155 [0] NCCL INFO Connected all rings -gpua008:2018089:2018155 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [receive] via NET/IB/0 -gpua008:2018089:2018155 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [receive] via NET/IB/0 -gpua008:2018089:2018155 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [send] via NET/IB/0 -gpua008:2018089:2018155 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [receive] via NET/IB/0 -gpua008:2018089:2018155 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [send] via NET/IB/0 -gpua008:2018089:2018155 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [send] via NET/IB/0 -gpua008:2018089:2018155 [0] NCCL INFO Connected all trees -gpua008:2018089:2018155 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua008:2018089:2018155 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua008:2018089:2018155 [0] NCCL INFO comm 0x119308b0 rank 12 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua037:2013662:2013662 [0] NCCL INFO cudaDriverVersion 12020 -gpua037:2013662:2013662 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.37<0> -gpua037:2013662:2013662 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua037:2013662:2013738 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.37<0> -gpua037:2013662:2013738 [0] NCCL INFO Using network IB -gpua037:2013662:2013738 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua037:2013662:2013738 [0] NCCL INFO Trees [0] 29/-1/-1->28->24 [1] 29/12/-1->28->60 -gpua037:2013662:2013738 [0] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 -gpua037:2013662:2013738 [0] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 -gpua037:2013662:2013738 [0] NCCL INFO Channel 00/0 : 28[7000] -> 29[46000] via P2P/IPC/read -gpua037:2013662:2013738 [0] NCCL INFO Channel 01/0 : 28[7000] -> 29[46000] via P2P/IPC/read -gpua037:2013662:2013738 [0] NCCL INFO Connected all rings -gpua037:2013662:2013738 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [receive] via NET/IB/0 -gpua037:2013662:2013738 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [receive] via NET/IB/0 -gpua037:2013662:2013738 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [receive] via NET/IB/0 -gpua037:2013662:2013738 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [send] via NET/IB/0 -gpua037:2013662:2013738 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [send] via NET/IB/0 -gpua037:2013662:2013738 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [send] via NET/IB/0 -gpua037:2013662:2013738 [0] NCCL INFO Connected all trees -gpua037:2013662:2013738 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua037:2013662:2013738 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua037:2013662:2013738 [0] NCCL INFO comm 0x932173c0 rank 28 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua008:2018091:2018091 [2] NCCL INFO cudaDriverVersion 12020 -gpua008:2018091:2018091 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.8<0> -gpua008:2018091:2018091 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua008:2018091:2018156 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.8<0> -gpua008:2018091:2018156 [2] NCCL INFO Using network IB -gpua008:2018091:2018156 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua008:2018091:2018156 [2] NCCL INFO Trees [0] 15/-1/-1->14->13 [1] 15/-1/-1->14->13 -gpua008:2018091:2018156 [2] NCCL INFO Channel 00/0 : 14[85000] -> 15[c7000] via P2P/IPC/read -gpua008:2018091:2018156 [2] NCCL INFO Channel 01/0 : 14[85000] -> 15[c7000] via P2P/IPC/read -gpua008:2018091:2018156 [2] NCCL INFO Connected all rings -gpua008:2018091:2018156 [2] NCCL INFO Channel 00/0 : 14[85000] -> 13[46000] via P2P/IPC/read -gpua008:2018091:2018156 [2] NCCL INFO Channel 01/0 : 14[85000] -> 13[46000] via P2P/IPC/read -gpua008:2018091:2018156 [2] NCCL INFO Connected all trees -gpua008:2018091:2018156 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua008:2018091:2018156 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua008:2018091:2018156 [2] NCCL INFO comm 0x22cd98c0 rank 14 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua094:2342542:2342542 [0] NCCL INFO cudaDriverVersion 12020 -gpua094:2342542:2342542 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.94<0> -gpua094:2342542:2342542 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua094:2342542:2342613 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.94<0> -gpua094:2342542:2342613 [0] NCCL INFO Using network IB -gpua094:2342542:2342613 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua094:2342542:2342613 [0] NCCL INFO Trees [0] 61/-1/-1->60->56 [1] 61/28/-1->60->-1 -gpua094:2342542:2342613 [0] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 -gpua094:2342542:2342613 [0] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 -gpua094:2342542:2342613 [0] NCCL INFO Channel 00/0 : 60[7000] -> 61[46000] via P2P/IPC/read -gpua094:2342542:2342613 [0] NCCL INFO Channel 01/0 : 60[7000] -> 61[46000] via P2P/IPC/read -gpua094:2342542:2342613 [0] NCCL INFO Connected all rings -gpua094:2342542:2342613 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [receive] via NET/IB/0 -gpua094:2342542:2342613 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [receive] via NET/IB/0 -gpua094:2342542:2342613 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [send] via NET/IB/0 -gpua094:2342542:2342613 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [send] via NET/IB/0 -gpua094:2342542:2342613 [0] NCCL INFO Connected all trees -gpua094:2342542:2342613 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua094:2342542:2342613 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua094:2342542:2342613 [0] NCCL INFO comm 0x1d94fc50 rank 60 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua056:1415343:1415343 [0] NCCL INFO cudaDriverVersion 12020 -gpua056:1415343:1415343 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> -gpua056:1415343:1415343 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua056:1415343:1415420 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> -gpua056:1415343:1415420 [0] NCCL INFO Using network IB -gpua056:1415343:1415420 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua056:1415343:1415420 [0] NCCL INFO Trees [0] 41/44/-1->40->49 [1] 41/-1/-1->40->37 -gpua056:1415343:1415420 [0] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 -gpua056:1415343:1415420 [0] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 -gpua056:1415343:1415420 [0] NCCL INFO Channel 00/0 : 40[7000] -> 41[46000] via P2P/IPC/read -gpua056:1415343:1415420 [0] NCCL INFO Channel 01/0 : 40[7000] -> 41[46000] via P2P/IPC/read -gpua056:1415343:1415420 [0] NCCL INFO Connected all rings -gpua047:1156453:1156453 [0] NCCL INFO cudaDriverVersion 12020 -gpua047:1156453:1156453 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.47<0> -gpua047:1156453:1156453 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua047:1156453:1156537 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.47<0> -gpua047:1156453:1156537 [0] NCCL INFO Using network IB -gpua047:1156453:1156537 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua047:1156453:1156537 [0] NCCL INFO Trees [0] 37/-1/-1->36->41 [1] 37/32/-1->36->44 -gpua047:1156453:1156537 [0] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 -gpua047:1156453:1156537 [0] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 -gpua047:1156453:1156537 [0] NCCL INFO Channel 00/0 : 36[7000] -> 37[46000] via P2P/IPC/read -gpua047:1156453:1156537 [0] NCCL INFO Channel 01/0 : 36[7000] -> 37[46000] via P2P/IPC/read -gpua047:1156453:1156537 [0] NCCL INFO Connected all rings -gpua056:1415343:1415420 [0] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [receive] via NET/IB/0 -gpua056:1415343:1415420 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [send] via NET/IB/0 -gpua056:1415343:1415420 [0] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [send] via NET/IB/0 -gpua056:1415343:1415420 [0] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [receive] via NET/IB/0 -gpua056:1415343:1415420 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [receive] via NET/IB/0 -gpua056:1415343:1415420 [0] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [send] via NET/IB/0 -gpua056:1415343:1415420 [0] NCCL INFO Connected all trees -gpua056:1415343:1415420 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua056:1415343:1415420 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua056:1415343:1415420 [0] NCCL INFO comm 0x9b6a6e50 rank 40 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua047:1156453:1156537 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [receive] via NET/IB/0 -gpua047:1156453:1156537 [0] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [send] via NET/IB/0 -gpua047:1156453:1156537 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [send] via NET/IB/0 -gpua047:1156453:1156537 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [receive] via NET/IB/0 -gpua047:1156453:1156537 [0] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [receive] via NET/IB/0 -gpua047:1156453:1156537 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [send] via NET/IB/0 -gpua047:1156453:1156537 [0] NCCL INFO Connected all trees -gpua047:1156453:1156537 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua047:1156453:1156537 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua047:1156453:1156537 [0] NCCL INFO comm 0x141e1f60 rank 36 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua056:1415345:1415345 [2] NCCL INFO cudaDriverVersion 12020 -gpua056:1415345:1415345 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> -gpua056:1415345:1415345 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua056:1415345:1415421 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> -gpua056:1415345:1415421 [2] NCCL INFO Using network IB -gpua056:1415345:1415421 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua056:1415345:1415421 [2] NCCL INFO Trees [0] 43/-1/-1->42->41 [1] 43/-1/-1->42->41 -gpua056:1415345:1415421 [2] NCCL INFO Channel 00/0 : 42[85000] -> 43[c7000] via P2P/IPC/read -gpua056:1415345:1415421 [2] NCCL INFO Channel 01/0 : 42[85000] -> 43[c7000] via P2P/IPC/read -gpua056:1415345:1415421 [2] NCCL INFO Connected all rings -gpua056:1415345:1415421 [2] NCCL INFO Channel 00/0 : 42[85000] -> 41[46000] via P2P/IPC/read -gpua056:1415345:1415421 [2] NCCL INFO Channel 01/0 : 42[85000] -> 41[46000] via P2P/IPC/read -gpua056:1415345:1415421 [2] NCCL INFO Connected all trees -gpua056:1415345:1415421 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua056:1415345:1415421 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua056:1415345:1415421 [2] NCCL INFO comm 0x1103a0e0 rank 42 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua031:1028648:1028648 [0] NCCL INFO cudaDriverVersion 12020 -gpua031:1028648:1028648 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> -gpua031:1028648:1028648 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua031:1028648:1028725 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> -gpua031:1028648:1028725 [0] NCCL INFO Using network IB -gpua031:1028648:1028725 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua031:1028648:1028725 [0] NCCL INFO Trees [0] 17/24/-1->16->33 [1] 17/-1/-1->16->20 -gpua031:1028648:1028725 [0] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 -gpua031:1028648:1028725 [0] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 -gpua031:1028648:1028725 [0] NCCL INFO Channel 00/0 : 16[7000] -> 17[46000] via P2P/IPC/read -gpua031:1028648:1028725 [0] NCCL INFO Channel 01/0 : 16[7000] -> 17[46000] via P2P/IPC/read -gpua031:1028648:1028725 [0] NCCL INFO Connected all rings -gpua031:1028648:1028725 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [send] via NET/IB/0 -gpua031:1028648:1028725 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [send] via NET/IB/0 -gpua031:1028648:1028725 [0] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [send] via NET/IB/0 -gpua031:1028648:1028725 [0] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [receive] via NET/IB/0 -gpua031:1028648:1028725 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [receive] via NET/IB/0 -gpua031:1028648:1028725 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [receive] via NET/IB/0 -gpua031:1028648:1028725 [0] NCCL INFO Connected all trees -gpua031:1028648:1028725 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua031:1028648:1028725 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua031:1028648:1028725 [0] NCCL INFO comm 0xce63ae0 rank 16 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua093:765099:765099 [1] NCCL INFO cudaDriverVersion 12020 -gpua093:765099:765099 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.93<0> -gpua093:765099:765099 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua093:765099:765179 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.93<0> -gpua093:765099:765179 [1] NCCL INFO Using network IB -gpua093:765099:765179 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua093:765099:765179 [1] NCCL INFO Trees [0] 58/52/-1->57->56 [1] 58/-1/-1->57->56 -gpua093:765099:765179 [1] NCCL INFO Channel 00/0 : 57[46000] -> 58[85000] via P2P/IPC/read -gpua093:765099:765179 [1] NCCL INFO Channel 01/0 : 57[46000] -> 58[85000] via P2P/IPC/read -gpua093:765099:765179 [1] NCCL INFO Connected all rings -gpua093:765099:765179 [1] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [receive] via NET/IB/0 -gpua093:765099:765179 [1] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [send] via NET/IB/0 -gpua093:765099:765179 [1] NCCL INFO Channel 00/0 : 57[46000] -> 56[7000] via P2P/IPC/read -gpua093:765099:765179 [1] NCCL INFO Channel 01/0 : 57[46000] -> 56[7000] via P2P/IPC/read -gpua093:765099:765179 [1] NCCL INFO Connected all trees -gpua093:765099:765179 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua093:765099:765179 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua093:765099:765179 [1] NCCL INFO comm 0x9a52b9d0 rank 57 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua008:2018090:2018090 [1] NCCL INFO cudaDriverVersion 12020 -gpua008:2018090:2018090 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.8<0> -gpua008:2018090:2018090 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua008:2018090:2018154 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.8<0> -gpua008:2018090:2018154 [1] NCCL INFO Using network IB -gpua008:2018090:2018154 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua008:2018090:2018154 [1] NCCL INFO Trees [0] 14/-1/-1->13->12 [1] 14/20/-1->13->12 -gpua008:2018090:2018154 [1] NCCL INFO Channel 00/0 : 13[46000] -> 14[85000] via P2P/IPC/read -gpua008:2018090:2018154 [1] NCCL INFO Channel 01/0 : 13[46000] -> 14[85000] via P2P/IPC/read -gpua008:2018090:2018154 [1] NCCL INFO Connected all rings -gpua008:2018090:2018154 [1] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [send] via NET/IB/0 -gpua008:2018090:2018154 [1] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [receive] via NET/IB/0 -gpua008:2018090:2018154 [1] NCCL INFO Channel 00/0 : 13[46000] -> 12[7000] via P2P/IPC/read -gpua008:2018090:2018154 [1] NCCL INFO Channel 01/0 : 13[46000] -> 12[7000] via P2P/IPC/read -gpua008:2018090:2018154 [1] NCCL INFO Connected all trees -gpua008:2018090:2018154 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua008:2018090:2018154 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua008:2018090:2018154 [1] NCCL INFO comm 0xdd8cabc0 rank 13 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua008:2018092:2018092 [3] NCCL INFO cudaDriverVersion 12020 -gpua008:2018092:2018092 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.8<0> -gpua008:2018092:2018092 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua008:2018092:2018157 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.8<0> -gpua008:2018092:2018157 [3] NCCL INFO Using network IB -gpua008:2018092:2018157 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua008:2018092:2018157 [3] NCCL INFO Trees [0] -1/-1/-1->15->14 [1] -1/-1/-1->15->14 -gpua008:2018092:2018157 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 -gpua008:2018092:2018157 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 -gpua008:2018092:2018157 [3] NCCL INFO Connected all rings -gpua008:2018092:2018157 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 14[85000] via P2P/IPC/read -gpua008:2018092:2018157 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 14[85000] via P2P/IPC/read -gpua008:2018092:2018157 [3] NCCL INFO Connected all trees -gpua008:2018092:2018157 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua008:2018092:2018157 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua008:2018092:2018157 [3] NCCL INFO comm 0x1226bde0 rank 15 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua033:1192778:1192778 [2] NCCL INFO cudaDriverVersion 12020 -gpua033:1192778:1192778 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.33<0> -gpua033:1192778:1192778 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua033:1192778:1192864 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.33<0> -gpua033:1192778:1192864 [2] NCCL INFO Using network IB -gpua033:1192778:1192864 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua033:1192778:1192864 [2] NCCL INFO Trees [0] 23/-1/-1->22->21 [1] 23/-1/-1->22->21 -gpua033:1192778:1192864 [2] NCCL INFO Channel 00/0 : 22[85000] -> 23[c7000] via P2P/IPC/read -gpua033:1192778:1192864 [2] NCCL INFO Channel 01/0 : 22[85000] -> 23[c7000] via P2P/IPC/read -gpua033:1192778:1192864 [2] NCCL INFO Connected all rings -gpua033:1192778:1192864 [2] NCCL INFO Channel 00/0 : 22[85000] -> 21[46000] via P2P/IPC/read -gpua033:1192778:1192864 [2] NCCL INFO Channel 01/0 : 22[85000] -> 21[46000] via P2P/IPC/read -gpua033:1192778:1192864 [2] NCCL INFO Connected all trees -gpua033:1192778:1192864 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua033:1192778:1192864 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua033:1192778:1192864 [2] NCCL INFO comm 0x1e20e5b0 rank 22 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua033:1192776:1192776 [0] NCCL INFO cudaDriverVersion 12020 -gpua033:1192776:1192776 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.33<0> -gpua033:1192776:1192776 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua033:1192776:1192860 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.33<0> -gpua033:1192776:1192860 [0] NCCL INFO Using network IB -gpua033:1192776:1192860 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua033:1192776:1192860 [0] NCCL INFO Trees [0] 21/-1/-1->20->25 [1] 21/16/-1->20->13 -gpua033:1192776:1192860 [0] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 -gpua033:1192776:1192860 [0] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 -gpua033:1192776:1192860 [0] NCCL INFO Channel 00/0 : 20[7000] -> 21[46000] via P2P/IPC/read -gpua033:1192776:1192860 [0] NCCL INFO Channel 01/0 : 20[7000] -> 21[46000] via P2P/IPC/read -gpua033:1192776:1192860 [0] NCCL INFO Connected all rings -gpua033:1192776:1192860 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [receive] via NET/IB/0 -gpua033:1192776:1192860 [0] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [send] via NET/IB/0 -gpua033:1192776:1192860 [0] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [receive] via NET/IB/0 -gpua033:1192776:1192860 [0] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [send] via NET/IB/0 -gpua033:1192776:1192860 [0] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [receive] via NET/IB/0 -gpua033:1192776:1192860 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [send] via NET/IB/0 -gpua033:1192776:1192860 [0] NCCL INFO Connected all trees -gpua033:1192776:1192860 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua033:1192776:1192860 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua033:1192776:1192860 [0] NCCL INFO comm 0x16384c70 rank 20 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua001:1989294:1989294 [1] NCCL INFO cudaDriverVersion 12020 -gpua001:1989294:1989294 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.1<0> -gpua001:1989294:1989294 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua001:1989294:1989366 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.1<0> -gpua001:1989294:1989366 [1] NCCL INFO Using network IB -gpua001:1989294:1989366 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua001:1989294:1989366 [1] NCCL INFO Trees [0] 2/-1/-1->1->0 [1] 2/-1/-1->1->0 -gpua001:1989294:1989366 [1] NCCL INFO Channel 00/0 : 1[46000] -> 2[85000] via P2P/IPC/read -gpua001:1989294:1989366 [1] NCCL INFO Channel 01/0 : 1[46000] -> 2[85000] via P2P/IPC/read -gpua001:1989294:1989366 [1] NCCL INFO Connected all rings -gpua001:1989294:1989366 [1] NCCL INFO Channel 00/0 : 1[46000] -> 0[7000] via P2P/IPC/read -gpua001:1989294:1989366 [1] NCCL INFO Channel 01/0 : 1[46000] -> 0[7000] via P2P/IPC/read -gpua001:1989294:1989366 [1] NCCL INFO Connected all trees -gpua001:1989294:1989366 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua001:1989294:1989366 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua001:1989294:1989366 [1] NCCL INFO comm 0xfb76ec0 rank 1 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua091:609435:609435 [3] NCCL INFO cudaDriverVersion 12020 -gpua091:609435:609435 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.91<0> -gpua091:609435:609435 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua091:609435:609504 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.91<0> -gpua091:609435:609504 [3] NCCL INFO Using network IB -gpua091:609435:609504 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua091:609435:609504 [3] NCCL INFO Trees [0] -1/-1/-1->55->54 [1] -1/-1/-1->55->54 -gpua091:609435:609504 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 -gpua091:609435:609504 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 -gpua091:609435:609504 [3] NCCL INFO Connected all rings -gpua091:609435:609504 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 54[85000] via P2P/IPC/read -gpua091:609435:609504 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 54[85000] via P2P/IPC/read -gpua091:609435:609504 [3] NCCL INFO Connected all trees -gpua091:609435:609504 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua091:609435:609504 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua091:609435:609504 [3] NCCL INFO comm 0xa8cb610 rank 55 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua001:1989296:1989296 [3] NCCL INFO cudaDriverVersion 12020 -gpua001:1989296:1989296 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.1<0> -gpua001:1989296:1989296 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua001:1989296:1989364 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.1<0> -gpua001:1989296:1989364 [3] NCCL INFO Using network IB -gpua001:1989296:1989364 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua001:1989296:1989364 [3] NCCL INFO Trees [0] -1/-1/-1->3->2 [1] -1/-1/-1->3->2 -gpua001:1989296:1989364 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 -gpua001:1989296:1989364 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 -gpua001:1989296:1989364 [3] NCCL INFO Connected all rings -gpua001:1989296:1989364 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 2[85000] via P2P/IPC/read -gpua001:1989296:1989364 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 2[85000] via P2P/IPC/read -gpua001:1989296:1989364 [3] NCCL INFO Connected all trees -gpua001:1989296:1989364 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua001:1989296:1989364 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua001:1989296:1989364 [3] NCCL INFO comm 0xedae2aa0 rank 3 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua082:869169:869169 [0] NCCL INFO cudaDriverVersion 12020 -gpua082:869169:869169 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> -gpua082:869169:869169 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua082:869169:869244 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> -gpua082:869169:869244 [0] NCCL INFO Using network IB -gpua082:869169:869244 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua082:869169:869244 [0] NCCL INFO Trees [0] 49/56/-1->48->32 [1] 49/-1/-1->48->52 -gpua082:869169:869244 [0] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 -gpua082:869169:869244 [0] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 -gpua082:869169:869244 [0] NCCL INFO Channel 00/0 : 48[7000] -> 49[46000] via P2P/IPC/read -gpua082:869169:869244 [0] NCCL INFO Channel 01/0 : 48[7000] -> 49[46000] via P2P/IPC/read -gpua082:869169:869244 [0] NCCL INFO Connected all rings -gpua082:869169:869244 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [send] via NET/IB/0 -gpua082:869169:869244 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [send] via NET/IB/0 -gpua082:869169:869244 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [receive] via NET/IB/0 -gpua082:869169:869244 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [send] via NET/IB/0 -gpua082:869169:869244 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [receive] via NET/IB/0 -gpua082:869169:869244 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [receive] via NET/IB/0 -gpua082:869169:869244 [0] NCCL INFO Connected all trees -gpua082:869169:869244 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua082:869169:869244 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua082:869169:869244 [0] NCCL INFO comm 0xa671bd60 rank 48 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -[gpua001:0/64] 2023-12-11 11:02:10,529 (distributed:1027) INFO: Reducer buckets have been rebuilt in this iteration. -[gpua001:0/64] 2023-12-11 11:03:51,121 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-11 11:05:17,253 (trainer:737) INFO: 26epoch:train:1-100batch: iter_time=5.087, forward_time=0.241, loss_ctc=62.741, loss_att=53.285, acc=0.698, loss=56.122, backward_time=0.407, grad_norm=81.328, clip=100.000, loss_scale=1.629e+31, optim_step_time=0.134, optim0_lr0=8.000e-05, train_time=8.040 -[gpua001:0/64] 2023-12-11 11:09:55,519 (trainer:737) INFO: 26epoch:train:101-200batch: iter_time=8.601e-05, forward_time=0.141, loss_ctc=66.285, loss_att=47.878, acc=0.715, loss=53.400, backward_time=0.496, grad_norm=74.847, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.129, optim0_lr0=7.999e-05, train_time=2.783 -[gpua001:0/64] 2023-12-11 11:14:43,295 (trainer:737) INFO: 26epoch:train:201-300batch: iter_time=8.708e-05, forward_time=0.203, loss_ctc=67.211, loss_att=54.000, acc=0.711, loss=57.964, backward_time=0.477, grad_norm=81.176, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.998e-05, train_time=2.877 -[gpua001:0/64] 2023-12-11 11:18:57,682 (trainer:737) INFO: 26epoch:train:301-400batch: iter_time=9.385e-05, forward_time=0.167, loss_ctc=68.308, loss_att=57.428, acc=0.717, loss=60.692, backward_time=0.457, grad_norm=95.730, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.997e-05, train_time=2.544 -[gpua001:0/64] 2023-12-11 11:22:57,808 (trainer:737) INFO: 26epoch:train:401-500batch: iter_time=8.904e-05, forward_time=0.143, loss_ctc=64.940, loss_att=48.558, acc=0.718, loss=53.473, backward_time=0.368, grad_norm=97.869, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.996e-05, train_time=2.401 -[gpua001:0/64] 2023-12-11 11:27:08,761 (trainer:737) INFO: 26epoch:train:501-600batch: iter_time=9.440e-05, forward_time=0.142, loss_ctc=70.744, loss_att=57.844, acc=0.714, loss=61.714, backward_time=0.440, grad_norm=76.618, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.995e-05, train_time=2.509 -[gpua001:0/64] 2023-12-11 11:31:36,782 (trainer:737) INFO: 26epoch:train:601-700batch: iter_time=9.023e-05, forward_time=0.197, loss_ctc=65.872, loss_att=53.220, acc=0.711, loss=57.015, backward_time=0.451, grad_norm=74.209, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.994e-05, train_time=2.680 -[gpua001:0/64] 2023-12-11 11:36:06,363 (trainer:737) INFO: 26epoch:train:701-800batch: iter_time=8.682e-05, forward_time=0.143, loss_ctc=66.793, loss_att=53.658, acc=0.709, loss=57.598, backward_time=0.413, grad_norm=82.363, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.130, optim0_lr0=7.993e-05, train_time=2.696 -[gpua001:0/64] 2023-12-11 11:40:27,945 (trainer:737) INFO: 26epoch:train:801-900batch: iter_time=8.431e-05, forward_time=0.143, loss_ctc=67.818, loss_att=52.073, acc=0.724, loss=56.797, backward_time=0.346, grad_norm=152.814, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.130, optim0_lr0=7.992e-05, train_time=2.616 -[gpua001:0/64] 2023-12-11 11:44:04,729 (trainer:737) INFO: 26epoch:train:901-1000batch: iter_time=8.529e-05, forward_time=0.143, loss_ctc=84.557, loss_att=66.859, acc=0.693, loss=72.168, backward_time=0.372, grad_norm=119.509, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.130, optim0_lr0=7.991e-05, train_time=2.168 -[gpua001:0/64] 2023-12-11 11:47:59,247 (trainer:737) INFO: 26epoch:train:1001-1100batch: iter_time=1.807e-04, forward_time=0.188, loss_ctc=63.870, loss_att=51.894, acc=0.697, loss=55.487, backward_time=0.400, grad_norm=70.772, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.990e-05, train_time=2.344 -[gpua001:0/64] 2023-12-11 11:51:30,204 (trainer:737) INFO: 26epoch:train:1101-1200batch: iter_time=8.205e-05, forward_time=0.182, loss_ctc=74.161, loss_att=57.177, acc=0.697, loss=62.272, backward_time=0.427, grad_norm=70.843, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.989e-05, train_time=2.110 -[gpua001:0/64] 2023-12-11 11:53:32,916 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua001:0/64] 2023-12-11 11:53:50,713 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-11 11:53:54,097 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-11 11:53:54,097 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua001:0/64] 2023-12-11 11:53:54,174 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-11 12:02:10,993 (trainer:737) INFO: 26epoch:train:1201-1300batch: iter_time=2.647, forward_time=0.191, loss_ctc=62.809, loss_att=51.277, acc=0.716, loss=54.736, backward_time=0.346, grad_norm=68.633, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.987e-05, train_time=6.407 -[gpua001:0/64] 2023-12-11 12:04:59,095 (trainer:737) INFO: 26epoch:train:1301-1400batch: iter_time=7.795e-05, forward_time=0.146, loss_ctc=61.787, loss_att=44.915, acc=0.720, loss=49.977, backward_time=0.310, grad_norm=63.159, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.986e-05, train_time=1.681 -[gpua001:0/64] 2023-12-11 12:07:26,444 (trainer:737) INFO: 26epoch:train:1401-1500batch: iter_time=7.376e-05, forward_time=0.147, loss_ctc=65.516, loss_att=48.760, acc=0.736, loss=53.787, backward_time=0.295, grad_norm=140.289, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.985e-05, train_time=1.473 -[gpua001:0/64] 2023-12-11 12:09:56,599 (trainer:737) INFO: 26epoch:train:1501-1600batch: iter_time=7.994e-05, forward_time=0.145, loss_ctc=68.441, loss_att=52.717, acc=0.720, loss=57.434, backward_time=0.317, grad_norm=68.139, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.984e-05, train_time=1.501 -[gpua001:0/64] 2023-12-11 12:12:46,517 (trainer:737) INFO: 26epoch:train:1601-1700batch: iter_time=7.889e-05, forward_time=0.145, loss_ctc=66.316, loss_att=56.756, acc=0.720, loss=59.624, backward_time=0.388, grad_norm=56.978, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.983e-05, train_time=1.699 -[gpua001:0/64] 2023-12-11 12:15:25,872 (trainer:737) INFO: 26epoch:train:1701-1800batch: iter_time=8.285e-05, forward_time=0.145, loss_ctc=64.099, loss_att=51.486, acc=0.728, loss=55.270, backward_time=0.352, grad_norm=71.854, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.982e-05, train_time=1.593 -[gpua001:0/64] 2023-12-11 12:18:37,358 (trainer:737) INFO: 26epoch:train:1801-1900batch: iter_time=7.999e-05, forward_time=0.223, loss_ctc=67.768, loss_att=56.558, acc=0.726, loss=59.921, backward_time=0.375, grad_norm=78.775, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.981e-05, train_time=1.915 -[gpua001:0/64] 2023-12-11 12:21:34,467 (trainer:737) INFO: 26epoch:train:1901-2000batch: iter_time=6.670e-04, forward_time=0.192, loss_ctc=68.059, loss_att=52.814, acc=0.726, loss=57.387, backward_time=0.368, grad_norm=61.932, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.980e-05, train_time=1.770 -[gpua001:0/64] 2023-12-11 12:23:45,939 (trainer:737) INFO: 26epoch:train:2001-2100batch: iter_time=8.761e-05, forward_time=0.146, loss_ctc=61.247, loss_att=45.431, acc=0.734, loss=50.176, backward_time=0.288, grad_norm=70.248, clip=100.000, loss_scale=1.410e+31, optim_step_time=0.131, optim0_lr0=7.979e-05, train_time=1.315 -[gpua001:0/64] 2023-12-11 12:26:30,269 (trainer:737) INFO: 26epoch:train:2101-2200batch: iter_time=8.323e-05, forward_time=0.146, loss_ctc=87.902, loss_att=68.475, acc=0.706, loss=74.303, backward_time=0.318, grad_norm=114.605, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.978e-05, train_time=1.643 -[gpua001:0/64] 2023-12-11 12:29:16,817 (trainer:737) INFO: 26epoch:train:2201-2300batch: iter_time=8.797e-05, forward_time=0.146, loss_ctc=62.660, loss_att=50.713, acc=0.707, loss=54.297, backward_time=0.315, grad_norm=71.258, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.977e-05, train_time=1.665 -[gpua001:0/64] 2023-12-11 12:31:58,526 (trainer:737) INFO: 26epoch:train:2301-2400batch: iter_time=9.107e-05, forward_time=0.145, loss_ctc=68.421, loss_att=56.338, acc=0.708, loss=59.963, backward_time=0.302, grad_norm=71.861, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.976e-05, train_time=1.617 -[gpua001:0/64] 2023-12-11 12:34:50,634 (trainer:737) INFO: 26epoch:train:2401-2500batch: iter_time=7.878e-05, forward_time=0.145, loss_ctc=63.061, loss_att=48.494, acc=0.720, loss=52.864, backward_time=0.315, grad_norm=77.981, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.975e-05, train_time=1.721 -[gpua001:0/64] 2023-12-11 12:35:10,661 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua001:0/64] 2023-12-11 12:35:28,712 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-11 12:35:32,259 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-11 12:35:32,259 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua001:0/64] 2023-12-11 12:35:32,262 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-11 12:41:17,324 (trainer:737) INFO: 26epoch:train:2501-2600batch: iter_time=2.533, forward_time=0.191, loss_ctc=62.453, loss_att=50.943, acc=0.708, loss=54.396, backward_time=0.291, grad_norm=77.256, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.974e-05, train_time=3.867 -[gpua001:0/64] 2023-12-11 12:43:19,275 (trainer:737) INFO: 26epoch:train:2601-2700batch: iter_time=7.754e-05, forward_time=0.145, loss_ctc=65.363, loss_att=46.364, acc=0.722, loss=52.064, backward_time=0.280, grad_norm=57.872, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.973e-05, train_time=1.219 -[gpua001:0/64] 2023-12-11 12:45:48,718 (trainer:737) INFO: 26epoch:train:2701-2800batch: iter_time=7.884e-05, forward_time=0.145, loss_ctc=64.885, loss_att=51.815, acc=0.721, loss=55.736, backward_time=0.299, grad_norm=65.465, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.972e-05, train_time=1.494 -[gpua001:0/64] 2023-12-11 12:47:57,201 (trainer:737) INFO: 26epoch:train:2801-2900batch: iter_time=7.966e-05, forward_time=0.148, loss_ctc=66.448, loss_att=56.005, acc=0.723, loss=59.138, backward_time=0.280, grad_norm=67.296, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.971e-05, train_time=1.285 -[gpua001:0/64] 2023-12-11 12:50:00,304 (trainer:737) INFO: 26epoch:train:2901-3000batch: iter_time=7.746e-05, forward_time=0.145, loss_ctc=63.391, loss_att=47.147, acc=0.726, loss=52.020, backward_time=0.281, grad_norm=70.469, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.969e-05, train_time=1.231 -[gpua001:0/64] 2023-12-11 12:52:16,363 (trainer:737) INFO: 26epoch:train:3001-3100batch: iter_time=8.201e-05, forward_time=0.144, loss_ctc=69.905, loss_att=57.449, acc=0.716, loss=61.186, backward_time=0.288, grad_norm=97.069, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.968e-05, train_time=1.360 -[gpua001:0/64] 2023-12-11 12:54:41,166 (trainer:737) INFO: 26epoch:train:3101-3200batch: iter_time=8.018e-05, forward_time=0.145, loss_ctc=64.811, loss_att=52.511, acc=0.716, loss=56.201, backward_time=0.288, grad_norm=76.820, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.967e-05, train_time=1.448 -[gpua001:0/64] 2023-12-11 12:57:16,551 (trainer:737) INFO: 26epoch:train:3201-3300batch: iter_time=7.918e-05, forward_time=0.145, loss_ctc=66.062, loss_att=53.307, acc=0.710, loss=57.134, backward_time=0.286, grad_norm=54.362, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.966e-05, train_time=1.554 -[gpua001:0/64] 2023-12-11 12:59:41,116 (trainer:737) INFO: 26epoch:train:3301-3400batch: iter_time=8.376e-05, forward_time=0.145, loss_ctc=66.191, loss_att=51.218, acc=0.728, loss=55.710, backward_time=0.303, grad_norm=82.370, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.965e-05, train_time=1.445 -[gpua001:0/64] 2023-12-11 13:02:22,423 (trainer:737) INFO: 26epoch:train:3401-3500batch: iter_time=7.797e-05, forward_time=0.147, loss_ctc=80.065, loss_att=63.903, acc=0.699, loss=68.752, backward_time=0.296, grad_norm=108.448, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.964e-05, train_time=1.613 -[gpua001:0/64] 2023-12-11 13:04:44,005 (trainer:737) INFO: 26epoch:train:3501-3600batch: iter_time=7.921e-05, forward_time=0.153, loss_ctc=62.360, loss_att=51.013, acc=0.704, loss=54.417, backward_time=0.298, grad_norm=54.214, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.963e-05, train_time=1.416 -[gpua001:0/64] 2023-12-11 13:07:20,260 (trainer:737) INFO: 26epoch:train:3601-3700batch: iter_time=8.107e-05, forward_time=0.213, loss_ctc=71.362, loss_att=56.389, acc=0.701, loss=60.881, backward_time=0.305, grad_norm=66.277, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.962e-05, train_time=1.562 -[gpua001:0/64] 2023-12-11 13:08:50,785 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua001:0/64] 2023-12-11 13:09:09,171 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-11 13:09:12,566 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-11 13:09:12,566 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua001:0/64] 2023-12-11 13:09:12,616 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-11 13:18:26,512 (trainer:737) INFO: 26epoch:train:3701-3800batch: iter_time=2.723, forward_time=0.155, loss_ctc=61.942, loss_att=49.994, acc=0.720, loss=53.579, backward_time=0.312, grad_norm=59.389, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.961e-05, train_time=6.662 -[gpua001:0/64] 2023-12-11 13:21:09,607 (trainer:737) INFO: 26epoch:train:3801-3900batch: iter_time=7.225e-05, forward_time=0.145, loss_ctc=60.375, loss_att=43.646, acc=0.721, loss=48.664, backward_time=0.344, grad_norm=56.424, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.960e-05, train_time=1.631 -[gpua001:0/64] 2023-12-11 13:23:59,150 (trainer:737) INFO: 26epoch:train:3901-4000batch: iter_time=8.100e-05, forward_time=0.145, loss_ctc=64.628, loss_att=48.405, acc=0.735, loss=53.272, backward_time=0.348, grad_norm=91.686, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.959e-05, train_time=1.695 -[gpua001:0/64] 2023-12-11 13:26:54,395 (trainer:737) INFO: 26epoch:train:4001-4100batch: iter_time=8.248e-05, forward_time=0.145, loss_ctc=67.339, loss_att=51.827, acc=0.720, loss=56.480, backward_time=0.323, grad_norm=63.597, clip=100.000, loss_scale=2.819e+31, optim_step_time=0.131, optim0_lr0=7.958e-05, train_time=1.752 -[gpua001:0/64] 2023-12-11 13:29:51,069 (trainer:737) INFO: 26epoch:train:4101-4200batch: iter_time=8.314e-05, forward_time=0.145, loss_ctc=66.097, loss_att=57.035, acc=0.716, loss=59.753, backward_time=0.330, grad_norm=57.035, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.957e-05, train_time=1.767 -[gpua001:0/64] 2023-12-11 13:32:35,914 (trainer:737) INFO: 26epoch:train:4201-4300batch: iter_time=8.150e-05, forward_time=0.145, loss_ctc=63.519, loss_att=50.444, acc=0.724, loss=54.366, backward_time=0.298, grad_norm=62.042, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.956e-05, train_time=1.648 -[gpua001:0/64] 2023-12-11 13:35:39,180 (trainer:737) INFO: 26epoch:train:4301-4400batch: iter_time=7.925e-05, forward_time=0.144, loss_ctc=66.361, loss_att=55.637, acc=0.723, loss=58.854, backward_time=0.349, grad_norm=66.321, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.955e-05, train_time=1.832 -[gpua001:0/64] 2023-12-11 13:36:50,060 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-11 13:38:48,948 (trainer:737) INFO: 26epoch:train:4401-4500batch: iter_time=7.963e-05, forward_time=0.165, loss_ctc=68.014, loss_att=52.242, acc=0.721, loss=56.973, backward_time=0.329, grad_norm=85.542, clip=100.000, loss_scale=2.848e+31, optim_step_time=0.132, optim0_lr0=7.954e-05, train_time=1.897 -[gpua001:0/64] 2023-12-11 13:41:56,446 (trainer:737) INFO: 26epoch:train:4501-4600batch: iter_time=7.860e-05, forward_time=0.195, loss_ctc=60.514, loss_att=44.686, acc=0.734, loss=49.434, backward_time=0.361, grad_norm=54.408, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=7.953e-05, train_time=1.875 -[gpua001:0/64] 2023-12-11 13:45:07,048 (trainer:737) INFO: 26epoch:train:4601-4700batch: iter_time=8.088e-05, forward_time=0.155, loss_ctc=83.797, loss_att=66.986, acc=0.703, loss=72.029, backward_time=0.357, grad_norm=93.681, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.952e-05, train_time=1.906 -[gpua001:0/64] 2023-12-11 13:47:47,681 (trainer:737) INFO: 26epoch:train:4701-4800batch: iter_time=8.125e-05, forward_time=0.144, loss_ctc=61.468, loss_att=49.526, acc=0.706, loss=53.108, backward_time=0.368, grad_norm=71.387, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.951e-05, train_time=1.606 -[gpua001:0/64] 2023-12-11 13:50:24,237 (trainer:737) INFO: 26epoch:train:4801-4900batch: iter_time=7.979e-05, forward_time=0.144, loss_ctc=67.575, loss_att=55.220, acc=0.707, loss=58.927, backward_time=0.343, grad_norm=72.596, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.950e-05, train_time=1.565 -[gpua001:0/64] 2023-12-11 13:53:19,565 (trainer:737) INFO: 26epoch:train:4901-5000batch: iter_time=7.913e-05, forward_time=0.144, loss_ctc=62.291, loss_att=48.147, acc=0.719, loss=52.390, backward_time=0.304, grad_norm=65.118, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.948e-05, train_time=1.753 -[gpua001:0/64] 2023-12-11 13:53:39,797 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua001:0/64] 2023-12-11 13:53:57,740 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-11 13:54:01,164 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-11 13:54:01,164 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua001:0/64] 2023-12-11 13:54:01,182 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-11 14:04:16,411 (trainer:737) INFO: 26epoch:train:5001-5100batch: iter_time=2.811, forward_time=0.146, loss_ctc=61.405, loss_att=51.754, acc=0.716, loss=54.649, backward_time=0.327, grad_norm=112.000, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.947e-05, train_time=6.568 -[gpua001:0/64] 2023-12-11 14:11:59,900 (trainer:737) INFO: 26epoch:train:5101-5200batch: iter_time=8.554e-05, forward_time=0.146, loss_ctc=65.071, loss_att=45.546, acc=0.734, loss=51.403, backward_time=0.671, grad_norm=58.536, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.946e-05, train_time=4.635 -[gpua001:0/64] 2023-12-11 14:18:37,067 (trainer:737) INFO: 26epoch:train:5201-5300batch: iter_time=8.659e-05, forward_time=0.146, loss_ctc=64.601, loss_att=52.627, acc=0.726, loss=56.219, backward_time=0.749, grad_norm=76.698, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.945e-05, train_time=3.971 -[gpua001:0/64] 2023-12-11 14:25:10,142 (trainer:737) INFO: 26epoch:train:5301-5400batch: iter_time=8.501e-05, forward_time=0.167, loss_ctc=66.281, loss_att=55.537, acc=0.731, loss=58.760, backward_time=0.718, grad_norm=56.567, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.944e-05, train_time=3.931 -[gpua001:0/64] 2023-12-11 14:29:53,524 (trainer:737) INFO: 26epoch:train:5401-5500batch: iter_time=8.428e-05, forward_time=0.192, loss_ctc=62.859, loss_att=47.025, acc=0.733, loss=51.775, backward_time=0.417, grad_norm=68.152, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=7.943e-05, train_time=2.834 -[gpua001:0/64] 2023-12-11 14:33:50,206 (trainer:737) INFO: 26epoch:train:5501-5600batch: iter_time=8.925e-05, forward_time=0.166, loss_ctc=69.789, loss_att=57.280, acc=0.728, loss=61.033, backward_time=0.474, grad_norm=77.065, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.942e-05, train_time=2.366 -[gpua001:0/64] 2023-12-11 14:36:18,965 (trainer:737) INFO: 26epoch:train:5601-5700batch: iter_time=8.223e-05, forward_time=0.146, loss_ctc=64.025, loss_att=52.366, acc=0.727, loss=55.864, backward_time=0.305, grad_norm=54.273, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.941e-05, train_time=1.488 -[gpua001:0/64] 2023-12-11 14:39:25,540 (trainer:737) INFO: 26epoch:train:5701-5800batch: iter_time=8.328e-05, forward_time=0.146, loss_ctc=64.332, loss_att=52.315, acc=0.723, loss=55.920, backward_time=0.317, grad_norm=55.893, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.940e-05, train_time=1.866 -[gpua001:0/64] 2023-12-11 14:42:28,932 (trainer:737) INFO: 26epoch:train:5801-5900batch: iter_time=8.241e-05, forward_time=0.146, loss_ctc=66.161, loss_att=50.566, acc=0.741, loss=55.244, backward_time=0.339, grad_norm=52.920, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.939e-05, train_time=1.834 -[gpua001:0/64] 2023-12-11 14:44:46,885 (trainer:737) INFO: 26epoch:train:5901-6000batch: iter_time=8.274e-05, forward_time=0.146, loss_ctc=79.194, loss_att=65.642, acc=0.705, loss=69.708, backward_time=0.290, grad_norm=99.111, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.938e-05, train_time=1.379 -[gpua001:0/64] 2023-12-11 14:47:47,105 (trainer:737) INFO: 26epoch:train:6001-6100batch: iter_time=8.402e-05, forward_time=0.146, loss_ctc=61.959, loss_att=51.292, acc=0.713, loss=54.492, backward_time=0.343, grad_norm=63.359, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.937e-05, train_time=1.802 -[gpua001:0/64] 2023-12-11 14:50:31,610 (trainer:737) INFO: 26epoch:train:6101-6200batch: iter_time=9.107e-05, forward_time=0.145, loss_ctc=69.613, loss_att=55.245, acc=0.713, loss=59.556, backward_time=0.318, grad_norm=64.721, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.936e-05, train_time=1.645 -[gpua001:0/64] 2023-12-11 14:52:16,708 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua001:0/64] 2023-12-11 14:52:34,759 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-11 14:52:38,160 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-11 14:52:38,160 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua001:0/64] 2023-12-11 14:52:38,250 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-11 15:00:18,275 (trainer:737) INFO: 26epoch:train:6201-6300batch: iter_time=2.967, forward_time=0.205, loss_ctc=62.304, loss_att=49.767, acc=0.725, loss=53.528, backward_time=0.297, grad_norm=61.943, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.935e-05, train_time=5.866 -[gpua001:0/64] 2023-12-11 15:02:19,331 (trainer:737) INFO: 26epoch:train:6301-6400batch: iter_time=7.586e-05, forward_time=0.147, loss_ctc=60.358, loss_att=43.703, acc=0.728, loss=48.699, backward_time=0.282, grad_norm=52.636, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.934e-05, train_time=1.210 -[gpua001:0/64] 2023-12-11 15:05:20,427 (trainer:737) INFO: 26epoch:train:6401-6500batch: iter_time=8.101e-05, forward_time=0.146, loss_ctc=64.764, loss_att=47.981, acc=0.742, loss=53.016, backward_time=0.319, grad_norm=56.500, clip=100.000, loss_scale=3.225e+31, optim_step_time=0.131, optim0_lr0=7.933e-05, train_time=1.811 -[gpua001:0/64] 2023-12-11 15:07:54,781 (trainer:737) INFO: 26epoch:train:6501-6600batch: iter_time=8.217e-05, forward_time=0.145, loss_ctc=67.592, loss_att=52.695, acc=0.723, loss=57.164, backward_time=0.321, grad_norm=58.208, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.932e-05, train_time=1.543 -[gpua001:0/64] 2023-12-11 15:10:27,559 (trainer:737) INFO: 26epoch:train:6601-6700batch: iter_time=8.063e-05, forward_time=0.146, loss_ctc=65.269, loss_att=57.107, acc=0.723, loss=59.556, backward_time=0.317, grad_norm=54.405, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.931e-05, train_time=1.528 -[gpua001:0/64] 2023-12-11 15:13:24,529 (trainer:737) INFO: 26epoch:train:6701-6800batch: iter_time=8.112e-05, forward_time=0.146, loss_ctc=63.109, loss_att=50.644, acc=0.733, loss=54.383, backward_time=0.363, grad_norm=61.698, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.930e-05, train_time=1.769 -[gpua001:0/64] 2023-12-11 15:16:09,229 (trainer:737) INFO: 26epoch:train:6801-6900batch: iter_time=8.330e-05, forward_time=0.146, loss_ctc=66.540, loss_att=54.554, acc=0.734, loss=58.150, backward_time=0.309, grad_norm=58.220, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.929e-05, train_time=1.647 -[gpua001:0/64] 2023-12-11 15:18:35,527 (trainer:737) INFO: 26epoch:train:6901-7000batch: iter_time=8.108e-05, forward_time=0.148, loss_ctc=67.746, loss_att=52.569, acc=0.728, loss=57.122, backward_time=0.298, grad_norm=59.248, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.928e-05, train_time=1.463 -[gpua001:0/64] 2023-12-11 15:21:48,688 (trainer:737) INFO: 26epoch:train:7001-7100batch: iter_time=2.728e-04, forward_time=0.214, loss_ctc=60.326, loss_att=44.974, acc=0.738, loss=49.580, backward_time=0.334, grad_norm=55.909, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.927e-05, train_time=1.930 -[gpua001:0/64] 2023-12-11 15:24:27,762 (trainer:737) INFO: 26epoch:train:7101-7200batch: iter_time=7.827e-05, forward_time=0.196, loss_ctc=81.759, loss_att=68.130, acc=0.710, loss=72.218, backward_time=0.324, grad_norm=93.710, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.926e-05, train_time=1.591 -[gpua001:0/64] 2023-12-11 15:26:45,162 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-11 15:27:12,403 (trainer:737) INFO: 26epoch:train:7201-7300batch: iter_time=7.983e-05, forward_time=0.145, loss_ctc=60.896, loss_att=49.324, acc=0.715, loss=52.796, backward_time=0.353, grad_norm=62.379, clip=100.000, loss_scale=3.749e+31, optim_step_time=0.131, optim0_lr0=7.925e-05, train_time=1.646 -[gpua001:0/64] 2023-12-11 15:29:57,504 (trainer:737) INFO: 26epoch:train:7301-7400batch: iter_time=8.346e-05, forward_time=0.146, loss_ctc=66.472, loss_att=55.085, acc=0.715, loss=58.501, backward_time=0.325, grad_norm=67.639, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.923e-05, train_time=1.651 -[gpua001:0/64] 2023-12-11 15:32:44,023 (trainer:737) INFO: 26epoch:train:7401-7500batch: iter_time=7.784e-05, forward_time=0.145, loss_ctc=61.818, loss_att=47.819, acc=0.724, loss=52.019, backward_time=0.343, grad_norm=55.426, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.922e-05, train_time=1.665 -[gpua001:0/64] 2023-12-11 15:33:04,053 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua001:0/64] 2023-12-11 15:33:22,316 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-11 15:33:25,785 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-11 15:33:25,785 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua001:0/64] 2023-12-11 15:33:25,789 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-11 15:44:00,052 (trainer:737) INFO: 26epoch:train:7501-7600batch: iter_time=3.091, forward_time=0.145, loss_ctc=61.356, loss_att=49.465, acc=0.721, loss=53.032, backward_time=0.282, grad_norm=61.676, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.921e-05, train_time=6.760 -[gpua001:0/64] 2023-12-11 15:46:25,379 (trainer:737) INFO: 26epoch:train:7601-7700batch: iter_time=7.696e-05, forward_time=0.145, loss_ctc=64.493, loss_att=44.960, acc=0.736, loss=50.820, backward_time=0.299, grad_norm=64.215, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.920e-05, train_time=1.453 -[gpua001:0/64] 2023-12-11 15:48:35,489 (trainer:737) INFO: 26epoch:train:7701-7800batch: iter_time=7.838e-05, forward_time=0.145, loss_ctc=64.566, loss_att=51.893, acc=0.727, loss=55.695, backward_time=0.286, grad_norm=77.165, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.919e-05, train_time=1.301 -[gpua001:0/64] 2023-12-11 15:51:25,732 (trainer:737) INFO: 26epoch:train:7801-7900batch: iter_time=0.002, forward_time=0.190, loss_ctc=66.526, loss_att=55.662, acc=0.733, loss=58.921, backward_time=0.317, grad_norm=78.790, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.918e-05, train_time=1.702 -[gpua001:0/64] 2023-12-11 15:54:13,903 (trainer:737) INFO: 26epoch:train:7901-8000batch: iter_time=7.736e-05, forward_time=0.215, loss_ctc=61.696, loss_att=46.000, acc=0.737, loss=50.709, backward_time=0.338, grad_norm=65.119, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.917e-05, train_time=1.681 -[gpua001:0/64] 2023-12-11 15:56:57,701 (trainer:737) INFO: 26epoch:train:8001-8100batch: iter_time=7.941e-05, forward_time=0.146, loss_ctc=68.771, loss_att=56.371, acc=0.731, loss=60.091, backward_time=0.308, grad_norm=59.900, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.916e-05, train_time=1.638 -[gpua001:0/64] 2023-12-11 15:59:33,861 (trainer:737) INFO: 26epoch:train:8101-8200batch: iter_time=7.808e-05, forward_time=0.146, loss_ctc=63.600, loss_att=51.385, acc=0.731, loss=55.050, backward_time=0.300, grad_norm=65.830, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.915e-05, train_time=1.561 -[gpua001:0/64] 2023-12-11 16:02:00,302 (trainer:737) INFO: 26epoch:train:8201-8300batch: iter_time=8.023e-05, forward_time=0.145, loss_ctc=64.243, loss_att=51.877, acc=0.724, loss=55.587, backward_time=0.305, grad_norm=172.395, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.914e-05, train_time=1.464 -[gpua001:0/64] 2023-12-11 16:05:06,659 (trainer:737) INFO: 26epoch:train:8301-8400batch: iter_time=8.311e-05, forward_time=0.146, loss_ctc=66.324, loss_att=50.424, acc=0.742, loss=55.194, backward_time=0.336, grad_norm=101.533, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.913e-05, train_time=1.863 -[gpua001:0/64] 2023-12-11 16:07:48,636 (trainer:737) INFO: 26epoch:train:8401-8500batch: iter_time=7.947e-05, forward_time=0.146, loss_ctc=77.633, loss_att=63.454, acc=0.707, loss=67.708, backward_time=0.302, grad_norm=95.904, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.912e-05, train_time=1.620 -[gpua001:0/64] 2023-12-11 16:10:10,179 (trainer:737) INFO: 26epoch:train:8501-8600batch: iter_time=7.806e-05, forward_time=0.146, loss_ctc=61.690, loss_att=50.645, acc=0.716, loss=53.958, backward_time=0.312, grad_norm=72.776, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.911e-05, train_time=1.415 -[gpua001:0/64] 2023-12-11 16:12:52,132 (trainer:737) INFO: 26epoch:train:8601-8700batch: iter_time=8.157e-05, forward_time=0.145, loss_ctc=70.331, loss_att=55.175, acc=0.714, loss=59.722, backward_time=0.333, grad_norm=68.553, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.910e-05, train_time=1.619 -[gpua001:0/64] 2023-12-11 16:14:39,897 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua001:0/64] 2023-12-11 16:14:58,146 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-11 16:15:01,773 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-11 16:15:01,773 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua001:0/64] 2023-12-11 16:15:01,776 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-11 16:21:11,921 (trainer:737) INFO: 26epoch:train:8701-8800batch: iter_time=3.054, forward_time=0.181, loss_ctc=61.345, loss_att=50.597, acc=0.721, loss=53.821, backward_time=0.302, grad_norm=65.630, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.909e-05, train_time=4.998 -[gpua001:0/64] 2023-12-11 16:23:32,504 (trainer:737) INFO: 26epoch:train:8801-8900batch: iter_time=7.716e-05, forward_time=0.145, loss_ctc=60.226, loss_att=43.759, acc=0.724, loss=48.699, backward_time=0.295, grad_norm=101.378, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.908e-05, train_time=1.406 -[gpua001:0/64] 2023-12-11 16:25:50,383 (trainer:737) INFO: 26epoch:train:8901-9000batch: iter_time=8.144e-05, forward_time=0.146, loss_ctc=64.269, loss_att=48.304, acc=0.737, loss=53.094, backward_time=0.295, grad_norm=66.961, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.907e-05, train_time=1.379 -[gpua001:0/64] 2023-12-11 16:28:38,801 (trainer:737) INFO: 26epoch:train:9001-9100batch: iter_time=8.695e-05, forward_time=0.146, loss_ctc=66.064, loss_att=51.489, acc=0.723, loss=55.862, backward_time=0.317, grad_norm=62.951, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.906e-05, train_time=1.684 -[gpua001:0/64] 2023-12-11 16:31:18,097 (trainer:737) INFO: 26epoch:train:9101-9200batch: iter_time=8.490e-05, forward_time=0.146, loss_ctc=65.146, loss_att=56.134, acc=0.721, loss=58.838, backward_time=0.297, grad_norm=52.020, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.905e-05, train_time=1.593 -[gpua001:0/64] 2023-12-11 16:34:12,529 (trainer:737) INFO: 26epoch:train:9201-9300batch: iter_time=8.869e-05, forward_time=0.163, loss_ctc=62.417, loss_att=50.865, acc=0.725, loss=54.330, backward_time=0.345, grad_norm=57.702, clip=100.000, loss_scale=2.332e+31, optim_step_time=0.131, optim0_lr0=7.904e-05, train_time=1.744 -[gpua001:0/64] 2023-12-11 16:36:56,871 (trainer:737) INFO: 26epoch:train:9301-9400batch: iter_time=8.815e-05, forward_time=0.146, loss_ctc=65.676, loss_att=54.984, acc=0.725, loss=58.192, backward_time=0.302, grad_norm=59.237, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.903e-05, train_time=1.643 -[gpua001:0/64] 2023-12-11 16:39:24,412 (trainer:737) INFO: 26epoch:train:9401-9500batch: iter_time=8.895e-05, forward_time=0.146, loss_ctc=67.134, loss_att=52.392, acc=0.721, loss=56.814, backward_time=0.329, grad_norm=76.918, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.902e-05, train_time=1.475 -[gpua001:0/64] 2023-12-11 16:42:24,058 (trainer:737) INFO: 26epoch:train:9501-9600batch: iter_time=8.874e-05, forward_time=0.225, loss_ctc=59.768, loss_att=44.488, acc=0.735, loss=49.072, backward_time=0.362, grad_norm=61.583, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=7.901e-05, train_time=1.796 -[gpua001:0/64] 2023-12-11 16:44:44,719 (trainer:737) INFO: 26epoch:train:9601-9700batch: iter_time=8.892e-05, forward_time=0.179, loss_ctc=84.007, loss_att=67.606, acc=0.703, loss=72.526, backward_time=0.296, grad_norm=120.145, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.900e-05, train_time=1.406 -[gpua001:0/64] 2023-12-11 16:47:23,580 (trainer:737) INFO: 26epoch:train:9701-9800batch: iter_time=8.217e-05, forward_time=0.145, loss_ctc=60.815, loss_att=48.984, acc=0.709, loss=52.533, backward_time=0.342, grad_norm=78.143, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.899e-05, train_time=1.588 -[gpua001:0/64] 2023-12-11 16:50:23,678 (trainer:737) INFO: 26epoch:train:9801-9900batch: iter_time=8.197e-05, forward_time=0.146, loss_ctc=66.447, loss_att=55.024, acc=0.708, loss=58.451, backward_time=0.361, grad_norm=71.297, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.130, optim0_lr0=7.898e-05, train_time=1.801 -[gpua001:0/64] 2023-12-11 16:52:39,791 (trainer:737) INFO: 26epoch:train:9901-10000batch: iter_time=8.053e-05, forward_time=0.144, loss_ctc=61.298, loss_att=47.796, acc=0.722, loss=51.847, backward_time=0.311, grad_norm=60.758, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.897e-05, train_time=1.361 -[gpua001:0/64] 2023-12-11 16:52:59,820 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua001:0/64] 2023-12-11 16:53:18,237 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-11 16:53:21,697 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-11 16:53:21,698 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua001:0/64] 2023-12-11 16:53:21,701 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-11 17:04:19,137 (trainer:737) INFO: 26epoch:train:10001-10100batch: iter_time=3.116, forward_time=0.210, loss_ctc=61.414, loss_att=49.393, acc=0.716, loss=52.999, backward_time=0.285, grad_norm=60.263, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.896e-05, train_time=6.993 -[gpua001:0/64] 2023-12-11 17:06:20,676 (trainer:737) INFO: 26epoch:train:10101-10200batch: iter_time=8.272e-05, forward_time=0.144, loss_ctc=64.166, loss_att=45.189, acc=0.729, loss=50.882, backward_time=0.277, grad_norm=55.773, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.895e-05, train_time=1.215 -[gpua001:0/64] 2023-12-11 17:08:42,429 (trainer:737) INFO: 26epoch:train:10201-10300batch: iter_time=8.212e-05, forward_time=0.145, loss_ctc=63.814, loss_att=51.119, acc=0.726, loss=54.927, backward_time=0.298, grad_norm=55.272, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.894e-05, train_time=1.417 -[gpua001:0/64] 2023-12-11 17:11:28,112 (trainer:737) INFO: 26epoch:train:10301-10400batch: iter_time=8.507e-05, forward_time=0.151, loss_ctc=66.500, loss_att=55.591, acc=0.728, loss=58.864, backward_time=0.310, grad_norm=69.750, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.893e-05, train_time=1.657 -[gpua001:0/64] 2023-12-11 17:14:13,676 (trainer:737) INFO: 26epoch:train:10401-10500batch: iter_time=7.947e-05, forward_time=0.180, loss_ctc=62.275, loss_att=46.400, acc=0.731, loss=51.163, backward_time=0.320, grad_norm=217.082, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.892e-05, train_time=1.655 -[gpua001:0/64] 2023-12-11 17:16:32,309 (trainer:737) INFO: 26epoch:train:10501-10600batch: iter_time=9.046e-05, forward_time=0.145, loss_ctc=68.699, loss_att=56.009, acc=0.725, loss=59.816, backward_time=0.285, grad_norm=58.239, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.891e-05, train_time=1.386 -[gpua001:0/64] 2023-12-11 17:19:44,148 (trainer:737) INFO: 26epoch:train:10601-10700batch: iter_time=8.238e-05, forward_time=0.145, loss_ctc=63.704, loss_att=50.931, acc=0.723, loss=54.763, backward_time=0.344, grad_norm=67.523, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.890e-05, train_time=1.918 -[gpua001:0/64] 2023-12-11 17:22:18,878 (trainer:737) INFO: 26epoch:train:10701-10800batch: iter_time=8.228e-05, forward_time=0.145, loss_ctc=64.531, loss_att=52.028, acc=0.719, loss=55.779, backward_time=0.308, grad_norm=65.243, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.888e-05, train_time=1.547 -[gpua001:0/64] 2023-12-11 17:25:08,796 (trainer:737) INFO: 26epoch:train:10801-10900batch: iter_time=8.291e-05, forward_time=0.146, loss_ctc=66.145, loss_att=50.518, acc=0.734, loss=55.206, backward_time=0.329, grad_norm=62.070, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.887e-05, train_time=1.699 -[gpua001:0/64] 2023-12-11 17:28:16,851 (trainer:737) INFO: 26epoch:train:10901-11000batch: iter_time=8.192e-05, forward_time=0.153, loss_ctc=77.275, loss_att=63.587, acc=0.704, loss=67.694, backward_time=0.354, grad_norm=97.834, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.886e-05, train_time=1.880 -[gpua001:0/64] 2023-12-11 17:30:32,311 (trainer:737) INFO: 26epoch:train:11001-11100batch: iter_time=1.454e-04, forward_time=0.205, loss_ctc=61.806, loss_att=50.485, acc=0.709, loss=53.881, backward_time=0.316, grad_norm=62.330, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.885e-05, train_time=1.354 -[gpua001:0/64] 2023-12-11 17:33:08,417 (trainer:737) INFO: 26epoch:train:11101-11200batch: iter_time=8.310e-05, forward_time=0.146, loss_ctc=69.522, loss_att=54.820, acc=0.709, loss=59.231, backward_time=0.301, grad_norm=79.491, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.884e-05, train_time=1.561 -[gpua001:0/64] 2023-12-11 17:34:37,114 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua001:0/64] 2023-12-11 17:34:55,093 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-11 17:34:58,508 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-11 17:34:58,508 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua001:0/64] 2023-12-11 17:34:58,522 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-11 17:44:25,053 (trainer:737) INFO: 26epoch:train:11201-11300batch: iter_time=3.073, forward_time=0.194, loss_ctc=61.297, loss_att=50.045, acc=0.728, loss=53.421, backward_time=0.299, grad_norm=59.556, clip=100.000, loss_scale=4.665e+31, optim_step_time=0.137, optim0_lr0=7.883e-05, train_time=6.766 -[gpua001:0/64] 2023-12-11 17:46:25,881 (trainer:737) INFO: 26epoch:train:11301-11400batch: iter_time=8.017e-05, forward_time=0.146, loss_ctc=59.624, loss_att=43.350, acc=0.730, loss=48.232, backward_time=0.279, grad_norm=55.095, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.131, optim0_lr0=7.882e-05, train_time=1.208 -[gpua001:0/64] 2023-12-11 17:49:06,087 (trainer:737) INFO: 26epoch:train:11401-11500batch: iter_time=8.216e-05, forward_time=0.145, loss_ctc=64.423, loss_att=48.283, acc=0.743, loss=53.125, backward_time=0.303, grad_norm=56.971, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.131, optim0_lr0=7.881e-05, train_time=1.602 -[gpua001:0/64] 2023-12-11 17:51:47,169 (trainer:737) INFO: 26epoch:train:11501-11600batch: iter_time=8.378e-05, forward_time=0.219, loss_ctc=66.146, loss_att=52.111, acc=0.725, loss=56.321, backward_time=0.369, grad_norm=58.832, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=7.880e-05, train_time=1.610 -[gpua001:0/64] 2023-12-11 17:54:22,615 (trainer:737) INFO: 26epoch:train:11601-11700batch: iter_time=8.397e-05, forward_time=0.145, loss_ctc=64.471, loss_att=56.117, acc=0.725, loss=58.624, backward_time=0.309, grad_norm=52.961, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.131, optim0_lr0=7.879e-05, train_time=1.554 -[gpua001:0/64] 2023-12-11 17:56:01,356 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-11 17:56:50,397 (trainer:737) INFO: 26epoch:train:11701-11800batch: iter_time=8.419e-05, forward_time=0.202, loss_ctc=62.637, loss_att=50.405, acc=0.737, loss=54.074, backward_time=0.316, grad_norm=67.294, clip=100.000, loss_scale=6.884e+31, optim_step_time=0.134, optim0_lr0=7.878e-05, train_time=1.478 -[gpua001:0/64] 2023-12-11 17:59:52,455 (trainer:737) INFO: 26epoch:train:11801-11900batch: iter_time=3.133e-04, forward_time=0.202, loss_ctc=66.383, loss_att=54.692, acc=0.735, loss=58.199, backward_time=0.320, grad_norm=68.054, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.877e-05, train_time=1.818 -[gpua001:0/64] 2023-12-11 18:02:39,070 (trainer:737) INFO: 26epoch:train:11901-12000batch: iter_time=8.342e-05, forward_time=0.149, loss_ctc=67.301, loss_att=52.174, acc=0.731, loss=56.712, backward_time=0.332, grad_norm=65.740, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.876e-05, train_time=1.667 -[gpua001:0/64] 2023-12-11 18:05:03,024 (trainer:737) INFO: 26epoch:train:12001-12100batch: iter_time=7.978e-05, forward_time=0.145, loss_ctc=59.581, loss_att=44.748, acc=0.741, loss=49.198, backward_time=0.289, grad_norm=56.731, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.875e-05, train_time=1.439 -[gpua001:0/64] 2023-12-11 18:07:47,624 (trainer:737) INFO: 26epoch:train:12101-12200batch: iter_time=0.001, forward_time=0.250, loss_ctc=84.603, loss_att=65.774, acc=0.713, loss=71.422, backward_time=0.334, grad_norm=90.081, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=7.874e-05, train_time=1.646 -[gpua001:0/64] 2023-12-11 18:10:34,414 (trainer:737) INFO: 26epoch:train:12201-12300batch: iter_time=7.989e-05, forward_time=0.151, loss_ctc=61.116, loss_att=49.541, acc=0.716, loss=53.014, backward_time=0.309, grad_norm=69.176, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.873e-05, train_time=1.667 -[gpua001:0/64] 2023-12-11 18:13:28,949 (trainer:737) INFO: 26epoch:train:12301-12400batch: iter_time=8.379e-05, forward_time=0.145, loss_ctc=65.961, loss_att=55.475, acc=0.717, loss=58.621, backward_time=0.342, grad_norm=67.011, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.872e-05, train_time=1.746 -[gpua001:0/64] 2023-12-11 18:16:01,121 (trainer:737) INFO: 26epoch:train:12401-12500batch: iter_time=9.536e-05, forward_time=0.146, loss_ctc=61.321, loss_att=47.753, acc=0.727, loss=51.824, backward_time=0.305, grad_norm=63.760, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.871e-05, train_time=1.521 -[gpua001:0/64] 2023-12-11 18:16:21,147 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua001:0/64] 2023-12-11 18:16:39,659 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-11 18:16:43,040 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-11 18:16:43,040 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua001:0/64] 2023-12-11 18:16:43,043 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-11 18:25:04,005 (trainer:737) INFO: 26epoch:train:12501-12600batch: iter_time=2.981, forward_time=0.244, loss_ctc=61.187, loss_att=49.362, acc=0.725, loss=52.910, backward_time=0.291, grad_norm=70.908, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.870e-05, train_time=5.429 -[gpua001:0/64] 2023-12-11 18:27:05,132 (trainer:737) INFO: 26epoch:train:12601-12700batch: iter_time=7.892e-05, forward_time=0.145, loss_ctc=63.658, loss_att=44.693, acc=0.738, loss=50.383, backward_time=0.277, grad_norm=54.116, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.869e-05, train_time=1.211 -[gpua001:0/64] 2023-12-11 18:29:18,577 (trainer:737) INFO: 26epoch:train:12701-12800batch: iter_time=7.883e-05, forward_time=0.185, loss_ctc=64.157, loss_att=52.203, acc=0.727, loss=55.789, backward_time=0.283, grad_norm=59.637, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.868e-05, train_time=1.334 -[gpua001:0/64] 2023-12-11 18:32:03,558 (trainer:737) INFO: 26epoch:train:12801-12900batch: iter_time=8.006e-05, forward_time=0.145, loss_ctc=65.971, loss_att=55.495, acc=0.733, loss=58.637, backward_time=0.311, grad_norm=61.193, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.867e-05, train_time=1.648 -[gpua001:0/64] 2023-12-11 18:35:01,016 (trainer:737) INFO: 26epoch:train:12901-13000batch: iter_time=8.965e-05, forward_time=0.146, loss_ctc=61.791, loss_att=46.210, acc=0.736, loss=50.884, backward_time=0.326, grad_norm=67.568, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.866e-05, train_time=1.776 -[gpua001:0/64] 2023-12-11 18:38:10,473 (trainer:737) INFO: 26epoch:train:13001-13100batch: iter_time=8.451e-05, forward_time=0.145, loss_ctc=68.524, loss_att=56.251, acc=0.733, loss=59.933, backward_time=0.363, grad_norm=60.850, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.865e-05, train_time=1.894 -[gpua001:0/64] 2023-12-11 18:41:06,542 (trainer:737) INFO: 26epoch:train:13101-13200batch: iter_time=8.731e-05, forward_time=0.224, loss_ctc=63.681, loss_att=50.708, acc=0.736, loss=54.600, backward_time=0.304, grad_norm=64.191, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.155, optim0_lr0=7.864e-05, train_time=1.760 -[gpua001:0/64] 2023-12-11 18:43:42,444 (trainer:737) INFO: 26epoch:train:13201-13300batch: iter_time=8.778e-05, forward_time=0.151, loss_ctc=63.681, loss_att=51.912, acc=0.725, loss=55.443, backward_time=0.330, grad_norm=54.221, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.863e-05, train_time=1.559 -[gpua001:0/64] 2023-12-11 18:46:27,940 (trainer:737) INFO: 26epoch:train:13301-13400batch: iter_time=8.349e-05, forward_time=0.150, loss_ctc=65.758, loss_att=50.426, acc=0.743, loss=55.026, backward_time=0.323, grad_norm=84.472, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.862e-05, train_time=1.655 -[gpua001:0/64] 2023-12-11 18:49:27,503 (trainer:737) INFO: 26epoch:train:13401-13500batch: iter_time=8.861e-05, forward_time=0.170, loss_ctc=76.605, loss_att=62.951, acc=0.710, loss=67.047, backward_time=0.351, grad_norm=97.263, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.861e-05, train_time=1.795 -[gpua001:0/64] 2023-12-11 18:51:42,532 (trainer:737) INFO: 26epoch:train:13501-13600batch: iter_time=8.240e-05, forward_time=0.145, loss_ctc=61.276, loss_att=51.086, acc=0.715, loss=54.143, backward_time=0.280, grad_norm=85.502, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.860e-05, train_time=1.350 -[gpua001:0/64] 2023-12-11 18:54:27,061 (trainer:737) INFO: 26epoch:train:13601-13700batch: iter_time=8.272e-05, forward_time=0.146, loss_ctc=69.105, loss_att=55.526, acc=0.714, loss=59.600, backward_time=0.330, grad_norm=63.542, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.859e-05, train_time=1.643 -[gpua001:0/64] 2023-12-11 18:56:09,560 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua001:0/64] 2023-12-11 18:56:27,962 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-11 18:56:31,481 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-11 18:56:31,481 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua001:0/64] 2023-12-11 18:56:31,484 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-11 19:05:20,903 (trainer:737) INFO: 26epoch:train:13701-13800batch: iter_time=3.234, forward_time=0.205, loss_ctc=61.269, loss_att=50.397, acc=0.722, loss=53.659, backward_time=0.299, grad_norm=58.617, clip=100.000, loss_scale=5.273e+31, optim_step_time=0.133, optim0_lr0=7.858e-05, train_time=6.540 -[gpua001:0/64] 2023-12-11 19:07:20,851 (trainer:737) INFO: 26epoch:train:13801-13900batch: iter_time=8.258e-05, forward_time=0.144, loss_ctc=59.903, loss_att=43.545, acc=0.725, loss=48.452, backward_time=0.278, grad_norm=64.990, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.131, optim0_lr0=7.857e-05, train_time=1.199 -[gpua001:0/64] 2023-12-11 19:09:21,689 (trainer:737) INFO: 26epoch:train:13901-14000batch: iter_time=7.675e-05, forward_time=0.145, loss_ctc=63.723, loss_att=48.073, acc=0.741, loss=52.768, backward_time=0.281, grad_norm=55.227, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.131, optim0_lr0=7.856e-05, train_time=1.208 -[gpua001:0/64] 2023-12-11 19:12:02,823 (trainer:737) INFO: 26epoch:train:14001-14100batch: iter_time=8.128e-05, forward_time=0.162, loss_ctc=65.876, loss_att=51.313, acc=0.721, loss=55.682, backward_time=0.311, grad_norm=71.082, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.131, optim0_lr0=7.855e-05, train_time=1.611 -[gpua001:0/64] 2023-12-11 19:15:33,673 (trainer:737) INFO: 26epoch:train:14101-14200batch: iter_time=8.379e-05, forward_time=0.144, loss_ctc=64.002, loss_att=55.505, acc=0.725, loss=58.054, backward_time=0.363, grad_norm=71.065, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.131, optim0_lr0=7.854e-05, train_time=2.108 -[gpua001:0/64] 2023-12-11 19:18:09,457 (trainer:737) INFO: 26epoch:train:14201-14300batch: iter_time=8.465e-05, forward_time=0.145, loss_ctc=62.599, loss_att=50.744, acc=0.726, loss=54.300, backward_time=0.314, grad_norm=59.546, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.131, optim0_lr0=7.853e-05, train_time=1.556 -[gpua001:0/64] 2023-12-11 19:20:44,818 (trainer:737) INFO: 26epoch:train:14301-14400batch: iter_time=8.253e-05, forward_time=0.149, loss_ctc=65.747, loss_att=54.868, acc=0.724, loss=58.132, backward_time=0.300, grad_norm=61.658, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.131, optim0_lr0=7.852e-05, train_time=1.555 -[gpua001:0/64] 2023-12-11 19:23:24,276 (trainer:737) INFO: 26epoch:train:14401-14500batch: iter_time=8.158e-05, forward_time=0.145, loss_ctc=67.164, loss_att=51.886, acc=0.722, loss=56.470, backward_time=0.341, grad_norm=60.884, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.131, optim0_lr0=7.851e-05, train_time=1.594 -[gpua001:0/64] 2023-12-11 19:25:50,130 (trainer:737) INFO: 26epoch:train:14501-14600batch: iter_time=7.911e-05, forward_time=0.185, loss_ctc=59.828, loss_att=44.429, acc=0.736, loss=49.049, backward_time=0.311, grad_norm=54.433, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=7.850e-05, train_time=1.458 -[gpua001:0/64] 2023-12-11 19:28:46,121 (trainer:737) INFO: 26epoch:train:14601-14700batch: iter_time=7.995e-05, forward_time=0.190, loss_ctc=83.336, loss_att=67.404, acc=0.702, loss=72.184, backward_time=0.371, grad_norm=88.426, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=7.849e-05, train_time=1.760 -[gpua001:0/64] 2023-12-11 19:30:57,341 (trainer:737) INFO: 26epoch:train:14701-14800batch: iter_time=7.698e-05, forward_time=0.148, loss_ctc=60.702, loss_att=48.993, acc=0.709, loss=52.506, backward_time=0.295, grad_norm=77.888, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.131, optim0_lr0=7.848e-05, train_time=1.312 -[gpua001:0/64] 2023-12-11 19:33:06,941 (trainer:737) INFO: 26epoch:train:14801-14900batch: iter_time=8.130e-05, forward_time=0.144, loss_ctc=65.498, loss_att=54.693, acc=0.708, loss=57.935, backward_time=0.278, grad_norm=120.834, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.130, optim0_lr0=7.847e-05, train_time=1.296 -[gpua001:0/64] 2023-12-11 19:33:49,866 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-11 19:35:47,884 (trainer:737) INFO: 26epoch:train:14901-15000batch: iter_time=8.295e-05, forward_time=0.144, loss_ctc=61.280, loss_att=47.832, acc=0.723, loss=51.866, backward_time=0.309, grad_norm=77.687, clip=100.000, loss_scale=5.368e+31, optim_step_time=0.131, optim0_lr0=7.846e-05, train_time=1.609 -[gpua001:0/64] 2023-12-11 20:02:00,059 (trainer:343) INFO: 26epoch results: [train] iter_time=0.249, forward_time=0.160, loss_ctc=65.932, loss_att=52.365, acc=0.722, loss=56.435, backward_time=0.335, grad_norm=73.030, clip=100.000, loss_scale=3.276e+31, optim_step_time=0.132, optim0_lr0=7.922e-05, train_time=2.095, time=8 hours, 44 minutes and 18.67 seconds, total_count=390000, gpu_max_cached_mem_GB=34.965, [valid] loss_ctc=36.434, cer_ctc=0.187, loss_att=34.762, acc=0.720, cer=0.295, wer=0.955, loss=35.264, time=25 minutes and 48.04 seconds, total_count=121446, gpu_max_cached_mem_GB=34.965 -[gpua001:0/64] 2023-12-11 20:02:24,317 (trainer:391) INFO: The best model has been updated: valid.total_count -[gpua001:0/64] 2023-12-11 20:02:24,324 (trainer:272) INFO: 27/40epoch started. Estimated time to finish: 5 days, 8 hours and 27 minutes -[gpua001:0/64] 2023-12-11 20:02:24,336 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua001:0/64] 2023-12-11 20:02:41,728 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-11 20:02:47,045 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-11 20:02:47,045 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua001:0/64] 2023-12-11 20:02:47,065 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-11 20:13:15,481 (trainer:737) INFO: 27epoch:train:1-100batch: iter_time=2.837, forward_time=0.196, loss_ctc=68.705, loss_att=54.866, acc=0.706, loss=59.018, backward_time=0.289, grad_norm=74.156, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=7.845e-05, train_time=6.511 -[gpua001:0/64] 2023-12-11 20:14:09,138 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-11 20:15:58,452 (trainer:737) INFO: 27epoch:train:101-200batch: iter_time=7.518e-05, forward_time=0.147, loss_ctc=65.402, loss_att=55.562, acc=0.721, loss=58.514, backward_time=0.304, grad_norm=63.431, clip=100.000, loss_scale=2.581e+31, optim_step_time=0.134, optim0_lr0=7.844e-05, train_time=1.629 -[gpua001:0/64] 2023-12-11 20:18:37,808 (trainer:737) INFO: 27epoch:train:201-300batch: iter_time=7.898e-05, forward_time=0.147, loss_ctc=68.290, loss_att=59.386, acc=0.713, loss=62.057, backward_time=0.323, grad_norm=67.783, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.843e-05, train_time=1.593 -[gpua001:0/64] 2023-12-11 20:25:16,938 (trainer:737) INFO: 27epoch:train:301-400batch: iter_time=8.560e-05, forward_time=0.147, loss_ctc=72.160, loss_att=53.938, acc=0.729, loss=59.405, backward_time=0.604, grad_norm=69.645, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.842e-05, train_time=3.991 -[gpua001:0/64] 2023-12-11 20:34:13,535 (trainer:737) INFO: 27epoch:train:401-500batch: iter_time=9.338e-05, forward_time=0.148, loss_ctc=68.198, loss_att=56.464, acc=0.738, loss=59.984, backward_time=0.788, grad_norm=83.085, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.841e-05, train_time=5.366 -[gpua001:0/64] 2023-12-11 20:37:48,109 (trainer:737) INFO: 27epoch:train:501-600batch: iter_time=8.892e-05, forward_time=0.146, loss_ctc=66.390, loss_att=51.073, acc=0.737, loss=55.668, backward_time=0.426, grad_norm=64.616, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.840e-05, train_time=2.145 -[gpua001:0/64] 2023-12-11 20:41:31,605 (trainer:737) INFO: 27epoch:train:601-700batch: iter_time=8.488e-05, forward_time=0.146, loss_ctc=71.658, loss_att=54.552, acc=0.723, loss=59.683, backward_time=0.333, grad_norm=57.889, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.839e-05, train_time=2.235 -[gpua001:0/64] 2023-12-11 20:44:20,855 (trainer:737) INFO: 27epoch:train:701-800batch: iter_time=9.331e-05, forward_time=0.147, loss_ctc=65.808, loss_att=53.499, acc=0.711, loss=57.192, backward_time=0.333, grad_norm=78.663, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.838e-05, train_time=1.692 -[gpua001:0/64] 2023-12-11 20:47:34,533 (trainer:737) INFO: 27epoch:train:801-900batch: iter_time=8.930e-05, forward_time=0.191, loss_ctc=80.015, loss_att=55.301, acc=0.723, loss=62.715, backward_time=0.374, grad_norm=81.719, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=7.837e-05, train_time=1.937 -[gpua001:0/64] 2023-12-11 20:51:01,616 (trainer:737) INFO: 27epoch:train:901-1000batch: iter_time=8.439e-05, forward_time=0.201, loss_ctc=73.003, loss_att=63.899, acc=0.697, loss=66.630, backward_time=0.399, grad_norm=83.504, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.836e-05, train_time=2.071 -[gpua001:0/64] 2023-12-11 20:54:19,534 (trainer:737) INFO: 27epoch:train:1001-1100batch: iter_time=7.755e-05, forward_time=0.146, loss_ctc=67.679, loss_att=50.589, acc=0.718, loss=55.716, backward_time=0.371, grad_norm=63.700, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.835e-05, train_time=1.979 -[gpua001:0/64] 2023-12-11 20:57:37,860 (trainer:737) INFO: 27epoch:train:1101-1200batch: iter_time=8.111e-05, forward_time=0.146, loss_ctc=68.755, loss_att=53.864, acc=0.714, loss=58.331, backward_time=0.336, grad_norm=72.661, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.834e-05, train_time=1.983 -[gpua001:0/64] 2023-12-11 20:59:45,421 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua001:0/64] 2023-12-11 21:00:03,776 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-11 21:00:07,158 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-11 21:00:07,158 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua001:0/64] 2023-12-11 21:00:07,161 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-11 21:08:51,854 (trainer:737) INFO: 27epoch:train:1201-1300batch: iter_time=3.148, forward_time=0.146, loss_ctc=68.637, loss_att=52.737, acc=0.723, loss=57.507, backward_time=0.348, grad_norm=69.966, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.833e-05, train_time=6.740 -[gpua001:0/64] 2023-12-11 21:10:54,001 (trainer:737) INFO: 27epoch:train:1301-1400batch: iter_time=7.680e-05, forward_time=0.146, loss_ctc=70.138, loss_att=57.831, acc=0.702, loss=61.523, backward_time=0.283, grad_norm=67.164, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.832e-05, train_time=1.221 -[gpua001:0/64] 2023-12-11 21:12:58,265 (trainer:737) INFO: 27epoch:train:1401-1500batch: iter_time=7.692e-05, forward_time=0.147, loss_ctc=65.525, loss_att=53.269, acc=0.715, loss=56.946, backward_time=0.281, grad_norm=57.229, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.831e-05, train_time=1.242 -[gpua001:0/64] 2023-12-11 21:15:42,319 (trainer:737) INFO: 27epoch:train:1501-1600batch: iter_time=8.776e-05, forward_time=0.147, loss_ctc=67.788, loss_att=57.422, acc=0.715, loss=60.532, backward_time=0.302, grad_norm=60.845, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.830e-05, train_time=1.640 -[gpua001:0/64] 2023-12-11 21:18:23,345 (trainer:737) INFO: 27epoch:train:1601-1700batch: iter_time=8.737e-05, forward_time=0.146, loss_ctc=73.946, loss_att=61.342, acc=0.716, loss=65.123, backward_time=0.307, grad_norm=63.238, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.829e-05, train_time=1.610 -[gpua001:0/64] 2023-12-11 21:21:19,728 (trainer:737) INFO: 27epoch:train:1701-1800batch: iter_time=8.769e-05, forward_time=0.146, loss_ctc=62.532, loss_att=43.958, acc=0.748, loss=49.530, backward_time=0.339, grad_norm=57.431, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.828e-05, train_time=1.764 -[gpua001:0/64] 2023-12-11 21:23:28,401 (trainer:737) INFO: 27epoch:train:1801-1900batch: iter_time=8.044e-05, forward_time=0.147, loss_ctc=74.115, loss_att=60.780, acc=0.716, loss=64.781, backward_time=0.288, grad_norm=60.533, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.827e-05, train_time=1.287 -[gpua001:0/64] 2023-12-11 21:26:30,249 (trainer:737) INFO: 27epoch:train:1901-2000batch: iter_time=7.927e-05, forward_time=0.181, loss_ctc=65.917, loss_att=48.278, acc=0.711, loss=53.570, backward_time=0.335, grad_norm=84.304, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.826e-05, train_time=1.818 -[gpua001:0/64] 2023-12-11 21:29:54,029 (trainer:737) INFO: 27epoch:train:2001-2100batch: iter_time=7.928e-05, forward_time=0.185, loss_ctc=75.135, loss_att=56.357, acc=0.708, loss=61.990, backward_time=0.351, grad_norm=87.864, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.825e-05, train_time=2.038 -[gpua001:0/64] 2023-12-11 21:32:16,142 (trainer:737) INFO: 27epoch:train:2101-2200batch: iter_time=8.053e-05, forward_time=0.146, loss_ctc=71.038, loss_att=56.006, acc=0.711, loss=60.516, backward_time=0.295, grad_norm=79.505, clip=100.000, loss_scale=3.489e+31, optim_step_time=0.133, optim0_lr0=7.824e-05, train_time=1.421 -[gpua001:0/64] 2023-12-11 21:34:48,913 (trainer:737) INFO: 27epoch:train:2201-2300batch: iter_time=7.860e-05, forward_time=0.146, loss_ctc=64.010, loss_att=53.377, acc=0.709, loss=56.567, backward_time=0.323, grad_norm=72.331, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.823e-05, train_time=1.527 -[gpua001:0/64] 2023-12-11 21:37:29,306 (trainer:737) INFO: 27epoch:train:2301-2400batch: iter_time=8.100e-05, forward_time=0.146, loss_ctc=70.857, loss_att=53.296, acc=0.709, loss=58.565, backward_time=0.306, grad_norm=60.832, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.822e-05, train_time=1.604 -[gpua001:0/64] 2023-12-11 21:39:58,361 (trainer:737) INFO: 27epoch:train:2401-2500batch: iter_time=7.898e-05, forward_time=0.146, loss_ctc=68.405, loss_att=55.674, acc=0.718, loss=59.494, backward_time=0.299, grad_norm=89.006, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.821e-05, train_time=1.490 -[gpua001:0/64] 2023-12-11 21:40:18,390 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua001:0/64] 2023-12-11 21:40:36,536 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-11 21:40:40,168 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-11 21:40:40,168 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua001:0/64] 2023-12-11 21:40:40,172 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-11 21:46:58,797 (trainer:737) INFO: 27epoch:train:2501-2600batch: iter_time=2.701, forward_time=0.167, loss_ctc=67.709, loss_att=53.563, acc=0.712, loss=57.807, backward_time=0.283, grad_norm=68.620, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.820e-05, train_time=4.204 -[gpua001:0/64] 2023-12-11 21:49:00,125 (trainer:737) INFO: 27epoch:train:2601-2700batch: iter_time=8.791e-05, forward_time=0.146, loss_ctc=64.558, loss_att=54.354, acc=0.729, loss=57.415, backward_time=0.279, grad_norm=57.801, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.819e-05, train_time=1.213 -[gpua001:0/64] 2023-12-11 21:51:58,941 (trainer:737) INFO: 27epoch:train:2701-2800batch: iter_time=9.127e-05, forward_time=0.179, loss_ctc=67.047, loss_att=58.244, acc=0.718, loss=60.885, backward_time=0.316, grad_norm=59.736, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=7.818e-05, train_time=1.788 -[gpua001:0/64] 2023-12-11 21:54:06,451 (trainer:737) INFO: 27epoch:train:2801-2900batch: iter_time=9.926e-05, forward_time=0.148, loss_ctc=71.322, loss_att=52.854, acc=0.736, loss=58.394, backward_time=0.280, grad_norm=57.285, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.817e-05, train_time=1.275 -[gpua001:0/64] 2023-12-11 21:56:27,020 (trainer:737) INFO: 27epoch:train:2901-3000batch: iter_time=9.240e-05, forward_time=0.148, loss_ctc=67.221, loss_att=55.690, acc=0.743, loss=59.149, backward_time=0.282, grad_norm=89.574, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.816e-05, train_time=1.405 -[gpua001:0/64] 2023-12-11 21:58:58,032 (trainer:737) INFO: 27epoch:train:3001-3100batch: iter_time=8.836e-05, forward_time=0.149, loss_ctc=65.968, loss_att=50.390, acc=0.741, loss=55.063, backward_time=0.297, grad_norm=65.697, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.815e-05, train_time=1.510 -[gpua001:0/64] 2023-12-11 22:01:29,763 (trainer:737) INFO: 27epoch:train:3101-3200batch: iter_time=9.727e-05, forward_time=0.171, loss_ctc=70.087, loss_att=53.449, acc=0.727, loss=58.441, backward_time=0.348, grad_norm=68.253, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=7.814e-05, train_time=1.517 -[gpua001:0/64] 2023-12-11 22:04:17,008 (trainer:737) INFO: 27epoch:train:3201-3300batch: iter_time=0.001, forward_time=0.148, loss_ctc=65.114, loss_att=52.886, acc=0.716, loss=56.554, backward_time=0.374, grad_norm=92.043, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.813e-05, train_time=1.673 -[gpua001:0/64] 2023-12-11 22:06:58,444 (trainer:737) INFO: 27epoch:train:3301-3400batch: iter_time=8.882e-05, forward_time=0.147, loss_ctc=75.664, loss_att=53.967, acc=0.731, loss=60.476, backward_time=0.295, grad_norm=72.075, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.812e-05, train_time=1.614 -[gpua001:0/64] 2023-12-11 22:10:00,765 (trainer:737) INFO: 27epoch:train:3401-3500batch: iter_time=0.001, forward_time=0.208, loss_ctc=66.979, loss_att=62.711, acc=0.700, loss=63.991, backward_time=0.336, grad_norm=77.697, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.143, optim0_lr0=7.811e-05, train_time=1.823 -[gpua001:0/64] 2023-12-11 22:12:36,028 (trainer:737) INFO: 27epoch:train:3501-3600batch: iter_time=9.072e-05, forward_time=0.148, loss_ctc=66.281, loss_att=49.617, acc=0.722, loss=54.616, backward_time=0.312, grad_norm=88.819, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.810e-05, train_time=1.552 -[gpua001:0/64] 2023-12-11 22:14:49,063 (trainer:737) INFO: 27epoch:train:3601-3700batch: iter_time=8.844e-05, forward_time=0.149, loss_ctc=66.941, loss_att=53.091, acc=0.719, loss=57.246, backward_time=0.293, grad_norm=61.769, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.809e-05, train_time=1.330 -[gpua001:0/64] 2023-12-11 22:16:27,242 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua001:0/64] 2023-12-11 22:16:45,375 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-11 22:16:48,806 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-11 22:16:48,807 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua001:0/64] 2023-12-11 22:16:48,826 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-11 22:22:32,937 (trainer:737) INFO: 27epoch:train:3701-3800batch: iter_time=3.115, forward_time=0.177, loss_ctc=68.090, loss_att=52.174, acc=0.728, loss=56.949, backward_time=0.336, grad_norm=64.102, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.808e-05, train_time=4.638 -[gpua001:0/64] 2023-12-11 22:24:45,714 (trainer:737) INFO: 27epoch:train:3801-3900batch: iter_time=8.018e-05, forward_time=0.147, loss_ctc=69.379, loss_att=57.178, acc=0.708, loss=60.838, backward_time=0.286, grad_norm=63.274, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.807e-05, train_time=1.328 -[gpua001:0/64] 2023-12-11 22:26:55,035 (trainer:737) INFO: 27epoch:train:3901-4000batch: iter_time=8.465e-05, forward_time=0.147, loss_ctc=64.071, loss_att=51.896, acc=0.721, loss=55.549, backward_time=0.289, grad_norm=54.053, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.806e-05, train_time=1.293 -[gpua001:0/64] 2023-12-11 22:29:13,225 (trainer:737) INFO: 27epoch:train:4001-4100batch: iter_time=8.102e-05, forward_time=0.146, loss_ctc=67.612, loss_att=57.512, acc=0.717, loss=60.542, backward_time=0.283, grad_norm=57.702, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.805e-05, train_time=1.382 -[gpua001:0/64] 2023-12-11 22:31:30,326 (trainer:737) INFO: 27epoch:train:4101-4200batch: iter_time=8.528e-05, forward_time=0.150, loss_ctc=73.822, loss_att=60.781, acc=0.719, loss=64.693, backward_time=0.282, grad_norm=63.316, clip=100.000, loss_scale=6.977e+31, optim_step_time=0.133, optim0_lr0=7.804e-05, train_time=1.371 -[gpua001:0/64] 2023-12-11 22:35:13,672 (trainer:737) INFO: 27epoch:train:4201-4300batch: iter_time=8.866e-05, forward_time=0.176, loss_ctc=61.698, loss_att=42.999, acc=0.754, loss=48.609, backward_time=0.375, grad_norm=52.574, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=7.803e-05, train_time=2.233 -[gpua001:0/64] 2023-12-11 22:38:11,195 (trainer:737) INFO: 27epoch:train:4301-4400batch: iter_time=7.218e-04, forward_time=0.213, loss_ctc=73.306, loss_att=59.408, acc=0.720, loss=63.577, backward_time=0.374, grad_norm=60.743, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=7.802e-05, train_time=1.774 -[gpua001:0/64] 2023-12-11 22:40:30,329 (trainer:737) INFO: 27epoch:train:4401-4500batch: iter_time=8.013e-05, forward_time=0.146, loss_ctc=65.424, loss_att=47.548, acc=0.713, loss=52.911, backward_time=0.297, grad_norm=60.363, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=7.801e-05, train_time=1.393 -[gpua001:0/64] 2023-12-11 22:42:37,033 (trainer:737) INFO: 27epoch:train:4501-4600batch: iter_time=8.472e-05, forward_time=0.146, loss_ctc=71.929, loss_att=54.820, acc=0.712, loss=59.953, backward_time=0.284, grad_norm=67.083, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=7.800e-05, train_time=1.267 -[gpua001:0/64] 2023-12-11 22:44:39,729 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-11 22:44:43,319 (trainer:737) INFO: 27epoch:train:4601-4700batch: iter_time=8.147e-05, forward_time=0.146, loss_ctc=69.619, loss_att=55.987, acc=0.712, loss=60.077, backward_time=0.281, grad_norm=86.931, clip=100.000, loss_scale=7.990e+31, optim_step_time=0.133, optim0_lr0=7.799e-05, train_time=1.263 -[gpua001:0/64] 2023-12-11 22:47:18,956 (trainer:737) INFO: 27epoch:train:4701-4800batch: iter_time=7.657e-05, forward_time=0.146, loss_ctc=61.738, loss_att=52.799, acc=0.713, loss=55.481, backward_time=0.297, grad_norm=70.243, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.798e-05, train_time=1.556 -[gpua001:0/64] 2023-12-11 22:49:44,689 (trainer:737) INFO: 27epoch:train:4801-4900batch: iter_time=8.161e-05, forward_time=0.146, loss_ctc=70.411, loss_att=52.763, acc=0.714, loss=58.057, backward_time=0.290, grad_norm=62.787, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.797e-05, train_time=1.457 -[gpua001:0/64] 2023-12-11 22:53:04,835 (trainer:737) INFO: 27epoch:train:4901-5000batch: iter_time=8.052e-05, forward_time=0.146, loss_ctc=67.956, loss_att=55.080, acc=0.722, loss=58.943, backward_time=0.358, grad_norm=64.780, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.796e-05, train_time=2.001 -[gpua001:0/64] 2023-12-11 22:53:24,863 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua001:0/64] 2023-12-11 22:53:43,628 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-11 22:53:47,008 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-11 22:53:47,008 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua001:0/64] 2023-12-11 22:53:47,011 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-11 23:02:52,501 (trainer:737) INFO: 27epoch:train:5001-5100batch: iter_time=4.494, forward_time=0.203, loss_ctc=66.919, loss_att=52.663, acc=0.719, loss=56.940, backward_time=0.294, grad_norm=84.261, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.795e-05, train_time=5.876 -[gpua001:0/64] 2023-12-11 23:04:56,594 (trainer:737) INFO: 27epoch:train:5101-5200batch: iter_time=7.685e-05, forward_time=0.149, loss_ctc=64.588, loss_att=53.406, acc=0.733, loss=56.761, backward_time=0.285, grad_norm=78.006, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.794e-05, train_time=1.241 -[gpua001:0/64] 2023-12-11 23:07:05,497 (trainer:737) INFO: 27epoch:train:5201-5300batch: iter_time=8.156e-05, forward_time=0.164, loss_ctc=66.695, loss_att=57.362, acc=0.724, loss=60.162, backward_time=0.283, grad_norm=58.009, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.793e-05, train_time=1.287 -[gpua001:0/64] 2023-12-11 23:09:15,166 (trainer:737) INFO: 27epoch:train:5301-5400batch: iter_time=8.469e-05, forward_time=0.147, loss_ctc=70.783, loss_att=52.850, acc=0.736, loss=58.230, backward_time=0.282, grad_norm=59.750, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.792e-05, train_time=1.298 -[gpua001:0/64] 2023-12-11 23:11:24,644 (trainer:737) INFO: 27epoch:train:5401-5500batch: iter_time=8.263e-05, forward_time=0.147, loss_ctc=66.540, loss_att=55.261, acc=0.745, loss=58.645, backward_time=0.287, grad_norm=57.547, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.791e-05, train_time=1.295 -[gpua001:0/64] 2023-12-11 23:13:49,939 (trainer:737) INFO: 27epoch:train:5501-5600batch: iter_time=8.211e-05, forward_time=0.146, loss_ctc=65.086, loss_att=49.806, acc=0.745, loss=54.390, backward_time=0.311, grad_norm=57.194, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.790e-05, train_time=1.453 -[gpua001:0/64] 2023-12-11 23:16:27,404 (trainer:737) INFO: 27epoch:train:5601-5700batch: iter_time=8.499e-05, forward_time=0.147, loss_ctc=70.024, loss_att=52.952, acc=0.731, loss=58.074, backward_time=0.343, grad_norm=69.232, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.789e-05, train_time=1.574 -[gpua001:0/64] 2023-12-11 23:18:59,378 (trainer:737) INFO: 27epoch:train:5701-5800batch: iter_time=7.884e-05, forward_time=0.149, loss_ctc=64.318, loss_att=52.040, acc=0.719, loss=55.723, backward_time=0.313, grad_norm=65.850, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.788e-05, train_time=1.520 -[gpua001:0/64] 2023-12-11 23:22:20,625 (trainer:737) INFO: 27epoch:train:5801-5900batch: iter_time=8.281e-05, forward_time=0.147, loss_ctc=75.300, loss_att=53.416, acc=0.733, loss=59.981, backward_time=0.386, grad_norm=74.970, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.787e-05, train_time=2.012 -[gpua001:0/64] 2023-12-11 23:24:51,542 (trainer:737) INFO: 27epoch:train:5901-6000batch: iter_time=8.748e-05, forward_time=0.147, loss_ctc=66.553, loss_att=62.672, acc=0.705, loss=63.837, backward_time=0.293, grad_norm=110.672, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.786e-05, train_time=1.509 -[gpua001:0/64] 2023-12-11 23:26:52,210 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-11 23:27:17,591 (trainer:737) INFO: 27epoch:train:6001-6100batch: iter_time=8.350e-05, forward_time=0.149, loss_ctc=65.455, loss_att=49.028, acc=0.726, loss=53.956, backward_time=0.304, grad_norm=89.392, clip=100.000, loss_scale=3.708e+31, optim_step_time=0.132, optim0_lr0=7.785e-05, train_time=1.460 -[gpua001:0/64] 2023-12-11 23:29:44,536 (trainer:737) INFO: 27epoch:train:6101-6200batch: iter_time=9.005e-05, forward_time=0.224, loss_ctc=65.879, loss_att=52.134, acc=0.721, loss=56.257, backward_time=0.317, grad_norm=66.837, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.784e-05, train_time=1.469 -[gpua001:0/64] 2023-12-11 23:31:09,653 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua001:0/64] 2023-12-11 23:31:28,245 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-11 23:31:31,685 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-11 23:31:31,685 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua001:0/64] 2023-12-11 23:31:31,690 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-11 23:40:36,489 (trainer:737) INFO: 27epoch:train:6201-6300batch: iter_time=3.198, forward_time=0.167, loss_ctc=67.831, loss_att=51.303, acc=0.733, loss=56.262, backward_time=0.283, grad_norm=77.996, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.783e-05, train_time=6.519 -[gpua001:0/64] 2023-12-11 23:42:50,138 (trainer:737) INFO: 27epoch:train:6301-6400batch: iter_time=7.803e-05, forward_time=0.148, loss_ctc=68.980, loss_att=56.876, acc=0.719, loss=60.507, backward_time=0.284, grad_norm=65.896, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.782e-05, train_time=1.336 -[gpua001:0/64] 2023-12-11 23:45:06,805 (trainer:737) INFO: 27epoch:train:6401-6500batch: iter_time=7.885e-05, forward_time=0.147, loss_ctc=63.648, loss_att=50.990, acc=0.734, loss=54.787, backward_time=0.284, grad_norm=62.621, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.781e-05, train_time=1.366 -[gpua001:0/64] 2023-12-11 23:47:08,684 (trainer:737) INFO: 27epoch:train:6501-6600batch: iter_time=8.255e-05, forward_time=0.148, loss_ctc=67.831, loss_att=56.807, acc=0.727, loss=60.114, backward_time=0.283, grad_norm=53.702, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.780e-05, train_time=1.219 -[gpua001:0/64] 2023-12-11 23:49:51,914 (trainer:737) INFO: 27epoch:train:6601-6700batch: iter_time=8.299e-05, forward_time=0.147, loss_ctc=73.780, loss_att=60.573, acc=0.732, loss=64.535, backward_time=0.293, grad_norm=56.627, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.779e-05, train_time=1.632 -[gpua001:0/64] 2023-12-11 23:52:47,867 (trainer:737) INFO: 27epoch:train:6701-6800batch: iter_time=8.216e-05, forward_time=0.147, loss_ctc=62.086, loss_att=43.278, acc=0.758, loss=48.921, backward_time=0.378, grad_norm=46.283, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.778e-05, train_time=1.759 -[gpua001:0/64] 2023-12-11 23:55:01,140 (trainer:737) INFO: 27epoch:train:6801-6900batch: iter_time=8.073e-05, forward_time=0.155, loss_ctc=72.977, loss_att=58.877, acc=0.735, loss=63.107, backward_time=0.286, grad_norm=59.454, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.777e-05, train_time=1.333 -[gpua001:0/64] 2023-12-11 23:58:00,775 (trainer:737) INFO: 27epoch:train:6901-7000batch: iter_time=8.363e-05, forward_time=0.190, loss_ctc=64.746, loss_att=47.499, acc=0.729, loss=52.673, backward_time=0.316, grad_norm=51.246, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=7.776e-05, train_time=1.795 -[gpua001:0/64] 2023-12-12 00:00:28,765 (trainer:737) INFO: 27epoch:train:7001-7100batch: iter_time=9.169e-05, forward_time=0.176, loss_ctc=71.490, loss_att=55.413, acc=0.719, loss=60.236, backward_time=0.318, grad_norm=63.258, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.775e-05, train_time=1.480 -[gpua001:0/64] 2023-12-12 00:02:59,362 (trainer:737) INFO: 27epoch:train:7101-7200batch: iter_time=8.495e-05, forward_time=0.172, loss_ctc=67.406, loss_att=55.478, acc=0.722, loss=59.057, backward_time=0.328, grad_norm=74.151, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.774e-05, train_time=1.504 -[gpua001:0/64] 2023-12-12 00:06:05,112 (trainer:737) INFO: 27epoch:train:7201-7300batch: iter_time=8.461e-05, forward_time=0.149, loss_ctc=61.263, loss_att=53.375, acc=0.720, loss=55.741, backward_time=0.310, grad_norm=120.042, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.773e-05, train_time=1.859 -[gpua001:0/64] 2023-12-12 00:08:38,175 (trainer:737) INFO: 27epoch:train:7301-7400batch: iter_time=8.569e-05, forward_time=0.148, loss_ctc=69.802, loss_att=52.141, acc=0.723, loss=57.440, backward_time=0.313, grad_norm=63.502, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.773e-05, train_time=1.530 -[gpua001:0/64] 2023-12-12 00:10:54,358 (trainer:737) INFO: 27epoch:train:7401-7500batch: iter_time=8.307e-05, forward_time=0.148, loss_ctc=67.646, loss_att=54.985, acc=0.728, loss=58.783, backward_time=0.285, grad_norm=55.166, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.772e-05, train_time=1.362 -[gpua001:0/64] 2023-12-12 00:11:14,387 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua001:0/64] 2023-12-12 00:11:32,758 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 00:11:36,347 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 00:11:36,347 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua001:0/64] 2023-12-12 00:11:36,350 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 00:24:00,253 (trainer:737) INFO: 27epoch:train:7501-7600batch: iter_time=3.139, forward_time=0.220, loss_ctc=66.310, loss_att=52.171, acc=0.715, loss=56.412, backward_time=0.414, grad_norm=75.465, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.771e-05, train_time=7.859 -[gpua001:0/64] 2023-12-12 00:27:54,259 (trainer:737) INFO: 27epoch:train:7601-7700batch: iter_time=8.127e-05, forward_time=0.183, loss_ctc=63.947, loss_att=54.362, acc=0.716, loss=57.238, backward_time=0.449, grad_norm=56.685, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.770e-05, train_time=2.340 -[gpua001:0/64] 2023-12-12 00:31:52,977 (trainer:737) INFO: 27epoch:train:7701-7800batch: iter_time=8.333e-05, forward_time=0.174, loss_ctc=65.711, loss_att=57.515, acc=0.716, loss=59.973, backward_time=0.426, grad_norm=58.099, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.769e-05, train_time=2.387 -[gpua001:0/64] 2023-12-12 00:36:31,570 (trainer:737) INFO: 27epoch:train:7801-7900batch: iter_time=8.796e-05, forward_time=0.148, loss_ctc=70.585, loss_att=52.504, acc=0.733, loss=57.928, backward_time=0.372, grad_norm=55.519, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.768e-05, train_time=2.786 -[gpua001:0/64] 2023-12-12 00:40:05,209 (trainer:737) INFO: 27epoch:train:7901-8000batch: iter_time=8.322e-05, forward_time=0.164, loss_ctc=66.244, loss_att=54.890, acc=0.743, loss=58.296, backward_time=0.436, grad_norm=57.734, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=7.767e-05, train_time=2.136 -[gpua001:0/64] 2023-12-12 00:43:52,952 (trainer:737) INFO: 27epoch:train:8001-8100batch: iter_time=8.289e-05, forward_time=0.147, loss_ctc=64.945, loss_att=50.026, acc=0.738, loss=54.501, backward_time=0.362, grad_norm=48.861, clip=100.000, loss_scale=2.373e+31, optim_step_time=0.134, optim0_lr0=7.766e-05, train_time=2.278 -[gpua001:0/64] 2023-12-12 00:47:37,189 (trainer:737) INFO: 27epoch:train:8101-8200batch: iter_time=8.411e-05, forward_time=0.149, loss_ctc=69.774, loss_att=54.054, acc=0.715, loss=58.770, backward_time=0.480, grad_norm=55.357, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.765e-05, train_time=2.242 -[gpua001:0/64] 2023-12-12 00:50:59,907 (trainer:737) INFO: 27epoch:train:8201-8300batch: iter_time=9.827e-04, forward_time=0.176, loss_ctc=64.746, loss_att=51.021, acc=0.715, loss=55.138, backward_time=0.378, grad_norm=58.452, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=7.764e-05, train_time=2.027 -[gpua001:0/64] 2023-12-12 00:53:55,455 (trainer:737) INFO: 27epoch:train:8301-8400batch: iter_time=9.449e-05, forward_time=0.146, loss_ctc=73.950, loss_att=53.054, acc=0.726, loss=59.323, backward_time=0.309, grad_norm=67.293, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.763e-05, train_time=1.755 -[gpua001:0/64] 2023-12-12 00:56:44,060 (trainer:737) INFO: 27epoch:train:8401-8500batch: iter_time=8.987e-05, forward_time=0.146, loss_ctc=65.882, loss_att=59.486, acc=0.707, loss=61.404, backward_time=0.337, grad_norm=67.132, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.762e-05, train_time=1.686 -[gpua001:0/64] 2023-12-12 01:00:43,405 (trainer:737) INFO: 27epoch:train:8501-8600batch: iter_time=8.684e-05, forward_time=0.171, loss_ctc=65.014, loss_att=49.319, acc=0.717, loss=54.028, backward_time=0.390, grad_norm=62.235, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.761e-05, train_time=2.393 -[gpua001:0/64] 2023-12-12 01:04:00,700 (trainer:737) INFO: 27epoch:train:8601-8700batch: iter_time=9.181e-05, forward_time=0.147, loss_ctc=65.496, loss_att=51.919, acc=0.722, loss=55.992, backward_time=0.381, grad_norm=59.718, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.760e-05, train_time=1.973 -[gpua001:0/64] 2023-12-12 01:06:26,059 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua001:0/64] 2023-12-12 01:06:44,669 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 01:06:48,308 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 01:06:48,308 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua001:0/64] 2023-12-12 01:06:48,428 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 01:18:22,570 (trainer:737) INFO: 27epoch:train:8701-8800batch: iter_time=3.763, forward_time=0.161, loss_ctc=67.080, loss_att=50.863, acc=0.729, loss=55.728, backward_time=0.330, grad_norm=57.528, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.759e-05, train_time=8.618 -[gpua001:0/64] 2023-12-12 01:20:59,770 (trainer:737) INFO: 27epoch:train:8801-8900batch: iter_time=8.235e-05, forward_time=0.148, loss_ctc=68.590, loss_att=55.975, acc=0.710, loss=59.759, backward_time=0.308, grad_norm=74.415, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.758e-05, train_time=1.572 -[gpua001:0/64] 2023-12-12 01:23:05,494 (trainer:737) INFO: 27epoch:train:8901-9000batch: iter_time=8.407e-05, forward_time=0.148, loss_ctc=63.315, loss_att=51.003, acc=0.726, loss=54.697, backward_time=0.290, grad_norm=63.873, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.757e-05, train_time=1.257 -[gpua001:0/64] 2023-12-12 01:25:40,531 (trainer:737) INFO: 27epoch:train:9001-9100batch: iter_time=9.256e-05, forward_time=0.148, loss_ctc=67.188, loss_att=56.683, acc=0.720, loss=59.834, backward_time=0.300, grad_norm=59.360, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.756e-05, train_time=1.550 -[gpua001:0/64] 2023-12-12 01:28:37,533 (trainer:737) INFO: 27epoch:train:9101-9200batch: iter_time=0.005, forward_time=0.213, loss_ctc=73.430, loss_att=61.063, acc=0.719, loss=64.773, backward_time=0.321, grad_norm=77.119, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=7.755e-05, train_time=1.770 -[gpua001:0/64] 2023-12-12 01:31:12,724 (trainer:737) INFO: 27epoch:train:9201-9300batch: iter_time=8.974e-05, forward_time=0.147, loss_ctc=61.491, loss_att=42.713, acc=0.759, loss=48.346, backward_time=0.290, grad_norm=50.881, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.754e-05, train_time=1.552 -[gpua001:0/64] 2023-12-12 01:33:38,105 (trainer:737) INFO: 27epoch:train:9301-9400batch: iter_time=9.063e-05, forward_time=0.150, loss_ctc=72.487, loss_att=59.306, acc=0.723, loss=63.260, backward_time=0.299, grad_norm=58.613, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.753e-05, train_time=1.454 -[gpua001:0/64] 2023-12-12 01:37:03,616 (trainer:737) INFO: 27epoch:train:9401-9500batch: iter_time=8.565e-05, forward_time=0.176, loss_ctc=64.805, loss_att=47.013, acc=0.716, loss=52.351, backward_time=0.363, grad_norm=67.436, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=7.752e-05, train_time=2.055 -[gpua001:0/64] 2023-12-12 01:39:22,069 (trainer:737) INFO: 27epoch:train:9501-9600batch: iter_time=8.825e-05, forward_time=0.149, loss_ctc=70.838, loss_att=54.402, acc=0.716, loss=59.333, backward_time=0.284, grad_norm=60.617, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.751e-05, train_time=1.384 -[gpua001:0/64] 2023-12-12 01:42:24,074 (trainer:737) INFO: 27epoch:train:9601-9700batch: iter_time=8.960e-05, forward_time=0.151, loss_ctc=66.144, loss_att=54.904, acc=0.718, loss=58.276, backward_time=0.339, grad_norm=69.158, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.750e-05, train_time=1.820 -[gpua001:0/64] 2023-12-12 01:44:51,012 (trainer:737) INFO: 27epoch:train:9701-9800batch: iter_time=8.873e-05, forward_time=0.157, loss_ctc=60.545, loss_att=52.161, acc=0.717, loss=54.676, backward_time=0.314, grad_norm=69.603, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.749e-05, train_time=1.468 -[gpua001:0/64] 2023-12-12 01:47:16,383 (trainer:737) INFO: 27epoch:train:9801-9900batch: iter_time=9.055e-05, forward_time=0.147, loss_ctc=68.319, loss_att=51.647, acc=0.716, loss=56.649, backward_time=0.293, grad_norm=75.051, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.748e-05, train_time=1.454 -[gpua001:0/64] 2023-12-12 01:49:45,094 (trainer:737) INFO: 27epoch:train:9901-10000batch: iter_time=9.412e-05, forward_time=0.147, loss_ctc=67.164, loss_att=54.674, acc=0.726, loss=58.421, backward_time=0.331, grad_norm=62.064, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.747e-05, train_time=1.487 -[gpua001:0/64] 2023-12-12 01:50:05,415 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua001:0/64] 2023-12-12 01:50:23,805 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 01:50:27,190 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 01:50:27,191 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua001:0/64] 2023-12-12 01:50:27,194 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 01:57:33,960 (trainer:737) INFO: 27epoch:train:10001-10100batch: iter_time=3.256, forward_time=0.194, loss_ctc=66.414, loss_att=50.392, acc=0.720, loss=55.199, backward_time=0.294, grad_norm=62.169, clip=100.000, loss_scale=4.746e+31, optim_step_time=0.134, optim0_lr0=7.746e-05, train_time=4.688 -[gpua001:0/64] 2023-12-12 01:59:55,121 (trainer:737) INFO: 27epoch:train:10101-10200batch: iter_time=7.687e-05, forward_time=0.146, loss_ctc=63.815, loss_att=53.204, acc=0.719, loss=56.388, backward_time=0.290, grad_norm=58.221, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=7.745e-05, train_time=1.412 -[gpua001:0/64] 2023-12-12 02:02:03,477 (trainer:737) INFO: 27epoch:train:10201-10300batch: iter_time=7.676e-05, forward_time=0.146, loss_ctc=66.336, loss_att=57.157, acc=0.718, loss=59.911, backward_time=0.296, grad_norm=64.539, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=7.744e-05, train_time=1.283 -[gpua001:0/64] 2023-12-12 02:04:29,427 (trainer:737) INFO: 27epoch:train:10301-10400batch: iter_time=8.056e-05, forward_time=0.175, loss_ctc=70.272, loss_att=51.948, acc=0.732, loss=57.445, backward_time=0.304, grad_norm=85.978, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=7.743e-05, train_time=1.459 -[gpua001:0/64] 2023-12-12 02:07:18,857 (trainer:737) INFO: 27epoch:train:10401-10500batch: iter_time=8.364e-05, forward_time=0.148, loss_ctc=66.100, loss_att=54.524, acc=0.743, loss=57.997, backward_time=0.313, grad_norm=53.977, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=7.742e-05, train_time=1.694 -[gpua001:0/64] 2023-12-12 02:10:34,679 (trainer:737) INFO: 27epoch:train:10501-10600batch: iter_time=0.004, forward_time=0.148, loss_ctc=64.714, loss_att=49.456, acc=0.739, loss=54.034, backward_time=0.412, grad_norm=100.567, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=7.741e-05, train_time=1.958 -[gpua001:0/64] 2023-12-12 02:13:16,254 (trainer:737) INFO: 27epoch:train:10601-10700batch: iter_time=8.031e-05, forward_time=0.146, loss_ctc=69.339, loss_att=53.340, acc=0.716, loss=58.140, backward_time=0.291, grad_norm=82.184, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=7.740e-05, train_time=1.616 -[gpua001:0/64] 2023-12-12 02:15:12,943 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-12 02:15:55,583 (trainer:737) INFO: 27epoch:train:10701-10800batch: iter_time=8.416e-05, forward_time=0.164, loss_ctc=64.609, loss_att=50.640, acc=0.717, loss=54.830, backward_time=0.297, grad_norm=117.753, clip=100.000, loss_scale=6.843e+31, optim_step_time=0.134, optim0_lr0=7.739e-05, train_time=1.592 -[gpua001:0/64] 2023-12-12 02:18:39,480 (trainer:737) INFO: 27epoch:train:10801-10900batch: iter_time=8.784e-05, forward_time=0.146, loss_ctc=74.073, loss_att=53.011, acc=0.728, loss=59.330, backward_time=0.313, grad_norm=71.593, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.739e-05, train_time=1.640 -[gpua001:0/64] 2023-12-12 02:20:18,115 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-12 02:21:09,801 (trainer:737) INFO: 27epoch:train:10901-11000batch: iter_time=8.478e-05, forward_time=0.174, loss_ctc=63.290, loss_att=60.285, acc=0.706, loss=61.187, backward_time=0.287, grad_norm=65.434, clip=100.000, loss_scale=3.380e+31, optim_step_time=0.134, optim0_lr0=7.738e-05, train_time=1.503 -[gpua001:0/64] 2023-12-12 02:23:40,660 (trainer:737) INFO: 27epoch:train:11001-11100batch: iter_time=8.853e-05, forward_time=0.176, loss_ctc=64.646, loss_att=48.394, acc=0.719, loss=53.270, backward_time=0.314, grad_norm=57.767, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.737e-05, train_time=1.508 -[gpua001:0/64] 2023-12-12 02:26:13,239 (trainer:737) INFO: 27epoch:train:11101-11200batch: iter_time=8.275e-05, forward_time=0.146, loss_ctc=64.973, loss_att=51.764, acc=0.721, loss=55.727, backward_time=0.297, grad_norm=104.156, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.736e-05, train_time=1.526 -[gpua001:0/64] 2023-12-12 02:27:39,798 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua001:0/64] 2023-12-12 02:27:58,308 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 02:28:01,700 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 02:28:01,700 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua001:0/64] 2023-12-12 02:28:01,732 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 02:40:59,397 (trainer:737) INFO: 27epoch:train:11201-11300batch: iter_time=3.699, forward_time=0.194, loss_ctc=67.516, loss_att=52.385, acc=0.729, loss=56.925, backward_time=0.329, grad_norm=112.942, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.735e-05, train_time=8.861 -[gpua001:0/64] 2023-12-12 02:43:40,692 (trainer:737) INFO: 27epoch:train:11301-11400batch: iter_time=7.752e-05, forward_time=0.146, loss_ctc=69.227, loss_att=57.570, acc=0.720, loss=61.067, backward_time=0.318, grad_norm=59.692, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.734e-05, train_time=1.613 -[gpua001:0/64] 2023-12-12 02:47:24,252 (trainer:737) INFO: 27epoch:train:11401-11500batch: iter_time=7.745e-05, forward_time=0.158, loss_ctc=63.835, loss_att=51.204, acc=0.738, loss=54.994, backward_time=0.471, grad_norm=51.465, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.733e-05, train_time=2.235 -[gpua001:0/64] 2023-12-12 02:50:35,712 (trainer:737) INFO: 27epoch:train:11501-11600batch: iter_time=8.514e-05, forward_time=0.146, loss_ctc=66.913, loss_att=56.826, acc=0.729, loss=59.852, backward_time=0.352, grad_norm=56.264, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.732e-05, train_time=1.914 -[gpua001:0/64] 2023-12-12 02:53:46,784 (trainer:737) INFO: 27epoch:train:11601-11700batch: iter_time=8.341e-05, forward_time=0.147, loss_ctc=72.273, loss_att=60.394, acc=0.733, loss=63.958, backward_time=0.355, grad_norm=52.583, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.731e-05, train_time=1.911 -[gpua001:0/64] 2023-12-12 02:57:39,283 (trainer:737) INFO: 27epoch:train:11701-11800batch: iter_time=8.065e-05, forward_time=0.189, loss_ctc=61.698, loss_att=43.482, acc=0.758, loss=48.947, backward_time=0.446, grad_norm=53.000, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.730e-05, train_time=2.325 -[gpua001:0/64] 2023-12-12 03:02:16,326 (trainer:737) INFO: 27epoch:train:11801-11900batch: iter_time=8.478e-05, forward_time=0.149, loss_ctc=72.494, loss_att=58.859, acc=0.737, loss=62.949, backward_time=0.470, grad_norm=76.587, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.729e-05, train_time=2.770 -[gpua001:0/64] 2023-12-12 03:05:31,800 (trainer:737) INFO: 27epoch:train:11901-12000batch: iter_time=7.962e-05, forward_time=0.149, loss_ctc=64.697, loss_att=47.375, acc=0.730, loss=52.571, backward_time=0.356, grad_norm=56.684, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.728e-05, train_time=1.955 -[gpua001:0/64] 2023-12-12 03:08:57,324 (trainer:737) INFO: 27epoch:train:12001-12100batch: iter_time=7.770e-05, forward_time=0.147, loss_ctc=70.067, loss_att=54.748, acc=0.722, loss=59.344, backward_time=0.403, grad_norm=73.654, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.727e-05, train_time=2.055 -[gpua001:0/64] 2023-12-12 03:13:07,161 (trainer:737) INFO: 27epoch:train:12101-12200batch: iter_time=8.042e-05, forward_time=0.197, loss_ctc=66.016, loss_att=55.106, acc=0.724, loss=58.379, backward_time=0.438, grad_norm=62.799, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.726e-05, train_time=2.498 -[gpua001:0/64] 2023-12-12 03:16:46,054 (trainer:737) INFO: 27epoch:train:12201-12300batch: iter_time=8.191e-05, forward_time=0.147, loss_ctc=60.791, loss_att=52.915, acc=0.726, loss=55.278, backward_time=0.384, grad_norm=66.623, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.725e-05, train_time=2.189 -[gpua001:0/64] 2023-12-12 03:20:43,656 (trainer:737) INFO: 27epoch:train:12301-12400batch: iter_time=8.209e-05, forward_time=0.147, loss_ctc=67.831, loss_att=50.901, acc=0.727, loss=55.980, backward_time=0.424, grad_norm=55.340, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.724e-05, train_time=2.376 -[gpua001:0/64] 2023-12-12 03:24:41,944 (trainer:737) INFO: 27epoch:train:12401-12500batch: iter_time=8.047e-05, forward_time=0.167, loss_ctc=67.329, loss_att=55.310, acc=0.730, loss=58.916, backward_time=0.354, grad_norm=89.716, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.723e-05, train_time=2.383 -[gpua001:0/64] 2023-12-12 03:25:01,973 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua001:0/64] 2023-12-12 03:25:20,525 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 03:25:23,969 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 03:25:23,969 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua001:0/64] 2023-12-12 03:25:23,972 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 03:35:51,206 (trainer:737) INFO: 27epoch:train:12501-12600batch: iter_time=3.062, forward_time=0.189, loss_ctc=66.233, loss_att=51.694, acc=0.716, loss=56.055, backward_time=0.293, grad_norm=98.617, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.722e-05, train_time=6.692 -[gpua001:0/64] 2023-12-12 03:38:34,359 (trainer:737) INFO: 27epoch:train:12601-12700batch: iter_time=8.328e-05, forward_time=0.146, loss_ctc=63.542, loss_att=53.189, acc=0.720, loss=56.295, backward_time=0.334, grad_norm=60.999, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.721e-05, train_time=1.632 -[gpua001:0/64] 2023-12-12 03:41:05,081 (trainer:737) INFO: 27epoch:train:12701-12800batch: iter_time=8.420e-05, forward_time=0.146, loss_ctc=65.991, loss_att=57.255, acc=0.716, loss=59.876, backward_time=0.294, grad_norm=75.442, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.720e-05, train_time=1.507 -[gpua001:0/64] 2023-12-12 03:43:45,858 (trainer:737) INFO: 27epoch:train:12801-12900batch: iter_time=8.059e-05, forward_time=0.146, loss_ctc=70.293, loss_att=51.922, acc=0.735, loss=57.433, backward_time=0.301, grad_norm=103.417, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.719e-05, train_time=1.608 -[gpua001:0/64] 2023-12-12 03:46:33,884 (trainer:737) INFO: 27epoch:train:12901-13000batch: iter_time=8.461e-05, forward_time=0.162, loss_ctc=65.869, loss_att=54.594, acc=0.743, loss=57.977, backward_time=0.346, grad_norm=73.493, clip=100.000, loss_scale=2.698e+31, optim_step_time=0.133, optim0_lr0=7.718e-05, train_time=1.680 -[gpua001:0/64] 2023-12-12 03:49:23,306 (trainer:737) INFO: 27epoch:train:13001-13100batch: iter_time=8.416e-05, forward_time=0.161, loss_ctc=64.484, loss_att=49.437, acc=0.740, loss=53.951, backward_time=0.326, grad_norm=61.221, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=7.717e-05, train_time=1.694 -[gpua001:0/64] 2023-12-12 03:52:17,029 (trainer:737) INFO: 27epoch:train:13101-13200batch: iter_time=8.389e-05, forward_time=0.146, loss_ctc=68.991, loss_att=52.942, acc=0.718, loss=57.757, backward_time=0.373, grad_norm=58.408, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.716e-05, train_time=1.737 -[gpua001:0/64] 2023-12-12 03:55:12,850 (trainer:737) INFO: 27epoch:train:13201-13300batch: iter_time=8.387e-05, forward_time=0.158, loss_ctc=63.763, loss_att=50.238, acc=0.718, loss=54.296, backward_time=0.317, grad_norm=78.396, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.715e-05, train_time=1.758 -[gpua001:0/64] 2023-12-12 03:59:19,725 (trainer:737) INFO: 27epoch:train:13301-13400batch: iter_time=8.201e-05, forward_time=0.149, loss_ctc=73.661, loss_att=52.780, acc=0.728, loss=59.044, backward_time=0.353, grad_norm=105.768, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.714e-05, train_time=2.469 -[gpua001:0/64] 2023-12-12 04:01:53,026 (trainer:737) INFO: 27epoch:train:13401-13500batch: iter_time=8.240e-05, forward_time=0.189, loss_ctc=65.038, loss_att=59.392, acc=0.710, loss=61.086, backward_time=0.338, grad_norm=79.402, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=7.714e-05, train_time=1.533 -[gpua001:0/64] 2023-12-12 04:04:50,799 (trainer:737) INFO: 27epoch:train:13501-13600batch: iter_time=8.588e-05, forward_time=0.148, loss_ctc=64.677, loss_att=48.825, acc=0.720, loss=53.581, backward_time=0.313, grad_norm=59.905, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.713e-05, train_time=1.777 -[gpua001:0/64] 2023-12-12 04:06:06,446 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-12 04:07:46,420 (trainer:737) INFO: 27epoch:train:13601-13700batch: iter_time=8.596e-05, forward_time=0.147, loss_ctc=65.143, loss_att=51.846, acc=0.721, loss=55.835, backward_time=0.336, grad_norm=72.643, clip=100.000, loss_scale=2.950e+31, optim_step_time=0.132, optim0_lr0=7.712e-05, train_time=1.756 -[gpua001:0/64] 2023-12-12 04:09:26,806 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua001:0/64] 2023-12-12 04:09:45,095 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 04:09:48,500 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 04:09:48,500 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua001:0/64] 2023-12-12 04:09:48,527 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 04:18:49,964 (trainer:737) INFO: 27epoch:train:13701-13800batch: iter_time=3.400, forward_time=0.186, loss_ctc=67.122, loss_att=51.838, acc=0.731, loss=56.423, backward_time=0.296, grad_norm=120.346, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.711e-05, train_time=6.635 -[gpua001:0/64] 2023-12-12 04:20:57,543 (trainer:737) INFO: 27epoch:train:13801-13900batch: iter_time=8.232e-05, forward_time=0.148, loss_ctc=68.170, loss_att=56.262, acc=0.724, loss=59.834, backward_time=0.282, grad_norm=80.338, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.710e-05, train_time=1.276 -[gpua001:0/64] 2023-12-12 04:23:56,862 (trainer:737) INFO: 27epoch:train:13901-14000batch: iter_time=8.191e-05, forward_time=0.147, loss_ctc=63.147, loss_att=51.124, acc=0.738, loss=54.731, backward_time=0.303, grad_norm=62.184, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.709e-05, train_time=1.793 -[gpua001:0/64] 2023-12-12 04:26:34,364 (trainer:737) INFO: 27epoch:train:14001-14100batch: iter_time=8.355e-05, forward_time=0.163, loss_ctc=65.957, loss_att=56.139, acc=0.731, loss=59.085, backward_time=0.293, grad_norm=60.587, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.708e-05, train_time=1.575 -[gpua001:0/64] 2023-12-12 04:29:08,284 (trainer:737) INFO: 27epoch:train:14101-14200batch: iter_time=8.281e-05, forward_time=0.184, loss_ctc=73.332, loss_att=60.883, acc=0.733, loss=64.618, backward_time=0.330, grad_norm=70.285, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=7.707e-05, train_time=1.539 -[gpua001:0/64] 2023-12-12 04:31:34,342 (trainer:737) INFO: 27epoch:train:14201-14300batch: iter_time=8.109e-05, forward_time=0.174, loss_ctc=61.000, loss_att=42.889, acc=0.760, loss=48.322, backward_time=0.302, grad_norm=52.813, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.706e-05, train_time=1.460 -[gpua001:0/64] 2023-12-12 04:34:58,627 (trainer:737) INFO: 27epoch:train:14301-14400batch: iter_time=8.195e-05, forward_time=0.148, loss_ctc=71.962, loss_att=58.382, acc=0.737, loss=62.456, backward_time=0.344, grad_norm=72.219, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.705e-05, train_time=2.043 -[gpua001:0/64] 2023-12-12 04:38:24,331 (trainer:737) INFO: 27epoch:train:14401-14500batch: iter_time=8.416e-05, forward_time=0.189, loss_ctc=64.410, loss_att=47.343, acc=0.731, loss=52.463, backward_time=0.349, grad_norm=60.562, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=7.704e-05, train_time=2.057 -[gpua001:0/64] 2023-12-12 04:40:59,596 (trainer:737) INFO: 27epoch:train:14501-14600batch: iter_time=8.434e-05, forward_time=0.147, loss_ctc=70.975, loss_att=54.831, acc=0.722, loss=59.675, backward_time=0.287, grad_norm=60.276, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.703e-05, train_time=1.553 -[gpua001:0/64] 2023-12-12 04:43:34,084 (trainer:737) INFO: 27epoch:train:14601-14700batch: iter_time=8.353e-05, forward_time=0.149, loss_ctc=66.844, loss_att=54.697, acc=0.725, loss=58.341, backward_time=0.294, grad_norm=65.407, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.702e-05, train_time=1.545 -[gpua001:0/64] 2023-12-12 04:45:42,724 (trainer:737) INFO: 27epoch:train:14701-14800batch: iter_time=8.232e-05, forward_time=0.162, loss_ctc=61.353, loss_att=53.105, acc=0.727, loss=55.579, backward_time=0.289, grad_norm=63.707, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.701e-05, train_time=1.286 -[gpua001:0/64] 2023-12-12 04:48:42,800 (trainer:737) INFO: 27epoch:train:14801-14900batch: iter_time=8.134e-05, forward_time=0.147, loss_ctc=68.602, loss_att=51.065, acc=0.725, loss=56.326, backward_time=0.367, grad_norm=65.033, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.700e-05, train_time=1.801 -[gpua001:0/64] 2023-12-12 04:51:54,851 (trainer:737) INFO: 27epoch:train:14901-15000batch: iter_time=8.053e-05, forward_time=0.176, loss_ctc=67.033, loss_att=55.143, acc=0.731, loss=58.710, backward_time=0.350, grad_norm=70.860, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.699e-05, train_time=1.920 -[gpua001:0/64] 2023-12-12 05:19:29,125 (trainer:343) INFO: 27epoch results: [train] iter_time=0.266, forward_time=0.159, loss_ctc=67.550, loss_att=53.720, acc=0.724, loss=57.869, backward_time=0.333, grad_norm=69.144, clip=100.000, loss_scale=3.401e+31, optim_step_time=0.134, optim0_lr0=7.771e-05, train_time=2.118, time=8 hours, 49 minutes and 54.45 seconds, total_count=405000, gpu_max_cached_mem_GB=37.930, [valid] loss_ctc=35.594, cer_ctc=0.184, loss_att=33.134, acc=0.720, cer=0.320, wer=0.975, loss=33.872, time=27 minutes and 10.19 seconds, total_count=126117, gpu_max_cached_mem_GB=37.930 -[gpua001:0/64] 2023-12-12 05:19:47,862 (trainer:391) INFO: The best model has been updated: valid.total_count -[gpua001:0/64] 2023-12-12 05:19:47,932 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/21epoch.pth, exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/22epoch.pth -[gpua001:0/64] 2023-12-12 05:19:48,025 (trainer:272) INFO: 28/40epoch started. Estimated time to finish: 5 days, 1 minute and 25.99 seconds -[gpua001:0/64] 2023-12-12 05:19:48,157 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua001:0/64] 2023-12-12 05:20:05,630 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 05:20:08,923 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 05:20:08,923 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua001:0/64] 2023-12-12 05:20:08,926 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 05:30:14,004 (trainer:737) INFO: 28epoch:train:1-100batch: iter_time=2.779, forward_time=0.200, loss_ctc=74.165, loss_att=56.783, acc=0.704, loss=61.998, backward_time=0.292, grad_norm=70.102, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.698e-05, train_time=6.259 -[gpua001:0/64] 2023-12-12 05:32:34,101 (trainer:737) INFO: 28epoch:train:101-200batch: iter_time=7.966e-05, forward_time=0.147, loss_ctc=80.621, loss_att=62.063, acc=0.717, loss=67.630, backward_time=0.297, grad_norm=75.031, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.697e-05, train_time=1.401 -[gpua001:0/64] 2023-12-12 05:35:22,660 (trainer:737) INFO: 28epoch:train:201-300batch: iter_time=7.805e-05, forward_time=0.147, loss_ctc=70.543, loss_att=55.191, acc=0.696, loss=59.797, backward_time=0.291, grad_norm=73.542, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.696e-05, train_time=1.685 -[gpua001:0/64] 2023-12-12 05:37:51,538 (trainer:737) INFO: 28epoch:train:301-400batch: iter_time=8.415e-05, forward_time=0.145, loss_ctc=67.763, loss_att=54.381, acc=0.709, loss=58.396, backward_time=0.315, grad_norm=73.973, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.695e-05, train_time=1.489 -[gpua001:0/64] 2023-12-12 05:40:43,282 (trainer:737) INFO: 28epoch:train:401-500batch: iter_time=8.613e-05, forward_time=0.146, loss_ctc=83.095, loss_att=71.978, acc=0.705, loss=75.313, backward_time=0.346, grad_norm=74.973, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.694e-05, train_time=1.717 -[gpua001:0/64] 2023-12-12 05:43:07,367 (trainer:737) INFO: 28epoch:train:501-600batch: iter_time=8.060e-05, forward_time=0.157, loss_ctc=77.014, loss_att=61.250, acc=0.717, loss=65.979, backward_time=0.295, grad_norm=86.554, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.694e-05, train_time=1.440 -[gpua001:0/64] 2023-12-12 05:46:00,927 (trainer:737) INFO: 28epoch:train:601-700batch: iter_time=8.843e-05, forward_time=0.160, loss_ctc=62.403, loss_att=48.964, acc=0.719, loss=52.996, backward_time=0.357, grad_norm=85.657, clip=100.000, loss_scale=3.123e+31, optim_step_time=0.133, optim0_lr0=7.693e-05, train_time=1.736 -[gpua001:0/64] 2023-12-12 05:48:54,479 (trainer:737) INFO: 28epoch:train:701-800batch: iter_time=8.613e-05, forward_time=0.161, loss_ctc=63.180, loss_att=47.823, acc=0.719, loss=52.430, backward_time=0.343, grad_norm=107.742, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.692e-05, train_time=1.735 -[gpua001:0/64] 2023-12-12 05:51:31,765 (trainer:737) INFO: 28epoch:train:801-900batch: iter_time=8.508e-05, forward_time=0.185, loss_ctc=65.418, loss_att=56.127, acc=0.716, loss=58.915, backward_time=0.335, grad_norm=78.371, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.691e-05, train_time=1.573 -[gpua001:0/64] 2023-12-12 05:54:00,982 (trainer:737) INFO: 28epoch:train:901-1000batch: iter_time=8.479e-05, forward_time=0.146, loss_ctc=61.628, loss_att=43.950, acc=0.734, loss=49.253, backward_time=0.305, grad_norm=53.382, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.690e-05, train_time=1.492 -[gpua001:0/64] 2023-12-12 05:56:44,714 (trainer:737) INFO: 28epoch:train:1001-1100batch: iter_time=8.116e-05, forward_time=0.149, loss_ctc=61.272, loss_att=48.003, acc=0.718, loss=51.984, backward_time=0.322, grad_norm=59.733, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.689e-05, train_time=1.637 -[gpua001:0/64] 2023-12-12 05:59:22,009 (trainer:737) INFO: 28epoch:train:1101-1200batch: iter_time=8.400e-05, forward_time=0.146, loss_ctc=65.765, loss_att=49.458, acc=0.719, loss=54.350, backward_time=0.315, grad_norm=68.475, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.688e-05, train_time=1.573 -[gpua001:0/64] 2023-12-12 06:00:04,251 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-12 06:00:59,527 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua001:0/64] 2023-12-12 06:01:17,637 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 06:01:21,055 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 06:01:21,056 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua001:0/64] 2023-12-12 06:01:21,061 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 06:07:14,595 (trainer:737) INFO: 28epoch:train:1201-1300batch: iter_time=3.074, forward_time=0.146, loss_ctc=63.406, loss_att=49.752, acc=0.721, loss=53.848, backward_time=0.288, grad_norm=70.461, clip=100.000, loss_scale=2.581e+31, optim_step_time=0.133, optim0_lr0=7.687e-05, train_time=4.726 -[gpua001:0/64] 2023-12-12 06:09:24,006 (trainer:737) INFO: 28epoch:train:1301-1400batch: iter_time=7.839e-05, forward_time=0.153, loss_ctc=85.240, loss_att=63.857, acc=0.709, loss=70.271, backward_time=0.290, grad_norm=91.840, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.686e-05, train_time=1.294 -[gpua001:0/64] 2023-12-12 06:12:17,309 (trainer:737) INFO: 28epoch:train:1401-1500batch: iter_time=7.593e-05, forward_time=0.236, loss_ctc=70.356, loss_att=52.246, acc=0.725, loss=57.679, backward_time=0.410, grad_norm=76.111, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=7.685e-05, train_time=1.733 -[gpua001:0/64] 2023-12-12 06:13:13,799 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-12 06:14:42,456 (trainer:737) INFO: 28epoch:train:1501-1600batch: iter_time=8.166e-05, forward_time=0.162, loss_ctc=64.696, loss_att=53.929, acc=0.699, loss=57.159, backward_time=0.319, grad_norm=59.251, clip=100.000, loss_scale=1.403e+31, optim_step_time=0.135, optim0_lr0=7.684e-05, train_time=1.451 -[gpua001:0/64] 2023-12-12 06:17:05,001 (trainer:737) INFO: 28epoch:train:1601-1700batch: iter_time=7.912e-05, forward_time=0.146, loss_ctc=80.272, loss_att=63.572, acc=0.708, loss=68.582, backward_time=0.282, grad_norm=74.617, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.683e-05, train_time=1.425 -[gpua001:0/64] 2023-12-12 06:19:16,326 (trainer:737) INFO: 28epoch:train:1701-1800batch: iter_time=8.241e-05, forward_time=0.149, loss_ctc=72.197, loss_att=64.281, acc=0.707, loss=66.656, backward_time=0.284, grad_norm=73.673, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.682e-05, train_time=1.313 -[gpua001:0/64] 2023-12-12 06:21:59,599 (trainer:737) INFO: 28epoch:train:1801-1900batch: iter_time=7.757e-05, forward_time=0.148, loss_ctc=74.345, loss_att=59.774, acc=0.719, loss=64.145, backward_time=0.315, grad_norm=80.014, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.681e-05, train_time=1.633 -[gpua001:0/64] 2023-12-12 06:24:40,429 (trainer:737) INFO: 28epoch:train:1901-2000batch: iter_time=8.350e-05, forward_time=0.146, loss_ctc=62.256, loss_att=48.854, acc=0.729, loss=52.875, backward_time=0.304, grad_norm=75.243, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.680e-05, train_time=1.608 -[gpua001:0/64] 2023-12-12 06:27:40,855 (trainer:737) INFO: 28epoch:train:2001-2100batch: iter_time=8.703e-05, forward_time=0.147, loss_ctc=57.028, loss_att=44.844, acc=0.724, loss=48.499, backward_time=0.326, grad_norm=61.648, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.679e-05, train_time=1.804 -[gpua001:0/64] 2023-12-12 06:30:09,653 (trainer:737) INFO: 28epoch:train:2101-2200batch: iter_time=8.222e-05, forward_time=0.146, loss_ctc=62.928, loss_att=52.638, acc=0.717, loss=55.725, backward_time=0.295, grad_norm=75.050, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.678e-05, train_time=1.488 -[gpua001:0/64] 2023-12-12 06:32:42,013 (trainer:737) INFO: 28epoch:train:2201-2300batch: iter_time=7.785e-05, forward_time=0.152, loss_ctc=65.498, loss_att=45.195, acc=0.734, loss=51.286, backward_time=0.305, grad_norm=84.996, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.677e-05, train_time=1.523 -[gpua001:0/64] 2023-12-12 06:35:10,091 (trainer:737) INFO: 28epoch:train:2301-2400batch: iter_time=8.532e-05, forward_time=0.149, loss_ctc=61.485, loss_att=48.384, acc=0.717, loss=52.314, backward_time=0.304, grad_norm=111.717, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.677e-05, train_time=1.480 -[gpua001:0/64] 2023-12-12 06:37:49,961 (trainer:737) INFO: 28epoch:train:2401-2500batch: iter_time=7.356e-05, forward_time=0.309, loss_ctc=64.581, loss_att=50.852, acc=0.724, loss=54.971, backward_time=0.313, grad_norm=234.682, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=7.676e-05, train_time=1.599 -[gpua001:0/64] 2023-12-12 06:38:10,233 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua001:0/64] 2023-12-12 06:38:28,403 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 06:38:31,769 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 06:38:31,769 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua001:0/64] 2023-12-12 06:38:31,774 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 06:46:15,267 (trainer:737) INFO: 28epoch:train:2501-2600batch: iter_time=3.452, forward_time=0.149, loss_ctc=72.805, loss_att=55.603, acc=0.709, loss=60.763, backward_time=0.285, grad_norm=98.341, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.675e-05, train_time=5.053 -[gpua001:0/64] 2023-12-12 06:49:07,045 (trainer:737) INFO: 28epoch:train:2601-2700batch: iter_time=8.400e-05, forward_time=0.154, loss_ctc=79.122, loss_att=59.891, acc=0.725, loss=65.660, backward_time=0.334, grad_norm=84.138, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.674e-05, train_time=1.718 -[gpua001:0/64] 2023-12-12 06:51:30,259 (trainer:737) INFO: 28epoch:train:2701-2800batch: iter_time=8.307e-05, forward_time=0.146, loss_ctc=69.258, loss_att=53.301, acc=0.702, loss=58.088, backward_time=0.299, grad_norm=125.004, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.673e-05, train_time=1.432 -[gpua001:0/64] 2023-12-12 06:53:36,387 (trainer:737) INFO: 28epoch:train:2801-2900batch: iter_time=8.090e-05, forward_time=0.146, loss_ctc=66.954, loss_att=52.659, acc=0.715, loss=56.948, backward_time=0.280, grad_norm=168.458, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.672e-05, train_time=1.261 -[gpua001:0/64] 2023-12-12 06:56:29,953 (trainer:737) INFO: 28epoch:train:2901-3000batch: iter_time=8.412e-05, forward_time=0.147, loss_ctc=80.805, loss_att=70.699, acc=0.708, loss=73.731, backward_time=0.351, grad_norm=126.358, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.671e-05, train_time=1.735 -[gpua001:0/64] 2023-12-12 06:59:03,626 (trainer:737) INFO: 28epoch:train:3001-3100batch: iter_time=8.237e-05, forward_time=0.147, loss_ctc=75.753, loss_att=60.895, acc=0.718, loss=65.352, backward_time=0.295, grad_norm=83.389, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.670e-05, train_time=1.537 -[gpua001:0/64] 2023-12-12 07:01:45,016 (trainer:737) INFO: 28epoch:train:3101-3200batch: iter_time=8.200e-05, forward_time=0.157, loss_ctc=60.956, loss_att=48.019, acc=0.722, loss=51.900, backward_time=0.305, grad_norm=140.541, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.669e-05, train_time=1.614 -[gpua001:0/64] 2023-12-12 07:04:02,785 (trainer:737) INFO: 28epoch:train:3201-3300batch: iter_time=8.120e-05, forward_time=0.156, loss_ctc=62.236, loss_att=47.095, acc=0.722, loss=51.637, backward_time=0.286, grad_norm=89.297, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.668e-05, train_time=1.377 -[gpua001:0/64] 2023-12-12 07:06:38,592 (trainer:737) INFO: 28epoch:train:3301-3400batch: iter_time=0.003, forward_time=0.278, loss_ctc=64.914, loss_att=55.608, acc=0.718, loss=58.400, backward_time=0.329, grad_norm=71.291, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=7.667e-05, train_time=1.558 -[gpua001:0/64] 2023-12-12 07:09:00,202 (trainer:737) INFO: 28epoch:train:3401-3500batch: iter_time=7.898e-05, forward_time=0.147, loss_ctc=60.043, loss_att=43.323, acc=0.737, loss=48.339, backward_time=0.287, grad_norm=90.072, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.666e-05, train_time=1.416 -[gpua001:0/64] 2023-12-12 07:11:23,799 (trainer:737) INFO: 28epoch:train:3501-3600batch: iter_time=8.116e-05, forward_time=0.146, loss_ctc=60.578, loss_att=47.240, acc=0.720, loss=51.241, backward_time=0.301, grad_norm=81.169, clip=100.000, loss_scale=1.633e+31, optim_step_time=0.133, optim0_lr0=7.665e-05, train_time=1.436 -[gpua001:0/64] 2023-12-12 07:13:49,259 (trainer:737) INFO: 28epoch:train:3601-3700batch: iter_time=9.105e-04, forward_time=0.153, loss_ctc=65.078, loss_att=48.264, acc=0.724, loss=53.308, backward_time=0.317, grad_norm=104.139, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.664e-05, train_time=1.451 -[gpua001:0/64] 2023-12-12 07:15:26,657 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua001:0/64] 2023-12-12 07:15:45,105 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 07:15:48,490 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 07:15:48,490 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua001:0/64] 2023-12-12 07:15:48,542 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 07:21:28,918 (trainer:737) INFO: 28epoch:train:3701-3800batch: iter_time=2.796, forward_time=0.146, loss_ctc=62.804, loss_att=49.273, acc=0.722, loss=53.332, backward_time=0.290, grad_norm=68.476, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.663e-05, train_time=4.596 -[gpua001:0/64] 2023-12-12 07:23:33,021 (trainer:737) INFO: 28epoch:train:3801-3900batch: iter_time=7.683e-05, forward_time=0.149, loss_ctc=83.118, loss_att=63.772, acc=0.710, loss=69.575, backward_time=0.282, grad_norm=108.852, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.662e-05, train_time=1.241 -[gpua001:0/64] 2023-12-12 07:25:41,973 (trainer:737) INFO: 28epoch:train:3901-4000batch: iter_time=8.114e-05, forward_time=0.146, loss_ctc=70.155, loss_att=52.026, acc=0.725, loss=57.465, backward_time=0.281, grad_norm=68.057, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.662e-05, train_time=1.289 -[gpua001:0/64] 2023-12-12 07:27:59,085 (trainer:737) INFO: 28epoch:train:4001-4100batch: iter_time=8.743e-05, forward_time=0.146, loss_ctc=64.515, loss_att=53.548, acc=0.704, loss=56.838, backward_time=0.296, grad_norm=93.155, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.661e-05, train_time=1.371 -[gpua001:0/64] 2023-12-12 07:30:20,026 (trainer:737) INFO: 28epoch:train:4101-4200batch: iter_time=8.265e-05, forward_time=0.146, loss_ctc=80.207, loss_att=63.866, acc=0.710, loss=68.768, backward_time=0.284, grad_norm=72.562, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.660e-05, train_time=1.409 -[gpua001:0/64] 2023-12-12 07:32:30,394 (trainer:737) INFO: 28epoch:train:4201-4300batch: iter_time=8.203e-05, forward_time=0.155, loss_ctc=71.422, loss_att=63.337, acc=0.711, loss=65.763, backward_time=0.291, grad_norm=61.953, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.659e-05, train_time=1.303 -[gpua001:0/64] 2023-12-12 07:35:03,954 (trainer:737) INFO: 28epoch:train:4301-4400batch: iter_time=8.736e-05, forward_time=0.150, loss_ctc=73.194, loss_att=58.444, acc=0.721, loss=62.869, backward_time=0.313, grad_norm=71.141, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.658e-05, train_time=1.535 -[gpua001:0/64] 2023-12-12 07:38:17,281 (trainer:737) INFO: 28epoch:train:4401-4500batch: iter_time=8.496e-05, forward_time=0.289, loss_ctc=61.784, loss_att=47.657, acc=0.730, loss=51.895, backward_time=0.390, grad_norm=61.508, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=7.657e-05, train_time=1.933 -[gpua001:0/64] 2023-12-12 07:41:15,280 (trainer:737) INFO: 28epoch:train:4501-4600batch: iter_time=7.949e-05, forward_time=0.146, loss_ctc=56.485, loss_att=44.327, acc=0.728, loss=47.974, backward_time=0.356, grad_norm=56.842, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.656e-05, train_time=1.780 -[gpua001:0/64] 2023-12-12 07:43:36,974 (trainer:737) INFO: 28epoch:train:4601-4700batch: iter_time=8.613e-05, forward_time=0.146, loss_ctc=62.484, loss_att=52.334, acc=0.717, loss=55.379, backward_time=0.295, grad_norm=76.930, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.655e-05, train_time=1.417 -[gpua001:0/64] 2023-12-12 07:45:56,942 (trainer:737) INFO: 28epoch:train:4701-4800batch: iter_time=8.344e-05, forward_time=0.153, loss_ctc=64.629, loss_att=44.794, acc=0.736, loss=50.745, backward_time=0.284, grad_norm=158.046, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.654e-05, train_time=1.399 -[gpua001:0/64] 2023-12-12 07:48:33,723 (trainer:737) INFO: 28epoch:train:4801-4900batch: iter_time=8.128e-05, forward_time=0.146, loss_ctc=61.660, loss_att=48.279, acc=0.718, loss=52.293, backward_time=0.301, grad_norm=235.886, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.653e-05, train_time=1.568 -[gpua001:0/64] 2023-12-12 07:50:59,086 (trainer:737) INFO: 28epoch:train:4901-5000batch: iter_time=8.345e-05, forward_time=0.146, loss_ctc=64.567, loss_att=50.278, acc=0.729, loss=54.565, backward_time=0.295, grad_norm=63.139, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.652e-05, train_time=1.453 -[gpua001:0/64] 2023-12-12 07:51:19,114 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua001:0/64] 2023-12-12 07:51:37,494 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 07:51:40,860 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 07:51:40,860 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua001:0/64] 2023-12-12 07:51:40,955 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 07:59:07,283 (trainer:737) INFO: 28epoch:train:5001-5100batch: iter_time=3.407, forward_time=0.153, loss_ctc=72.460, loss_att=55.620, acc=0.711, loss=60.672, backward_time=0.284, grad_norm=128.649, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.651e-05, train_time=4.882 -[gpua001:0/64] 2023-12-12 08:02:10,791 (trainer:737) INFO: 28epoch:train:5101-5200batch: iter_time=7.866e-05, forward_time=0.148, loss_ctc=77.483, loss_att=59.320, acc=0.725, loss=64.769, backward_time=0.335, grad_norm=79.031, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.650e-05, train_time=1.835 -[gpua001:0/64] 2023-12-12 08:04:25,020 (trainer:737) INFO: 28epoch:train:5201-5300batch: iter_time=7.570e-05, forward_time=0.157, loss_ctc=69.276, loss_att=52.801, acc=0.706, loss=57.744, backward_time=0.291, grad_norm=77.264, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.649e-05, train_time=1.342 -[gpua001:0/64] 2023-12-12 08:07:04,759 (trainer:737) INFO: 28epoch:train:5301-5400batch: iter_time=7.864e-05, forward_time=0.252, loss_ctc=66.344, loss_att=52.606, acc=0.716, loss=56.727, backward_time=0.332, grad_norm=69.418, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=7.648e-05, train_time=1.597 -[gpua001:0/64] 2023-12-12 08:09:29,534 (trainer:737) INFO: 28epoch:train:5401-5500batch: iter_time=8.681e-05, forward_time=0.146, loss_ctc=80.110, loss_att=70.618, acc=0.710, loss=73.466, backward_time=0.304, grad_norm=83.880, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.647e-05, train_time=1.447 -[gpua001:0/64] 2023-12-12 08:12:22,537 (trainer:737) INFO: 28epoch:train:5501-5600batch: iter_time=8.040e-05, forward_time=0.147, loss_ctc=74.910, loss_att=60.198, acc=0.721, loss=64.611, backward_time=0.302, grad_norm=71.063, clip=100.000, loss_scale=3.265e+31, optim_step_time=0.133, optim0_lr0=7.647e-05, train_time=1.731 -[gpua001:0/64] 2023-12-12 08:15:11,373 (trainer:737) INFO: 28epoch:train:5601-5700batch: iter_time=7.746e-05, forward_time=0.157, loss_ctc=59.158, loss_att=47.122, acc=0.724, loss=50.733, backward_time=0.319, grad_norm=71.136, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.646e-05, train_time=1.688 -[gpua001:0/64] 2023-12-12 08:18:24,898 (trainer:737) INFO: 28epoch:train:5701-5800batch: iter_time=8.356e-05, forward_time=0.155, loss_ctc=60.813, loss_att=46.493, acc=0.726, loss=50.789, backward_time=0.352, grad_norm=79.574, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.645e-05, train_time=1.935 -[gpua001:0/64] 2023-12-12 08:20:44,784 (trainer:737) INFO: 28epoch:train:5801-5900batch: iter_time=8.192e-05, forward_time=0.146, loss_ctc=64.229, loss_att=54.690, acc=0.720, loss=57.551, backward_time=0.328, grad_norm=66.964, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.644e-05, train_time=1.399 -[gpua001:0/64] 2023-12-12 08:23:07,692 (trainer:737) INFO: 28epoch:train:5901-6000batch: iter_time=8.359e-05, forward_time=0.146, loss_ctc=59.772, loss_att=43.173, acc=0.738, loss=48.152, backward_time=0.305, grad_norm=87.337, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.643e-05, train_time=1.429 -[gpua001:0/64] 2023-12-12 08:25:38,452 (trainer:737) INFO: 28epoch:train:6001-6100batch: iter_time=7.869e-05, forward_time=0.146, loss_ctc=60.713, loss_att=46.782, acc=0.723, loss=50.961, backward_time=0.339, grad_norm=83.655, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.642e-05, train_time=1.507 -[gpua001:0/64] 2023-12-12 08:28:06,599 (trainer:737) INFO: 28epoch:train:6101-6200batch: iter_time=7.813e-05, forward_time=0.153, loss_ctc=65.199, loss_att=48.179, acc=0.724, loss=53.285, backward_time=0.289, grad_norm=92.107, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.641e-05, train_time=1.481 -[gpua001:0/64] 2023-12-12 08:29:32,735 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua001:0/64] 2023-12-12 08:29:50,930 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 08:29:54,639 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 08:29:54,639 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua001:0/64] 2023-12-12 08:29:54,642 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 08:35:11,057 (trainer:737) INFO: 28epoch:train:6201-6300batch: iter_time=2.836, forward_time=0.201, loss_ctc=63.141, loss_att=50.262, acc=0.725, loss=54.125, backward_time=0.289, grad_norm=67.417, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.640e-05, train_time=4.244 -[gpua001:0/64] 2023-12-12 08:37:14,271 (trainer:737) INFO: 28epoch:train:6301-6400batch: iter_time=7.700e-05, forward_time=0.148, loss_ctc=82.929, loss_att=67.127, acc=0.714, loss=71.868, backward_time=0.283, grad_norm=101.875, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.639e-05, train_time=1.232 -[gpua001:0/64] 2023-12-12 08:40:03,495 (trainer:737) INFO: 28epoch:train:6401-6500batch: iter_time=7.948e-05, forward_time=0.148, loss_ctc=69.918, loss_att=53.761, acc=0.731, loss=58.608, backward_time=0.305, grad_norm=80.321, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.638e-05, train_time=1.692 -[gpua001:0/64] 2023-12-12 08:42:29,160 (trainer:737) INFO: 28epoch:train:6501-6600batch: iter_time=8.504e-05, forward_time=0.146, loss_ctc=63.411, loss_att=57.239, acc=0.704, loss=59.091, backward_time=0.289, grad_norm=88.844, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.637e-05, train_time=1.456 -[gpua001:0/64] 2023-12-12 08:44:55,360 (trainer:737) INFO: 28epoch:train:6601-6700batch: iter_time=8.257e-05, forward_time=0.146, loss_ctc=80.016, loss_att=65.523, acc=0.725, loss=69.871, backward_time=0.294, grad_norm=84.771, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.636e-05, train_time=1.462 -[gpua001:0/64] 2023-12-12 08:47:12,238 (trainer:737) INFO: 28epoch:train:6701-6800batch: iter_time=8.546e-05, forward_time=0.147, loss_ctc=71.232, loss_att=64.266, acc=0.717, loss=66.356, backward_time=0.290, grad_norm=88.832, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.635e-05, train_time=1.369 -[gpua001:0/64] 2023-12-12 08:49:36,595 (trainer:737) INFO: 28epoch:train:6801-6900batch: iter_time=8.757e-05, forward_time=0.147, loss_ctc=72.322, loss_att=59.307, acc=0.724, loss=63.211, backward_time=0.298, grad_norm=81.776, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.634e-05, train_time=1.443 -[gpua001:0/64] 2023-12-12 08:53:01,403 (trainer:737) INFO: 28epoch:train:6901-7000batch: iter_time=8.428e-05, forward_time=0.151, loss_ctc=61.537, loss_att=49.997, acc=0.729, loss=53.459, backward_time=0.368, grad_norm=79.382, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.634e-05, train_time=2.048 -[gpua001:0/64] 2023-12-12 08:55:29,895 (trainer:737) INFO: 28epoch:train:7001-7100batch: iter_time=7.966e-05, forward_time=0.149, loss_ctc=56.435, loss_att=44.289, acc=0.734, loss=47.933, backward_time=0.310, grad_norm=83.658, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.633e-05, train_time=1.485 -[gpua001:0/64] 2023-12-12 08:58:39,702 (trainer:737) INFO: 28epoch:train:7101-7200batch: iter_time=8.684e-05, forward_time=0.173, loss_ctc=62.320, loss_att=52.731, acc=0.736, loss=55.608, backward_time=0.360, grad_norm=58.144, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=7.632e-05, train_time=1.898 -[gpua001:0/64] 2023-12-12 08:58:46,129 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-12 08:59:18,791 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-12 08:59:20,701 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-12 09:01:07,933 (trainer:737) INFO: 28epoch:train:7201-7300batch: iter_time=8.351e-05, forward_time=0.166, loss_ctc=64.402, loss_att=45.223, acc=0.742, loss=50.977, backward_time=0.316, grad_norm=68.607, clip=100.000, loss_scale=9.148e+30, optim_step_time=0.134, optim0_lr0=7.631e-05, train_time=1.482 -[gpua001:0/64] 2023-12-12 09:03:17,508 (trainer:737) INFO: 28epoch:train:7301-7400batch: iter_time=8.671e-05, forward_time=0.148, loss_ctc=61.219, loss_att=49.368, acc=0.722, loss=52.923, backward_time=0.281, grad_norm=72.717, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.630e-05, train_time=1.296 -[gpua001:0/64] 2023-12-12 09:05:53,650 (trainer:737) INFO: 28epoch:train:7401-7500batch: iter_time=8.018e-05, forward_time=0.156, loss_ctc=63.975, loss_att=50.703, acc=0.736, loss=54.685, backward_time=0.361, grad_norm=160.966, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.629e-05, train_time=1.561 -[gpua001:0/64] 2023-12-12 09:06:13,678 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua001:0/64] 2023-12-12 09:06:32,079 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 09:06:35,488 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 09:06:35,488 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua001:0/64] 2023-12-12 09:06:35,491 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 09:13:22,991 (trainer:737) INFO: 28epoch:train:7501-7600batch: iter_time=3.126, forward_time=0.193, loss_ctc=71.945, loss_att=55.826, acc=0.719, loss=60.662, backward_time=0.288, grad_norm=224.915, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.628e-05, train_time=4.493 -[gpua001:0/64] 2023-12-12 09:15:30,009 (trainer:737) INFO: 28epoch:train:7601-7700batch: iter_time=7.919e-05, forward_time=0.147, loss_ctc=78.812, loss_att=61.743, acc=0.731, loss=66.864, backward_time=0.284, grad_norm=96.707, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.627e-05, train_time=1.270 -[gpua001:0/64] 2023-12-12 09:18:16,116 (trainer:737) INFO: 28epoch:train:7701-7800batch: iter_time=8.104e-05, forward_time=0.182, loss_ctc=68.824, loss_att=55.866, acc=0.715, loss=59.754, backward_time=0.335, grad_norm=85.804, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.626e-05, train_time=1.661 -[gpua001:0/64] 2023-12-12 09:20:39,822 (trainer:737) INFO: 28epoch:train:7801-7900batch: iter_time=8.210e-05, forward_time=0.147, loss_ctc=65.989, loss_att=53.849, acc=0.722, loss=57.491, backward_time=0.292, grad_norm=63.010, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.625e-05, train_time=1.437 -[gpua001:0/64] 2023-12-12 09:23:13,831 (trainer:737) INFO: 28epoch:train:7901-8000batch: iter_time=8.049e-05, forward_time=0.164, loss_ctc=79.785, loss_att=71.439, acc=0.724, loss=73.942, backward_time=0.312, grad_norm=75.533, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.624e-05, train_time=1.540 -[gpua001:0/64] 2023-12-12 09:25:37,244 (trainer:737) INFO: 28epoch:train:8001-8100batch: iter_time=8.097e-05, forward_time=0.148, loss_ctc=74.429, loss_att=61.085, acc=0.727, loss=65.088, backward_time=0.294, grad_norm=67.794, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.623e-05, train_time=1.434 -[gpua001:0/64] 2023-12-12 09:28:40,176 (trainer:737) INFO: 28epoch:train:8101-8200batch: iter_time=8.306e-05, forward_time=0.158, loss_ctc=59.387, loss_att=47.993, acc=0.726, loss=51.411, backward_time=0.336, grad_norm=89.461, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.622e-05, train_time=1.829 -[gpua001:0/64] 2023-12-12 09:31:09,292 (trainer:737) INFO: 28epoch:train:8201-8300batch: iter_time=8.469e-05, forward_time=0.146, loss_ctc=60.706, loss_att=48.435, acc=0.723, loss=52.117, backward_time=0.288, grad_norm=75.856, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.622e-05, train_time=1.491 -[gpua001:0/64] 2023-12-12 09:33:33,106 (trainer:737) INFO: 28epoch:train:8301-8400batch: iter_time=8.509e-05, forward_time=0.147, loss_ctc=63.874, loss_att=55.661, acc=0.734, loss=58.125, backward_time=0.316, grad_norm=66.788, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.621e-05, train_time=1.438 -[gpua001:0/64] 2023-12-12 09:36:31,240 (trainer:737) INFO: 28epoch:train:8401-8500batch: iter_time=8.965e-05, forward_time=0.147, loss_ctc=58.988, loss_att=42.931, acc=0.747, loss=47.748, backward_time=0.358, grad_norm=62.200, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.620e-05, train_time=1.781 -[gpua001:0/64] 2023-12-12 09:38:50,084 (trainer:737) INFO: 28epoch:train:8501-8600batch: iter_time=8.146e-05, forward_time=0.184, loss_ctc=60.152, loss_att=46.985, acc=0.731, loss=50.935, backward_time=0.300, grad_norm=77.059, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.137, optim0_lr0=7.619e-05, train_time=1.388 -[gpua001:0/64] 2023-12-12 09:41:25,415 (trainer:737) INFO: 28epoch:train:8601-8700batch: iter_time=7.975e-05, forward_time=0.154, loss_ctc=64.027, loss_att=48.647, acc=0.731, loss=53.261, backward_time=0.335, grad_norm=99.318, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=7.618e-05, train_time=1.553 -[gpua001:0/64] 2023-12-12 09:42:56,393 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua001:0/64] 2023-12-12 09:43:14,544 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 09:43:17,962 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 09:43:17,962 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua001:0/64] 2023-12-12 09:43:17,986 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 09:49:32,278 (trainer:737) INFO: 28epoch:train:8701-8800batch: iter_time=3.341, forward_time=0.271, loss_ctc=62.517, loss_att=49.422, acc=0.730, loss=53.350, backward_time=0.305, grad_norm=70.169, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.617e-05, train_time=4.868 -[gpua001:0/64] 2023-12-12 09:51:33,392 (trainer:737) INFO: 28epoch:train:8801-8900batch: iter_time=7.494e-05, forward_time=0.148, loss_ctc=82.201, loss_att=63.826, acc=0.720, loss=69.338, backward_time=0.282, grad_norm=106.677, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.616e-05, train_time=1.210 -[gpua001:0/64] 2023-12-12 09:54:01,594 (trainer:737) INFO: 28epoch:train:8901-9000batch: iter_time=7.685e-05, forward_time=0.146, loss_ctc=69.637, loss_att=52.279, acc=0.734, loss=57.487, backward_time=0.319, grad_norm=74.287, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.615e-05, train_time=1.482 -[gpua001:0/64] 2023-12-12 09:56:58,054 (trainer:737) INFO: 28epoch:train:9001-9100batch: iter_time=7.932e-05, forward_time=0.235, loss_ctc=63.461, loss_att=56.089, acc=0.707, loss=58.301, backward_time=0.353, grad_norm=70.999, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.147, optim0_lr0=7.614e-05, train_time=1.764 -[gpua001:0/64] 2023-12-12 09:59:28,710 (trainer:737) INFO: 28epoch:train:9101-9200batch: iter_time=7.887e-05, forward_time=0.147, loss_ctc=78.730, loss_att=63.943, acc=0.729, loss=68.379, backward_time=0.295, grad_norm=91.580, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.613e-05, train_time=1.506 -[gpua001:0/64] 2023-12-12 10:01:50,887 (trainer:737) INFO: 28epoch:train:9201-9300batch: iter_time=7.887e-05, forward_time=0.146, loss_ctc=70.707, loss_att=63.315, acc=0.719, loss=65.532, backward_time=0.301, grad_norm=68.556, clip=100.000, loss_scale=8.874e+30, optim_step_time=0.133, optim0_lr0=7.612e-05, train_time=1.422 -[gpua001:0/64] 2023-12-12 10:05:15,617 (trainer:737) INFO: 28epoch:train:9301-9400batch: iter_time=8.186e-05, forward_time=0.153, loss_ctc=72.330, loss_att=59.052, acc=0.728, loss=63.036, backward_time=0.391, grad_norm=70.176, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.611e-05, train_time=2.047 -[gpua001:0/64] 2023-12-12 10:08:25,215 (trainer:737) INFO: 28epoch:train:9401-9500batch: iter_time=8.556e-05, forward_time=0.147, loss_ctc=61.325, loss_att=49.871, acc=0.728, loss=53.308, backward_time=0.294, grad_norm=76.486, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.611e-05, train_time=1.896 -[gpua001:0/64] 2023-12-12 10:10:33,135 (trainer:737) INFO: 28epoch:train:9501-9600batch: iter_time=8.128e-05, forward_time=0.146, loss_ctc=55.777, loss_att=44.321, acc=0.734, loss=47.758, backward_time=0.282, grad_norm=63.917, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.610e-05, train_time=1.279 -[gpua001:0/64] 2023-12-12 10:13:10,340 (trainer:737) INFO: 28epoch:train:9601-9700batch: iter_time=0.002, forward_time=0.240, loss_ctc=61.784, loss_att=52.514, acc=0.735, loss=55.295, backward_time=0.320, grad_norm=80.582, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.146, optim0_lr0=7.609e-05, train_time=1.572 -[gpua001:0/64] 2023-12-12 10:15:54,291 (trainer:737) INFO: 28epoch:train:9701-9800batch: iter_time=7.768e-05, forward_time=0.146, loss_ctc=63.720, loss_att=44.476, acc=0.744, loss=50.249, backward_time=0.306, grad_norm=58.447, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.608e-05, train_time=1.639 -[gpua001:0/64] 2023-12-12 10:18:30,131 (trainer:737) INFO: 28epoch:train:9801-9900batch: iter_time=7.593e-05, forward_time=0.146, loss_ctc=61.015, loss_att=48.624, acc=0.725, loss=52.341, backward_time=0.291, grad_norm=63.157, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.607e-05, train_time=1.558 -[gpua001:0/64] 2023-12-12 10:20:58,028 (trainer:737) INFO: 28epoch:train:9901-10000batch: iter_time=8.031e-05, forward_time=0.146, loss_ctc=63.702, loss_att=50.304, acc=0.737, loss=54.323, backward_time=0.296, grad_norm=57.399, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.606e-05, train_time=1.479 -[gpua001:0/64] 2023-12-12 10:21:18,057 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua001:0/64] 2023-12-12 10:21:36,658 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 10:21:40,034 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 10:21:40,034 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua001:0/64] 2023-12-12 10:21:40,039 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 10:28:22,375 (trainer:737) INFO: 28epoch:train:10001-10100batch: iter_time=3.121, forward_time=0.187, loss_ctc=71.106, loss_att=56.564, acc=0.711, loss=60.927, backward_time=0.286, grad_norm=84.402, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.605e-05, train_time=4.443 -[gpua001:0/64] 2023-12-12 10:30:22,519 (trainer:737) INFO: 28epoch:train:10101-10200batch: iter_time=9.339e-05, forward_time=0.146, loss_ctc=77.426, loss_att=62.001, acc=0.726, loss=66.628, backward_time=0.281, grad_norm=104.446, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.604e-05, train_time=1.201 -[gpua001:0/64] 2023-12-12 10:33:00,574 (trainer:737) INFO: 28epoch:train:10201-10300batch: iter_time=8.752e-05, forward_time=0.146, loss_ctc=68.620, loss_att=53.752, acc=0.705, loss=58.213, backward_time=0.296, grad_norm=96.931, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.603e-05, train_time=1.580 -[gpua001:0/64] 2023-12-12 10:35:33,933 (trainer:737) INFO: 28epoch:train:10301-10400batch: iter_time=8.201e-05, forward_time=0.148, loss_ctc=65.583, loss_att=52.620, acc=0.719, loss=56.509, backward_time=0.319, grad_norm=63.337, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.602e-05, train_time=1.534 -[gpua001:0/64] 2023-12-12 10:38:26,030 (trainer:737) INFO: 28epoch:train:10401-10500batch: iter_time=7.841e-05, forward_time=0.239, loss_ctc=79.997, loss_att=70.421, acc=0.713, loss=73.294, backward_time=0.374, grad_norm=71.670, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.145, optim0_lr0=7.601e-05, train_time=1.721 -[gpua001:0/64] 2023-12-12 10:40:44,325 (trainer:737) INFO: 28epoch:train:10501-10600batch: iter_time=7.995e-05, forward_time=0.147, loss_ctc=73.658, loss_att=59.693, acc=0.724, loss=63.882, backward_time=0.282, grad_norm=76.010, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.600e-05, train_time=1.382 -[gpua001:0/64] 2023-12-12 10:44:20,289 (trainer:737) INFO: 28epoch:train:10601-10700batch: iter_time=8.527e-05, forward_time=0.146, loss_ctc=59.225, loss_att=47.356, acc=0.726, loss=50.917, backward_time=0.362, grad_norm=79.256, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.600e-05, train_time=2.160 -[gpua001:0/64] 2023-12-12 10:46:36,407 (trainer:737) INFO: 28epoch:train:10701-10800batch: iter_time=7.992e-05, forward_time=0.146, loss_ctc=60.257, loss_att=46.274, acc=0.729, loss=50.469, backward_time=0.283, grad_norm=138.497, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.599e-05, train_time=1.361 -[gpua001:0/64] 2023-12-12 10:49:11,429 (trainer:737) INFO: 28epoch:train:10801-10900batch: iter_time=8.162e-05, forward_time=0.147, loss_ctc=63.707, loss_att=55.064, acc=0.723, loss=57.657, backward_time=0.357, grad_norm=109.548, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.598e-05, train_time=1.550 -[gpua001:0/64] 2023-12-12 10:51:49,894 (trainer:737) INFO: 28epoch:train:10901-11000batch: iter_time=8.583e-05, forward_time=0.146, loss_ctc=59.040, loss_att=42.824, acc=0.739, loss=47.689, backward_time=0.303, grad_norm=127.066, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.597e-05, train_time=1.584 -[gpua001:0/64] 2023-12-12 10:54:32,436 (trainer:737) INFO: 28epoch:train:11001-11100batch: iter_time=9.135e-05, forward_time=0.195, loss_ctc=60.272, loss_att=46.907, acc=0.725, loss=50.916, backward_time=0.375, grad_norm=75.122, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.138, optim0_lr0=7.596e-05, train_time=1.625 -[gpua001:0/64] 2023-12-12 10:56:43,930 (trainer:737) INFO: 28epoch:train:11101-11200batch: iter_time=7.937e-05, forward_time=0.149, loss_ctc=64.147, loss_att=47.826, acc=0.728, loss=52.722, backward_time=0.283, grad_norm=83.938, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.595e-05, train_time=1.315 -[gpua001:0/64] 2023-12-12 10:58:28,236 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua001:0/64] 2023-12-12 10:58:47,002 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 10:58:50,400 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 10:58:50,400 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua001:0/64] 2023-12-12 10:58:50,403 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 11:05:02,591 (trainer:737) INFO: 28epoch:train:11201-11300batch: iter_time=3.419, forward_time=0.146, loss_ctc=62.448, loss_att=49.437, acc=0.730, loss=53.340, backward_time=0.298, grad_norm=71.542, clip=100.000, loss_scale=1.775e+31, optim_step_time=0.132, optim0_lr0=7.594e-05, train_time=4.986 -[gpua001:0/64] 2023-12-12 11:07:02,926 (trainer:737) INFO: 28epoch:train:11301-11400batch: iter_time=7.889e-05, forward_time=0.148, loss_ctc=82.043, loss_att=65.033, acc=0.721, loss=70.136, backward_time=0.281, grad_norm=105.072, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.593e-05, train_time=1.203 -[gpua001:0/64] 2023-12-12 11:10:01,346 (trainer:737) INFO: 28epoch:train:11401-11500batch: iter_time=7.971e-05, forward_time=0.315, loss_ctc=69.423, loss_att=52.729, acc=0.734, loss=57.737, backward_time=0.348, grad_norm=59.146, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=7.592e-05, train_time=1.784 -[gpua001:0/64] 2023-12-12 11:12:43,177 (trainer:737) INFO: 28epoch:train:11501-11600batch: iter_time=8.391e-05, forward_time=0.146, loss_ctc=63.372, loss_att=56.359, acc=0.707, loss=58.463, backward_time=0.349, grad_norm=66.522, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.591e-05, train_time=1.618 -[gpua001:0/64] 2023-12-12 11:15:22,414 (trainer:737) INFO: 28epoch:train:11601-11700batch: iter_time=7.982e-05, forward_time=0.148, loss_ctc=78.755, loss_att=64.212, acc=0.729, loss=68.575, backward_time=0.338, grad_norm=74.907, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.590e-05, train_time=1.592 -[gpua001:0/64] 2023-12-12 11:18:39,790 (trainer:737) INFO: 28epoch:train:11701-11800batch: iter_time=8.230e-05, forward_time=0.146, loss_ctc=70.233, loss_att=62.834, acc=0.721, loss=65.053, backward_time=0.385, grad_norm=67.558, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.589e-05, train_time=1.974 -[gpua001:0/64] 2023-12-12 11:21:22,719 (trainer:737) INFO: 28epoch:train:11801-11900batch: iter_time=8.205e-05, forward_time=0.146, loss_ctc=72.440, loss_att=59.514, acc=0.728, loss=63.392, backward_time=0.321, grad_norm=70.615, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.589e-05, train_time=1.629 -[gpua001:0/64] 2023-12-12 11:24:19,765 (trainer:737) INFO: 28epoch:train:11901-12000batch: iter_time=0.003, forward_time=0.252, loss_ctc=60.284, loss_att=48.972, acc=0.732, loss=52.366, backward_time=0.350, grad_norm=60.679, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.588e-05, train_time=1.770 -[gpua001:0/64] 2023-12-12 11:26:57,229 (trainer:737) INFO: 28epoch:train:12001-12100batch: iter_time=8.571e-05, forward_time=0.147, loss_ctc=55.122, loss_att=43.794, acc=0.739, loss=47.192, backward_time=0.346, grad_norm=52.319, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.587e-05, train_time=1.575 -[gpua001:0/64] 2023-12-12 11:29:33,418 (trainer:737) INFO: 28epoch:train:12101-12200batch: iter_time=8.438e-05, forward_time=0.147, loss_ctc=61.854, loss_att=52.169, acc=0.737, loss=55.075, backward_time=0.300, grad_norm=55.242, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.586e-05, train_time=1.562 -[gpua001:0/64] 2023-12-12 11:32:33,885 (trainer:737) INFO: 28epoch:train:12201-12300batch: iter_time=8.355e-05, forward_time=0.146, loss_ctc=63.870, loss_att=44.238, acc=0.747, loss=50.128, backward_time=0.323, grad_norm=92.548, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.585e-05, train_time=1.804 -[gpua001:0/64] 2023-12-12 11:35:51,301 (trainer:737) INFO: 28epoch:train:12301-12400batch: iter_time=8.144e-05, forward_time=0.147, loss_ctc=60.278, loss_att=48.653, acc=0.725, loss=52.141, backward_time=0.399, grad_norm=118.077, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.584e-05, train_time=1.974 -[gpua001:0/64] 2023-12-12 11:38:51,654 (trainer:737) INFO: 28epoch:train:12401-12500batch: iter_time=7.876e-05, forward_time=0.149, loss_ctc=63.722, loss_att=50.040, acc=0.740, loss=54.144, backward_time=0.331, grad_norm=69.309, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.583e-05, train_time=1.803 -[gpua001:0/64] 2023-12-12 11:39:11,683 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua001:0/64] 2023-12-12 11:39:29,922 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 11:39:33,373 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 11:39:33,374 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua001:0/64] 2023-12-12 11:39:33,390 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 11:46:40,504 (trainer:737) INFO: 28epoch:train:12501-12600batch: iter_time=3.343, forward_time=0.191, loss_ctc=70.734, loss_att=55.340, acc=0.719, loss=59.958, backward_time=0.290, grad_norm=83.806, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.582e-05, train_time=4.688 -[gpua001:0/64] 2023-12-12 11:48:48,939 (trainer:737) INFO: 28epoch:train:12601-12700batch: iter_time=8.249e-05, forward_time=0.147, loss_ctc=77.372, loss_att=60.528, acc=0.734, loss=65.581, backward_time=0.283, grad_norm=81.346, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.581e-05, train_time=1.285 -[gpua001:0/64] 2023-12-12 11:51:39,230 (trainer:737) INFO: 28epoch:train:12701-12800batch: iter_time=8.315e-05, forward_time=0.146, loss_ctc=68.508, loss_att=54.903, acc=0.717, loss=58.985, backward_time=0.316, grad_norm=76.992, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.580e-05, train_time=1.703 -[gpua001:0/64] 2023-12-12 11:54:54,189 (trainer:737) INFO: 28epoch:train:12801-12900batch: iter_time=8.323e-05, forward_time=0.146, loss_ctc=66.179, loss_att=53.517, acc=0.722, loss=57.315, backward_time=0.439, grad_norm=65.961, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.579e-05, train_time=1.949 -[gpua001:0/64] 2023-12-12 11:58:31,518 (trainer:737) INFO: 28epoch:train:12901-13000batch: iter_time=8.152e-05, forward_time=0.146, loss_ctc=79.158, loss_att=70.877, acc=0.726, loss=73.361, backward_time=0.390, grad_norm=84.787, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.579e-05, train_time=2.173 -[gpua001:0/64] 2023-12-12 12:01:20,664 (trainer:737) INFO: 28epoch:train:13001-13100batch: iter_time=8.450e-05, forward_time=0.147, loss_ctc=73.916, loss_att=59.390, acc=0.731, loss=63.748, backward_time=0.299, grad_norm=67.127, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.578e-05, train_time=1.691 -[gpua001:0/64] 2023-12-12 12:03:35,700 (trainer:737) INFO: 28epoch:train:13101-13200batch: iter_time=8.421e-05, forward_time=0.146, loss_ctc=58.989, loss_att=46.918, acc=0.734, loss=50.540, backward_time=0.290, grad_norm=87.517, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.577e-05, train_time=1.350 -[gpua001:0/64] 2023-12-12 12:05:59,948 (trainer:737) INFO: 28epoch:train:13201-13300batch: iter_time=8.409e-05, forward_time=0.146, loss_ctc=59.699, loss_att=47.814, acc=0.726, loss=51.379, backward_time=0.306, grad_norm=78.148, clip=100.000, loss_scale=3.549e+31, optim_step_time=0.133, optim0_lr0=7.576e-05, train_time=1.442 -[gpua001:0/64] 2023-12-12 12:06:44,241 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-12 12:08:31,471 (trainer:737) INFO: 28epoch:train:13301-13400batch: iter_time=8.179e-05, forward_time=0.153, loss_ctc=63.003, loss_att=54.570, acc=0.737, loss=57.100, backward_time=0.315, grad_norm=67.592, clip=100.000, loss_scale=2.643e+31, optim_step_time=0.133, optim0_lr0=7.575e-05, train_time=1.515 -[gpua001:0/64] 2023-12-12 12:11:55,387 (trainer:737) INFO: 28epoch:train:13401-13500batch: iter_time=8.375e-05, forward_time=0.248, loss_ctc=59.234, loss_att=42.193, acc=0.751, loss=47.305, backward_time=0.362, grad_norm=85.285, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.143, optim0_lr0=7.574e-05, train_time=2.039 -[gpua001:0/64] 2023-12-12 12:14:46,814 (trainer:737) INFO: 28epoch:train:13501-13600batch: iter_time=8.149e-05, forward_time=0.147, loss_ctc=60.269, loss_att=47.102, acc=0.732, loss=51.052, backward_time=0.358, grad_norm=68.730, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.573e-05, train_time=1.714 -[gpua001:0/64] 2023-12-12 12:17:51,616 (trainer:737) INFO: 28epoch:train:13601-13700batch: iter_time=8.419e-05, forward_time=0.146, loss_ctc=63.819, loss_att=47.849, acc=0.734, loss=52.640, backward_time=0.305, grad_norm=77.369, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.572e-05, train_time=1.848 -[gpua001:0/64] 2023-12-12 12:20:07,888 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua001:0/64] 2023-12-12 12:20:26,111 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 12:20:29,486 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 12:20:29,486 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua001:0/64] 2023-12-12 12:20:29,492 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 12:30:46,144 (trainer:737) INFO: 28epoch:train:13701-13800batch: iter_time=3.493, forward_time=0.146, loss_ctc=62.660, loss_att=49.331, acc=0.732, loss=53.330, backward_time=0.342, grad_norm=125.415, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.571e-05, train_time=7.745 -[gpua001:0/64] 2023-12-12 12:32:51,739 (trainer:737) INFO: 28epoch:train:13801-13900batch: iter_time=8.368e-05, forward_time=0.147, loss_ctc=82.575, loss_att=63.850, acc=0.721, loss=69.467, backward_time=0.283, grad_norm=85.548, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.570e-05, train_time=1.256 -[gpua001:0/64] 2023-12-12 12:35:03,444 (trainer:737) INFO: 28epoch:train:13901-14000batch: iter_time=8.650e-05, forward_time=0.147, loss_ctc=69.078, loss_att=51.837, acc=0.736, loss=57.009, backward_time=0.284, grad_norm=74.541, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.570e-05, train_time=1.317 -[gpua001:0/64] 2023-12-12 12:38:04,147 (trainer:737) INFO: 28epoch:train:14001-14100batch: iter_time=8.766e-05, forward_time=0.147, loss_ctc=63.117, loss_att=55.494, acc=0.709, loss=57.781, backward_time=0.310, grad_norm=135.915, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.569e-05, train_time=1.807 -[gpua001:0/64] 2023-12-12 12:41:43,736 (trainer:737) INFO: 28epoch:train:14101-14200batch: iter_time=8.138e-05, forward_time=0.183, loss_ctc=78.656, loss_att=63.110, acc=0.733, loss=67.774, backward_time=0.336, grad_norm=77.625, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.568e-05, train_time=2.196 -[gpua001:0/64] 2023-12-12 12:44:26,864 (trainer:737) INFO: 28epoch:train:14201-14300batch: iter_time=8.229e-05, forward_time=0.195, loss_ctc=70.754, loss_att=62.687, acc=0.722, loss=65.107, backward_time=0.343, grad_norm=68.059, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=7.567e-05, train_time=1.630 -[gpua001:0/64] 2023-12-12 12:47:38,154 (trainer:737) INFO: 28epoch:train:14301-14400batch: iter_time=7.521e-05, forward_time=0.150, loss_ctc=72.807, loss_att=58.822, acc=0.729, loss=63.017, backward_time=0.344, grad_norm=69.560, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.566e-05, train_time=1.913 -[gpua001:0/64] 2023-12-12 12:50:13,443 (trainer:737) INFO: 28epoch:train:14401-14500batch: iter_time=8.131e-05, forward_time=0.146, loss_ctc=60.656, loss_att=49.158, acc=0.733, loss=52.607, backward_time=0.324, grad_norm=67.204, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.565e-05, train_time=1.553 -[gpua001:0/64] 2023-12-12 12:53:15,951 (trainer:737) INFO: 28epoch:train:14501-14600batch: iter_time=8.415e-05, forward_time=0.147, loss_ctc=55.008, loss_att=43.183, acc=0.739, loss=46.731, backward_time=0.316, grad_norm=94.587, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.564e-05, train_time=1.825 -[gpua001:0/64] 2023-12-12 12:56:17,156 (trainer:737) INFO: 28epoch:train:14601-14700batch: iter_time=8.559e-05, forward_time=0.147, loss_ctc=61.497, loss_att=51.384, acc=0.740, loss=54.418, backward_time=0.345, grad_norm=87.355, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.563e-05, train_time=1.812 -[gpua001:0/64] 2023-12-12 12:59:29,104 (trainer:737) INFO: 28epoch:train:14701-14800batch: iter_time=7.942e-05, forward_time=0.146, loss_ctc=63.716, loss_att=44.404, acc=0.746, loss=50.197, backward_time=0.321, grad_norm=63.895, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.562e-05, train_time=1.919 -[gpua001:0/64] 2023-12-12 13:02:18,502 (trainer:737) INFO: 28epoch:train:14801-14900batch: iter_time=8.473e-05, forward_time=0.146, loss_ctc=60.519, loss_att=48.015, acc=0.727, loss=51.766, backward_time=0.338, grad_norm=66.578, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.561e-05, train_time=1.694 -[gpua001:0/64] 2023-12-12 13:04:53,588 (trainer:737) INFO: 28epoch:train:14901-15000batch: iter_time=8.184e-05, forward_time=0.147, loss_ctc=63.107, loss_att=49.471, acc=0.741, loss=53.562, backward_time=0.318, grad_norm=63.913, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.561e-05, train_time=1.551 -[gpua001:0/64] 2023-12-12 13:31:52,802 (trainer:343) INFO: 28epoch results: [train] iter_time=0.255, forward_time=0.161, loss_ctc=67.345, loss_att=53.704, acc=0.724, loss=57.796, backward_time=0.316, grad_norm=85.064, clip=100.000, loss_scale=1.873e+31, optim_step_time=0.134, optim0_lr0=7.629e-05, train_time=1.860, time=7 hours, 45 minutes and 29.75 seconds, total_count=420000, gpu_max_cached_mem_GB=37.930, [valid] loss_ctc=35.994, cer_ctc=0.186, loss_att=36.765, acc=0.705, cer=0.359, wer=0.997, loss=36.534, time=26 minutes and 34.82 seconds, total_count=130788, gpu_max_cached_mem_GB=37.930 -[gpua001:0/64] 2023-12-12 13:32:12,684 (trainer:391) INFO: The best model has been updated: valid.total_count -[gpua001:0/64] 2023-12-12 13:32:12,710 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/23epoch.pth -[gpua001:0/64] 2023-12-12 13:32:12,710 (trainer:272) INFO: 29/40epoch started. Estimated time to finish: 4 days, 10 hours and 41 minutes -[gpua001:0/64] 2023-12-12 13:32:12,720 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua001:0/64] 2023-12-12 13:32:29,949 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 13:32:33,485 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 13:32:33,485 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua001:0/64] 2023-12-12 13:32:33,488 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 13:40:13,108 (trainer:737) INFO: 29epoch:train:1-100batch: iter_time=3.052, forward_time=0.184, loss_ctc=51.778, loss_att=39.377, acc=0.730, loss=43.098, backward_time=0.290, grad_norm=121.313, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.560e-05, train_time=4.804 -[gpua001:0/64] 2023-12-12 13:42:15,213 (trainer:737) INFO: 29epoch:train:101-200batch: iter_time=7.940e-05, forward_time=0.146, loss_ctc=70.021, loss_att=55.755, acc=0.723, loss=60.035, backward_time=0.281, grad_norm=83.073, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.559e-05, train_time=1.221 -[gpua001:0/64] 2023-12-12 13:45:01,540 (trainer:737) INFO: 29epoch:train:201-300batch: iter_time=8.245e-05, forward_time=0.145, loss_ctc=69.898, loss_att=54.774, acc=0.714, loss=59.311, backward_time=0.311, grad_norm=262.291, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.558e-05, train_time=1.663 -[gpua001:0/64] 2023-12-12 13:47:15,413 (trainer:737) INFO: 29epoch:train:301-400batch: iter_time=9.157e-05, forward_time=0.146, loss_ctc=69.224, loss_att=59.754, acc=0.716, loss=62.595, backward_time=0.309, grad_norm=134.096, clip=100.000, loss_scale=3.428e+31, optim_step_time=0.133, optim0_lr0=7.557e-05, train_time=1.339 -[gpua001:0/64] 2023-12-12 13:49:36,833 (trainer:737) INFO: 29epoch:train:401-500batch: iter_time=8.280e-05, forward_time=0.148, loss_ctc=65.728, loss_att=49.093, acc=0.719, loss=54.084, backward_time=0.298, grad_norm=91.868, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.556e-05, train_time=1.414 -[gpua001:0/64] 2023-12-12 13:52:30,267 (trainer:737) INFO: 29epoch:train:501-600batch: iter_time=9.043e-05, forward_time=0.146, loss_ctc=71.489, loss_att=60.452, acc=0.723, loss=63.763, backward_time=0.410, grad_norm=69.842, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.555e-05, train_time=1.734 -[gpua001:0/64] 2023-12-12 13:55:02,202 (trainer:737) INFO: 29epoch:train:601-700batch: iter_time=8.661e-05, forward_time=0.148, loss_ctc=66.746, loss_att=55.070, acc=0.726, loss=58.573, backward_time=0.295, grad_norm=61.457, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.554e-05, train_time=1.519 -[gpua001:0/64] 2023-12-12 13:57:27,015 (trainer:737) INFO: 29epoch:train:701-800batch: iter_time=9.301e-05, forward_time=0.155, loss_ctc=69.745, loss_att=58.315, acc=0.722, loss=61.744, backward_time=0.314, grad_norm=77.099, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.553e-05, train_time=1.448 -[gpua001:0/64] 2023-12-12 14:00:30,541 (trainer:737) INFO: 29epoch:train:801-900batch: iter_time=8.506e-05, forward_time=0.205, loss_ctc=82.127, loss_att=71.364, acc=0.709, loss=74.593, backward_time=0.419, grad_norm=86.893, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=7.552e-05, train_time=1.835 -[gpua001:0/64] 2023-12-12 14:03:39,165 (trainer:737) INFO: 29epoch:train:901-1000batch: iter_time=8.854e-05, forward_time=0.147, loss_ctc=62.070, loss_att=49.825, acc=0.718, loss=53.498, backward_time=0.328, grad_norm=68.610, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.552e-05, train_time=1.886 -[gpua001:0/64] 2023-12-12 14:06:19,695 (trainer:737) INFO: 29epoch:train:1001-1100batch: iter_time=8.021e-05, forward_time=0.147, loss_ctc=74.110, loss_att=66.288, acc=0.699, loss=68.634, backward_time=0.315, grad_norm=61.507, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.551e-05, train_time=1.605 -[gpua001:0/64] 2023-12-12 14:08:46,649 (trainer:737) INFO: 29epoch:train:1101-1200batch: iter_time=8.267e-05, forward_time=0.146, loss_ctc=62.825, loss_att=51.839, acc=0.709, loss=55.135, backward_time=0.303, grad_norm=59.662, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.550e-05, train_time=1.469 -[gpua001:0/64] 2023-12-12 14:10:41,851 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua001:0/64] 2023-12-12 14:11:00,370 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 14:11:03,765 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 14:11:03,765 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua001:0/64] 2023-12-12 14:11:03,785 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 14:16:51,762 (trainer:737) INFO: 29epoch:train:1201-1300batch: iter_time=3.056, forward_time=0.147, loss_ctc=58.342, loss_att=44.617, acc=0.729, loss=48.735, backward_time=0.333, grad_norm=75.053, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.549e-05, train_time=4.851 -[gpua001:0/64] 2023-12-12 14:17:56,703 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-12 14:18:56,188 (trainer:737) INFO: 29epoch:train:1301-1400batch: iter_time=7.564e-05, forward_time=0.148, loss_ctc=58.167, loss_att=47.472, acc=0.724, loss=50.680, backward_time=0.279, grad_norm=93.577, clip=100.000, loss_scale=3.094e+31, optim_step_time=0.133, optim0_lr0=7.548e-05, train_time=1.244 -[gpua001:0/64] 2023-12-12 14:21:29,901 (trainer:737) INFO: 29epoch:train:1401-1500batch: iter_time=7.814e-05, forward_time=0.243, loss_ctc=72.881, loss_att=58.129, acc=0.707, loss=62.555, backward_time=0.320, grad_norm=99.387, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.143, optim0_lr0=7.547e-05, train_time=1.537 -[gpua001:0/64] 2023-12-12 14:21:49,563 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-12 14:23:14,022 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-12 14:23:48,808 (trainer:737) INFO: 29epoch:train:1501-1600batch: iter_time=7.768e-05, forward_time=0.146, loss_ctc=69.544, loss_att=56.182, acc=0.715, loss=60.190, backward_time=0.291, grad_norm=125.294, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.546e-05, train_time=1.389 -[gpua001:0/64] 2023-12-12 14:26:16,960 (trainer:737) INFO: 29epoch:train:1601-1700batch: iter_time=7.964e-05, forward_time=0.145, loss_ctc=56.511, loss_att=46.463, acc=0.711, loss=49.477, backward_time=0.291, grad_norm=105.676, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.545e-05, train_time=1.481 -[gpua001:0/64] 2023-12-12 14:29:12,543 (trainer:737) INFO: 29epoch:train:1701-1800batch: iter_time=8.016e-05, forward_time=0.147, loss_ctc=70.934, loss_att=54.254, acc=0.720, loss=59.258, backward_time=0.318, grad_norm=70.908, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.544e-05, train_time=1.756 -[gpua001:0/64] 2023-12-12 14:31:50,580 (trainer:737) INFO: 29epoch:train:1801-1900batch: iter_time=7.825e-05, forward_time=0.147, loss_ctc=71.180, loss_att=62.910, acc=0.719, loss=65.391, backward_time=0.292, grad_norm=92.503, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.543e-05, train_time=1.580 -[gpua001:0/64] 2023-12-12 14:34:47,664 (trainer:737) INFO: 29epoch:train:1901-2000batch: iter_time=7.900e-05, forward_time=0.148, loss_ctc=63.817, loss_att=52.463, acc=0.715, loss=55.869, backward_time=0.291, grad_norm=64.328, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.543e-05, train_time=1.771 -[gpua001:0/64] 2023-12-12 14:37:15,798 (trainer:737) INFO: 29epoch:train:2001-2100batch: iter_time=8.656e-05, forward_time=0.147, loss_ctc=74.419, loss_att=69.509, acc=0.707, loss=70.982, backward_time=0.309, grad_norm=92.774, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.542e-05, train_time=1.481 -[gpua001:0/64] 2023-12-12 14:39:49,831 (trainer:737) INFO: 29epoch:train:2101-2200batch: iter_time=8.174e-05, forward_time=0.146, loss_ctc=74.735, loss_att=57.054, acc=0.719, loss=62.358, backward_time=0.328, grad_norm=101.501, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.541e-05, train_time=1.540 -[gpua001:0/64] 2023-12-12 14:42:17,937 (trainer:737) INFO: 29epoch:train:2201-2300batch: iter_time=7.959e-05, forward_time=0.148, loss_ctc=64.236, loss_att=58.372, acc=0.699, loss=60.131, backward_time=0.324, grad_norm=65.337, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.540e-05, train_time=1.481 -[gpua001:0/64] 2023-12-12 14:44:47,890 (trainer:737) INFO: 29epoch:train:2301-2400batch: iter_time=8.023e-05, forward_time=0.146, loss_ctc=63.722, loss_att=49.972, acc=0.710, loss=54.097, backward_time=0.291, grad_norm=75.142, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.539e-05, train_time=1.499 -[gpua001:0/64] 2023-12-12 14:47:44,392 (trainer:737) INFO: 29epoch:train:2401-2500batch: iter_time=7.688e-05, forward_time=0.146, loss_ctc=64.125, loss_att=52.392, acc=0.728, loss=55.912, backward_time=0.321, grad_norm=90.330, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.538e-05, train_time=1.765 -[gpua001:0/64] 2023-12-12 14:48:04,421 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua001:0/64] 2023-12-12 14:48:22,527 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 14:48:26,156 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 14:48:26,157 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua001:0/64] 2023-12-12 14:48:26,160 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 14:55:05,160 (trainer:737) INFO: 29epoch:train:2501-2600batch: iter_time=3.008, forward_time=0.178, loss_ctc=51.436, loss_att=39.077, acc=0.735, loss=42.785, backward_time=0.287, grad_norm=90.257, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.537e-05, train_time=4.407 -[gpua001:0/64] 2023-12-12 14:57:06,173 (trainer:737) INFO: 29epoch:train:2601-2700batch: iter_time=7.896e-05, forward_time=0.147, loss_ctc=68.800, loss_att=54.910, acc=0.730, loss=59.077, backward_time=0.282, grad_norm=82.954, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.536e-05, train_time=1.210 -[gpua001:0/64] 2023-12-12 14:59:25,238 (trainer:737) INFO: 29epoch:train:2701-2800batch: iter_time=8.580e-05, forward_time=0.146, loss_ctc=67.074, loss_att=52.600, acc=0.720, loss=56.942, backward_time=0.285, grad_norm=80.799, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.535e-05, train_time=1.390 -[gpua001:0/64] 2023-12-12 15:01:43,118 (trainer:737) INFO: 29epoch:train:2801-2900batch: iter_time=8.230e-05, forward_time=0.146, loss_ctc=68.734, loss_att=59.186, acc=0.720, loss=62.051, backward_time=0.284, grad_norm=229.831, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.535e-05, train_time=1.379 -[gpua001:0/64] 2023-12-12 15:04:14,927 (trainer:737) INFO: 29epoch:train:2901-3000batch: iter_time=8.539e-05, forward_time=0.146, loss_ctc=64.330, loss_att=48.119, acc=0.727, loss=52.982, backward_time=0.300, grad_norm=80.066, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.534e-05, train_time=1.518 -[gpua001:0/64] 2023-12-12 15:07:14,488 (trainer:737) INFO: 29epoch:train:3001-3100batch: iter_time=8.132e-05, forward_time=0.147, loss_ctc=69.835, loss_att=59.794, acc=0.726, loss=62.806, backward_time=0.316, grad_norm=71.164, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.533e-05, train_time=1.795 -[gpua001:0/64] 2023-12-12 15:08:09,991 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-12 15:09:28,299 (trainer:737) INFO: 29epoch:train:3101-3200batch: iter_time=8.526e-05, forward_time=0.160, loss_ctc=66.320, loss_att=54.352, acc=0.730, loss=57.942, backward_time=0.283, grad_norm=57.008, clip=100.000, loss_scale=3.662e+30, optim_step_time=0.133, optim0_lr0=7.532e-05, train_time=1.337 -[gpua001:0/64] 2023-12-12 15:11:58,795 (trainer:737) INFO: 29epoch:train:3201-3300batch: iter_time=6.373e-04, forward_time=0.171, loss_ctc=67.401, loss_att=57.241, acc=0.730, loss=60.289, backward_time=0.319, grad_norm=62.578, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=7.531e-05, train_time=1.506 -[gpua001:0/64] 2023-12-12 15:15:05,139 (trainer:737) INFO: 29epoch:train:3301-3400batch: iter_time=8.063e-05, forward_time=0.225, loss_ctc=76.935, loss_att=67.577, acc=0.714, loss=70.384, backward_time=0.379, grad_norm=71.985, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.137, optim0_lr0=7.530e-05, train_time=1.863 -[gpua001:0/64] 2023-12-12 15:17:48,599 (trainer:737) INFO: 29epoch:train:3401-3500batch: iter_time=8.262e-05, forward_time=0.149, loss_ctc=60.180, loss_att=48.192, acc=0.725, loss=51.789, backward_time=0.299, grad_norm=67.247, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=7.529e-05, train_time=1.634 -[gpua001:0/64] 2023-12-12 15:20:03,089 (trainer:737) INFO: 29epoch:train:3501-3600batch: iter_time=8.413e-05, forward_time=0.146, loss_ctc=72.995, loss_att=64.962, acc=0.705, loss=67.372, backward_time=0.306, grad_norm=58.612, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=7.528e-05, train_time=1.345 -[gpua001:0/64] 2023-12-12 15:23:27,741 (trainer:737) INFO: 29epoch:train:3601-3700batch: iter_time=7.988e-05, forward_time=0.147, loss_ctc=61.787, loss_att=51.196, acc=0.715, loss=54.373, backward_time=0.339, grad_norm=282.340, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=7.527e-05, train_time=2.046 -[gpua001:0/64] 2023-12-12 15:24:58,167 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua001:0/64] 2023-12-12 15:25:16,765 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 15:25:20,176 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 15:25:20,176 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua001:0/64] 2023-12-12 15:25:20,226 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 15:32:44,527 (trainer:737) INFO: 29epoch:train:3701-3800batch: iter_time=2.775, forward_time=0.146, loss_ctc=58.188, loss_att=44.172, acc=0.736, loss=48.377, backward_time=0.472, grad_norm=72.416, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=7.527e-05, train_time=5.568 -[gpua001:0/64] 2023-12-12 15:36:45,059 (trainer:737) INFO: 29epoch:train:3801-3900batch: iter_time=8.362e-05, forward_time=0.147, loss_ctc=57.060, loss_att=46.064, acc=0.731, loss=49.363, backward_time=0.388, grad_norm=91.133, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=7.526e-05, train_time=2.405 -[gpua001:0/64] 2023-12-12 15:40:52,888 (trainer:737) INFO: 29epoch:train:3901-4000batch: iter_time=8.010e-05, forward_time=0.174, loss_ctc=71.376, loss_att=56.573, acc=0.714, loss=61.013, backward_time=0.375, grad_norm=83.308, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.143, optim0_lr0=7.525e-05, train_time=2.478 -[gpua001:0/64] 2023-12-12 15:46:15,856 (trainer:737) INFO: 29epoch:train:4001-4100batch: iter_time=8.648e-05, forward_time=0.148, loss_ctc=68.062, loss_att=54.625, acc=0.722, loss=58.656, backward_time=0.548, grad_norm=73.414, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=7.524e-05, train_time=3.229 -[gpua001:0/64] 2023-12-12 15:49:05,321 (trainer:737) INFO: 29epoch:train:4101-4200batch: iter_time=0.002, forward_time=0.178, loss_ctc=56.746, loss_att=45.757, acc=0.715, loss=49.053, backward_time=0.360, grad_norm=65.680, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.138, optim0_lr0=7.523e-05, train_time=1.694 -[gpua001:0/64] 2023-12-12 15:52:31,843 (trainer:737) INFO: 29epoch:train:4201-4300batch: iter_time=8.509e-05, forward_time=0.147, loss_ctc=69.762, loss_att=53.182, acc=0.725, loss=58.156, backward_time=0.399, grad_norm=65.461, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.522e-05, train_time=2.065 -[gpua001:0/64] 2023-12-12 15:55:35,865 (trainer:737) INFO: 29epoch:train:4301-4400batch: iter_time=8.230e-05, forward_time=0.147, loss_ctc=70.980, loss_att=62.315, acc=0.721, loss=64.915, backward_time=0.352, grad_norm=83.227, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.521e-05, train_time=1.840 -[gpua001:0/64] 2023-12-12 15:58:59,094 (trainer:737) INFO: 29epoch:train:4401-4500batch: iter_time=7.931e-05, forward_time=0.146, loss_ctc=62.430, loss_att=51.506, acc=0.718, loss=54.783, backward_time=0.357, grad_norm=89.696, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=7.520e-05, train_time=2.032 -[gpua001:0/64] 2023-12-12 16:01:48,754 (trainer:737) INFO: 29epoch:train:4501-4600batch: iter_time=8.511e-05, forward_time=0.147, loss_ctc=74.334, loss_att=68.926, acc=0.711, loss=70.548, backward_time=0.354, grad_norm=67.037, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=7.519e-05, train_time=1.696 -[gpua001:0/64] 2023-12-12 16:04:30,321 (trainer:737) INFO: 29epoch:train:4601-4700batch: iter_time=7.834e-05, forward_time=0.151, loss_ctc=72.256, loss_att=55.128, acc=0.722, loss=60.267, backward_time=0.303, grad_norm=75.095, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=7.519e-05, train_time=1.615 -[gpua001:0/64] 2023-12-12 16:07:07,862 (trainer:737) INFO: 29epoch:train:4701-4800batch: iter_time=8.303e-05, forward_time=0.146, loss_ctc=63.547, loss_att=58.045, acc=0.702, loss=59.695, backward_time=0.307, grad_norm=92.702, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=7.518e-05, train_time=1.575 -[gpua001:0/64] 2023-12-12 16:09:57,283 (trainer:737) INFO: 29epoch:train:4801-4900batch: iter_time=8.265e-05, forward_time=0.146, loss_ctc=64.129, loss_att=49.775, acc=0.713, loss=54.081, backward_time=0.305, grad_norm=65.200, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=7.517e-05, train_time=1.694 -[gpua001:0/64] 2023-12-12 16:12:33,549 (trainer:737) INFO: 29epoch:train:4901-5000batch: iter_time=7.871e-05, forward_time=0.146, loss_ctc=62.697, loss_att=51.749, acc=0.733, loss=55.033, backward_time=0.319, grad_norm=59.171, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=7.516e-05, train_time=1.562 -[gpua001:0/64] 2023-12-12 16:12:53,578 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua001:0/64] 2023-12-12 16:13:11,928 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 16:13:15,285 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 16:13:15,285 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua001:0/64] 2023-12-12 16:13:15,294 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 16:19:32,260 (trainer:737) INFO: 29epoch:train:5001-5100batch: iter_time=2.866, forward_time=0.206, loss_ctc=51.079, loss_att=38.990, acc=0.735, loss=42.617, backward_time=0.295, grad_norm=61.848, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.136, optim0_lr0=7.515e-05, train_time=4.187 -[gpua001:0/64] 2023-12-12 16:21:43,209 (trainer:737) INFO: 29epoch:train:5101-5200batch: iter_time=7.639e-05, forward_time=0.148, loss_ctc=67.762, loss_att=52.068, acc=0.730, loss=56.776, backward_time=0.285, grad_norm=57.094, clip=100.000, loss_scale=3.930e+30, optim_step_time=0.133, optim0_lr0=7.514e-05, train_time=1.309 -[gpua001:0/64] 2023-12-12 16:24:01,059 (trainer:737) INFO: 29epoch:train:5201-5300batch: iter_time=8.080e-05, forward_time=0.145, loss_ctc=66.241, loss_att=51.799, acc=0.719, loss=56.132, backward_time=0.285, grad_norm=65.862, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.513e-05, train_time=1.378 -[gpua001:0/64] 2023-12-12 16:26:36,646 (trainer:737) INFO: 29epoch:train:5301-5400batch: iter_time=8.210e-05, forward_time=0.147, loss_ctc=67.237, loss_att=57.362, acc=0.719, loss=60.324, backward_time=0.296, grad_norm=73.293, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.512e-05, train_time=1.556 -[gpua001:0/64] 2023-12-12 16:29:11,513 (trainer:737) INFO: 29epoch:train:5401-5500batch: iter_time=7.957e-05, forward_time=0.146, loss_ctc=63.351, loss_att=47.865, acc=0.718, loss=52.511, backward_time=0.313, grad_norm=65.045, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.512e-05, train_time=1.548 -[gpua001:0/64] 2023-12-12 16:31:34,526 (trainer:737) INFO: 29epoch:train:5501-5600batch: iter_time=8.060e-05, forward_time=0.146, loss_ctc=69.801, loss_att=59.356, acc=0.720, loss=62.489, backward_time=0.360, grad_norm=105.327, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.511e-05, train_time=1.430 -[gpua001:0/64] 2023-12-12 16:33:48,149 (trainer:737) INFO: 29epoch:train:5601-5700batch: iter_time=8.010e-05, forward_time=0.146, loss_ctc=65.875, loss_att=53.525, acc=0.722, loss=57.230, backward_time=0.285, grad_norm=71.176, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.510e-05, train_time=1.336 -[gpua001:0/64] 2023-12-12 16:36:22,411 (trainer:737) INFO: 29epoch:train:5701-5800batch: iter_time=7.979e-05, forward_time=0.148, loss_ctc=67.005, loss_att=56.972, acc=0.716, loss=59.982, backward_time=0.317, grad_norm=64.927, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.509e-05, train_time=1.542 -[gpua001:0/64] 2023-12-12 16:39:45,222 (trainer:737) INFO: 29epoch:train:5801-5900batch: iter_time=7.878e-05, forward_time=0.147, loss_ctc=75.556, loss_att=66.410, acc=0.717, loss=69.154, backward_time=0.349, grad_norm=86.561, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.508e-05, train_time=2.028 -[gpua001:0/64] 2023-12-12 16:42:20,365 (trainer:737) INFO: 29epoch:train:5901-6000batch: iter_time=7.811e-05, forward_time=0.147, loss_ctc=60.233, loss_att=48.219, acc=0.722, loss=51.823, backward_time=0.295, grad_norm=73.333, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.507e-05, train_time=1.551 -[gpua001:0/64] 2023-12-12 16:45:09,203 (trainer:737) INFO: 29epoch:train:6001-6100batch: iter_time=8.556e-05, forward_time=0.249, loss_ctc=72.240, loss_att=63.794, acc=0.702, loss=66.327, backward_time=0.348, grad_norm=58.652, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.142, optim0_lr0=7.506e-05, train_time=1.688 -[gpua001:0/64] 2023-12-12 16:47:13,755 (trainer:737) INFO: 29epoch:train:6101-6200batch: iter_time=8.112e-05, forward_time=0.147, loss_ctc=61.977, loss_att=51.130, acc=0.713, loss=54.384, backward_time=0.283, grad_norm=70.958, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.505e-05, train_time=1.245 -[gpua001:0/64] 2023-12-12 16:48:46,531 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua001:0/64] 2023-12-12 16:49:04,981 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 16:49:08,485 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 16:49:08,485 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua001:0/64] 2023-12-12 16:49:08,491 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 16:54:59,079 (trainer:737) INFO: 29epoch:train:6201-6300batch: iter_time=3.009, forward_time=0.147, loss_ctc=57.917, loss_att=44.100, acc=0.733, loss=48.245, backward_time=0.295, grad_norm=56.871, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.504e-05, train_time=4.653 -[gpua001:0/64] 2023-12-12 16:57:02,245 (trainer:737) INFO: 29epoch:train:6301-6400batch: iter_time=8.089e-05, forward_time=0.147, loss_ctc=57.336, loss_att=45.058, acc=0.736, loss=48.741, backward_time=0.283, grad_norm=76.847, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.504e-05, train_time=1.231 -[gpua001:0/64] 2023-12-12 16:59:51,393 (trainer:737) INFO: 29epoch:train:6401-6500batch: iter_time=8.165e-05, forward_time=0.147, loss_ctc=70.677, loss_att=54.399, acc=0.722, loss=59.282, backward_time=0.339, grad_norm=70.265, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.503e-05, train_time=1.691 -[gpua001:0/64] 2023-12-12 17:02:17,001 (trainer:737) INFO: 29epoch:train:6501-6600batch: iter_time=8.877e-05, forward_time=0.147, loss_ctc=68.685, loss_att=54.294, acc=0.722, loss=58.611, backward_time=0.346, grad_norm=86.330, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.502e-05, train_time=1.456 -[gpua001:0/64] 2023-12-12 17:04:39,394 (trainer:737) INFO: 29epoch:train:6601-6700batch: iter_time=9.248e-05, forward_time=0.147, loss_ctc=55.508, loss_att=44.295, acc=0.722, loss=47.659, backward_time=0.292, grad_norm=59.338, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.501e-05, train_time=1.424 -[gpua001:0/64] 2023-12-12 17:08:14,084 (trainer:737) INFO: 29epoch:train:6701-6800batch: iter_time=8.753e-05, forward_time=0.148, loss_ctc=69.943, loss_att=52.612, acc=0.726, loss=57.811, backward_time=0.348, grad_norm=65.198, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.500e-05, train_time=2.147 -[gpua001:0/64] 2023-12-12 17:11:09,629 (trainer:737) INFO: 29epoch:train:6801-6900batch: iter_time=8.231e-05, forward_time=0.154, loss_ctc=70.536, loss_att=61.449, acc=0.723, loss=64.175, backward_time=0.319, grad_norm=62.899, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.499e-05, train_time=1.755 -[gpua001:0/64] 2023-12-12 17:13:23,490 (trainer:737) INFO: 29epoch:train:6901-7000batch: iter_time=7.747e-05, forward_time=0.189, loss_ctc=62.566, loss_att=50.884, acc=0.721, loss=54.389, backward_time=0.336, grad_norm=60.988, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.140, optim0_lr0=7.498e-05, train_time=1.338 -[gpua001:0/64] 2023-12-12 17:16:25,799 (trainer:737) INFO: 29epoch:train:7001-7100batch: iter_time=8.654e-05, forward_time=0.185, loss_ctc=73.915, loss_att=68.509, acc=0.713, loss=70.131, backward_time=0.329, grad_norm=63.614, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=7.497e-05, train_time=1.822 -[gpua001:0/64] 2023-12-12 17:18:55,144 (trainer:737) INFO: 29epoch:train:7101-7200batch: iter_time=7.989e-05, forward_time=0.148, loss_ctc=71.016, loss_att=55.262, acc=0.723, loss=59.988, backward_time=0.335, grad_norm=74.570, clip=100.000, loss_scale=7.859e+30, optim_step_time=0.134, optim0_lr0=7.497e-05, train_time=1.494 -[gpua001:0/64] 2023-12-12 17:21:25,357 (trainer:737) INFO: 29epoch:train:7201-7300batch: iter_time=8.753e-05, forward_time=0.148, loss_ctc=63.253, loss_att=57.833, acc=0.701, loss=59.459, backward_time=0.355, grad_norm=72.826, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.496e-05, train_time=1.502 -[gpua001:0/64] 2023-12-12 17:23:59,990 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-12 17:24:24,232 (trainer:737) INFO: 29epoch:train:7301-7400batch: iter_time=8.681e-05, forward_time=0.147, loss_ctc=64.096, loss_att=49.217, acc=0.715, loss=53.680, backward_time=0.326, grad_norm=97.073, clip=100.000, loss_scale=9.322e+30, optim_step_time=0.134, optim0_lr0=7.495e-05, train_time=1.789 -[gpua001:0/64] 2023-12-12 17:27:03,985 (trainer:737) INFO: 29epoch:train:7401-7500batch: iter_time=8.237e-05, forward_time=0.147, loss_ctc=63.695, loss_att=51.954, acc=0.732, loss=55.476, backward_time=0.315, grad_norm=61.811, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.494e-05, train_time=1.597 -[gpua001:0/64] 2023-12-12 17:27:24,013 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua001:0/64] 2023-12-12 17:27:42,447 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 17:27:45,871 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 17:27:45,872 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua001:0/64] 2023-12-12 17:27:45,891 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 17:34:26,030 (trainer:737) INFO: 29epoch:train:7501-7600batch: iter_time=3.072, forward_time=0.201, loss_ctc=50.913, loss_att=38.861, acc=0.738, loss=42.477, backward_time=0.302, grad_norm=49.076, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.493e-05, train_time=4.420 -[gpua001:0/64] 2023-12-12 17:36:36,987 (trainer:737) INFO: 29epoch:train:7601-7700batch: iter_time=7.640e-05, forward_time=0.146, loss_ctc=67.835, loss_att=51.530, acc=0.733, loss=56.422, backward_time=0.292, grad_norm=54.281, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.492e-05, train_time=1.309 -[gpua001:0/64] 2023-12-12 17:38:58,017 (trainer:737) INFO: 29epoch:train:7701-7800batch: iter_time=7.725e-05, forward_time=0.145, loss_ctc=66.180, loss_att=51.204, acc=0.723, loss=55.697, backward_time=0.283, grad_norm=77.648, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.491e-05, train_time=1.410 -[gpua001:0/64] 2023-12-12 17:41:42,812 (trainer:737) INFO: 29epoch:train:7801-7900batch: iter_time=7.946e-05, forward_time=0.146, loss_ctc=67.300, loss_att=56.980, acc=0.719, loss=60.076, backward_time=0.320, grad_norm=66.242, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.490e-05, train_time=1.648 -[gpua001:0/64] 2023-12-12 17:44:32,656 (trainer:737) INFO: 29epoch:train:7901-8000batch: iter_time=7.953e-05, forward_time=0.146, loss_ctc=63.184, loss_att=47.438, acc=0.721, loss=52.161, backward_time=0.304, grad_norm=60.142, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.490e-05, train_time=1.698 -[gpua001:0/64] 2023-12-12 17:47:12,054 (trainer:737) INFO: 29epoch:train:8001-8100batch: iter_time=8.017e-05, forward_time=0.146, loss_ctc=69.916, loss_att=59.358, acc=0.722, loss=62.526, backward_time=0.316, grad_norm=62.766, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.489e-05, train_time=1.594 -[gpua001:0/64] 2023-12-12 17:49:33,363 (trainer:737) INFO: 29epoch:train:8101-8200batch: iter_time=7.683e-05, forward_time=0.148, loss_ctc=65.346, loss_att=53.360, acc=0.723, loss=56.955, backward_time=0.287, grad_norm=65.856, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.488e-05, train_time=1.413 -[gpua001:0/64] 2023-12-12 17:52:38,965 (trainer:737) INFO: 29epoch:train:8201-8300batch: iter_time=8.236e-05, forward_time=0.145, loss_ctc=66.748, loss_att=57.076, acc=0.717, loss=59.977, backward_time=0.320, grad_norm=69.097, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.487e-05, train_time=1.856 -[gpua001:0/64] 2023-12-12 17:55:12,087 (trainer:737) INFO: 29epoch:train:8301-8400batch: iter_time=8.115e-05, forward_time=0.146, loss_ctc=74.142, loss_att=65.654, acc=0.717, loss=68.200, backward_time=0.309, grad_norm=86.329, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.486e-05, train_time=1.531 -[gpua001:0/64] 2023-12-12 17:57:48,290 (trainer:737) INFO: 29epoch:train:8401-8500batch: iter_time=8.141e-05, forward_time=0.227, loss_ctc=59.542, loss_att=48.176, acc=0.721, loss=51.586, backward_time=0.346, grad_norm=61.974, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.137, optim0_lr0=7.485e-05, train_time=1.562 -[gpua001:0/64] 2023-12-12 18:01:00,218 (trainer:737) INFO: 29epoch:train:8501-8600batch: iter_time=2.104e-04, forward_time=0.154, loss_ctc=73.002, loss_att=64.335, acc=0.703, loss=66.935, backward_time=0.306, grad_norm=62.279, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.484e-05, train_time=1.919 -[gpua001:0/64] 2023-12-12 18:03:28,487 (trainer:737) INFO: 29epoch:train:8601-8700batch: iter_time=8.100e-05, forward_time=0.156, loss_ctc=60.883, loss_att=50.410, acc=0.716, loss=53.552, backward_time=0.293, grad_norm=58.606, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.483e-05, train_time=1.482 -[gpua001:0/64] 2023-12-12 18:05:10,011 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua001:0/64] 2023-12-12 18:05:28,296 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 18:05:31,729 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 18:05:31,729 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua001:0/64] 2023-12-12 18:05:31,775 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 18:11:21,199 (trainer:737) INFO: 29epoch:train:8701-8800batch: iter_time=3.167, forward_time=0.146, loss_ctc=57.143, loss_att=43.757, acc=0.734, loss=47.773, backward_time=0.292, grad_norm=56.600, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.483e-05, train_time=4.727 -[gpua001:0/64] 2023-12-12 18:13:21,893 (trainer:737) INFO: 29epoch:train:8801-8900batch: iter_time=7.974e-05, forward_time=0.146, loss_ctc=56.927, loss_att=44.671, acc=0.739, loss=48.348, backward_time=0.282, grad_norm=56.245, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.482e-05, train_time=1.207 -[gpua001:0/64] 2023-12-12 18:15:59,213 (trainer:737) INFO: 29epoch:train:8901-9000batch: iter_time=8.326e-05, forward_time=0.145, loss_ctc=70.806, loss_att=55.504, acc=0.722, loss=60.094, backward_time=0.282, grad_norm=73.215, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.481e-05, train_time=1.573 -[gpua001:0/64] 2023-12-12 18:18:58,837 (trainer:737) INFO: 29epoch:train:9001-9100batch: iter_time=8.423e-05, forward_time=0.207, loss_ctc=68.125, loss_att=54.267, acc=0.723, loss=58.424, backward_time=0.379, grad_norm=65.893, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.140, optim0_lr0=7.480e-05, train_time=1.796 -[gpua001:0/64] 2023-12-12 18:21:21,857 (trainer:737) INFO: 29epoch:train:9101-9200batch: iter_time=8.240e-05, forward_time=0.155, loss_ctc=55.152, loss_att=44.253, acc=0.721, loss=47.523, backward_time=0.300, grad_norm=55.165, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.479e-05, train_time=1.430 -[gpua001:0/64] 2023-12-12 18:24:07,154 (trainer:737) INFO: 29epoch:train:9201-9300batch: iter_time=8.022e-05, forward_time=0.155, loss_ctc=69.482, loss_att=52.411, acc=0.729, loss=57.532, backward_time=0.321, grad_norm=67.909, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.478e-05, train_time=1.653 -[gpua001:0/64] 2023-12-12 18:26:58,653 (trainer:737) INFO: 29epoch:train:9301-9400batch: iter_time=8.273e-05, forward_time=0.146, loss_ctc=70.040, loss_att=60.742, acc=0.727, loss=63.532, backward_time=0.308, grad_norm=53.548, clip=100.000, loss_scale=5.882e+30, optim_step_time=0.133, optim0_lr0=7.477e-05, train_time=1.715 -[gpua001:0/64] 2023-12-12 18:29:40,647 (trainer:737) INFO: 29epoch:train:9401-9500batch: iter_time=7.610e-05, forward_time=0.146, loss_ctc=62.033, loss_att=50.524, acc=0.723, loss=53.977, backward_time=0.335, grad_norm=60.862, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.476e-05, train_time=1.620 -[gpua001:0/64] 2023-12-12 18:32:08,142 (trainer:737) INFO: 29epoch:train:9501-9600batch: iter_time=7.530e-05, forward_time=0.146, loss_ctc=73.519, loss_att=67.934, acc=0.715, loss=69.609, backward_time=0.297, grad_norm=60.057, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.476e-05, train_time=1.475 -[gpua001:0/64] 2023-12-12 18:35:35,051 (trainer:737) INFO: 29epoch:train:9601-9700batch: iter_time=7.676e-05, forward_time=0.146, loss_ctc=70.593, loss_att=54.421, acc=0.724, loss=59.273, backward_time=0.359, grad_norm=76.133, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.475e-05, train_time=2.069 -[gpua001:0/64] 2023-12-12 18:38:28,475 (trainer:737) INFO: 29epoch:train:9701-9800batch: iter_time=8.264e-05, forward_time=0.146, loss_ctc=62.864, loss_att=57.325, acc=0.705, loss=58.986, backward_time=0.309, grad_norm=66.093, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.474e-05, train_time=1.734 -[gpua001:0/64] 2023-12-12 18:40:52,813 (trainer:737) INFO: 29epoch:train:9801-9900batch: iter_time=8.065e-05, forward_time=0.145, loss_ctc=62.910, loss_att=48.858, acc=0.718, loss=53.074, backward_time=0.303, grad_norm=56.837, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.473e-05, train_time=1.443 -[gpua001:0/64] 2023-12-12 18:43:34,006 (trainer:737) INFO: 29epoch:train:9901-10000batch: iter_time=0.003, forward_time=0.239, loss_ctc=62.508, loss_att=51.177, acc=0.735, loss=54.577, backward_time=0.318, grad_norm=55.922, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.472e-05, train_time=1.612 -[gpua001:0/64] 2023-12-12 18:43:54,035 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua001:0/64] 2023-12-12 18:44:12,307 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 18:44:15,705 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 18:44:15,705 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua001:0/64] 2023-12-12 18:44:15,708 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 18:51:11,948 (trainer:737) INFO: 29epoch:train:10001-10100batch: iter_time=3.217, forward_time=0.161, loss_ctc=50.312, loss_att=38.612, acc=0.742, loss=42.122, backward_time=0.281, grad_norm=51.720, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.471e-05, train_time=4.579 -[gpua001:0/64] 2023-12-12 18:53:21,727 (trainer:737) INFO: 29epoch:train:10101-10200batch: iter_time=7.919e-05, forward_time=0.147, loss_ctc=67.984, loss_att=54.865, acc=0.735, loss=58.801, backward_time=0.282, grad_norm=59.914, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.470e-05, train_time=1.298 -[gpua001:0/64] 2023-12-12 18:56:28,699 (trainer:737) INFO: 29epoch:train:10201-10300batch: iter_time=7.718e-05, forward_time=0.146, loss_ctc=65.951, loss_att=52.451, acc=0.725, loss=56.501, backward_time=0.335, grad_norm=68.275, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.469e-05, train_time=1.869 -[gpua001:0/64] 2023-12-12 18:59:42,443 (trainer:737) INFO: 29epoch:train:10301-10400batch: iter_time=7.897e-05, forward_time=0.146, loss_ctc=67.050, loss_att=58.575, acc=0.723, loss=61.118, backward_time=0.349, grad_norm=66.244, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.469e-05, train_time=1.937 -[gpua001:0/64] 2023-12-12 19:02:26,818 (trainer:737) INFO: 29epoch:train:10401-10500batch: iter_time=7.948e-05, forward_time=0.146, loss_ctc=63.367, loss_att=48.525, acc=0.727, loss=52.977, backward_time=0.314, grad_norm=64.427, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.468e-05, train_time=1.644 -[gpua001:0/64] 2023-12-12 19:05:28,327 (trainer:737) INFO: 29epoch:train:10501-10600batch: iter_time=8.589e-05, forward_time=0.147, loss_ctc=69.025, loss_att=59.720, acc=0.730, loss=62.511, backward_time=0.347, grad_norm=63.658, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.467e-05, train_time=1.815 -[gpua001:0/64] 2023-12-12 19:07:53,959 (trainer:737) INFO: 29epoch:train:10601-10700batch: iter_time=7.940e-05, forward_time=0.146, loss_ctc=64.563, loss_att=53.782, acc=0.733, loss=57.016, backward_time=0.321, grad_norm=56.405, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.466e-05, train_time=1.456 -[gpua001:0/64] 2023-12-12 19:10:51,125 (trainer:737) INFO: 29epoch:train:10701-10800batch: iter_time=8.404e-05, forward_time=0.161, loss_ctc=66.182, loss_att=57.136, acc=0.732, loss=59.850, backward_time=0.387, grad_norm=70.978, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.465e-05, train_time=1.771 -[gpua001:0/64] 2023-12-12 19:13:41,154 (trainer:737) INFO: 29epoch:train:10801-10900batch: iter_time=8.445e-05, forward_time=0.254, loss_ctc=74.625, loss_att=66.753, acc=0.719, loss=69.114, backward_time=0.345, grad_norm=75.513, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.464e-05, train_time=1.700 -[gpua001:0/64] 2023-12-12 19:16:23,032 (trainer:737) INFO: 29epoch:train:10901-11000batch: iter_time=8.542e-05, forward_time=0.146, loss_ctc=59.925, loss_att=47.817, acc=0.728, loss=51.449, backward_time=0.296, grad_norm=65.947, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.463e-05, train_time=1.619 -[gpua001:0/64] 2023-12-12 19:18:51,465 (trainer:737) INFO: 29epoch:train:11001-11100batch: iter_time=8.365e-05, forward_time=0.163, loss_ctc=72.215, loss_att=64.072, acc=0.710, loss=66.515, backward_time=0.304, grad_norm=61.260, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.463e-05, train_time=1.484 -[gpua001:0/64] 2023-12-12 19:21:38,510 (trainer:737) INFO: 29epoch:train:11101-11200batch: iter_time=8.545e-05, forward_time=0.146, loss_ctc=60.997, loss_att=50.880, acc=0.718, loss=53.915, backward_time=0.370, grad_norm=55.237, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.462e-05, train_time=1.670 -[gpua001:0/64] 2023-12-12 19:23:31,324 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua001:0/64] 2023-12-12 19:23:49,482 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 19:23:52,863 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 19:23:52,863 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua001:0/64] 2023-12-12 19:23:52,936 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 19:30:07,712 (trainer:737) INFO: 29epoch:train:11201-11300batch: iter_time=3.153, forward_time=0.192, loss_ctc=57.459, loss_att=43.663, acc=0.741, loss=47.802, backward_time=0.295, grad_norm=54.398, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.461e-05, train_time=5.092 -[gpua001:0/64] 2023-12-12 19:32:13,361 (trainer:737) INFO: 29epoch:train:11301-11400batch: iter_time=7.445e-05, forward_time=0.150, loss_ctc=57.225, loss_att=46.307, acc=0.745, loss=49.582, backward_time=0.280, grad_norm=52.846, clip=100.000, loss_scale=1.176e+31, optim_step_time=0.133, optim0_lr0=7.460e-05, train_time=1.257 -[gpua001:0/64] 2023-12-12 19:34:17,239 (trainer:737) INFO: 29epoch:train:11401-11500batch: iter_time=7.378e-05, forward_time=0.146, loss_ctc=70.490, loss_att=55.727, acc=0.725, loss=60.156, backward_time=0.281, grad_norm=72.755, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.459e-05, train_time=1.239 -[gpua001:0/64] 2023-12-12 19:37:07,027 (trainer:737) INFO: 29epoch:train:11501-11600batch: iter_time=9.113e-05, forward_time=0.167, loss_ctc=67.394, loss_att=53.579, acc=0.730, loss=57.724, backward_time=0.435, grad_norm=67.821, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.458e-05, train_time=1.698 -[gpua001:0/64] 2023-12-12 19:39:55,978 (trainer:737) INFO: 29epoch:train:11601-11700batch: iter_time=8.099e-05, forward_time=0.146, loss_ctc=55.455, loss_att=45.842, acc=0.729, loss=48.726, backward_time=0.332, grad_norm=52.723, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.457e-05, train_time=1.689 -[gpua001:0/64] 2023-12-12 19:42:12,875 (trainer:737) INFO: 29epoch:train:11701-11800batch: iter_time=8.630e-05, forward_time=0.147, loss_ctc=69.207, loss_att=52.879, acc=0.736, loss=57.777, backward_time=0.289, grad_norm=63.153, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.457e-05, train_time=1.369 -[gpua001:0/64] 2023-12-12 19:45:12,705 (trainer:737) INFO: 29epoch:train:11801-11900batch: iter_time=8.374e-05, forward_time=0.167, loss_ctc=69.724, loss_att=61.240, acc=0.736, loss=63.785, backward_time=0.443, grad_norm=51.707, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.456e-05, train_time=1.798 -[gpua001:0/64] 2023-12-12 19:48:24,557 (trainer:737) INFO: 29epoch:train:11901-12000batch: iter_time=8.389e-05, forward_time=0.175, loss_ctc=61.488, loss_att=50.559, acc=0.734, loss=53.838, backward_time=0.346, grad_norm=59.634, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.455e-05, train_time=1.918 -[gpua001:0/64] 2023-12-12 19:51:23,888 (trainer:737) INFO: 29epoch:train:12001-12100batch: iter_time=8.641e-05, forward_time=0.151, loss_ctc=73.576, loss_att=68.951, acc=0.724, loss=70.339, backward_time=0.345, grad_norm=62.656, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.454e-05, train_time=1.793 -[gpua001:0/64] 2023-12-12 19:54:07,223 (trainer:737) INFO: 29epoch:train:12101-12200batch: iter_time=0.002, forward_time=0.162, loss_ctc=70.915, loss_att=55.409, acc=0.730, loss=60.061, backward_time=0.311, grad_norm=72.634, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.453e-05, train_time=1.633 -[gpua001:0/64] 2023-12-12 19:56:55,002 (trainer:737) INFO: 29epoch:train:12201-12300batch: iter_time=8.464e-05, forward_time=0.155, loss_ctc=62.711, loss_att=57.491, acc=0.706, loss=59.057, backward_time=0.295, grad_norm=57.835, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.452e-05, train_time=1.678 -[gpua001:0/64] 2023-12-12 19:59:05,556 (trainer:737) INFO: 29epoch:train:12301-12400batch: iter_time=8.884e-05, forward_time=0.147, loss_ctc=62.407, loss_att=48.917, acc=0.722, loss=52.964, backward_time=0.303, grad_norm=53.883, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.451e-05, train_time=1.305 -[gpua001:0/64] 2023-12-12 20:01:46,844 (trainer:737) INFO: 29epoch:train:12401-12500batch: iter_time=8.402e-05, forward_time=0.167, loss_ctc=62.375, loss_att=51.352, acc=0.741, loss=54.659, backward_time=0.315, grad_norm=54.282, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.450e-05, train_time=1.613 -[gpua001:0/64] 2023-12-12 20:02:06,872 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua001:0/64] 2023-12-12 20:02:25,425 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 20:02:28,871 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 20:02:28,871 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua001:0/64] 2023-12-12 20:02:28,903 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 20:09:30,556 (trainer:737) INFO: 29epoch:train:12501-12600batch: iter_time=3.322, forward_time=0.200, loss_ctc=50.227, loss_att=37.998, acc=0.745, loss=41.667, backward_time=0.288, grad_norm=47.548, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.450e-05, train_time=4.637 -[gpua001:0/64] 2023-12-12 20:11:46,605 (trainer:737) INFO: 29epoch:train:12601-12700batch: iter_time=7.853e-05, forward_time=0.146, loss_ctc=67.720, loss_att=53.276, acc=0.738, loss=57.609, backward_time=0.320, grad_norm=56.129, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.449e-05, train_time=1.360 -[gpua001:0/64] 2023-12-12 20:14:09,219 (trainer:737) INFO: 29epoch:train:12701-12800batch: iter_time=8.171e-05, forward_time=0.145, loss_ctc=65.275, loss_att=51.683, acc=0.725, loss=55.761, backward_time=0.292, grad_norm=65.040, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.448e-05, train_time=1.426 -[gpua001:0/64] 2023-12-12 20:16:50,021 (trainer:737) INFO: 29epoch:train:12801-12900batch: iter_time=8.350e-05, forward_time=0.146, loss_ctc=66.398, loss_att=57.452, acc=0.726, loss=60.136, backward_time=0.304, grad_norm=80.916, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.447e-05, train_time=1.608 -[gpua001:0/64] 2023-12-12 20:19:52,807 (trainer:737) INFO: 29epoch:train:12901-13000batch: iter_time=9.011e-05, forward_time=0.147, loss_ctc=63.391, loss_att=47.895, acc=0.729, loss=52.544, backward_time=0.366, grad_norm=67.220, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.446e-05, train_time=1.828 -[gpua001:0/64] 2023-12-12 20:23:16,673 (trainer:737) INFO: 29epoch:train:13001-13100batch: iter_time=8.473e-05, forward_time=0.211, loss_ctc=69.155, loss_att=59.215, acc=0.730, loss=62.197, backward_time=0.381, grad_norm=63.061, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.142, optim0_lr0=7.445e-05, train_time=2.038 -[gpua001:0/64] 2023-12-12 20:25:27,491 (trainer:737) INFO: 29epoch:train:13101-13200batch: iter_time=8.129e-05, forward_time=0.151, loss_ctc=64.819, loss_att=53.599, acc=0.736, loss=56.965, backward_time=0.305, grad_norm=55.778, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.444e-05, train_time=1.308 -[gpua001:0/64] 2023-12-12 20:28:09,275 (trainer:737) INFO: 29epoch:train:13201-13300batch: iter_time=8.296e-05, forward_time=0.146, loss_ctc=65.919, loss_att=56.111, acc=0.735, loss=59.053, backward_time=0.306, grad_norm=67.795, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.444e-05, train_time=1.618 -[gpua001:0/64] 2023-12-12 20:31:34,282 (trainer:737) INFO: 29epoch:train:13301-13400batch: iter_time=8.076e-05, forward_time=0.147, loss_ctc=74.210, loss_att=66.742, acc=0.720, loss=68.983, backward_time=0.334, grad_norm=101.400, clip=100.000, loss_scale=2.353e+31, optim_step_time=0.133, optim0_lr0=7.443e-05, train_time=2.050 -[gpua001:0/64] 2023-12-12 20:32:13,646 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua001:0/64] 2023-12-12 20:33:54,109 (trainer:737) INFO: 29epoch:train:13401-13500batch: iter_time=7.667e-05, forward_time=0.147, loss_ctc=58.747, loss_att=47.010, acc=0.732, loss=50.531, backward_time=0.299, grad_norm=67.990, clip=100.000, loss_scale=2.602e+31, optim_step_time=0.133, optim0_lr0=7.442e-05, train_time=1.398 -[gpua001:0/64] 2023-12-12 20:36:34,366 (trainer:737) INFO: 29epoch:train:13501-13600batch: iter_time=8.213e-05, forward_time=0.147, loss_ctc=72.168, loss_att=64.507, acc=0.711, loss=66.805, backward_time=0.320, grad_norm=71.820, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.441e-05, train_time=1.602 -[gpua001:0/64] 2023-12-12 20:39:07,317 (trainer:737) INFO: 29epoch:train:13601-13700batch: iter_time=9.183e-05, forward_time=0.147, loss_ctc=60.134, loss_att=50.292, acc=0.720, loss=53.244, backward_time=0.296, grad_norm=54.455, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.440e-05, train_time=1.529 -[gpua001:0/64] 2023-12-12 20:40:49,283 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua001:0/64] 2023-12-12 20:41:07,394 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 20:41:10,792 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 20:41:10,792 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua001:0/64] 2023-12-12 20:41:10,796 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 20:47:21,415 (trainer:737) INFO: 29epoch:train:13701-13800batch: iter_time=3.337, forward_time=0.199, loss_ctc=57.108, loss_att=43.150, acc=0.744, loss=47.337, backward_time=0.353, grad_norm=58.302, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.439e-05, train_time=4.941 -[gpua001:0/64] 2023-12-12 20:49:23,615 (trainer:737) INFO: 29epoch:train:13801-13900batch: iter_time=8.233e-05, forward_time=0.147, loss_ctc=56.869, loss_att=46.053, acc=0.744, loss=49.298, backward_time=0.281, grad_norm=58.079, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.438e-05, train_time=1.222 -[gpua001:0/64] 2023-12-12 20:51:31,559 (trainer:737) INFO: 29epoch:train:13901-14000batch: iter_time=7.848e-05, forward_time=0.149, loss_ctc=70.818, loss_att=55.078, acc=0.726, loss=59.800, backward_time=0.281, grad_norm=73.239, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.438e-05, train_time=1.279 -[gpua001:0/64] 2023-12-12 20:54:04,082 (trainer:737) INFO: 29epoch:train:14001-14100batch: iter_time=8.653e-05, forward_time=0.147, loss_ctc=66.931, loss_att=53.388, acc=0.731, loss=57.451, backward_time=0.338, grad_norm=90.637, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.437e-05, train_time=1.525 -[gpua001:0/64] 2023-12-12 20:56:40,117 (trainer:737) INFO: 29epoch:train:14101-14200batch: iter_time=8.836e-05, forward_time=0.147, loss_ctc=55.558, loss_att=45.997, acc=0.725, loss=48.865, backward_time=0.321, grad_norm=68.655, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.436e-05, train_time=1.560 -[gpua001:0/64] 2023-12-12 21:00:03,313 (trainer:737) INFO: 29epoch:train:14201-14300batch: iter_time=8.903e-05, forward_time=0.146, loss_ctc=68.720, loss_att=52.560, acc=0.735, loss=57.408, backward_time=0.330, grad_norm=70.854, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.435e-05, train_time=2.032 -[gpua001:0/64] 2023-12-12 21:02:47,010 (trainer:737) INFO: 29epoch:train:14301-14400batch: iter_time=9.067e-05, forward_time=0.147, loss_ctc=69.973, loss_att=61.036, acc=0.734, loss=63.717, backward_time=0.302, grad_norm=59.628, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.434e-05, train_time=1.637 -[gpua001:0/64] 2023-12-12 21:06:19,321 (trainer:737) INFO: 29epoch:train:14401-14500batch: iter_time=8.765e-05, forward_time=0.206, loss_ctc=61.739, loss_att=50.637, acc=0.734, loss=53.968, backward_time=0.363, grad_norm=65.571, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.433e-05, train_time=2.122 -[gpua001:0/64] 2023-12-12 21:08:46,728 (trainer:737) INFO: 29epoch:train:14501-14600batch: iter_time=8.715e-05, forward_time=0.172, loss_ctc=72.411, loss_att=67.637, acc=0.727, loss=69.069, backward_time=0.323, grad_norm=74.274, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.432e-05, train_time=1.474 -[gpua001:0/64] 2023-12-12 21:11:06,562 (trainer:737) INFO: 29epoch:train:14601-14700batch: iter_time=8.878e-05, forward_time=0.147, loss_ctc=70.795, loss_att=55.635, acc=0.728, loss=60.183, backward_time=0.291, grad_norm=69.923, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.432e-05, train_time=1.398 -[gpua001:0/64] 2023-12-12 21:14:07,155 (trainer:737) INFO: 29epoch:train:14701-14800batch: iter_time=8.370e-05, forward_time=0.147, loss_ctc=62.587, loss_att=56.533, acc=0.712, loss=58.349, backward_time=0.338, grad_norm=59.007, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.431e-05, train_time=1.806 -[gpua001:0/64] 2023-12-12 21:16:29,686 (trainer:737) INFO: 29epoch:train:14801-14900batch: iter_time=8.670e-05, forward_time=0.147, loss_ctc=62.523, loss_att=49.041, acc=0.723, loss=53.085, backward_time=0.284, grad_norm=52.538, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.430e-05, train_time=1.425 -[gpua001:0/64] 2023-12-12 21:19:34,882 (trainer:737) INFO: 29epoch:train:14901-15000batch: iter_time=8.185e-05, forward_time=0.146, loss_ctc=62.255, loss_att=51.837, acc=0.740, loss=54.962, backward_time=0.319, grad_norm=55.265, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.429e-05, train_time=1.852 -[gpua001:0/64] 2023-12-12 21:46:27,894 (trainer:343) INFO: 29epoch results: [train] iter_time=0.247, forward_time=0.157, loss_ctc=65.530, loss_att=53.892, acc=0.723, loss=57.383, backward_time=0.321, grad_norm=73.861, clip=100.000, loss_scale=1.215e+31, optim_step_time=0.134, optim0_lr0=7.494e-05, train_time=1.869, time=7 hours, 47 minutes and 46.08 seconds, total_count=435000, gpu_max_cached_mem_GB=37.930, [valid] loss_ctc=35.152, cer_ctc=0.182, loss_att=33.373, acc=0.714, cer=0.355, wer=1.000, loss=33.907, time=26 minutes and 28.97 seconds, total_count=135459, gpu_max_cached_mem_GB=37.930 -[gpua001:0/64] 2023-12-12 21:46:49,851 (trainer:391) INFO: The best model has been updated: valid.total_count -[gpua001:0/64] 2023-12-12 21:46:49,957 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/24epoch.pth -[gpua001:0/64] 2023-12-12 21:46:50,092 (trainer:272) INFO: 30/40epoch started. Estimated time to finish: 4 days, 1 minute and 6.18 seconds -[gpua001:0/64] 2023-12-12 21:46:50,912 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua001:0/64] 2023-12-12 21:47:08,555 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua001:0/64] 2023-12-12 21:47:11,893 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua001:0/64] 2023-12-12 21:47:11,893 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua001:0/64] 2023-12-12 21:47:11,896 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua001:0/64] 2023-12-12 21:54:49,324 (trainer:737) INFO: 30epoch:train:1-100batch: iter_time=2.859, forward_time=0.213, loss_ctc=68.455, loss_att=59.290, acc=0.715, loss=62.040, backward_time=0.298, grad_norm=67.136, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.428e-05, train_time=4.785 -[gpua001:0/64] 2023-12-12 21:56:53,235 (trainer:737) INFO: 30epoch:train:101-200batch: iter_time=7.453e-05, forward_time=0.146, loss_ctc=65.741, loss_att=54.201, acc=0.717, loss=57.663, backward_time=0.283, grad_norm=89.660, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.427e-05, train_time=1.239 -srun: Job step aborted: Waiting up to 32 seconds for job step to finish. -slurmstepd: error: *** STEP 2744254.0 ON gpua001 CANCELLED AT 2023-12-12T21:58:32 *** diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.6.log b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.6.log deleted file mode 100644 index 17cab6ac794016d6136a33d222044c587c906dc3..0000000000000000000000000000000000000000 --- a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.6.log +++ /dev/null @@ -1,4221 +0,0 @@ -# Running on gpua002.delta.ncsa.illinois.edu -# Started at Sat Dec 9 09:02:51 CST 2023 -# SLURMD_NODENAME=gpua002 -# SLURM_CLUSTER_NAME=delta -# SLURM_CONF=/var/spool/slurmd/conf-cache/slurm.conf -# SLURM_CPUS_ON_NODE=64 -# SLURM_CPUS_PER_TASK=64 -# SLURM_EXPORT_ENV=PATH -# SLURM_GET_USER_ENV=1 -# SLURM_GPUS_ON_NODE=4 -# SLURM_GTIDS=0 -# SLURM_JOBID=2741609 -# SLURM_JOB_ACCOUNT=bbjs-delta-gpu -# SLURM_JOB_CPUS_PER_NODE='64(x16)' -# SLURM_JOB_END_TIME=1702306953 -# SLURM_JOB_GID=202 -# SLURM_JOB_GPUS=0,1,2,3 -# SLURM_JOB_ID=2741609 -# SLURM_JOB_NAME=exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.log -# SLURM_JOB_NODELIST='gpua[002,005-007,022-023,030-031,054-057,082-083,085-086]' -# SLURM_JOB_NUM_NODES=16 -# SLURM_JOB_PARTITION=gpuA100x4 -# SLURM_JOB_QOS=bbjs-delta-gpu -# SLURM_JOB_START_TIME=1702134153 -# SLURM_JOB_UID=68077 -# SLURM_JOB_USER=peng6 -# SLURM_LOCALID=0 -# SLURM_MEM_PER_NODE=240000 -# SLURM_NNODES=16 -# SLURM_NODEID=0 -# SLURM_NODELIST='gpua[002,005-007,022-023,030-031,054-057,082-083,085-086]' -# SLURM_NODE_ALIASES='(null)' -# SLURM_OPEN_MODE=a -# SLURM_PRIO_PROCESS=0 -# SLURM_PROCID=0 -# SLURM_SUBMIT_DIR=/scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1 -# SLURM_SUBMIT_HOST=dt-login01.delta.ncsa.illinois.edu -# SLURM_TASKS_PER_NODE='1(x16)' -# SLURM_TASK_PID=1018091 -# SLURM_TOPOLOGY_ADDR=ss00.ss05.gpua002 -# SLURM_TOPOLOGY_ADDR_PATTERN=switch.switch.node -# SLURM_WORKING_CLUSTER=delta:dt-sched:6817:9984:109 -# srun --export=ALL python3 -m espnet2.bin.s2t_train --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d -/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d -[gpua002:0/64] 2023-12-09 09:06:37,856 (distributed_c10d:319) INFO: Added key: store_based_barrier_key:1 to store for rank: 0 -[gpua002:0/64] 2023-12-09 09:06:38,009 (distributed_c10d:353) INFO: Rank 0: Completed store-based barrier for key:store_based_barrier_key:1 with 64 nodes. -[gpua002:0/64] 2023-12-09 09:06:38,036 (s2t:464) INFO: Vocabulary size: 50002 -[gpua002:0/64] 2023-12-09 09:06:50,964 (abs_task:1231) INFO: pytorch.version=1.13.1, cuda.available=True, cudnn.version=8500, cudnn.benchmark=False, cudnn.deterministic=True -[gpua002:0/64] 2023-12-09 09:06:50,975 (abs_task:1232) INFO: Model structure: -ESPnetS2TModel( - (frontend): DefaultFrontend( - (stft): Stft(n_fft=512, win_length=400, hop_length=160, center=True, normalized=False, onesided=True) - (frontend): Frontend() - (logmel): LogMel(sr=16000, n_fft=512, n_mels=80, fmin=0, fmax=8000.0, htk=False) - ) - (specaug): SpecAug( - (freq_mask): MaskAlongAxis(mask_width_range=[0, 27], num_mask=2, axis=freq) - (time_mask): MaskAlongAxisVariableMaxWidth(mask_width_ratio_range=[0.0, 0.05], num_mask=10, axis=time) - ) - (normalize): GlobalMVN(stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz, norm_means=True, norm_vars=True) - (encoder): EBranchformerEncoder( - (embed): Conv2dSubsampling( - (conv): Sequential( - (0): Conv2d(1, 1024, kernel_size=(3, 3), stride=(2, 2)) - (1): ReLU() - (2): Conv2d(1024, 1024, kernel_size=(3, 3), stride=(2, 2)) - (3): ReLU() - ) - (out): Sequential( - (0): Linear(in_features=19456, out_features=1024, bias=True) - (1): PositionalEncoding( - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - ) - (encoders): MultiSequential( - (0): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (1): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (2): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (3): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (4): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (5): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (6): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (7): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (8): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (9): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (10): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (11): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (12): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (13): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (14): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (15): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (16): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (17): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - ) - (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - ) - (decoder): TransformerDecoder( - (embed): Sequential( - (0): Embedding(50002, 1024) - (1): PositionalEncoding( - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (output_layer): Linear(in_features=1024, out_features=50002, bias=True) - (decoders): MultiSequential( - (0): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (1): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (2): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (3): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (4): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (5): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (6): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (7): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (8): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (9): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (10): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (11): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (12): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (13): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (14): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (15): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (16): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (17): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - ) - (criterion_att): LabelSmoothingLoss( - (criterion): KLDivLoss() - ) - (ctc): CTC( - (ctc_lo): Linear(in_features=1024, out_features=50002, bias=True) - (ctc_loss): CTCLoss() - ) -) - -Model summary: - Class Name: ESPnetS2TModel - Total Number of model parameters: 1.02 B - Number of trainable parameters: 1.02 B (100.0%) - Size: 4.07 GB - Type: torch.float32 -[gpua002:0/64] 2023-12-09 09:06:50,975 (abs_task:1235) INFO: Optimizer: -AdamW ( -Parameter Group 0 - amsgrad: False - betas: [0.9, 0.98] - capturable: False - eps: 1e-06 - foreach: None - initial_lr: 0.0002 - lr: 1.6666666666666667e-09 - maximize: False - weight_decay: 0.0 -) -[gpua002:0/64] 2023-12-09 09:06:50,975 (abs_task:1236) INFO: Scheduler: PiecewiseLinearWarmupLR(warmup_steps_list=[0, 30000, 60000], warmup_lr_list=[0.0, 5e-05, 0.0002]) -[gpua002:0/64] 2023-12-09 09:06:50,977 (abs_task:1245) INFO: Saving the configuration in exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/config.yaml -[gpua002:0/64] 2023-12-09 09:06:56,441 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 09:06:57,376 (abs_task:1616) INFO: [valid] dataset: -ESPnetDataset( - speech: {"path": "dump/raw/dev_v3/wav.scp", "type": "kaldi_ark"} - text_prev: {"path": "dump/raw/dev_v3/text.prev", "type": "text"} - text_ctc: {"path": "dump/raw/dev_v3/text.ctc", "type": "text"} - text: {"path": "dump/raw/dev_v3/text", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 09:06:57,376 (abs_task:1617) INFO: [valid] Batch sampler: UnsortedBatchSampler(N-batch=4671, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/valid/speech_shape, -[gpua002:0/64] 2023-12-09 09:06:57,377 (abs_task:1618) INFO: [valid] mini-batch sizes summary: N-batch=4671, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-09 09:07:24,888 (trainer:159) INFO: The training was resumed using exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/checkpoint.pth -gpua002:1018188:1018188 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.2<0> -gpua002:1018188:1018188 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua002:1018188:1018188 [0] NCCL INFO cudaDriverVersion 12020 -NCCL version 2.14.3+cuda11.7 -[gpua002:0/64] 2023-12-09 09:07:30,322 (trainer:284) INFO: 21/40epoch started -[gpua002:0/64] 2023-12-09 09:07:30,368 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua002:0/64] 2023-12-09 09:07:48,597 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 09:07:51,997 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 09:07:51,997 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua002:0/64] 2023-12-09 09:07:52,001 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -gpua030:1121326:1121326 [2] NCCL INFO cudaDriverVersion 12020 -gpua030:1121326:1121326 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> -gpua030:1121326:1121326 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua030:1121326:1121400 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> -gpua030:1121326:1121400 [2] NCCL INFO Using network IB -gpua030:1121326:1121400 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua030:1121326:1121400 [2] NCCL INFO Trees [0] 27/-1/-1->26->25 [1] 27/-1/-1->26->25 -gpua030:1121326:1121400 [2] NCCL INFO Channel 00/0 : 26[85000] -> 27[c7000] via P2P/IPC/read -gpua030:1121326:1121400 [2] NCCL INFO Channel 01/0 : 26[85000] -> 27[c7000] via P2P/IPC/read -gpua030:1121326:1121400 [2] NCCL INFO Connected all rings -gpua030:1121326:1121400 [2] NCCL INFO Channel 00/0 : 26[85000] -> 25[46000] via P2P/IPC/read -gpua030:1121326:1121400 [2] NCCL INFO Channel 01/0 : 26[85000] -> 25[46000] via P2P/IPC/read -gpua030:1121326:1121400 [2] NCCL INFO Connected all trees -gpua030:1121326:1121400 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua030:1121326:1121400 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua030:1121326:1121400 [2] NCCL INFO comm 0xec49e10 rank 26 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua030:1121327:1121327 [3] NCCL INFO cudaDriverVersion 12020 -gpua030:1121327:1121327 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> -gpua030:1121327:1121327 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua030:1121327:1121401 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> -gpua030:1121327:1121401 [3] NCCL INFO Using network IB -gpua030:1121327:1121401 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua030:1121327:1121401 [3] NCCL INFO Trees [0] -1/-1/-1->27->26 [1] -1/-1/-1->27->26 -gpua030:1121327:1121401 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 -gpua030:1121327:1121401 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 -gpua030:1121327:1121401 [3] NCCL INFO Connected all rings -gpua030:1121327:1121401 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 26[85000] via P2P/IPC/read -gpua030:1121327:1121401 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 26[85000] via P2P/IPC/read -gpua030:1121327:1121401 [3] NCCL INFO Connected all trees -gpua030:1121327:1121401 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua030:1121327:1121401 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua030:1121327:1121401 [3] NCCL INFO comm 0x1108f5c0 rank 27 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua030:1121325:1121325 [1] NCCL INFO cudaDriverVersion 12020 -gpua030:1121325:1121325 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> -gpua030:1121325:1121325 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua030:1121325:1121402 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> -gpua030:1121325:1121402 [1] NCCL INFO Using network IB -gpua030:1121325:1121402 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua030:1121325:1121402 [1] NCCL INFO Trees [0] 26/20/-1->25->24 [1] 26/-1/-1->25->24 -gpua030:1121325:1121402 [1] NCCL INFO Channel 00/0 : 25[46000] -> 26[85000] via P2P/IPC/read -gpua030:1121325:1121402 [1] NCCL INFO Channel 01/0 : 25[46000] -> 26[85000] via P2P/IPC/read -gpua030:1121325:1121402 [1] NCCL INFO Connected all rings -gpua030:1121325:1121402 [1] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [receive] via NET/IB/0 -gpua030:1121325:1121402 [1] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [send] via NET/IB/0 -gpua030:1121325:1121402 [1] NCCL INFO Channel 00/0 : 25[46000] -> 24[7000] via P2P/IPC/read -gpua030:1121325:1121402 [1] NCCL INFO Channel 01/0 : 25[46000] -> 24[7000] via P2P/IPC/read -gpua030:1121325:1121402 [1] NCCL INFO Connected all trees -gpua030:1121325:1121402 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua030:1121325:1121402 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua030:1121325:1121402 [1] NCCL INFO comm 0x93f79860 rank 25 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua055:739846:739846 [2] NCCL INFO cudaDriverVersion 12020 -gpua055:739846:739846 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> -gpua055:739846:739846 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua055:739846:739914 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> -gpua055:739846:739914 [2] NCCL INFO Using network IB -gpua055:739846:739914 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua055:739846:739914 [2] NCCL INFO Trees [0] 39/-1/-1->38->37 [1] 39/-1/-1->38->37 -gpua055:739846:739914 [2] NCCL INFO Channel 00/0 : 38[85000] -> 39[c7000] via P2P/IPC/read -gpua055:739846:739914 [2] NCCL INFO Channel 01/0 : 38[85000] -> 39[c7000] via P2P/IPC/read -gpua055:739846:739914 [2] NCCL INFO Connected all rings -gpua055:739846:739914 [2] NCCL INFO Channel 00/0 : 38[85000] -> 37[46000] via P2P/IPC/read -gpua055:739846:739914 [2] NCCL INFO Channel 01/0 : 38[85000] -> 37[46000] via P2P/IPC/read -gpua055:739846:739914 [2] NCCL INFO Connected all trees -gpua055:739846:739914 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua055:739846:739914 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua055:739846:739914 [2] NCCL INFO comm 0x92a4c940 rank 38 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua055:739845:739845 [1] NCCL INFO cudaDriverVersion 12020 -gpua055:739845:739845 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> -gpua055:739845:739845 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua055:739845:739912 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> -gpua055:739845:739912 [1] NCCL INFO Using network IB -gpua055:739845:739912 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua055:739845:739912 [1] NCCL INFO Trees [0] 38/-1/-1->37->36 [1] 38/40/-1->37->36 -gpua055:739845:739912 [1] NCCL INFO Channel 00/0 : 37[46000] -> 38[85000] via P2P/IPC/read -gpua055:739845:739912 [1] NCCL INFO Channel 01/0 : 37[46000] -> 38[85000] via P2P/IPC/read -gpua055:739845:739912 [1] NCCL INFO Connected all rings -gpua055:739845:739912 [1] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [send] via NET/IB/0 -gpua055:739845:739912 [1] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [receive] via NET/IB/0 -gpua055:739845:739912 [1] NCCL INFO Channel 00/0 : 37[46000] -> 36[7000] via P2P/IPC/read -gpua055:739845:739912 [1] NCCL INFO Channel 01/0 : 37[46000] -> 36[7000] via P2P/IPC/read -gpua055:739845:739912 [1] NCCL INFO Connected all trees -gpua055:739845:739912 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua055:739845:739912 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua055:739845:739912 [1] NCCL INFO comm 0x229546f0 rank 37 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua030:1121324:1121324 [0] NCCL INFO cudaDriverVersion 12020 -gpua030:1121324:1121324 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> -gpua030:1121324:1121324 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua030:1121324:1121399 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> -gpua030:1121324:1121399 [0] NCCL INFO Using network IB -gpua030:1121324:1121399 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua030:1121324:1121399 [0] NCCL INFO Trees [0] 25/28/-1->24->16 [1] 25/-1/-1->24->21 -gpua030:1121324:1121399 [0] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 -gpua030:1121324:1121399 [0] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 -gpua030:1121324:1121399 [0] NCCL INFO Channel 00/0 : 24[7000] -> 25[46000] via P2P/IPC/read -gpua030:1121324:1121399 [0] NCCL INFO Channel 01/0 : 24[7000] -> 25[46000] via P2P/IPC/read -gpua030:1121324:1121399 [0] NCCL INFO Connected all rings -gpua030:1121324:1121399 [0] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [receive] via NET/IB/0 -gpua030:1121324:1121399 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [send] via NET/IB/0 -gpua030:1121324:1121399 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [receive] via NET/IB/0 -gpua030:1121324:1121399 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [send] via NET/IB/0 -gpua030:1121324:1121399 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [receive] via NET/IB/0 -gpua030:1121324:1121399 [0] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [send] via NET/IB/0 -gpua030:1121324:1121399 [0] NCCL INFO Connected all trees -gpua030:1121324:1121399 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua030:1121324:1121399 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua030:1121324:1121399 [0] NCCL INFO comm 0x4f98abf0 rank 24 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua055:739844:739844 [0] NCCL INFO cudaDriverVersion 12020 -gpua055:739844:739844 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> -gpua055:739844:739844 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua055:739844:739913 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> -gpua055:739844:739913 [0] NCCL INFO Using network IB -gpua055:739844:739913 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua055:739844:739913 [0] NCCL INFO Trees [0] 37/-1/-1->36->41 [1] 37/32/-1->36->44 -gpua055:739844:739913 [0] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 -gpua055:739844:739913 [0] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 -gpua055:739844:739913 [0] NCCL INFO Channel 00/0 : 36[7000] -> 37[46000] via P2P/IPC/read -gpua055:739844:739913 [0] NCCL INFO Channel 01/0 : 36[7000] -> 37[46000] via P2P/IPC/read -gpua055:739844:739913 [0] NCCL INFO Connected all rings -gpua055:739844:739913 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [receive] via NET/IB/0 -gpua055:739844:739913 [0] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [send] via NET/IB/0 -gpua055:739844:739913 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [send] via NET/IB/0 -gpua055:739844:739913 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [receive] via NET/IB/0 -gpua055:739844:739913 [0] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [receive] via NET/IB/0 -gpua055:739844:739913 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [send] via NET/IB/0 -gpua055:739844:739913 [0] NCCL INFO Connected all trees -gpua055:739844:739913 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua055:739844:739913 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua055:739844:739913 [0] NCCL INFO comm 0xe9dfc30 rank 36 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua055:739847:739847 [3] NCCL INFO cudaDriverVersion 12020 -gpua055:739847:739847 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> -gpua055:739847:739847 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua055:739847:739911 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> -gpua055:739847:739911 [3] NCCL INFO Using network IB -gpua055:739847:739911 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua055:739847:739911 [3] NCCL INFO Trees [0] -1/-1/-1->39->38 [1] -1/-1/-1->39->38 -gpua055:739847:739911 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 -gpua055:739847:739911 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 -gpua055:739847:739911 [3] NCCL INFO Connected all rings -gpua055:739847:739911 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 38[85000] via P2P/IPC/read -gpua055:739847:739911 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 38[85000] via P2P/IPC/read -gpua055:739847:739911 [3] NCCL INFO Connected all trees -gpua055:739847:739911 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua055:739847:739911 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua055:739847:739911 [3] NCCL INFO comm 0xf5f9c10 rank 39 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua002:1018191:1018191 [3] NCCL INFO cudaDriverVersion 12020 -gpua002:1018191:1018191 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.2<0> -gpua002:1018191:1018191 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua002:1018191:1018258 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.2<0> -gpua002:1018191:1018258 [3] NCCL INFO Using network IB -gpua002:1018191:1018258 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua002:1018191:1018258 [3] NCCL INFO Trees [0] -1/-1/-1->3->2 [1] -1/-1/-1->3->2 -gpua002:1018191:1018258 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 -gpua002:1018191:1018258 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 -gpua002:1018191:1018258 [3] NCCL INFO Connected all rings -gpua002:1018191:1018258 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 2[85000] via P2P/IPC/read -gpua002:1018191:1018258 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 2[85000] via P2P/IPC/read -gpua002:1018191:1018258 [3] NCCL INFO Connected all trees -gpua002:1018191:1018258 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua002:1018191:1018258 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua002:1018191:1018258 [3] NCCL INFO comm 0xca636b0 rank 3 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua057:642419:642419 [2] NCCL INFO cudaDriverVersion 12020 -gpua057:642419:642419 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> -gpua057:642419:642419 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua057:642419:642478 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> -gpua057:642419:642478 [2] NCCL INFO Using network IB -gpua057:642419:642478 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua057:642419:642478 [2] NCCL INFO Trees [0] 47/-1/-1->46->45 [1] 47/-1/-1->46->45 -gpua057:642419:642478 [2] NCCL INFO Channel 00/0 : 46[85000] -> 47[c7000] via P2P/IPC/read -gpua057:642419:642478 [2] NCCL INFO Channel 01/0 : 46[85000] -> 47[c7000] via P2P/IPC/read -gpua057:642419:642478 [2] NCCL INFO Connected all rings -gpua057:642419:642478 [2] NCCL INFO Channel 00/0 : 46[85000] -> 45[46000] via P2P/IPC/read -gpua057:642419:642478 [2] NCCL INFO Channel 01/0 : 46[85000] -> 45[46000] via P2P/IPC/read -gpua057:642419:642478 [2] NCCL INFO Connected all trees -gpua057:642419:642478 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua057:642419:642478 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua057:642419:642478 [2] NCCL INFO comm 0x1e33b180 rank 46 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua085:1432990:1432990 [2] NCCL INFO cudaDriverVersion 12020 -gpua085:1432990:1432990 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> -gpua085:1432990:1432990 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua085:1432990:1433051 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> -gpua085:1432990:1433051 [2] NCCL INFO Using network IB -gpua085:1432990:1433051 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua085:1432990:1433051 [2] NCCL INFO Trees [0] 59/-1/-1->58->57 [1] 59/-1/-1->58->57 -gpua085:1432990:1433051 [2] NCCL INFO Channel 00/0 : 58[85000] -> 59[c7000] via P2P/IPC/read -gpua085:1432990:1433051 [2] NCCL INFO Channel 01/0 : 58[85000] -> 59[c7000] via P2P/IPC/read -gpua085:1432990:1433051 [2] NCCL INFO Connected all rings -gpua085:1432990:1433051 [2] NCCL INFO Channel 00/0 : 58[85000] -> 57[46000] via P2P/IPC/read -gpua085:1432990:1433051 [2] NCCL INFO Channel 01/0 : 58[85000] -> 57[46000] via P2P/IPC/read -gpua085:1432990:1433051 [2] NCCL INFO Connected all trees -gpua085:1432990:1433051 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua085:1432990:1433051 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua085:1432990:1433051 [2] NCCL INFO comm 0x105df350 rank 58 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua006:2923519:2923519 [2] NCCL INFO cudaDriverVersion 12020 -gpua006:2923519:2923519 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> -gpua006:2923519:2923519 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua006:2923519:2923582 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> -gpua006:2923519:2923582 [2] NCCL INFO Using network IB -gpua006:2923519:2923582 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua006:2923519:2923582 [2] NCCL INFO Trees [0] 11/-1/-1->10->9 [1] 11/-1/-1->10->9 -gpua006:2923519:2923582 [2] NCCL INFO Channel 00/0 : 10[85000] -> 11[c7000] via P2P/IPC/read -gpua006:2923519:2923582 [2] NCCL INFO Channel 01/0 : 10[85000] -> 11[c7000] via P2P/IPC/read -gpua006:2923519:2923582 [2] NCCL INFO Connected all rings -gpua006:2923519:2923582 [2] NCCL INFO Channel 00/0 : 10[85000] -> 9[46000] via P2P/IPC/read -gpua006:2923519:2923582 [2] NCCL INFO Channel 01/0 : 10[85000] -> 9[46000] via P2P/IPC/read -gpua006:2923519:2923582 [2] NCCL INFO Connected all trees -gpua006:2923519:2923582 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua006:2923519:2923582 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua006:2923519:2923582 [2] NCCL INFO comm 0xeaf7cd20 rank 10 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua006:2923517:2923517 [0] NCCL INFO cudaDriverVersion 12020 -gpua006:2923517:2923517 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> -gpua006:2923517:2923517 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua006:2923517:2923581 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> -gpua006:2923517:2923581 [0] NCCL INFO Using network IB -gpua006:2923517:2923581 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua006:2923517:2923581 [0] NCCL INFO Trees [0] 9/12/-1->8->17 [1] 9/-1/-1->8->5 -gpua006:2923517:2923581 [0] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 -gpua006:2923517:2923581 [0] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 -gpua006:2923517:2923581 [0] NCCL INFO Channel 00/0 : 8[7000] -> 9[46000] via P2P/IPC/read -gpua006:2923517:2923581 [0] NCCL INFO Channel 01/0 : 8[7000] -> 9[46000] via P2P/IPC/read -gpua006:2923517:2923581 [0] NCCL INFO Connected all rings -gpua057:642420:642420 [3] NCCL INFO cudaDriverVersion 12020 -gpua057:642420:642420 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> -gpua057:642420:642420 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua057:642420:642477 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> -gpua057:642420:642477 [3] NCCL INFO Using network IB -gpua057:642420:642477 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua057:642420:642477 [3] NCCL INFO Trees [0] -1/-1/-1->47->46 [1] -1/-1/-1->47->46 -gpua057:642420:642477 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 -gpua057:642420:642477 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 -gpua057:642420:642477 [3] NCCL INFO Connected all rings -gpua057:642420:642477 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 46[85000] via P2P/IPC/read -gpua057:642420:642477 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 46[85000] via P2P/IPC/read -gpua006:2923517:2923581 [0] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [receive] via NET/IB/0 -gpua006:2923517:2923581 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [send] via NET/IB/0 -gpua006:2923517:2923581 [0] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [send] via NET/IB/0 -gpua006:2923517:2923581 [0] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [receive] via NET/IB/0 -gpua006:2923517:2923581 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [receive] via NET/IB/0 -gpua006:2923517:2923581 [0] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [send] via NET/IB/0 -gpua006:2923517:2923581 [0] NCCL INFO Connected all trees -gpua006:2923517:2923581 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua006:2923517:2923581 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua006:2923517:2923581 [0] NCCL INFO comm 0xc8be5b0 rank 8 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua057:642420:642477 [3] NCCL INFO Connected all trees -gpua057:642420:642477 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua057:642420:642477 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua057:642420:642477 [3] NCCL INFO comm 0x1d07c120 rank 47 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua086:901445:901445 [3] NCCL INFO cudaDriverVersion 12020 -gpua086:901445:901445 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> -gpua086:901445:901445 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua086:901445:901518 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> -gpua086:901445:901518 [3] NCCL INFO Using network IB -gpua086:901445:901518 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua086:901445:901518 [3] NCCL INFO Trees [0] -1/-1/-1->63->62 [1] -1/-1/-1->63->62 -gpua086:901445:901518 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 -gpua086:901445:901518 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 -gpua086:901445:901518 [3] NCCL INFO Connected all rings -gpua086:901445:901518 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 62[85000] via P2P/IPC/read -gpua086:901445:901518 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 62[85000] via P2P/IPC/read -gpua086:901445:901518 [3] NCCL INFO Connected all trees -gpua086:901445:901518 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua086:901445:901518 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua086:901445:901518 [3] NCCL INFO comm 0x9bada910 rank 63 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua056:1295493:1295493 [3] NCCL INFO cudaDriverVersion 12020 -gpua056:1295493:1295493 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> -gpua056:1295493:1295493 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua056:1295493:1295551 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> -gpua056:1295493:1295551 [3] NCCL INFO Using network IB -gpua056:1295493:1295551 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua056:1295493:1295551 [3] NCCL INFO Trees [0] -1/-1/-1->43->42 [1] -1/-1/-1->43->42 -gpua056:1295493:1295551 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 -gpua056:1295493:1295551 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 -gpua056:1295493:1295551 [3] NCCL INFO Connected all rings -gpua056:1295493:1295551 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 42[85000] via P2P/IPC/read -gpua056:1295493:1295551 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 42[85000] via P2P/IPC/read -gpua056:1295493:1295551 [3] NCCL INFO Connected all trees -gpua056:1295493:1295551 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua056:1295493:1295551 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua056:1295493:1295551 [3] NCCL INFO comm 0x1a12daf0 rank 43 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua056:1295490:1295490 [0] NCCL INFO cudaDriverVersion 12020 -gpua056:1295490:1295490 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> -gpua056:1295490:1295490 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua056:1295490:1295550 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> -gpua056:1295490:1295550 [0] NCCL INFO Using network IB -gpua056:1295490:1295550 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua056:1295490:1295550 [0] NCCL INFO Trees [0] 41/44/-1->40->49 [1] 41/-1/-1->40->37 -gpua056:1295490:1295550 [0] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 -gpua056:1295490:1295550 [0] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 -gpua056:1295490:1295550 [0] NCCL INFO Channel 00/0 : 40[7000] -> 41[46000] via P2P/IPC/read -gpua056:1295490:1295550 [0] NCCL INFO Channel 01/0 : 40[7000] -> 41[46000] via P2P/IPC/read -gpua056:1295490:1295550 [0] NCCL INFO Connected all rings -gpua086:901443:901443 [1] NCCL INFO cudaDriverVersion 12020 -gpua086:901443:901443 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> -gpua086:901443:901443 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua086:901443:901517 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> -gpua086:901443:901517 [1] NCCL INFO Using network IB -gpua086:901443:901517 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua086:901443:901517 [1] NCCL INFO Trees [0] 62/-1/-1->61->60 [1] 62/-1/-1->61->60 -gpua086:901443:901517 [1] NCCL INFO Channel 00/0 : 61[46000] -> 62[85000] via P2P/IPC/read -gpua086:901443:901517 [1] NCCL INFO Channel 01/0 : 61[46000] -> 62[85000] via P2P/IPC/read -gpua086:901443:901517 [1] NCCL INFO Connected all rings -gpua086:901443:901517 [1] NCCL INFO Channel 00/0 : 61[46000] -> 60[7000] via P2P/IPC/read -gpua086:901443:901517 [1] NCCL INFO Channel 01/0 : 61[46000] -> 60[7000] via P2P/IPC/read -gpua085:1432988:1432988 [0] NCCL INFO cudaDriverVersion 12020 -gpua085:1432988:1432988 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> -gpua085:1432988:1432988 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua085:1432988:1433052 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> -gpua085:1432988:1433052 [0] NCCL INFO Using network IB -gpua085:1432988:1433052 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua085:1432988:1433052 [0] NCCL INFO Trees [0] 57/60/-1->56->48 [1] 57/-1/-1->56->53 -gpua085:1432988:1433052 [0] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 -gpua085:1432988:1433052 [0] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 -gpua085:1432988:1433052 [0] NCCL INFO Channel 00/0 : 56[7000] -> 57[46000] via P2P/IPC/read -gpua085:1432988:1433052 [0] NCCL INFO Channel 01/0 : 56[7000] -> 57[46000] via P2P/IPC/read -gpua085:1432988:1433052 [0] NCCL INFO Connected all rings -gpua056:1295490:1295550 [0] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [receive] via NET/IB/0 -gpua056:1295490:1295550 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [send] via NET/IB/0 -gpua056:1295490:1295550 [0] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [send] via NET/IB/0 -gpua056:1295490:1295550 [0] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [receive] via NET/IB/0 -gpua056:1295490:1295550 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [receive] via NET/IB/0 -gpua056:1295490:1295550 [0] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [send] via NET/IB/0 -gpua056:1295490:1295550 [0] NCCL INFO Connected all trees -gpua056:1295490:1295550 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua056:1295490:1295550 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua056:1295490:1295550 [0] NCCL INFO comm 0xe57ff10 rank 40 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua086:901443:901517 [1] NCCL INFO Connected all trees -gpua086:901443:901517 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua086:901443:901517 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua086:901443:901517 [1] NCCL INFO comm 0x16a2b6a0 rank 61 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua085:1432988:1433052 [0] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [receive] via NET/IB/0 -gpua085:1432988:1433052 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [send] via NET/IB/0 -gpua085:1432988:1433052 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [receive] via NET/IB/0 -gpua085:1432988:1433052 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [send] via NET/IB/0 -gpua085:1432988:1433052 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [receive] via NET/IB/0 -gpua085:1432988:1433052 [0] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [send] via NET/IB/0 -gpua085:1432988:1433052 [0] NCCL INFO Connected all trees -gpua085:1432988:1433052 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua085:1432988:1433052 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua085:1432988:1433052 [0] NCCL INFO comm 0x13f40bf0 rank 56 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua005:2607493:2607493 [3] NCCL INFO cudaDriverVersion 12020 -gpua005:2607493:2607493 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> -gpua005:2607493:2607493 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua005:2607493:2607558 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> -gpua005:2607493:2607558 [3] NCCL INFO Using network IB -gpua005:2607493:2607558 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua005:2607493:2607558 [3] NCCL INFO Trees [0] -1/-1/-1->7->6 [1] -1/-1/-1->7->6 -gpua005:2607493:2607558 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 -gpua005:2607493:2607558 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 -gpua005:2607493:2607558 [3] NCCL INFO Connected all rings -gpua005:2607493:2607558 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 6[85000] via P2P/IPC/read -gpua005:2607493:2607558 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 6[85000] via P2P/IPC/read -gpua005:2607493:2607558 [3] NCCL INFO Connected all trees -gpua005:2607493:2607558 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua005:2607493:2607558 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua005:2607493:2607558 [3] NCCL INFO comm 0x9433a9d0 rank 7 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua006:2923518:2923518 [1] NCCL INFO cudaDriverVersion 12020 -gpua006:2923518:2923518 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> -gpua006:2923518:2923518 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua006:2923518:2923579 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> -gpua006:2923518:2923579 [1] NCCL INFO Using network IB -gpua006:2923518:2923579 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua006:2923518:2923579 [1] NCCL INFO Trees [0] 10/4/-1->9->8 [1] 10/-1/-1->9->8 -gpua006:2923518:2923579 [1] NCCL INFO Channel 00/0 : 9[46000] -> 10[85000] via P2P/IPC/read -gpua006:2923518:2923579 [1] NCCL INFO Channel 01/0 : 9[46000] -> 10[85000] via P2P/IPC/read -gpua006:2923518:2923579 [1] NCCL INFO Connected all rings -gpua006:2923518:2923579 [1] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [receive] via NET/IB/0 -gpua006:2923518:2923579 [1] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [send] via NET/IB/0 -gpua006:2923518:2923579 [1] NCCL INFO Channel 00/0 : 9[46000] -> 8[7000] via P2P/IPC/read -gpua006:2923518:2923579 [1] NCCL INFO Channel 01/0 : 9[46000] -> 8[7000] via P2P/IPC/read -gpua006:2923518:2923579 [1] NCCL INFO Connected all trees -gpua006:2923518:2923579 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua006:2923518:2923579 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua006:2923518:2923579 [1] NCCL INFO comm 0x239349f0 rank 9 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua005:2607491:2607491 [1] NCCL INFO cudaDriverVersion 12020 -gpua005:2607491:2607491 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> -gpua005:2607491:2607491 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua005:2607491:2607556 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> -gpua005:2607491:2607556 [1] NCCL INFO Using network IB -gpua005:2607491:2607556 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua005:2607491:2607556 [1] NCCL INFO Trees [0] 6/-1/-1->5->4 [1] 6/8/-1->5->4 -gpua005:2607491:2607556 [1] NCCL INFO Channel 00/0 : 5[46000] -> 6[85000] via P2P/IPC/read -gpua005:2607491:2607556 [1] NCCL INFO Channel 01/0 : 5[46000] -> 6[85000] via P2P/IPC/read -gpua005:2607491:2607556 [1] NCCL INFO Connected all rings -gpua005:2607491:2607556 [1] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [send] via NET/IB/0 -gpua005:2607491:2607556 [1] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [receive] via NET/IB/0 -gpua031:906121:906121 [3] NCCL INFO cudaDriverVersion 12020 -gpua031:906121:906121 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> -gpua031:906121:906121 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua031:906121:906182 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> -gpua031:906121:906182 [3] NCCL INFO Using network IB -gpua031:906121:906182 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua031:906121:906182 [3] NCCL INFO Trees [0] -1/-1/-1->31->30 [1] -1/-1/-1->31->30 -gpua031:906121:906182 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 -gpua031:906121:906182 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 -gpua031:906121:906182 [3] NCCL INFO Connected all rings -gpua031:906121:906182 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 30[85000] via P2P/IPC/read -gpua031:906121:906182 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 30[85000] via P2P/IPC/read -gpua054:552157:552157 [2] NCCL INFO cudaDriverVersion 12020 -gpua054:552157:552157 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> -gpua054:552157:552157 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua054:552157:552223 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> -gpua054:552157:552223 [2] NCCL INFO Using network IB -gpua054:552157:552223 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua054:552157:552223 [2] NCCL INFO Trees [0] 35/-1/-1->34->33 [1] 35/-1/-1->34->33 -gpua054:552157:552223 [2] NCCL INFO Channel 00/0 : 34[85000] -> 35[c7000] via P2P/IPC/read -gpua054:552157:552223 [2] NCCL INFO Channel 01/0 : 34[85000] -> 35[c7000] via P2P/IPC/read -gpua054:552157:552223 [2] NCCL INFO Connected all rings -gpua054:552157:552223 [2] NCCL INFO Channel 00/0 : 34[85000] -> 33[46000] via P2P/IPC/read -gpua054:552157:552223 [2] NCCL INFO Channel 01/0 : 34[85000] -> 33[46000] via P2P/IPC/read -gpua005:2607491:2607556 [1] NCCL INFO Channel 00/0 : 5[46000] -> 4[7000] via P2P/IPC/read -gpua005:2607491:2607556 [1] NCCL INFO Channel 01/0 : 5[46000] -> 4[7000] via P2P/IPC/read -gpua005:2607491:2607556 [1] NCCL INFO Connected all trees -gpua005:2607491:2607556 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua005:2607491:2607556 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua005:2607491:2607556 [1] NCCL INFO comm 0xe86b570 rank 5 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua056:1295492:1295492 [2] NCCL INFO cudaDriverVersion 12020 -gpua056:1295492:1295492 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> -gpua056:1295492:1295492 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua056:1295492:1295549 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> -gpua056:1295492:1295549 [2] NCCL INFO Using network IB -gpua056:1295492:1295549 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua056:1295492:1295549 [2] NCCL INFO Trees [0] 43/-1/-1->42->41 [1] 43/-1/-1->42->41 -gpua056:1295492:1295549 [2] NCCL INFO Channel 00/0 : 42[85000] -> 43[c7000] via P2P/IPC/read -gpua056:1295492:1295549 [2] NCCL INFO Channel 01/0 : 42[85000] -> 43[c7000] via P2P/IPC/read -gpua056:1295492:1295549 [2] NCCL INFO Connected all rings -gpua056:1295492:1295549 [2] NCCL INFO Channel 00/0 : 42[85000] -> 41[46000] via P2P/IPC/read -gpua056:1295492:1295549 [2] NCCL INFO Channel 01/0 : 42[85000] -> 41[46000] via P2P/IPC/read -gpua086:901444:901444 [2] NCCL INFO cudaDriverVersion 12020 -gpua086:901444:901444 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> -gpua086:901444:901444 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua086:901444:901516 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> -gpua086:901444:901516 [2] NCCL INFO Using network IB -gpua086:901444:901516 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua086:901444:901516 [2] NCCL INFO Trees [0] 63/-1/-1->62->61 [1] 63/-1/-1->62->61 -gpua086:901444:901516 [2] NCCL INFO Channel 00/0 : 62[85000] -> 63[c7000] via P2P/IPC/read -gpua086:901444:901516 [2] NCCL INFO Channel 01/0 : 62[85000] -> 63[c7000] via P2P/IPC/read -gpua086:901444:901516 [2] NCCL INFO Connected all rings -gpua086:901444:901516 [2] NCCL INFO Channel 00/0 : 62[85000] -> 61[46000] via P2P/IPC/read -gpua086:901444:901516 [2] NCCL INFO Channel 01/0 : 62[85000] -> 61[46000] via P2P/IPC/read -gpua031:906121:906182 [3] NCCL INFO Connected all trees -gpua031:906121:906182 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua031:906121:906182 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua031:906121:906182 [3] NCCL INFO comm 0xd356b50 rank 31 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua054:552157:552223 [2] NCCL INFO Connected all trees -gpua054:552157:552223 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua054:552157:552223 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua054:552157:552223 [2] NCCL INFO comm 0x21d98c00 rank 34 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua056:1295492:1295549 [2] NCCL INFO Connected all trees -gpua056:1295492:1295549 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua056:1295492:1295549 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua056:1295492:1295549 [2] NCCL INFO comm 0x11b01890 rank 42 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua086:901444:901516 [2] NCCL INFO Connected all trees -gpua086:901444:901516 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua086:901444:901516 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua086:901444:901516 [2] NCCL INFO comm 0x2efa89d0 rank 62 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua054:552155:552155 [0] NCCL INFO cudaDriverVersion 12020 -gpua054:552155:552155 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> -gpua054:552155:552155 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua054:552155:552224 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> -gpua054:552155:552224 [0] NCCL INFO Using network IB -gpua054:552155:552224 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua054:552155:552224 [0] NCCL INFO Trees [0] 33/48/-1->32->0 [1] 33/-1/-1->32->36 -gpua054:552155:552224 [0] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 -gpua054:552155:552224 [0] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 -gpua054:552155:552224 [0] NCCL INFO Channel 00/0 : 32[7000] -> 33[46000] via P2P/IPC/read -gpua054:552155:552224 [0] NCCL INFO Channel 01/0 : 32[7000] -> 33[46000] via P2P/IPC/read -gpua054:552155:552224 [0] NCCL INFO Connected all rings -gpua056:1295491:1295491 [1] NCCL INFO cudaDriverVersion 12020 -gpua056:1295491:1295491 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> -gpua056:1295491:1295491 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua056:1295491:1295552 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> -gpua056:1295491:1295552 [1] NCCL INFO Using network IB -gpua056:1295491:1295552 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua056:1295491:1295552 [1] NCCL INFO Trees [0] 42/36/-1->41->40 [1] 42/-1/-1->41->40 -gpua056:1295491:1295552 [1] NCCL INFO Channel 00/0 : 41[46000] -> 42[85000] via P2P/IPC/read -gpua056:1295491:1295552 [1] NCCL INFO Channel 01/0 : 41[46000] -> 42[85000] via P2P/IPC/read -gpua056:1295491:1295552 [1] NCCL INFO Connected all rings -gpua056:1295491:1295552 [1] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [receive] via NET/IB/0 -gpua056:1295491:1295552 [1] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [send] via NET/IB/0 -gpua054:552155:552224 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [send] via NET/IB/0 -gpua054:552155:552224 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [send] via NET/IB/0 -gpua054:552155:552224 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [receive] via NET/IB/0 -gpua054:552155:552224 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [send] via NET/IB/0 -gpua054:552155:552224 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [receive] via NET/IB/0 -gpua054:552155:552224 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [receive] via NET/IB/0 -gpua054:552155:552224 [0] NCCL INFO Connected all trees -gpua054:552155:552224 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua054:552155:552224 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua054:552155:552224 [0] NCCL INFO comm 0x15b0bdb0 rank 32 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua056:1295491:1295552 [1] NCCL INFO Channel 00/0 : 41[46000] -> 40[7000] via P2P/IPC/read -gpua056:1295491:1295552 [1] NCCL INFO Channel 01/0 : 41[46000] -> 40[7000] via P2P/IPC/read -gpua056:1295491:1295552 [1] NCCL INFO Connected all trees -gpua056:1295491:1295552 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua056:1295491:1295552 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua056:1295491:1295552 [1] NCCL INFO comm 0x141cd8e0 rank 41 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua085:1432989:1432989 [1] NCCL INFO cudaDriverVersion 12020 -gpua085:1432989:1432989 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> -gpua085:1432989:1432989 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua085:1432989:1433053 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> -gpua085:1432989:1433053 [1] NCCL INFO Using network IB -gpua085:1432989:1433053 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua085:1432989:1433053 [1] NCCL INFO Trees [0] 58/52/-1->57->56 [1] 58/-1/-1->57->56 -gpua085:1432989:1433053 [1] NCCL INFO Channel 00/0 : 57[46000] -> 58[85000] via P2P/IPC/read -gpua085:1432989:1433053 [1] NCCL INFO Channel 01/0 : 57[46000] -> 58[85000] via P2P/IPC/read -gpua085:1432989:1433053 [1] NCCL INFO Connected all rings -gpua085:1432989:1433053 [1] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [receive] via NET/IB/0 -gpua085:1432989:1433053 [1] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [send] via NET/IB/0 -gpua085:1432989:1433053 [1] NCCL INFO Channel 00/0 : 57[46000] -> 56[7000] via P2P/IPC/read -gpua085:1432989:1433053 [1] NCCL INFO Channel 01/0 : 57[46000] -> 56[7000] via P2P/IPC/read -gpua085:1432989:1433053 [1] NCCL INFO Connected all trees -gpua085:1432989:1433053 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua085:1432989:1433053 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua085:1432989:1433053 [1] NCCL INFO comm 0x14fa76d0 rank 57 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua082:744399:744399 [2] NCCL INFO cudaDriverVersion 12020 -gpua082:744399:744399 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> -gpua082:744399:744399 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua082:744399:744465 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> -gpua082:744399:744465 [2] NCCL INFO Using network IB -gpua082:744399:744465 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua082:744399:744465 [2] NCCL INFO Trees [0] 51/-1/-1->50->49 [1] 51/-1/-1->50->49 -gpua082:744399:744465 [2] NCCL INFO Channel 00/0 : 50[85000] -> 51[c7000] via P2P/IPC/read -gpua082:744399:744465 [2] NCCL INFO Channel 01/0 : 50[85000] -> 51[c7000] via P2P/IPC/read -gpua082:744399:744465 [2] NCCL INFO Connected all rings -gpua082:744399:744465 [2] NCCL INFO Channel 00/0 : 50[85000] -> 49[46000] via P2P/IPC/read -gpua082:744399:744465 [2] NCCL INFO Channel 01/0 : 50[85000] -> 49[46000] via P2P/IPC/read -gpua082:744399:744465 [2] NCCL INFO Connected all trees -gpua082:744399:744465 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua082:744399:744465 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua082:744399:744465 [2] NCCL INFO comm 0xcb48540 rank 50 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua082:744398:744398 [1] NCCL INFO cudaDriverVersion 12020 -gpua082:744398:744398 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> -gpua082:744398:744398 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua082:744398:744463 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> -gpua082:744398:744463 [1] NCCL INFO Using network IB -gpua082:744398:744463 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua082:744398:744463 [1] NCCL INFO Trees [0] 50/40/-1->49->48 [1] 50/-1/-1->49->48 -gpua082:744398:744463 [1] NCCL INFO Channel 00/0 : 49[46000] -> 50[85000] via P2P/IPC/read -gpua082:744398:744463 [1] NCCL INFO Channel 01/0 : 49[46000] -> 50[85000] via P2P/IPC/read -gpua082:744398:744463 [1] NCCL INFO Connected all rings -gpua082:744398:744463 [1] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [receive] via NET/IB/0 -gpua082:744398:744463 [1] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [send] via NET/IB/0 -gpua023:771058:771058 [1] NCCL INFO cudaDriverVersion 12020 -gpua023:771058:771058 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.23<0> -gpua023:771058:771058 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua023:771058:771137 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.23<0> -gpua023:771058:771137 [1] NCCL INFO Using network IB -gpua023:771058:771137 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua023:771058:771137 [1] NCCL INFO Trees [0] 22/-1/-1->21->20 [1] 22/24/-1->21->20 -gpua023:771058:771137 [1] NCCL INFO Channel 00/0 : 21[46000] -> 22[85000] via P2P/IPC/read -gpua023:771058:771137 [1] NCCL INFO Channel 01/0 : 21[46000] -> 22[85000] via P2P/IPC/read -gpua023:771058:771137 [1] NCCL INFO Connected all rings -gpua023:771058:771137 [1] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [send] via NET/IB/0 -gpua023:771058:771137 [1] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [receive] via NET/IB/0 -gpua005:2607492:2607492 [2] NCCL INFO cudaDriverVersion 12020 -gpua005:2607492:2607492 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> -gpua005:2607492:2607492 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua005:2607492:2607557 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> -gpua005:2607492:2607557 [2] NCCL INFO Using network IB -gpua005:2607492:2607557 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua005:2607492:2607557 [2] NCCL INFO Trees [0] 7/-1/-1->6->5 [1] 7/-1/-1->6->5 -gpua005:2607492:2607557 [2] NCCL INFO Channel 00/0 : 6[85000] -> 7[c7000] via P2P/IPC/read -gpua005:2607492:2607557 [2] NCCL INFO Channel 01/0 : 6[85000] -> 7[c7000] via P2P/IPC/read -gpua005:2607492:2607557 [2] NCCL INFO Connected all rings -gpua005:2607492:2607557 [2] NCCL INFO Channel 00/0 : 6[85000] -> 5[46000] via P2P/IPC/read -gpua005:2607492:2607557 [2] NCCL INFO Channel 01/0 : 6[85000] -> 5[46000] via P2P/IPC/read -gpua082:744398:744463 [1] NCCL INFO Channel 00/0 : 49[46000] -> 48[7000] via P2P/IPC/read -gpua082:744398:744463 [1] NCCL INFO Channel 01/0 : 49[46000] -> 48[7000] via P2P/IPC/read -gpua082:744398:744463 [1] NCCL INFO Connected all trees -gpua082:744398:744463 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua082:744398:744463 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua082:744398:744463 [1] NCCL INFO comm 0xe3ef56e0 rank 49 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua057:642418:642418 [1] NCCL INFO cudaDriverVersion 12020 -gpua057:642418:642418 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> -gpua057:642418:642418 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua057:642418:642480 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> -gpua057:642418:642480 [1] NCCL INFO Using network IB -gpua057:642418:642480 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua057:642418:642480 [1] NCCL INFO Trees [0] 46/-1/-1->45->44 [1] 46/52/-1->45->44 -gpua057:642418:642480 [1] NCCL INFO Channel 00/0 : 45[46000] -> 46[85000] via P2P/IPC/read -gpua057:642418:642480 [1] NCCL INFO Channel 01/0 : 45[46000] -> 46[85000] via P2P/IPC/read -gpua057:642418:642480 [1] NCCL INFO Connected all rings -gpua057:642418:642480 [1] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [send] via NET/IB/0 -gpua057:642418:642480 [1] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [receive] via NET/IB/0 -gpua023:771058:771137 [1] NCCL INFO Channel 00/0 : 21[46000] -> 20[7000] via P2P/IPC/read -gpua023:771058:771137 [1] NCCL INFO Channel 01/0 : 21[46000] -> 20[7000] via P2P/IPC/read -gpua023:771058:771137 [1] NCCL INFO Connected all trees -gpua023:771058:771137 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua023:771058:771137 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua023:771058:771137 [1] NCCL INFO comm 0xdbce400 rank 21 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua005:2607492:2607557 [2] NCCL INFO Connected all trees -gpua005:2607492:2607557 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua005:2607492:2607557 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua005:2607492:2607557 [2] NCCL INFO comm 0x11fdd450 rank 6 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua082:744397:744397 [0] NCCL INFO cudaDriverVersion 12020 -gpua082:744397:744397 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> -gpua082:744397:744397 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua082:744397:744464 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> -gpua082:744397:744464 [0] NCCL INFO Using network IB -gpua082:744397:744464 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua082:744397:744464 [0] NCCL INFO Trees [0] 49/56/-1->48->32 [1] 49/-1/-1->48->52 -gpua082:744397:744464 [0] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 -gpua082:744397:744464 [0] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 -gpua082:744397:744464 [0] NCCL INFO Channel 00/0 : 48[7000] -> 49[46000] via P2P/IPC/read -gpua082:744397:744464 [0] NCCL INFO Channel 01/0 : 48[7000] -> 49[46000] via P2P/IPC/read -gpua082:744397:744464 [0] NCCL INFO Connected all rings -gpua057:642418:642480 [1] NCCL INFO Channel 00/0 : 45[46000] -> 44[7000] via P2P/IPC/read -gpua057:642418:642480 [1] NCCL INFO Channel 01/0 : 45[46000] -> 44[7000] via P2P/IPC/read -gpua057:642418:642480 [1] NCCL INFO Connected all trees -gpua057:642418:642480 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua057:642418:642480 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua057:642418:642480 [1] NCCL INFO comm 0x46cbc070 rank 45 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua082:744397:744464 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [send] via NET/IB/0 -gpua082:744397:744464 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [send] via NET/IB/0 -gpua082:744397:744464 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [receive] via NET/IB/0 -gpua082:744397:744464 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [send] via NET/IB/0 -gpua082:744397:744464 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [receive] via NET/IB/0 -gpua082:744397:744464 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [receive] via NET/IB/0 -gpua082:744397:744464 [0] NCCL INFO Connected all trees -gpua082:744397:744464 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua082:744397:744464 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua082:744397:744464 [0] NCCL INFO comm 0x2f020540 rank 48 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua031:906118:906118 [0] NCCL INFO cudaDriverVersion 12020 -gpua031:906118:906118 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> -gpua031:906118:906118 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua031:906118:906184 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> -gpua031:906118:906184 [0] NCCL INFO Using network IB -gpua031:906118:906184 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua031:906118:906184 [0] NCCL INFO Trees [0] 29/-1/-1->28->24 [1] 29/12/-1->28->60 -gpua031:906118:906184 [0] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 -gpua031:906118:906184 [0] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 -gpua031:906118:906184 [0] NCCL INFO Channel 00/0 : 28[7000] -> 29[46000] via P2P/IPC/read -gpua031:906118:906184 [0] NCCL INFO Channel 01/0 : 28[7000] -> 29[46000] via P2P/IPC/read -gpua031:906118:906184 [0] NCCL INFO Connected all rings -gpua054:552156:552156 [1] NCCL INFO cudaDriverVersion 12020 -gpua054:552156:552156 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> -gpua054:552156:552156 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua054:552156:552226 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> -gpua054:552156:552226 [1] NCCL INFO Using network IB -gpua054:552156:552226 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua054:552156:552226 [1] NCCL INFO Trees [0] 34/16/-1->33->32 [1] 34/-1/-1->33->32 -gpua054:552156:552226 [1] NCCL INFO Channel 00/0 : 33[46000] -> 34[85000] via P2P/IPC/read -gpua054:552156:552226 [1] NCCL INFO Channel 01/0 : 33[46000] -> 34[85000] via P2P/IPC/read -gpua054:552156:552226 [1] NCCL INFO Connected all rings -gpua054:552156:552226 [1] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [receive] via NET/IB/0 -gpua054:552156:552226 [1] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [send] via NET/IB/0 -gpua031:906118:906184 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [receive] via NET/IB/0 -gpua031:906118:906184 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [receive] via NET/IB/0 -gpua031:906118:906184 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [receive] via NET/IB/0 -gpua031:906118:906184 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [send] via NET/IB/0 -gpua031:906118:906184 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [send] via NET/IB/0 -gpua031:906118:906184 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [send] via NET/IB/0 -gpua031:906118:906184 [0] NCCL INFO Connected all trees -gpua031:906118:906184 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua031:906118:906184 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua031:906118:906184 [0] NCCL INFO comm 0xb34ead0 rank 28 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua054:552156:552226 [1] NCCL INFO Channel 00/0 : 33[46000] -> 32[7000] via P2P/IPC/read -gpua054:552156:552226 [1] NCCL INFO Channel 01/0 : 33[46000] -> 32[7000] via P2P/IPC/read -gpua054:552156:552226 [1] NCCL INFO Connected all trees -gpua054:552156:552226 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua054:552156:552226 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua054:552156:552226 [1] NCCL INFO comm 0x235f1050 rank 33 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua006:2923520:2923520 [3] NCCL INFO cudaDriverVersion 12020 -gpua006:2923520:2923520 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> -gpua006:2923520:2923520 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua006:2923520:2923580 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> -gpua006:2923520:2923580 [3] NCCL INFO Using network IB -gpua006:2923520:2923580 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua006:2923520:2923580 [3] NCCL INFO Trees [0] -1/-1/-1->11->10 [1] -1/-1/-1->11->10 -gpua006:2923520:2923580 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 -gpua006:2923520:2923580 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 -gpua006:2923520:2923580 [3] NCCL INFO Connected all rings -gpua006:2923520:2923580 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 10[85000] via P2P/IPC/read -gpua006:2923520:2923580 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 10[85000] via P2P/IPC/read -gpua082:744400:744400 [3] NCCL INFO cudaDriverVersion 12020 -gpua082:744400:744400 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> -gpua082:744400:744400 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua082:744400:744466 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> -gpua082:744400:744466 [3] NCCL INFO Using network IB -gpua082:744400:744466 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua082:744400:744466 [3] NCCL INFO Trees [0] -1/-1/-1->51->50 [1] -1/-1/-1->51->50 -gpua082:744400:744466 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 -gpua082:744400:744466 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 -gpua082:744400:744466 [3] NCCL INFO Connected all rings -gpua082:744400:744466 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 50[85000] via P2P/IPC/read -gpua082:744400:744466 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 50[85000] via P2P/IPC/read -gpua031:906120:906120 [2] NCCL INFO cudaDriverVersion 12020 -gpua031:906120:906120 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> -gpua031:906120:906120 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua031:906120:906185 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> -gpua031:906120:906185 [2] NCCL INFO Using network IB -gpua031:906120:906185 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua031:906120:906185 [2] NCCL INFO Trees [0] 31/-1/-1->30->29 [1] 31/-1/-1->30->29 -gpua031:906120:906185 [2] NCCL INFO Channel 00/0 : 30[85000] -> 31[c7000] via P2P/IPC/read -gpua031:906120:906185 [2] NCCL INFO Channel 01/0 : 30[85000] -> 31[c7000] via P2P/IPC/read -gpua031:906120:906185 [2] NCCL INFO Connected all rings -gpua031:906120:906185 [2] NCCL INFO Channel 00/0 : 30[85000] -> 29[46000] via P2P/IPC/read -gpua031:906120:906185 [2] NCCL INFO Channel 01/0 : 30[85000] -> 29[46000] via P2P/IPC/read -gpua006:2923520:2923580 [3] NCCL INFO Connected all trees -gpua006:2923520:2923580 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua006:2923520:2923580 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua006:2923520:2923580 [3] NCCL INFO comm 0x92eaf2c0 rank 11 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua082:744400:744466 [3] NCCL INFO Connected all trees -gpua082:744400:744466 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua082:744400:744466 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua082:744400:744466 [3] NCCL INFO comm 0xb9f4020 rank 51 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua031:906120:906185 [2] NCCL INFO Connected all trees -gpua031:906120:906185 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua031:906120:906185 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua031:906120:906185 [2] NCCL INFO comm 0x12078bc0 rank 30 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua083:2006755:2006755 [3] NCCL INFO cudaDriverVersion 12020 -gpua083:2006755:2006755 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> -gpua083:2006755:2006755 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua083:2006755:2006824 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> -gpua083:2006755:2006824 [3] NCCL INFO Using network IB -gpua083:2006755:2006824 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua083:2006755:2006824 [3] NCCL INFO Trees [0] -1/-1/-1->55->54 [1] -1/-1/-1->55->54 -gpua083:2006755:2006824 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 -gpua083:2006755:2006824 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 -gpua083:2006755:2006824 [3] NCCL INFO Connected all rings -gpua083:2006755:2006824 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 54[85000] via P2P/IPC/read -gpua083:2006755:2006824 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 54[85000] via P2P/IPC/read -gpua031:906119:906119 [1] NCCL INFO cudaDriverVersion 12020 -gpua031:906119:906119 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> -gpua031:906119:906119 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua031:906119:906183 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> -gpua031:906119:906183 [1] NCCL INFO Using network IB -gpua031:906119:906183 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua031:906119:906183 [1] NCCL INFO Trees [0] 30/-1/-1->29->28 [1] 30/44/-1->29->28 -gpua031:906119:906183 [1] NCCL INFO Channel 00/0 : 29[46000] -> 30[85000] via P2P/IPC/read -gpua031:906119:906183 [1] NCCL INFO Channel 01/0 : 29[46000] -> 30[85000] via P2P/IPC/read -gpua031:906119:906183 [1] NCCL INFO Connected all rings -gpua031:906119:906183 [1] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [send] via NET/IB/0 -gpua031:906119:906183 [1] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [receive] via NET/IB/0 -gpua057:642417:642417 [0] NCCL INFO cudaDriverVersion 12020 -gpua057:642417:642417 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> -gpua057:642417:642417 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua057:642417:642479 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> -gpua057:642417:642479 [0] NCCL INFO Using network IB -gpua057:642417:642479 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua057:642417:642479 [0] NCCL INFO Trees [0] 45/-1/-1->44->40 [1] 45/36/-1->44->29 -gpua057:642417:642479 [0] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 -gpua057:642417:642479 [0] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 -gpua057:642417:642479 [0] NCCL INFO Channel 00/0 : 44[7000] -> 45[46000] via P2P/IPC/read -gpua057:642417:642479 [0] NCCL INFO Channel 01/0 : 44[7000] -> 45[46000] via P2P/IPC/read -gpua057:642417:642479 [0] NCCL INFO Connected all rings -gpua083:2006755:2006824 [3] NCCL INFO Connected all trees -gpua083:2006755:2006824 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua083:2006755:2006824 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua083:2006755:2006824 [3] NCCL INFO comm 0x18c1c220 rank 55 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua031:906119:906183 [1] NCCL INFO Channel 00/0 : 29[46000] -> 28[7000] via P2P/IPC/read -gpua031:906119:906183 [1] NCCL INFO Channel 01/0 : 29[46000] -> 28[7000] via P2P/IPC/read -gpua031:906119:906183 [1] NCCL INFO Connected all trees -gpua031:906119:906183 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua031:906119:906183 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua031:906119:906183 [1] NCCL INFO comm 0x2a096de0 rank 29 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua005:2607490:2607490 [0] NCCL INFO cudaDriverVersion 12020 -gpua005:2607490:2607490 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> -gpua005:2607490:2607490 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua005:2607490:2607555 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> -gpua005:2607490:2607555 [0] NCCL INFO Using network IB -gpua005:2607490:2607555 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua005:2607490:2607555 [0] NCCL INFO Trees [0] 5/-1/-1->4->9 [1] 5/0/-1->4->12 -gpua005:2607490:2607555 [0] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 -gpua005:2607490:2607555 [0] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 -gpua005:2607490:2607555 [0] NCCL INFO Channel 00/0 : 4[7000] -> 5[46000] via P2P/IPC/read -gpua005:2607490:2607555 [0] NCCL INFO Channel 01/0 : 4[7000] -> 5[46000] via P2P/IPC/read -gpua005:2607490:2607555 [0] NCCL INFO Connected all rings -gpua057:642417:642479 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [receive] via NET/IB/0 -gpua057:642417:642479 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [receive] via NET/IB/0 -gpua057:642417:642479 [0] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [receive] via NET/IB/0 -gpua057:642417:642479 [0] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [send] via NET/IB/0 -gpua057:642417:642479 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [send] via NET/IB/0 -gpua057:642417:642479 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [send] via NET/IB/0 -gpua057:642417:642479 [0] NCCL INFO Connected all trees -gpua057:642417:642479 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua057:642417:642479 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua057:642417:642479 [0] NCCL INFO comm 0xe4f8f1e0 rank 44 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua005:2607490:2607555 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [receive] via NET/IB/0 -gpua005:2607490:2607555 [0] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [send] via NET/IB/0 -gpua005:2607490:2607555 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [send] via NET/IB/0 -gpua005:2607490:2607555 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [receive] via NET/IB/0 -gpua005:2607490:2607555 [0] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [receive] via NET/IB/0 -gpua005:2607490:2607555 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [send] via NET/IB/0 -gpua005:2607490:2607555 [0] NCCL INFO Connected all trees -gpua005:2607490:2607555 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua005:2607490:2607555 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua005:2607490:2607555 [0] NCCL INFO comm 0x115870a0 rank 4 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua054:552158:552158 [3] NCCL INFO cudaDriverVersion 12020 -gpua054:552158:552158 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> -gpua054:552158:552158 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua054:552158:552225 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> -gpua054:552158:552225 [3] NCCL INFO Using network IB -gpua054:552158:552225 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua054:552158:552225 [3] NCCL INFO Trees [0] -1/-1/-1->35->34 [1] -1/-1/-1->35->34 -gpua054:552158:552225 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 -gpua054:552158:552225 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 -gpua054:552158:552225 [3] NCCL INFO Connected all rings -gpua054:552158:552225 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 34[85000] via P2P/IPC/read -gpua054:552158:552225 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 34[85000] via P2P/IPC/read -gpua054:552158:552225 [3] NCCL INFO Connected all trees -gpua054:552158:552225 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua054:552158:552225 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua054:552158:552225 [3] NCCL INFO comm 0xc6cae90 rank 35 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua007:528574:528574 [0] NCCL INFO cudaDriverVersion 12020 -gpua007:528574:528574 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> -gpua007:528574:528574 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua007:528574:528640 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> -gpua007:528574:528640 [0] NCCL INFO Using network IB -gpua007:528574:528640 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua007:528574:528640 [0] NCCL INFO Trees [0] 13/-1/-1->12->8 [1] 13/4/-1->12->28 -gpua007:528574:528640 [0] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 -gpua007:528574:528640 [0] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 -gpua007:528574:528640 [0] NCCL INFO Channel 00/0 : 12[7000] -> 13[46000] via P2P/IPC/read -gpua007:528574:528640 [0] NCCL INFO Channel 01/0 : 12[7000] -> 13[46000] via P2P/IPC/read -gpua007:528574:528640 [0] NCCL INFO Connected all rings -gpua007:528574:528640 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [receive] via NET/IB/0 -gpua007:528574:528640 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [receive] via NET/IB/0 -gpua007:528574:528640 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [send] via NET/IB/0 -gpua007:528574:528640 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [receive] via NET/IB/0 -gpua007:528574:528640 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [send] via NET/IB/0 -gpua007:528574:528640 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [send] via NET/IB/0 -gpua007:528574:528640 [0] NCCL INFO Connected all trees -gpua007:528574:528640 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua007:528574:528640 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua007:528574:528640 [0] NCCL INFO comm 0x26a245d0 rank 12 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua007:528575:528575 [1] NCCL INFO cudaDriverVersion 12020 -gpua007:528575:528575 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> -gpua007:528575:528575 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua007:528575:528638 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> -gpua007:528575:528638 [1] NCCL INFO Using network IB -gpua007:528575:528638 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua007:528575:528638 [1] NCCL INFO Trees [0] 14/-1/-1->13->12 [1] 14/20/-1->13->12 -gpua007:528575:528638 [1] NCCL INFO Channel 00/0 : 13[46000] -> 14[85000] via P2P/IPC/read -gpua007:528575:528638 [1] NCCL INFO Channel 01/0 : 13[46000] -> 14[85000] via P2P/IPC/read -gpua007:528575:528638 [1] NCCL INFO Connected all rings -gpua007:528575:528638 [1] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [send] via NET/IB/0 -gpua007:528575:528638 [1] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [receive] via NET/IB/0 -gpua007:528575:528638 [1] NCCL INFO Channel 00/0 : 13[46000] -> 12[7000] via P2P/IPC/read -gpua007:528575:528638 [1] NCCL INFO Channel 01/0 : 13[46000] -> 12[7000] via P2P/IPC/read -gpua007:528575:528638 [1] NCCL INFO Connected all trees -gpua007:528575:528638 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua007:528575:528638 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua007:528575:528638 [1] NCCL INFO comm 0x22087a20 rank 13 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua007:528576:528576 [2] NCCL INFO cudaDriverVersion 12020 -gpua007:528576:528576 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> -gpua007:528576:528576 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua007:528576:528639 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> -gpua007:528576:528639 [2] NCCL INFO Using network IB -gpua007:528576:528639 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua007:528576:528639 [2] NCCL INFO Trees [0] 15/-1/-1->14->13 [1] 15/-1/-1->14->13 -gpua007:528576:528639 [2] NCCL INFO Channel 00/0 : 14[85000] -> 15[c7000] via P2P/IPC/read -gpua007:528576:528639 [2] NCCL INFO Channel 01/0 : 14[85000] -> 15[c7000] via P2P/IPC/read -gpua007:528576:528639 [2] NCCL INFO Connected all rings -gpua007:528576:528639 [2] NCCL INFO Channel 00/0 : 14[85000] -> 13[46000] via P2P/IPC/read -gpua007:528576:528639 [2] NCCL INFO Channel 01/0 : 14[85000] -> 13[46000] via P2P/IPC/read -gpua007:528576:528639 [2] NCCL INFO Connected all trees -gpua007:528576:528639 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua007:528576:528639 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua007:528576:528639 [2] NCCL INFO comm 0x230fe1e0 rank 14 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua007:528577:528577 [3] NCCL INFO cudaDriverVersion 12020 -gpua007:528577:528577 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> -gpua007:528577:528577 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua007:528577:528641 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> -gpua007:528577:528641 [3] NCCL INFO Using network IB -gpua007:528577:528641 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua007:528577:528641 [3] NCCL INFO Trees [0] -1/-1/-1->15->14 [1] -1/-1/-1->15->14 -gpua007:528577:528641 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 -gpua007:528577:528641 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 -gpua007:528577:528641 [3] NCCL INFO Connected all rings -gpua007:528577:528641 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 14[85000] via P2P/IPC/read -gpua007:528577:528641 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 14[85000] via P2P/IPC/read -gpua083:2006753:2006753 [1] NCCL INFO cudaDriverVersion 12020 -gpua083:2006753:2006753 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> -gpua083:2006753:2006753 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua083:2006753:2006827 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> -gpua083:2006753:2006827 [1] NCCL INFO Using network IB -gpua083:2006753:2006827 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua083:2006753:2006827 [1] NCCL INFO Trees [0] 54/-1/-1->53->52 [1] 54/56/-1->53->52 -gpua083:2006753:2006827 [1] NCCL INFO Channel 00/0 : 53[46000] -> 54[85000] via P2P/IPC/read -gpua083:2006753:2006827 [1] NCCL INFO Channel 01/0 : 53[46000] -> 54[85000] via P2P/IPC/read -gpua083:2006753:2006827 [1] NCCL INFO Connected all rings -gpua083:2006753:2006827 [1] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [send] via NET/IB/0 -gpua083:2006753:2006827 [1] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [receive] via NET/IB/0 -gpua007:528577:528641 [3] NCCL INFO Connected all trees -gpua007:528577:528641 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua007:528577:528641 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua007:528577:528641 [3] NCCL INFO comm 0x9c228510 rank 15 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua083:2006753:2006827 [1] NCCL INFO Channel 00/0 : 53[46000] -> 52[7000] via P2P/IPC/read -gpua083:2006753:2006827 [1] NCCL INFO Channel 01/0 : 53[46000] -> 52[7000] via P2P/IPC/read -gpua083:2006753:2006827 [1] NCCL INFO Connected all trees -gpua083:2006753:2006827 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua083:2006753:2006827 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua083:2006753:2006827 [1] NCCL INFO comm 0x10f14950 rank 53 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua083:2006752:2006752 [0] NCCL INFO cudaDriverVersion 12020 -gpua083:2006752:2006752 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> -gpua083:2006752:2006752 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua083:2006752:2006826 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> -gpua083:2006752:2006826 [0] NCCL INFO Using network IB -gpua083:2006752:2006826 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua083:2006752:2006826 [0] NCCL INFO Trees [0] 53/-1/-1->52->57 [1] 53/48/-1->52->45 -gpua083:2006752:2006826 [0] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 -gpua083:2006752:2006826 [0] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 -gpua083:2006752:2006826 [0] NCCL INFO Channel 00/0 : 52[7000] -> 53[46000] via P2P/IPC/read -gpua083:2006752:2006826 [0] NCCL INFO Channel 01/0 : 52[7000] -> 53[46000] via P2P/IPC/read -gpua083:2006752:2006826 [0] NCCL INFO Connected all rings -gpua083:2006752:2006826 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [receive] via NET/IB/0 -gpua083:2006752:2006826 [0] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [send] via NET/IB/0 -gpua083:2006752:2006826 [0] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [receive] via NET/IB/0 -gpua083:2006752:2006826 [0] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [send] via NET/IB/0 -gpua083:2006752:2006826 [0] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [receive] via NET/IB/0 -gpua083:2006752:2006826 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [send] via NET/IB/0 -gpua083:2006752:2006826 [0] NCCL INFO Connected all trees -gpua083:2006752:2006826 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua083:2006752:2006826 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua083:2006752:2006826 [0] NCCL INFO comm 0x1162e8d0 rank 52 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua022:877981:877981 [3] NCCL INFO cudaDriverVersion 12020 -gpua022:877981:877981 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.22<0> -gpua022:877981:877981 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua022:877981:878053 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.22<0> -gpua022:877981:878053 [3] NCCL INFO Using network IB -gpua022:877981:878053 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua022:877981:878053 [3] NCCL INFO Trees [0] -1/-1/-1->19->18 [1] -1/-1/-1->19->18 -gpua022:877981:878053 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 -gpua022:877981:878053 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 -gpua022:877981:878053 [3] NCCL INFO Connected all rings -gpua022:877981:878053 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 18[85000] via P2P/IPC/read -gpua022:877981:878053 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 18[85000] via P2P/IPC/read -gpua022:877981:878053 [3] NCCL INFO Connected all trees -gpua022:877981:878053 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua022:877981:878053 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua022:877981:878053 [3] NCCL INFO comm 0xe73b1a80 rank 19 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua083:2006754:2006754 [2] NCCL INFO cudaDriverVersion 12020 -gpua083:2006754:2006754 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> -gpua083:2006754:2006754 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua083:2006754:2006825 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> -gpua083:2006754:2006825 [2] NCCL INFO Using network IB -gpua083:2006754:2006825 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua083:2006754:2006825 [2] NCCL INFO Trees [0] 55/-1/-1->54->53 [1] 55/-1/-1->54->53 -gpua083:2006754:2006825 [2] NCCL INFO Channel 00/0 : 54[85000] -> 55[c7000] via P2P/IPC/read -gpua083:2006754:2006825 [2] NCCL INFO Channel 01/0 : 54[85000] -> 55[c7000] via P2P/IPC/read -gpua083:2006754:2006825 [2] NCCL INFO Connected all rings -gpua083:2006754:2006825 [2] NCCL INFO Channel 00/0 : 54[85000] -> 53[46000] via P2P/IPC/read -gpua083:2006754:2006825 [2] NCCL INFO Channel 01/0 : 54[85000] -> 53[46000] via P2P/IPC/read -gpua083:2006754:2006825 [2] NCCL INFO Connected all trees -gpua083:2006754:2006825 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua083:2006754:2006825 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua083:2006754:2006825 [2] NCCL INFO comm 0x2405adc0 rank 54 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua002:1018189:1018189 [1] NCCL INFO cudaDriverVersion 12020 -gpua002:1018189:1018189 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.2<0> -gpua002:1018189:1018189 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua002:1018189:1018257 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.2<0> -gpua002:1018189:1018257 [1] NCCL INFO Using network IB -gpua002:1018189:1018257 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua002:1018189:1018257 [1] NCCL INFO Trees [0] 2/-1/-1->1->0 [1] 2/-1/-1->1->0 -gpua002:1018189:1018257 [1] NCCL INFO Channel 00/0 : 1[46000] -> 2[85000] via P2P/IPC/read -gpua002:1018189:1018257 [1] NCCL INFO Channel 01/0 : 1[46000] -> 2[85000] via P2P/IPC/read -gpua002:1018189:1018257 [1] NCCL INFO Connected all rings -gpua002:1018189:1018257 [1] NCCL INFO Channel 00/0 : 1[46000] -> 0[7000] via P2P/IPC/read -gpua002:1018189:1018257 [1] NCCL INFO Channel 01/0 : 1[46000] -> 0[7000] via P2P/IPC/read -gpua002:1018189:1018257 [1] NCCL INFO Connected all trees -gpua002:1018189:1018257 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua002:1018189:1018257 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua002:1018189:1018257 [1] NCCL INFO comm 0x1a1f2fd0 rank 1 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua086:901442:901442 [0] NCCL INFO cudaDriverVersion 12020 -gpua086:901442:901442 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> -gpua086:901442:901442 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua086:901442:901515 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> -gpua086:901442:901515 [0] NCCL INFO Using network IB -gpua086:901442:901515 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua086:901442:901515 [0] NCCL INFO Trees [0] 61/-1/-1->60->56 [1] 61/28/-1->60->-1 -gpua086:901442:901515 [0] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 -gpua086:901442:901515 [0] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 -gpua086:901442:901515 [0] NCCL INFO Channel 00/0 : 60[7000] -> 61[46000] via P2P/IPC/read -gpua086:901442:901515 [0] NCCL INFO Channel 01/0 : 60[7000] -> 61[46000] via P2P/IPC/read -gpua086:901442:901515 [0] NCCL INFO Connected all rings -gpua086:901442:901515 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [receive] via NET/IB/0 -gpua086:901442:901515 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [receive] via NET/IB/0 -gpua086:901442:901515 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [send] via NET/IB/0 -gpua086:901442:901515 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [send] via NET/IB/0 -gpua086:901442:901515 [0] NCCL INFO Connected all trees -gpua086:901442:901515 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua086:901442:901515 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua086:901442:901515 [0] NCCL INFO comm 0x23446e00 rank 60 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua085:1432991:1432991 [3] NCCL INFO cudaDriverVersion 12020 -gpua085:1432991:1432991 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> -gpua085:1432991:1432991 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua085:1432991:1433054 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> -gpua085:1432991:1433054 [3] NCCL INFO Using network IB -gpua085:1432991:1433054 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua085:1432991:1433054 [3] NCCL INFO Trees [0] -1/-1/-1->59->58 [1] -1/-1/-1->59->58 -gpua085:1432991:1433054 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 -gpua085:1432991:1433054 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 -gpua085:1432991:1433054 [3] NCCL INFO Connected all rings -gpua085:1432991:1433054 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 58[85000] via P2P/IPC/read -gpua085:1432991:1433054 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 58[85000] via P2P/IPC/read -gpua085:1432991:1433054 [3] NCCL INFO Connected all trees -gpua085:1432991:1433054 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua085:1432991:1433054 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua085:1432991:1433054 [3] NCCL INFO comm 0xd95c110 rank 59 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua002:1018190:1018190 [2] NCCL INFO cudaDriverVersion 12020 -gpua002:1018190:1018190 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.2<0> -gpua002:1018190:1018190 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua002:1018190:1018256 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.2<0> -gpua002:1018190:1018256 [2] NCCL INFO Using network IB -gpua002:1018190:1018256 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua002:1018190:1018256 [2] NCCL INFO Trees [0] 3/-1/-1->2->1 [1] 3/-1/-1->2->1 -gpua002:1018190:1018256 [2] NCCL INFO Channel 00/0 : 2[85000] -> 3[c7000] via P2P/IPC/read -gpua002:1018190:1018256 [2] NCCL INFO Channel 01/0 : 2[85000] -> 3[c7000] via P2P/IPC/read -gpua002:1018190:1018256 [2] NCCL INFO Connected all rings -gpua002:1018190:1018256 [2] NCCL INFO Channel 00/0 : 2[85000] -> 1[46000] via P2P/IPC/read -gpua002:1018190:1018256 [2] NCCL INFO Channel 01/0 : 2[85000] -> 1[46000] via P2P/IPC/read -gpua002:1018190:1018256 [2] NCCL INFO Connected all trees -gpua002:1018190:1018256 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua002:1018190:1018256 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua002:1018190:1018256 [2] NCCL INFO comm 0x16c488a0 rank 2 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua023:771059:771059 [2] NCCL INFO cudaDriverVersion 12020 -gpua023:771059:771059 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.23<0> -gpua023:771059:771059 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua023:771059:771134 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.23<0> -gpua023:771059:771134 [2] NCCL INFO Using network IB -gpua023:771059:771134 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua023:771059:771134 [2] NCCL INFO Trees [0] 23/-1/-1->22->21 [1] 23/-1/-1->22->21 -gpua023:771059:771134 [2] NCCL INFO Channel 00/0 : 22[85000] -> 23[c7000] via P2P/IPC/read -gpua023:771059:771134 [2] NCCL INFO Channel 01/0 : 22[85000] -> 23[c7000] via P2P/IPC/read -gpua023:771059:771134 [2] NCCL INFO Connected all rings -gpua023:771059:771134 [2] NCCL INFO Channel 00/0 : 22[85000] -> 21[46000] via P2P/IPC/read -gpua023:771059:771134 [2] NCCL INFO Channel 01/0 : 22[85000] -> 21[46000] via P2P/IPC/read -gpua023:771059:771134 [2] NCCL INFO Connected all trees -gpua023:771059:771134 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua023:771059:771134 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua023:771059:771134 [2] NCCL INFO comm 0x1011fed0 rank 22 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua002:1018188:1018255 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.2<0> -gpua002:1018188:1018255 [0] NCCL INFO Using network IB -gpua002:1018188:1018255 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua002:1018188:1018255 [0] NCCL INFO Channel 00/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 -gpua002:1018188:1018255 [0] NCCL INFO Channel 01/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 -gpua002:1018188:1018255 [0] NCCL INFO Trees [0] 1/32/-1->0->-1 [1] 1/-1/-1->0->4 -gpua002:1018188:1018255 [0] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 -gpua002:1018188:1018255 [0] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 -gpua002:1018188:1018255 [0] NCCL INFO Channel 00/0 : 0[7000] -> 1[46000] via P2P/IPC/read -gpua002:1018188:1018255 [0] NCCL INFO Channel 01/0 : 0[7000] -> 1[46000] via P2P/IPC/read -gpua002:1018188:1018255 [0] NCCL INFO Connected all rings -gpua002:1018188:1018255 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [send] via NET/IB/0 -gpua002:1018188:1018255 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [receive] via NET/IB/0 -gpua002:1018188:1018255 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [send] via NET/IB/0 -gpua002:1018188:1018255 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [receive] via NET/IB/0 -gpua002:1018188:1018255 [0] NCCL INFO Connected all trees -gpua002:1018188:1018255 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua002:1018188:1018255 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua002:1018188:1018255 [0] NCCL INFO comm 0xea506250 rank 0 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua022:877979:877979 [1] NCCL INFO cudaDriverVersion 12020 -gpua022:877979:877979 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.22<0> -gpua022:877979:877979 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua022:877979:878055 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.22<0> -gpua022:877979:878055 [1] NCCL INFO Using network IB -gpua022:877979:878055 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua022:877979:878055 [1] NCCL INFO Trees [0] 18/8/-1->17->16 [1] 18/-1/-1->17->16 -gpua022:877979:878055 [1] NCCL INFO Channel 00/0 : 17[46000] -> 18[85000] via P2P/IPC/read -gpua022:877979:878055 [1] NCCL INFO Channel 01/0 : 17[46000] -> 18[85000] via P2P/IPC/read -gpua022:877979:878055 [1] NCCL INFO Connected all rings -gpua022:877979:878055 [1] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [receive] via NET/IB/0 -gpua022:877979:878055 [1] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [send] via NET/IB/0 -gpua022:877979:878055 [1] NCCL INFO Channel 00/0 : 17[46000] -> 16[7000] via P2P/IPC/read -gpua022:877979:878055 [1] NCCL INFO Channel 01/0 : 17[46000] -> 16[7000] via P2P/IPC/read -gpua022:877979:878055 [1] NCCL INFO Connected all trees -gpua022:877979:878055 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua022:877979:878055 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua022:877979:878055 [1] NCCL INFO comm 0x2b00b030 rank 17 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua023:771057:771057 [0] NCCL INFO cudaDriverVersion 12020 -gpua023:771057:771057 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.23<0> -gpua023:771057:771057 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua023:771057:771135 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.23<0> -gpua023:771057:771135 [0] NCCL INFO Using network IB -gpua023:771057:771135 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua023:771057:771135 [0] NCCL INFO Trees [0] 21/-1/-1->20->25 [1] 21/16/-1->20->13 -gpua023:771057:771135 [0] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 -gpua023:771057:771135 [0] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 -gpua023:771057:771135 [0] NCCL INFO Channel 00/0 : 20[7000] -> 21[46000] via P2P/IPC/read -gpua023:771057:771135 [0] NCCL INFO Channel 01/0 : 20[7000] -> 21[46000] via P2P/IPC/read -gpua023:771057:771135 [0] NCCL INFO Connected all rings -gpua023:771057:771135 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [receive] via NET/IB/0 -gpua023:771057:771135 [0] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [send] via NET/IB/0 -gpua023:771057:771135 [0] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [receive] via NET/IB/0 -gpua023:771057:771135 [0] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [send] via NET/IB/0 -gpua023:771057:771135 [0] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [receive] via NET/IB/0 -gpua023:771057:771135 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [send] via NET/IB/0 -gpua023:771057:771135 [0] NCCL INFO Connected all trees -gpua023:771057:771135 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua023:771057:771135 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua023:771057:771135 [0] NCCL INFO comm 0xe39b8a30 rank 20 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua023:771060:771060 [3] NCCL INFO cudaDriverVersion 12020 -gpua023:771060:771060 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.23<0> -gpua023:771060:771060 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua023:771060:771136 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.23<0> -gpua023:771060:771136 [3] NCCL INFO Using network IB -gpua023:771060:771136 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua023:771060:771136 [3] NCCL INFO Trees [0] -1/-1/-1->23->22 [1] -1/-1/-1->23->22 -gpua023:771060:771136 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 -gpua023:771060:771136 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 -gpua023:771060:771136 [3] NCCL INFO Connected all rings -gpua023:771060:771136 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 22[85000] via P2P/IPC/read -gpua023:771060:771136 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 22[85000] via P2P/IPC/read -gpua023:771060:771136 [3] NCCL INFO Connected all trees -gpua023:771060:771136 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua023:771060:771136 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua023:771060:771136 [3] NCCL INFO comm 0xe25f5e0 rank 23 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua022:877978:877978 [0] NCCL INFO cudaDriverVersion 12020 -gpua022:877978:877978 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.22<0> -gpua022:877978:877978 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua022:877978:878054 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.22<0> -gpua022:877978:878054 [0] NCCL INFO Using network IB -gpua022:877978:878054 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua022:877978:878054 [0] NCCL INFO Trees [0] 17/24/-1->16->33 [1] 17/-1/-1->16->20 -gpua022:877978:878054 [0] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 -gpua022:877978:878054 [0] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 -gpua022:877978:878054 [0] NCCL INFO Channel 00/0 : 16[7000] -> 17[46000] via P2P/IPC/read -gpua022:877978:878054 [0] NCCL INFO Channel 01/0 : 16[7000] -> 17[46000] via P2P/IPC/read -gpua022:877978:878054 [0] NCCL INFO Connected all rings -gpua022:877978:878054 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [send] via NET/IB/0 -gpua022:877978:878054 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [send] via NET/IB/0 -gpua022:877978:878054 [0] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [send] via NET/IB/0 -gpua022:877978:878054 [0] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [receive] via NET/IB/0 -gpua022:877978:878054 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [receive] via NET/IB/0 -gpua022:877978:878054 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [receive] via NET/IB/0 -gpua022:877978:878054 [0] NCCL INFO Connected all trees -gpua022:877978:878054 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua022:877978:878054 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua022:877978:878054 [0] NCCL INFO comm 0x120e0090 rank 16 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua022:877980:877980 [2] NCCL INFO cudaDriverVersion 12020 -gpua022:877980:877980 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.22<0> -gpua022:877980:877980 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua022:877980:878052 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.22<0> -gpua022:877980:878052 [2] NCCL INFO Using network IB -gpua022:877980:878052 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua022:877980:878052 [2] NCCL INFO Trees [0] 19/-1/-1->18->17 [1] 19/-1/-1->18->17 -gpua022:877980:878052 [2] NCCL INFO Channel 00/0 : 18[85000] -> 19[c7000] via P2P/IPC/read -gpua022:877980:878052 [2] NCCL INFO Channel 01/0 : 18[85000] -> 19[c7000] via P2P/IPC/read -gpua022:877980:878052 [2] NCCL INFO Connected all rings -gpua022:877980:878052 [2] NCCL INFO Channel 00/0 : 18[85000] -> 17[46000] via P2P/IPC/read -gpua022:877980:878052 [2] NCCL INFO Channel 01/0 : 18[85000] -> 17[46000] via P2P/IPC/read -gpua022:877980:878052 [2] NCCL INFO Connected all trees -gpua022:877980:878052 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua022:877980:878052 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua022:877980:878052 [2] NCCL INFO comm 0x1174b8a0 rank 18 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -[gpua002:0/64] 2023-12-09 09:15:15,278 (distributed:1027) INFO: Reducer buckets have been rebuilt in this iteration. -[gpua002:0/64] 2023-12-09 09:16:53,730 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-09 09:17:22,632 (trainer:737) INFO: 21epoch:train:1-100batch: iter_time=1.258, forward_time=0.236, loss_ctc=62.748, loss_att=51.801, acc=0.691, loss=55.085, backward_time=0.315, grad_norm=60.029, clip=100.000, loss_scale=7.130e+31, optim_step_time=0.136, optim0_lr0=8.944e-05, train_time=5.921 -[gpua002:0/64] 2023-12-09 09:19:31,028 (trainer:737) INFO: 21epoch:train:101-200batch: iter_time=8.060e-05, forward_time=0.143, loss_ctc=72.820, loss_att=56.456, acc=0.676, loss=61.365, backward_time=0.277, grad_norm=73.643, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=8.943e-05, train_time=1.285 -[gpua002:0/64] 2023-12-09 09:22:29,339 (trainer:737) INFO: 21epoch:train:201-300batch: iter_time=8.756e-05, forward_time=0.144, loss_ctc=76.777, loss_att=60.988, acc=0.700, loss=65.725, backward_time=0.333, grad_norm=74.647, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=8.941e-05, train_time=1.783 -[gpua002:0/64] 2023-12-09 09:25:47,511 (trainer:737) INFO: 21epoch:train:301-400batch: iter_time=8.487e-05, forward_time=0.143, loss_ctc=70.047, loss_att=55.658, acc=0.701, loss=59.974, backward_time=0.365, grad_norm=71.084, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=8.940e-05, train_time=1.981 -[gpua002:0/64] 2023-12-09 09:29:22,924 (trainer:737) INFO: 21epoch:train:401-500batch: iter_time=8.460e-05, forward_time=0.143, loss_ctc=70.808, loss_att=57.698, acc=0.687, loss=61.631, backward_time=0.335, grad_norm=72.738, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.938e-05, train_time=2.154 -[gpua002:0/64] 2023-12-09 09:33:02,739 (trainer:737) INFO: 21epoch:train:501-600batch: iter_time=8.361e-05, forward_time=0.145, loss_ctc=70.756, loss_att=50.272, acc=0.731, loss=56.417, backward_time=0.410, grad_norm=52.749, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.937e-05, train_time=2.198 -[gpua002:0/64] 2023-12-09 09:36:48,611 (trainer:737) INFO: 21epoch:train:601-700batch: iter_time=8.489e-05, forward_time=0.209, loss_ctc=63.743, loss_att=49.106, acc=0.707, loss=53.497, backward_time=0.417, grad_norm=58.781, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.935e-05, train_time=2.258 -[gpua002:0/64] 2023-12-09 09:40:15,340 (trainer:737) INFO: 21epoch:train:701-800batch: iter_time=8.428e-05, forward_time=0.154, loss_ctc=61.309, loss_att=48.937, acc=0.708, loss=52.648, backward_time=0.382, grad_norm=46.975, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.934e-05, train_time=2.065 -[gpua002:0/64] 2023-12-09 09:43:13,338 (trainer:737) INFO: 21epoch:train:801-900batch: iter_time=8.275e-05, forward_time=0.144, loss_ctc=80.841, loss_att=71.907, acc=0.680, loss=74.587, backward_time=0.345, grad_norm=62.008, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.932e-05, train_time=1.781 -[gpua002:0/64] 2023-12-09 09:47:00,789 (trainer:737) INFO: 21epoch:train:901-1000batch: iter_time=8.301e-05, forward_time=0.143, loss_ctc=73.654, loss_att=49.586, acc=0.715, loss=56.806, backward_time=0.425, grad_norm=65.476, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.931e-05, train_time=2.274 -[gpua002:0/64] 2023-12-09 09:50:13,345 (trainer:737) INFO: 21epoch:train:1001-1100batch: iter_time=8.046e-05, forward_time=0.143, loss_ctc=65.984, loss_att=53.190, acc=0.711, loss=57.028, backward_time=0.375, grad_norm=51.369, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.929e-05, train_time=1.925 -[gpua002:0/64] 2023-12-09 09:53:06,120 (trainer:737) INFO: 21epoch:train:1101-1200batch: iter_time=7.595e-05, forward_time=0.145, loss_ctc=66.798, loss_att=50.398, acc=0.719, loss=55.318, backward_time=0.329, grad_norm=54.142, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=8.928e-05, train_time=1.728 -[gpua002:0/64] 2023-12-09 09:55:01,923 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua002:0/64] 2023-12-09 09:55:20,973 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 09:55:24,573 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 09:55:24,573 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua002:0/64] 2023-12-09 09:55:24,576 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-09 10:02:39,628 (trainer:737) INFO: 21epoch:train:1201-1300batch: iter_time=3.068, forward_time=0.209, loss_ctc=60.605, loss_att=50.342, acc=0.698, loss=53.421, backward_time=0.351, grad_norm=62.632, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=8.926e-05, train_time=5.735 -[gpua002:0/64] 2023-12-09 10:04:53,622 (trainer:737) INFO: 21epoch:train:1301-1400batch: iter_time=8.126e-05, forward_time=0.158, loss_ctc=63.761, loss_att=54.531, acc=0.695, loss=57.300, backward_time=0.285, grad_norm=57.924, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.925e-05, train_time=1.339 -[gpua002:0/64] 2023-12-09 10:07:26,126 (trainer:737) INFO: 21epoch:train:1401-1500batch: iter_time=7.995e-05, forward_time=0.147, loss_ctc=69.158, loss_att=52.800, acc=0.714, loss=57.708, backward_time=0.279, grad_norm=59.531, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=8.923e-05, train_time=1.525 -[gpua002:0/64] 2023-12-09 10:10:12,077 (trainer:737) INFO: 21epoch:train:1501-1600batch: iter_time=8.073e-05, forward_time=0.145, loss_ctc=68.533, loss_att=53.540, acc=0.718, loss=58.038, backward_time=0.346, grad_norm=68.440, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=8.922e-05, train_time=1.659 -[gpua002:0/64] 2023-12-09 10:12:59,345 (trainer:737) INFO: 21epoch:train:1601-1700batch: iter_time=8.178e-05, forward_time=0.145, loss_ctc=69.702, loss_att=58.922, acc=0.708, loss=62.156, backward_time=0.298, grad_norm=153.525, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=8.920e-05, train_time=1.672 -[gpua002:0/64] 2023-12-09 10:16:12,791 (trainer:737) INFO: 21epoch:train:1701-1800batch: iter_time=8.227e-05, forward_time=0.145, loss_ctc=71.843, loss_att=56.548, acc=0.703, loss=61.137, backward_time=0.376, grad_norm=62.814, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=8.919e-05, train_time=1.934 -[gpua002:0/64] 2023-12-09 10:18:57,824 (trainer:737) INFO: 21epoch:train:1801-1900batch: iter_time=8.353e-05, forward_time=0.231, loss_ctc=68.572, loss_att=52.439, acc=0.730, loss=57.279, backward_time=0.353, grad_norm=57.311, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.917e-05, train_time=1.650 -[gpua002:0/64] 2023-12-09 10:20:58,256 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-09 10:21:27,733 (trainer:737) INFO: 21epoch:train:1901-2000batch: iter_time=7.871e-05, forward_time=0.156, loss_ctc=61.298, loss_att=49.338, acc=0.722, loss=52.926, backward_time=0.303, grad_norm=53.780, clip=100.000, loss_scale=3.565e+31, optim_step_time=0.133, optim0_lr0=8.916e-05, train_time=1.499 -[gpua002:0/64] 2023-12-09 10:23:35,901 (trainer:737) INFO: 21epoch:train:2001-2100batch: iter_time=7.956e-05, forward_time=0.153, loss_ctc=72.905, loss_att=58.618, acc=0.707, loss=62.904, backward_time=0.284, grad_norm=58.395, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.915e-05, train_time=1.282 -[gpua002:0/64] 2023-12-09 10:26:06,811 (trainer:737) INFO: 21epoch:train:2101-2200batch: iter_time=8.319e-05, forward_time=0.146, loss_ctc=69.704, loss_att=63.444, acc=0.697, loss=65.322, backward_time=0.295, grad_norm=60.936, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=8.913e-05, train_time=1.509 -[gpua002:0/64] 2023-12-09 10:28:52,583 (trainer:737) INFO: 21epoch:train:2201-2300batch: iter_time=8.323e-05, forward_time=0.146, loss_ctc=71.495, loss_att=47.652, acc=0.725, loss=54.805, backward_time=0.336, grad_norm=96.796, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=8.912e-05, train_time=1.658 -[gpua002:0/64] 2023-12-09 10:30:56,885 (trainer:737) INFO: 21epoch:train:2301-2400batch: iter_time=8.241e-05, forward_time=0.146, loss_ctc=62.927, loss_att=50.671, acc=0.725, loss=54.348, backward_time=0.277, grad_norm=55.803, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=8.910e-05, train_time=1.243 -[gpua002:0/64] 2023-12-09 10:33:12,295 (trainer:737) INFO: 21epoch:train:2401-2500batch: iter_time=7.855e-05, forward_time=0.145, loss_ctc=64.486, loss_att=52.995, acc=0.722, loss=56.443, backward_time=0.284, grad_norm=65.340, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=8.909e-05, train_time=1.354 -[gpua002:0/64] 2023-12-09 10:33:32,324 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua002:0/64] 2023-12-09 10:33:51,617 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 10:33:55,359 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 10:33:55,359 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua002:0/64] 2023-12-09 10:33:55,362 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-09 10:44:19,792 (trainer:737) INFO: 21epoch:train:2501-2600batch: iter_time=3.169, forward_time=0.145, loss_ctc=61.949, loss_att=50.674, acc=0.700, loss=54.057, backward_time=0.314, grad_norm=67.845, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.907e-05, train_time=6.675 -[gpua002:0/64] 2023-12-09 10:47:30,399 (trainer:737) INFO: 21epoch:train:2601-2700batch: iter_time=8.310e-05, forward_time=0.145, loss_ctc=68.562, loss_att=55.016, acc=0.683, loss=59.080, backward_time=0.394, grad_norm=65.393, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.906e-05, train_time=1.906 -[gpua002:0/64] 2023-12-09 10:50:18,281 (trainer:737) INFO: 21epoch:train:2701-2800batch: iter_time=8.500e-05, forward_time=0.145, loss_ctc=70.873, loss_att=59.753, acc=0.706, loss=63.089, backward_time=0.365, grad_norm=66.651, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.904e-05, train_time=1.679 -[gpua002:0/64] 2023-12-09 10:53:32,143 (trainer:737) INFO: 21epoch:train:2801-2900batch: iter_time=8.396e-05, forward_time=0.170, loss_ctc=68.225, loss_att=54.288, acc=0.708, loss=58.469, backward_time=0.377, grad_norm=81.042, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.903e-05, train_time=1.938 -[gpua002:0/64] 2023-12-09 10:56:44,080 (trainer:737) INFO: 21epoch:train:2901-3000batch: iter_time=8.572e-05, forward_time=0.201, loss_ctc=66.904, loss_att=55.991, acc=0.694, loss=59.265, backward_time=0.388, grad_norm=82.868, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=8.901e-05, train_time=1.919 -[gpua002:0/64] 2023-12-09 10:59:25,303 (trainer:737) INFO: 21epoch:train:3001-3100batch: iter_time=8.603e-05, forward_time=0.153, loss_ctc=69.383, loss_att=48.751, acc=0.737, loss=54.940, backward_time=0.300, grad_norm=52.223, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=8.900e-05, train_time=1.612 -[gpua002:0/64] 2023-12-09 11:01:44,647 (trainer:737) INFO: 21epoch:train:3101-3200batch: iter_time=8.371e-05, forward_time=0.146, loss_ctc=63.627, loss_att=48.476, acc=0.711, loss=53.022, backward_time=0.300, grad_norm=66.644, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.898e-05, train_time=1.393 -[gpua002:0/64] 2023-12-09 11:04:11,161 (trainer:737) INFO: 21epoch:train:3201-3300batch: iter_time=8.488e-05, forward_time=0.146, loss_ctc=60.924, loss_att=48.305, acc=0.714, loss=52.091, backward_time=0.294, grad_norm=53.510, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.897e-05, train_time=1.463 -[gpua002:0/64] 2023-12-09 11:06:19,438 (trainer:737) INFO: 21epoch:train:3301-3400batch: iter_time=8.587e-05, forward_time=0.147, loss_ctc=78.411, loss_att=71.630, acc=0.684, loss=73.664, backward_time=0.280, grad_norm=67.436, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.895e-05, train_time=1.284 -[gpua002:0/64] 2023-12-09 11:08:59,322 (trainer:737) INFO: 21epoch:train:3401-3500batch: iter_time=8.209e-05, forward_time=0.147, loss_ctc=69.554, loss_att=49.135, acc=0.719, loss=55.261, backward_time=0.292, grad_norm=60.246, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.894e-05, train_time=1.599 -[gpua002:0/64] 2023-12-09 11:11:50,942 (trainer:737) INFO: 21epoch:train:3501-3600batch: iter_time=8.506e-05, forward_time=0.145, loss_ctc=64.688, loss_att=51.928, acc=0.717, loss=55.756, backward_time=0.326, grad_norm=69.885, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.892e-05, train_time=1.716 -[gpua002:0/64] 2023-12-09 11:14:26,987 (trainer:737) INFO: 21epoch:train:3601-3700batch: iter_time=8.487e-05, forward_time=0.146, loss_ctc=64.929, loss_att=49.332, acc=0.724, loss=54.011, backward_time=0.331, grad_norm=57.607, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.891e-05, train_time=1.560 -[gpua002:0/64] 2023-12-09 11:16:12,422 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua002:0/64] 2023-12-09 11:16:31,985 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 11:16:35,605 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 11:16:35,605 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua002:0/64] 2023-12-09 11:16:35,608 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-09 11:25:29,390 (trainer:737) INFO: 21epoch:train:3701-3800batch: iter_time=3.464, forward_time=0.210, loss_ctc=60.082, loss_att=49.547, acc=0.703, loss=52.708, backward_time=0.353, grad_norm=53.311, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.890e-05, train_time=6.624 -[gpua002:0/64] 2023-12-09 11:28:33,755 (trainer:737) INFO: 21epoch:train:3801-3900batch: iter_time=7.990e-05, forward_time=0.145, loss_ctc=63.478, loss_att=53.336, acc=0.690, loss=56.379, backward_time=0.301, grad_norm=60.773, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=8.888e-05, train_time=1.843 -[gpua002:0/64] 2023-12-09 11:31:09,262 (trainer:737) INFO: 21epoch:train:3901-4000batch: iter_time=8.219e-05, forward_time=0.145, loss_ctc=67.612, loss_att=50.580, acc=0.708, loss=55.690, backward_time=0.348, grad_norm=71.724, clip=100.000, loss_scale=2.515e+31, optim_step_time=0.132, optim0_lr0=8.887e-05, train_time=1.555 -[gpua002:0/64] 2023-12-09 11:34:23,978 (trainer:737) INFO: 21epoch:train:4001-4100batch: iter_time=8.389e-05, forward_time=0.157, loss_ctc=68.380, loss_att=53.382, acc=0.713, loss=57.882, backward_time=0.439, grad_norm=70.424, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.885e-05, train_time=1.947 -[gpua002:0/64] 2023-12-09 11:37:25,650 (trainer:737) INFO: 21epoch:train:4101-4200batch: iter_time=8.393e-05, forward_time=0.147, loss_ctc=68.515, loss_att=58.373, acc=0.704, loss=61.415, backward_time=0.335, grad_norm=98.087, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=8.884e-05, train_time=1.817 -[gpua002:0/64] 2023-12-09 11:40:26,967 (trainer:737) INFO: 21epoch:train:4201-4300batch: iter_time=8.137e-05, forward_time=0.147, loss_ctc=70.541, loss_att=54.439, acc=0.704, loss=59.270, backward_time=0.330, grad_norm=58.250, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=8.882e-05, train_time=1.812 -[gpua002:0/64] 2023-12-09 11:43:31,757 (trainer:737) INFO: 21epoch:train:4301-4400batch: iter_time=8.111e-05, forward_time=0.145, loss_ctc=67.737, loss_att=50.381, acc=0.724, loss=55.588, backward_time=0.371, grad_norm=67.795, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=8.881e-05, train_time=1.849 -[gpua002:0/64] 2023-12-09 11:46:11,092 (trainer:737) INFO: 21epoch:train:4401-4500batch: iter_time=7.788e-05, forward_time=0.145, loss_ctc=60.514, loss_att=47.026, acc=0.720, loss=51.072, backward_time=0.317, grad_norm=57.351, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=8.879e-05, train_time=1.593 -[gpua002:0/64] 2023-12-09 11:48:51,334 (trainer:737) INFO: 21epoch:train:4501-4600batch: iter_time=8.291e-05, forward_time=0.145, loss_ctc=72.431, loss_att=58.077, acc=0.699, loss=62.383, backward_time=0.309, grad_norm=57.444, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=8.878e-05, train_time=1.602 -[gpua002:0/64] 2023-12-09 11:51:50,955 (trainer:737) INFO: 21epoch:train:4601-4700batch: iter_time=8.148e-05, forward_time=0.220, loss_ctc=68.542, loss_att=62.336, acc=0.699, loss=64.197, backward_time=0.348, grad_norm=61.604, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=8.876e-05, train_time=1.796 -[gpua002:0/64] 2023-12-09 11:55:24,376 (trainer:737) INFO: 21epoch:train:4701-4800batch: iter_time=8.418e-05, forward_time=0.158, loss_ctc=70.458, loss_att=47.585, acc=0.718, loss=54.447, backward_time=0.363, grad_norm=58.520, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=8.875e-05, train_time=2.134 -[gpua002:0/64] 2023-12-09 11:58:43,281 (trainer:737) INFO: 21epoch:train:4801-4900batch: iter_time=8.048e-05, forward_time=0.163, loss_ctc=63.054, loss_att=50.396, acc=0.722, loss=54.193, backward_time=0.404, grad_norm=54.825, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.873e-05, train_time=1.989 -[gpua002:0/64] 2023-12-09 12:01:33,371 (trainer:737) INFO: 21epoch:train:4901-5000batch: iter_time=7.773e-05, forward_time=0.145, loss_ctc=63.253, loss_att=51.229, acc=0.716, loss=54.836, backward_time=0.352, grad_norm=52.364, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=8.872e-05, train_time=1.701 -[gpua002:0/64] 2023-12-09 12:01:53,399 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua002:0/64] 2023-12-09 12:02:12,571 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 12:02:16,225 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 12:02:16,225 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua002:0/64] 2023-12-09 12:02:16,228 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-09 12:13:37,873 (trainer:737) INFO: 21epoch:train:5001-5100batch: iter_time=3.040, forward_time=0.161, loss_ctc=61.960, loss_att=51.030, acc=0.707, loss=54.309, backward_time=0.307, grad_norm=56.047, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.871e-05, train_time=7.245 -[gpua002:0/64] 2023-12-09 12:15:49,381 (trainer:737) INFO: 21epoch:train:5101-5200batch: iter_time=8.258e-05, forward_time=0.147, loss_ctc=68.126, loss_att=53.753, acc=0.704, loss=58.065, backward_time=0.282, grad_norm=66.685, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.869e-05, train_time=1.315 -[gpua002:0/64] 2023-12-09 12:18:42,164 (trainer:737) INFO: 21epoch:train:5201-5300batch: iter_time=8.752e-05, forward_time=0.146, loss_ctc=70.932, loss_att=61.319, acc=0.711, loss=64.203, backward_time=0.348, grad_norm=68.648, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.868e-05, train_time=1.728 -[gpua002:0/64] 2023-12-09 12:21:21,383 (trainer:737) INFO: 21epoch:train:5301-5400batch: iter_time=8.581e-05, forward_time=0.147, loss_ctc=66.879, loss_att=54.250, acc=0.711, loss=58.039, backward_time=0.328, grad_norm=79.704, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=8.866e-05, train_time=1.592 -[gpua002:0/64] 2023-12-09 12:24:16,454 (trainer:737) INFO: 21epoch:train:5401-5500batch: iter_time=8.913e-05, forward_time=0.216, loss_ctc=67.010, loss_att=56.649, acc=0.701, loss=59.757, backward_time=0.398, grad_norm=76.576, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.865e-05, train_time=1.750 -[gpua002:0/64] 2023-12-09 12:27:21,579 (trainer:737) INFO: 21epoch:train:5501-5600batch: iter_time=8.931e-05, forward_time=0.154, loss_ctc=69.803, loss_att=50.924, acc=0.738, loss=56.588, backward_time=0.385, grad_norm=54.811, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.863e-05, train_time=1.851 -[gpua002:0/64] 2023-12-09 12:30:24,341 (trainer:737) INFO: 21epoch:train:5601-5700batch: iter_time=8.503e-05, forward_time=0.145, loss_ctc=62.768, loss_att=48.642, acc=0.725, loss=52.880, backward_time=0.315, grad_norm=73.786, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.862e-05, train_time=1.827 -[gpua002:0/64] 2023-12-09 12:33:05,156 (trainer:737) INFO: 21epoch:train:5701-5800batch: iter_time=8.430e-05, forward_time=0.153, loss_ctc=60.207, loss_att=48.799, acc=0.725, loss=52.221, backward_time=0.337, grad_norm=47.453, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.860e-05, train_time=1.608 -[gpua002:0/64] 2023-12-09 12:36:04,831 (trainer:737) INFO: 21epoch:train:5801-5900batch: iter_time=8.567e-05, forward_time=0.146, loss_ctc=76.550, loss_att=70.915, acc=0.686, loss=72.606, backward_time=0.384, grad_norm=79.007, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.859e-05, train_time=1.796 -[gpua002:0/64] 2023-12-09 12:38:26,237 (trainer:737) INFO: 21epoch:train:5901-6000batch: iter_time=8.498e-05, forward_time=0.147, loss_ctc=68.759, loss_att=49.223, acc=0.727, loss=55.084, backward_time=0.296, grad_norm=60.240, clip=100.000, loss_scale=5.030e+31, optim_step_time=0.133, optim0_lr0=8.858e-05, train_time=1.413 -[gpua002:0/64] 2023-12-09 12:41:25,246 (trainer:737) INFO: 21epoch:train:6001-6100batch: iter_time=8.467e-05, forward_time=0.145, loss_ctc=65.230, loss_att=51.757, acc=0.726, loss=55.799, backward_time=0.359, grad_norm=52.933, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.856e-05, train_time=1.790 -[gpua002:0/64] 2023-12-09 12:44:17,142 (trainer:737) INFO: 21epoch:train:6101-6200batch: iter_time=8.891e-05, forward_time=0.146, loss_ctc=65.619, loss_att=50.496, acc=0.732, loss=55.033, backward_time=0.345, grad_norm=63.653, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.855e-05, train_time=1.719 -[gpua002:0/64] 2023-12-09 12:46:07,298 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua002:0/64] 2023-12-09 12:46:26,607 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 12:46:30,135 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 12:46:30,135 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua002:0/64] 2023-12-09 12:46:30,138 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-09 12:56:40,267 (trainer:737) INFO: 21epoch:train:6201-6300batch: iter_time=2.887, forward_time=0.208, loss_ctc=59.396, loss_att=49.655, acc=0.710, loss=52.577, backward_time=0.336, grad_norm=52.634, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.853e-05, train_time=7.431 -[gpua002:0/64] 2023-12-09 12:59:20,707 (trainer:737) INFO: 21epoch:train:6301-6400batch: iter_time=8.360e-05, forward_time=0.151, loss_ctc=62.688, loss_att=53.239, acc=0.704, loss=56.074, backward_time=0.316, grad_norm=61.785, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.852e-05, train_time=1.604 -[gpua002:0/64] 2023-12-09 13:01:24,306 (trainer:737) INFO: 21epoch:train:6401-6500batch: iter_time=8.380e-05, forward_time=0.147, loss_ctc=67.097, loss_att=52.264, acc=0.720, loss=56.714, backward_time=0.278, grad_norm=69.610, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=8.850e-05, train_time=1.236 -[gpua002:0/64] 2023-12-09 13:03:44,967 (trainer:737) INFO: 21epoch:train:6501-6600batch: iter_time=8.566e-05, forward_time=0.158, loss_ctc=68.620, loss_att=53.834, acc=0.720, loss=58.270, backward_time=0.290, grad_norm=67.992, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=8.849e-05, train_time=1.406 -[gpua002:0/64] 2023-12-09 13:07:13,495 (trainer:737) INFO: 21epoch:train:6601-6700batch: iter_time=8.584e-05, forward_time=0.145, loss_ctc=67.392, loss_att=58.028, acc=0.709, loss=60.837, backward_time=0.317, grad_norm=80.984, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=8.847e-05, train_time=2.085 -[gpua002:0/64] 2023-12-09 13:09:54,460 (trainer:737) INFO: 21epoch:train:6701-6800batch: iter_time=8.465e-05, forward_time=0.153, loss_ctc=70.107, loss_att=54.758, acc=0.712, loss=59.363, backward_time=0.302, grad_norm=67.774, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.846e-05, train_time=1.609 -[gpua002:0/64] 2023-12-09 13:12:16,690 (trainer:737) INFO: 21epoch:train:6801-6900batch: iter_time=8.790e-05, forward_time=0.146, loss_ctc=67.396, loss_att=51.858, acc=0.733, loss=56.519, backward_time=0.291, grad_norm=66.355, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=8.845e-05, train_time=1.422 -[gpua002:0/64] 2023-12-09 13:14:43,327 (trainer:737) INFO: 21epoch:train:6901-7000batch: iter_time=8.423e-05, forward_time=0.146, loss_ctc=60.412, loss_att=48.178, acc=0.728, loss=51.848, backward_time=0.317, grad_norm=54.753, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.843e-05, train_time=1.466 -[gpua002:0/64] 2023-12-09 13:17:19,083 (trainer:737) INFO: 21epoch:train:7001-7100batch: iter_time=8.653e-05, forward_time=0.146, loss_ctc=71.587, loss_att=57.072, acc=0.715, loss=61.426, backward_time=0.351, grad_norm=54.647, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.842e-05, train_time=1.558 -[gpua002:0/64] 2023-12-09 13:20:28,195 (trainer:737) INFO: 21epoch:train:7101-7200batch: iter_time=8.510e-05, forward_time=0.145, loss_ctc=68.457, loss_att=63.042, acc=0.702, loss=64.667, backward_time=0.403, grad_norm=67.576, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.840e-05, train_time=1.891 -[gpua002:0/64] 2023-12-09 13:21:19,001 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-09 13:23:21,917 (trainer:737) INFO: 21epoch:train:7201-7300batch: iter_time=9.383e-05, forward_time=0.189, loss_ctc=70.051, loss_att=47.216, acc=0.728, loss=54.066, backward_time=0.333, grad_norm=55.824, clip=100.000, loss_scale=5.327e+31, optim_step_time=0.135, optim0_lr0=8.839e-05, train_time=1.737 -[gpua002:0/64] 2023-12-09 13:26:09,022 (trainer:737) INFO: 21epoch:train:7301-7400batch: iter_time=1.042e-04, forward_time=0.182, loss_ctc=62.505, loss_att=49.956, acc=0.727, loss=53.720, backward_time=0.306, grad_norm=52.367, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=8.837e-05, train_time=1.671 -[gpua002:0/64] 2023-12-09 13:28:55,289 (trainer:737) INFO: 21epoch:train:7401-7500batch: iter_time=8.979e-05, forward_time=0.159, loss_ctc=62.845, loss_att=52.317, acc=0.728, loss=55.475, backward_time=0.298, grad_norm=56.786, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=8.836e-05, train_time=1.662 -[gpua002:0/64] 2023-12-09 13:29:15,318 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua002:0/64] 2023-12-09 13:29:34,899 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 13:29:38,483 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 13:29:38,483 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua002:0/64] 2023-12-09 13:29:38,487 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-09 13:41:32,819 (trainer:737) INFO: 21epoch:train:7501-7600batch: iter_time=6.107, forward_time=0.251, loss_ctc=60.859, loss_att=49.791, acc=0.711, loss=53.111, backward_time=0.359, grad_norm=53.378, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.142, optim0_lr0=8.834e-05, train_time=7.575 -[gpua002:0/64] 2023-12-09 13:45:00,427 (trainer:737) INFO: 21epoch:train:7601-7700batch: iter_time=8.266e-05, forward_time=0.171, loss_ctc=66.961, loss_att=52.439, acc=0.709, loss=56.796, backward_time=0.342, grad_norm=56.221, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=8.833e-05, train_time=2.076 -[gpua002:0/64] 2023-12-09 13:48:07,394 (trainer:737) INFO: 21epoch:train:7701-7800batch: iter_time=8.637e-05, forward_time=0.210, loss_ctc=69.488, loss_att=59.847, acc=0.716, loss=62.740, backward_time=0.375, grad_norm=70.362, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=8.832e-05, train_time=1.869 -[gpua002:0/64] 2023-12-09 13:51:09,041 (trainer:737) INFO: 21epoch:train:7801-7900batch: iter_time=1.011e-04, forward_time=0.164, loss_ctc=66.668, loss_att=53.557, acc=0.715, loss=57.490, backward_time=0.399, grad_norm=66.603, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.830e-05, train_time=1.817 -[gpua002:0/64] 2023-12-09 13:54:56,925 (trainer:737) INFO: 21epoch:train:7901-8000batch: iter_time=8.571e-05, forward_time=0.266, loss_ctc=66.472, loss_att=55.499, acc=0.705, loss=58.791, backward_time=0.461, grad_norm=70.378, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.829e-05, train_time=2.278 -[gpua002:0/64] 2023-12-09 13:57:49,345 (trainer:737) INFO: 21epoch:train:8001-8100batch: iter_time=8.098e-05, forward_time=0.249, loss_ctc=69.474, loss_att=50.524, acc=0.741, loss=56.209, backward_time=0.338, grad_norm=56.471, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=8.827e-05, train_time=1.724 -[gpua002:0/64] 2023-12-09 14:01:24,133 (trainer:737) INFO: 21epoch:train:8101-8200batch: iter_time=5.056e-04, forward_time=0.311, loss_ctc=62.564, loss_att=47.821, acc=0.729, loss=52.244, backward_time=0.422, grad_norm=59.762, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=8.826e-05, train_time=2.148 -[gpua002:0/64] 2023-12-09 14:04:13,071 (trainer:737) INFO: 21epoch:train:8201-8300batch: iter_time=8.513e-05, forward_time=0.220, loss_ctc=60.050, loss_att=48.447, acc=0.726, loss=51.928, backward_time=0.378, grad_norm=47.763, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=8.824e-05, train_time=1.689 -[gpua002:0/64] 2023-12-09 14:07:20,718 (trainer:737) INFO: 21epoch:train:8301-8400batch: iter_time=4.668e-04, forward_time=0.263, loss_ctc=77.010, loss_att=70.575, acc=0.687, loss=72.506, backward_time=0.374, grad_norm=69.316, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.142, optim0_lr0=8.823e-05, train_time=1.876 -[gpua002:0/64] 2023-12-09 14:10:19,957 (trainer:737) INFO: 21epoch:train:8401-8500batch: iter_time=1.703e-04, forward_time=0.162, loss_ctc=69.195, loss_att=49.009, acc=0.726, loss=55.065, backward_time=0.322, grad_norm=69.515, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=8.822e-05, train_time=1.792 -[gpua002:0/64] 2023-12-09 14:13:05,788 (trainer:737) INFO: 21epoch:train:8501-8600batch: iter_time=2.489e-04, forward_time=0.265, loss_ctc=64.085, loss_att=51.473, acc=0.727, loss=55.257, backward_time=0.324, grad_norm=52.437, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.820e-05, train_time=1.656 -[gpua002:0/64] 2023-12-09 14:16:26,265 (trainer:737) INFO: 21epoch:train:8601-8700batch: iter_time=1.746e-04, forward_time=0.219, loss_ctc=64.607, loss_att=50.382, acc=0.731, loss=54.650, backward_time=0.372, grad_norm=53.935, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.819e-05, train_time=2.006 -[gpua002:0/64] 2023-12-09 14:18:18,340 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua002:0/64] 2023-12-09 14:18:37,969 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 14:18:41,831 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 14:18:41,831 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua002:0/64] 2023-12-09 14:18:41,835 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-09 14:30:38,682 (trainer:737) INFO: 21epoch:train:8701-8800batch: iter_time=4.898, forward_time=0.221, loss_ctc=59.129, loss_att=49.889, acc=0.712, loss=52.661, backward_time=0.325, grad_norm=49.798, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.817e-05, train_time=8.524 -[gpua002:0/64] 2023-12-09 14:32:57,524 (trainer:737) INFO: 21epoch:train:8801-8900batch: iter_time=8.413e-05, forward_time=0.145, loss_ctc=62.536, loss_att=54.987, acc=0.689, loss=57.252, backward_time=0.279, grad_norm=55.706, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.816e-05, train_time=1.388 -[gpua002:0/64] 2023-12-09 14:35:45,383 (trainer:737) INFO: 21epoch:train:8901-9000batch: iter_time=2.803e-04, forward_time=0.176, loss_ctc=66.244, loss_att=51.002, acc=0.710, loss=55.575, backward_time=0.307, grad_norm=60.706, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.151, optim0_lr0=8.814e-05, train_time=1.678 -[gpua002:0/64] 2023-12-09 14:38:55,837 (trainer:737) INFO: 21epoch:train:9001-9100batch: iter_time=8.392e-05, forward_time=0.205, loss_ctc=67.512, loss_att=53.346, acc=0.719, loss=57.596, backward_time=0.356, grad_norm=71.260, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.813e-05, train_time=1.904 -[gpua002:0/64] 2023-12-09 14:41:34,952 (trainer:737) INFO: 21epoch:train:9101-9200batch: iter_time=8.592e-05, forward_time=0.145, loss_ctc=70.249, loss_att=57.988, acc=0.709, loss=61.667, backward_time=0.318, grad_norm=94.514, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.812e-05, train_time=1.591 -[gpua002:0/64] 2023-12-09 14:44:20,182 (trainer:737) INFO: 21epoch:train:9201-9300batch: iter_time=8.263e-05, forward_time=0.145, loss_ctc=69.882, loss_att=54.771, acc=0.705, loss=59.304, backward_time=0.313, grad_norm=68.008, clip=100.000, loss_scale=6.815e+31, optim_step_time=0.133, optim0_lr0=8.810e-05, train_time=1.652 -[gpua002:0/64] 2023-12-09 14:47:16,807 (trainer:737) INFO: 21epoch:train:9301-9400batch: iter_time=7.957e-05, forward_time=0.240, loss_ctc=66.328, loss_att=49.857, acc=0.729, loss=54.799, backward_time=0.383, grad_norm=56.526, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=8.809e-05, train_time=1.766 -[gpua002:0/64] 2023-12-09 14:49:51,077 (trainer:737) INFO: 21epoch:train:9401-9500batch: iter_time=8.266e-05, forward_time=0.147, loss_ctc=60.480, loss_att=46.694, acc=0.725, loss=50.830, backward_time=0.294, grad_norm=52.915, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.807e-05, train_time=1.542 -[gpua002:0/64] 2023-12-09 14:52:25,096 (trainer:737) INFO: 21epoch:train:9501-9600batch: iter_time=8.318e-05, forward_time=0.146, loss_ctc=71.227, loss_att=57.698, acc=0.701, loss=61.756, backward_time=0.298, grad_norm=57.286, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.806e-05, train_time=1.540 -[gpua002:0/64] 2023-12-09 14:55:08,115 (trainer:737) INFO: 21epoch:train:9601-9700batch: iter_time=8.856e-05, forward_time=0.241, loss_ctc=68.185, loss_att=62.440, acc=0.703, loss=64.163, backward_time=0.366, grad_norm=60.066, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=8.804e-05, train_time=1.630 -[gpua002:0/64] 2023-12-09 14:57:52,847 (trainer:737) INFO: 21epoch:train:9701-9800batch: iter_time=8.642e-05, forward_time=0.147, loss_ctc=70.627, loss_att=47.553, acc=0.718, loss=54.475, backward_time=0.331, grad_norm=53.407, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.803e-05, train_time=1.647 -[gpua002:0/64] 2023-12-09 15:00:29,551 (trainer:737) INFO: 21epoch:train:9801-9900batch: iter_time=8.242e-05, forward_time=0.147, loss_ctc=62.118, loss_att=49.839, acc=0.724, loss=53.523, backward_time=0.327, grad_norm=57.395, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.802e-05, train_time=1.567 -[gpua002:0/64] 2023-12-09 15:03:09,566 (trainer:737) INFO: 21epoch:train:9901-10000batch: iter_time=7.810e-05, forward_time=0.146, loss_ctc=62.360, loss_att=50.959, acc=0.718, loss=54.380, backward_time=0.291, grad_norm=55.236, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.800e-05, train_time=1.600 -[gpua002:0/64] 2023-12-09 15:03:29,595 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua002:0/64] 2023-12-09 15:03:48,831 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 15:03:52,577 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 15:03:52,577 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua002:0/64] 2023-12-09 15:03:52,942 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-09 15:10:38,022 (trainer:737) INFO: 21epoch:train:10001-10100batch: iter_time=3.041, forward_time=0.190, loss_ctc=60.642, loss_att=49.207, acc=0.715, loss=52.637, backward_time=0.292, grad_norm=51.079, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=8.799e-05, train_time=4.484 -[gpua002:0/64] 2023-12-09 15:12:42,162 (trainer:737) INFO: 21epoch:train:10101-10200batch: iter_time=8.051e-05, forward_time=0.147, loss_ctc=67.024, loss_att=53.760, acc=0.708, loss=57.739, backward_time=0.276, grad_norm=63.031, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.797e-05, train_time=1.241 -[gpua002:0/64] 2023-12-09 15:14:43,184 (trainer:737) INFO: 21epoch:train:10201-10300batch: iter_time=8.277e-05, forward_time=0.147, loss_ctc=70.794, loss_att=61.726, acc=0.715, loss=64.446, backward_time=0.279, grad_norm=66.734, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.796e-05, train_time=1.210 -[gpua002:0/64] 2023-12-09 15:17:10,228 (trainer:737) INFO: 21epoch:train:10301-10400batch: iter_time=8.148e-05, forward_time=0.150, loss_ctc=66.902, loss_att=54.018, acc=0.716, loss=57.884, backward_time=0.315, grad_norm=68.872, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.795e-05, train_time=1.470 -[gpua002:0/64] 2023-12-09 15:19:57,174 (trainer:737) INFO: 21epoch:train:10401-10500batch: iter_time=8.000e-05, forward_time=0.147, loss_ctc=65.584, loss_att=55.228, acc=0.708, loss=58.334, backward_time=0.311, grad_norm=64.503, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.793e-05, train_time=1.669 -[gpua002:0/64] 2023-12-09 15:22:53,992 (trainer:737) INFO: 21epoch:train:10501-10600batch: iter_time=8.155e-05, forward_time=0.147, loss_ctc=69.138, loss_att=50.323, acc=0.741, loss=55.968, backward_time=0.334, grad_norm=66.014, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.792e-05, train_time=1.768 -[gpua002:0/64] 2023-12-09 15:25:53,174 (trainer:737) INFO: 21epoch:train:10601-10700batch: iter_time=8.206e-05, forward_time=0.237, loss_ctc=62.515, loss_att=48.003, acc=0.730, loss=52.356, backward_time=0.351, grad_norm=59.154, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=8.790e-05, train_time=1.792 -[gpua002:0/64] 2023-12-09 15:28:44,378 (trainer:737) INFO: 21epoch:train:10701-10800batch: iter_time=8.454e-05, forward_time=0.161, loss_ctc=60.277, loss_att=48.427, acc=0.728, loss=51.982, backward_time=0.324, grad_norm=45.488, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=8.789e-05, train_time=1.712 -[gpua002:0/64] 2023-12-09 15:31:25,445 (trainer:737) INFO: 21epoch:train:10801-10900batch: iter_time=8.201e-05, forward_time=0.146, loss_ctc=75.846, loss_att=69.945, acc=0.691, loss=71.715, backward_time=0.381, grad_norm=61.507, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=8.787e-05, train_time=1.610 -[gpua002:0/64] 2023-12-09 15:33:25,409 (trainer:737) INFO: 21epoch:train:10901-11000batch: iter_time=8.143e-05, forward_time=0.145, loss_ctc=68.479, loss_att=48.031, acc=0.732, loss=54.166, backward_time=0.276, grad_norm=59.224, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=8.786e-05, train_time=1.199 -[gpua002:0/64] 2023-12-09 15:35:47,007 (trainer:737) INFO: 21epoch:train:11001-11100batch: iter_time=8.166e-05, forward_time=0.148, loss_ctc=64.169, loss_att=51.228, acc=0.728, loss=55.111, backward_time=0.342, grad_norm=54.878, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=8.785e-05, train_time=1.416 -[gpua002:0/64] 2023-12-09 15:38:04,915 (trainer:737) INFO: 21epoch:train:11101-11200batch: iter_time=8.065e-05, forward_time=0.146, loss_ctc=63.922, loss_att=49.411, acc=0.736, loss=53.764, backward_time=0.277, grad_norm=53.187, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=8.783e-05, train_time=1.379 -[gpua002:0/64] 2023-12-09 15:39:46,376 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua002:0/64] 2023-12-09 15:40:06,166 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 15:40:09,814 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 15:40:09,814 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua002:0/64] 2023-12-09 15:40:09,818 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-09 15:49:20,086 (trainer:737) INFO: 21epoch:train:11201-11300batch: iter_time=3.168, forward_time=0.265, loss_ctc=59.016, loss_att=49.349, acc=0.713, loss=52.249, backward_time=0.307, grad_norm=52.960, clip=100.000, loss_scale=1.363e+32, optim_step_time=0.141, optim0_lr0=8.782e-05, train_time=6.751 -[gpua002:0/64] 2023-12-09 15:51:25,187 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-09 15:52:34,806 (trainer:737) INFO: 21epoch:train:11301-11400batch: iter_time=8.264e-05, forward_time=0.373, loss_ctc=62.931, loss_att=54.842, acc=0.688, loss=57.269, backward_time=0.455, grad_norm=59.927, clip=100.000, loss_scale=1.369e+32, optim_step_time=0.148, optim0_lr0=8.780e-05, train_time=1.947 -[gpua002:0/64] 2023-12-09 15:55:51,060 (trainer:737) INFO: 21epoch:train:11401-11500batch: iter_time=9.657e-04, forward_time=0.645, loss_ctc=67.628, loss_att=50.253, acc=0.716, loss=55.465, backward_time=0.438, grad_norm=69.576, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.154, optim0_lr0=8.779e-05, train_time=1.961 -[gpua002:0/64] 2023-12-09 16:00:04,399 (trainer:737) INFO: 21epoch:train:11501-11600batch: iter_time=0.002, forward_time=0.765, loss_ctc=67.231, loss_att=52.357, acc=0.723, loss=56.820, backward_time=0.534, grad_norm=67.244, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.162, optim0_lr0=8.778e-05, train_time=2.535 -[gpua002:0/64] 2023-12-09 16:04:49,520 (trainer:737) INFO: 21epoch:train:11601-11700batch: iter_time=0.004, forward_time=1.088, loss_ctc=66.768, loss_att=58.009, acc=0.707, loss=60.637, backward_time=0.671, grad_norm=98.041, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.181, optim0_lr0=8.776e-05, train_time=2.851 -[gpua002:0/64] 2023-12-09 16:05:24,291 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-09 16:10:06,138 (trainer:737) INFO: 21epoch:train:11701-11800batch: iter_time=0.003, forward_time=1.245, loss_ctc=69.929, loss_att=53.968, acc=0.708, loss=58.756, backward_time=0.762, grad_norm=59.560, clip=100.000, loss_scale=4.507e+31, optim_step_time=0.181, optim0_lr0=8.775e-05, train_time=3.166 -[gpua002:0/64] 2023-12-09 16:14:41,966 (trainer:737) INFO: 21epoch:train:11801-11900batch: iter_time=0.002, forward_time=0.892, loss_ctc=67.412, loss_att=50.020, acc=0.729, loss=55.238, backward_time=0.690, grad_norm=57.168, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.185, optim0_lr0=8.773e-05, train_time=2.758 -[gpua002:0/64] 2023-12-09 16:20:13,771 (trainer:737) INFO: 21epoch:train:11901-12000batch: iter_time=0.003, forward_time=1.300, loss_ctc=59.763, loss_att=46.555, acc=0.725, loss=50.518, backward_time=0.696, grad_norm=67.345, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.186, optim0_lr0=8.772e-05, train_time=3.318 -[gpua002:0/64] 2023-12-09 16:26:12,350 (trainer:737) INFO: 21epoch:train:12001-12100batch: iter_time=0.004, forward_time=1.706, loss_ctc=70.810, loss_att=57.410, acc=0.701, loss=61.430, backward_time=0.810, grad_norm=57.789, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.191, optim0_lr0=8.771e-05, train_time=3.585 -[gpua002:0/64] 2023-12-09 16:32:14,411 (trainer:737) INFO: 21epoch:train:12101-12200batch: iter_time=0.003, forward_time=1.438, loss_ctc=68.236, loss_att=61.878, acc=0.704, loss=63.786, backward_time=0.883, grad_norm=61.755, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.188, optim0_lr0=8.769e-05, train_time=3.620 -[gpua002:0/64] 2023-12-09 16:39:08,050 (trainer:737) INFO: 21epoch:train:12201-12300batch: iter_time=0.003, forward_time=1.834, loss_ctc=68.874, loss_att=46.362, acc=0.722, loss=53.116, backward_time=0.998, grad_norm=52.926, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.200, optim0_lr0=8.768e-05, train_time=4.137 -[gpua002:0/64] 2023-12-09 16:47:38,659 (trainer:737) INFO: 21epoch:train:12301-12400batch: iter_time=0.005, forward_time=2.536, loss_ctc=62.045, loss_att=50.072, acc=0.723, loss=53.664, backward_time=1.121, grad_norm=59.311, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.229, optim0_lr0=8.766e-05, train_time=5.106 -[gpua002:0/64] 2023-12-09 16:54:27,772 (trainer:737) INFO: 21epoch:train:12401-12500batch: iter_time=0.002, forward_time=1.753, loss_ctc=62.629, loss_att=50.565, acc=0.719, loss=54.184, backward_time=1.086, grad_norm=57.948, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.230, optim0_lr0=8.765e-05, train_time=4.090 -[gpua002:0/64] 2023-12-09 16:54:48,017 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua002:0/64] 2023-12-09 16:55:08,522 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 16:55:12,785 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 16:55:12,849 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua002:0/64] 2023-12-09 16:55:13,600 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-09 17:08:41,901 (trainer:737) INFO: 21epoch:train:12501-12600batch: iter_time=7.211, forward_time=0.228, loss_ctc=60.659, loss_att=49.243, acc=0.713, loss=52.668, backward_time=0.294, grad_norm=62.196, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.764e-05, train_time=8.542 -[gpua002:0/64] 2023-12-09 17:11:03,158 (trainer:737) INFO: 21epoch:train:12601-12700batch: iter_time=8.824e-05, forward_time=0.233, loss_ctc=67.119, loss_att=53.371, acc=0.707, loss=57.496, backward_time=0.316, grad_norm=69.743, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.762e-05, train_time=1.412 -[gpua002:0/64] 2023-12-09 17:13:53,733 (trainer:737) INFO: 21epoch:train:12701-12800batch: iter_time=8.399e-05, forward_time=0.212, loss_ctc=68.461, loss_att=60.102, acc=0.716, loss=62.610, backward_time=0.301, grad_norm=69.255, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.761e-05, train_time=1.705 -[gpua002:0/64] 2023-12-09 17:16:57,123 (trainer:737) INFO: 21epoch:train:12801-12900batch: iter_time=8.872e-05, forward_time=0.226, loss_ctc=66.341, loss_att=53.584, acc=0.717, loss=57.411, backward_time=0.380, grad_norm=73.951, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.759e-05, train_time=1.834 -[gpua002:0/64] 2023-12-09 17:19:26,130 (trainer:737) INFO: 21epoch:train:12901-13000batch: iter_time=3.413e-04, forward_time=0.160, loss_ctc=65.193, loss_att=55.423, acc=0.706, loss=58.354, backward_time=0.299, grad_norm=76.223, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.758e-05, train_time=1.489 -[gpua002:0/64] 2023-12-09 17:22:03,546 (trainer:737) INFO: 21epoch:train:13001-13100batch: iter_time=8.917e-05, forward_time=0.235, loss_ctc=69.268, loss_att=50.291, acc=0.740, loss=55.984, backward_time=0.321, grad_norm=65.279, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.757e-05, train_time=1.573 -[gpua002:0/64] 2023-12-09 17:24:25,739 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-09 17:24:40,586 (trainer:737) INFO: 21epoch:train:13101-13200batch: iter_time=6.421e-04, forward_time=0.176, loss_ctc=62.069, loss_att=47.487, acc=0.732, loss=51.861, backward_time=0.337, grad_norm=58.016, clip=100.000, loss_scale=3.872e+31, optim_step_time=0.134, optim0_lr0=8.755e-05, train_time=1.571 -[gpua002:0/64] 2023-12-09 17:27:27,187 (trainer:737) INFO: 21epoch:train:13201-13300batch: iter_time=8.915e-05, forward_time=0.184, loss_ctc=60.323, loss_att=48.439, acc=0.727, loss=52.004, backward_time=0.320, grad_norm=54.827, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.754e-05, train_time=1.665 -[gpua002:0/64] 2023-12-09 17:30:37,236 (trainer:737) INFO: 21epoch:train:13301-13400batch: iter_time=9.013e-05, forward_time=0.242, loss_ctc=76.457, loss_att=70.475, acc=0.690, loss=72.270, backward_time=0.382, grad_norm=60.239, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.752e-05, train_time=1.900 -[gpua002:0/64] 2023-12-09 17:33:19,558 (trainer:737) INFO: 21epoch:train:13401-13500batch: iter_time=9.178e-05, forward_time=0.215, loss_ctc=68.152, loss_att=48.272, acc=0.730, loss=54.236, backward_time=0.303, grad_norm=68.578, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=8.751e-05, train_time=1.624 -[gpua002:0/64] 2023-12-09 17:35:57,308 (trainer:737) INFO: 21epoch:train:13501-13600batch: iter_time=9.743e-05, forward_time=0.149, loss_ctc=64.169, loss_att=51.244, acc=0.727, loss=55.122, backward_time=0.302, grad_norm=60.393, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=8.750e-05, train_time=1.577 -[gpua002:0/64] 2023-12-09 17:38:59,950 (trainer:737) INFO: 21epoch:train:13601-13700batch: iter_time=9.124e-05, forward_time=0.216, loss_ctc=64.508, loss_att=49.503, acc=0.737, loss=54.005, backward_time=0.404, grad_norm=58.044, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.748e-05, train_time=1.826 -[gpua002:0/64] 2023-12-09 17:40:30,137 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua002:0/64] 2023-12-09 17:40:49,721 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 17:40:53,459 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 17:40:53,459 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua002:0/64] 2023-12-09 17:40:53,462 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-09 17:50:06,163 (trainer:737) INFO: 21epoch:train:13701-13800batch: iter_time=3.233, forward_time=0.176, loss_ctc=58.659, loss_att=49.141, acc=0.713, loss=51.996, backward_time=0.295, grad_norm=52.753, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.747e-05, train_time=6.662 -[gpua002:0/64] 2023-12-09 17:52:08,398 (trainer:737) INFO: 21epoch:train:13801-13900batch: iter_time=9.337e-05, forward_time=0.158, loss_ctc=62.452, loss_att=54.127, acc=0.692, loss=56.625, backward_time=0.278, grad_norm=57.442, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.745e-05, train_time=1.222 -[gpua002:0/64] 2023-12-09 17:54:41,387 (trainer:737) INFO: 21epoch:train:13901-14000batch: iter_time=8.791e-05, forward_time=0.145, loss_ctc=66.690, loss_att=50.490, acc=0.715, loss=55.350, backward_time=0.342, grad_norm=56.840, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.744e-05, train_time=1.530 -[gpua002:0/64] 2023-12-09 17:57:10,502 (trainer:737) INFO: 21epoch:train:14001-14100batch: iter_time=9.289e-05, forward_time=0.195, loss_ctc=67.325, loss_att=52.807, acc=0.719, loss=57.163, backward_time=0.336, grad_norm=66.153, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.743e-05, train_time=1.491 -[gpua002:0/64] 2023-12-09 17:59:40,432 (trainer:737) INFO: 21epoch:train:14101-14200batch: iter_time=9.538e-05, forward_time=0.155, loss_ctc=66.705, loss_att=57.180, acc=0.711, loss=60.037, backward_time=0.288, grad_norm=92.531, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.741e-05, train_time=1.498 -[gpua002:0/64] 2023-12-09 18:02:41,735 (trainer:737) INFO: 21epoch:train:14201-14300batch: iter_time=9.354e-05, forward_time=0.146, loss_ctc=69.219, loss_att=54.141, acc=0.707, loss=58.664, backward_time=0.335, grad_norm=73.175, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.740e-05, train_time=1.814 -[gpua002:0/64] 2023-12-09 18:05:25,107 (trainer:737) INFO: 21epoch:train:14301-14400batch: iter_time=9.273e-05, forward_time=0.154, loss_ctc=66.750, loss_att=49.832, acc=0.728, loss=54.907, backward_time=0.308, grad_norm=58.552, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=8.738e-05, train_time=1.633 -[gpua002:0/64] 2023-12-09 18:08:04,264 (trainer:737) INFO: 21epoch:train:14401-14500batch: iter_time=8.905e-05, forward_time=0.147, loss_ctc=60.132, loss_att=46.257, acc=0.728, loss=50.420, backward_time=0.305, grad_norm=52.090, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.737e-05, train_time=1.592 -[gpua002:0/64] 2023-12-09 18:10:32,454 (trainer:737) INFO: 21epoch:train:14501-14600batch: iter_time=9.028e-05, forward_time=0.152, loss_ctc=70.717, loss_att=57.147, acc=0.704, loss=61.218, backward_time=0.301, grad_norm=52.874, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=8.736e-05, train_time=1.482 -[gpua002:0/64] 2023-12-09 18:13:33,764 (trainer:737) INFO: 21epoch:train:14601-14700batch: iter_time=9.400e-05, forward_time=0.177, loss_ctc=67.500, loss_att=61.771, acc=0.707, loss=63.490, backward_time=0.334, grad_norm=55.817, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=8.734e-05, train_time=1.813 -[gpua002:0/64] 2023-12-09 18:15:47,989 (trainer:737) INFO: 21epoch:train:14701-14800batch: iter_time=8.760e-05, forward_time=0.149, loss_ctc=68.656, loss_att=47.317, acc=0.721, loss=53.719, backward_time=0.285, grad_norm=80.917, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.733e-05, train_time=1.342 -[gpua002:0/64] 2023-12-09 18:18:28,402 (trainer:737) INFO: 21epoch:train:14801-14900batch: iter_time=8.371e-05, forward_time=0.187, loss_ctc=62.527, loss_att=50.033, acc=0.725, loss=53.781, backward_time=0.325, grad_norm=54.145, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.731e-05, train_time=1.604 -[gpua002:0/64] 2023-12-09 18:21:27,145 (trainer:737) INFO: 21epoch:train:14901-15000batch: iter_time=8.363e-05, forward_time=0.183, loss_ctc=62.393, loss_att=50.484, acc=0.721, loss=54.056, backward_time=0.363, grad_norm=62.887, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=8.730e-05, train_time=1.787 -[gpua002:0/64] 2023-12-09 18:47:43,485 (trainer:343) INFO: 21epoch results: [train] iter_time=0.297, forward_time=0.261, loss_ctc=66.611, loss_att=53.283, acc=0.714, loss=57.281, backward_time=0.367, grad_norm=63.378, clip=100.000, loss_scale=4.645e+31, optim_step_time=0.138, optim0_lr0=8.836e-05, train_time=2.216, time=9 hours, 14 minutes and 20.93 seconds, total_count=315000, gpu_max_cached_mem_GB=35.426, [valid] loss_ctc=40.265, cer_ctc=0.201, loss_att=38.766, acc=0.711, cer=0.278, wer=0.954, loss=39.216, time=25 minutes and 52.03 seconds, total_count=98091, gpu_max_cached_mem_GB=35.426 -[gpua002:0/64] 2023-12-09 18:48:08,768 (trainer:391) INFO: The best model has been updated: valid.total_count -[gpua002:0/64] 2023-12-09 18:48:08,818 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/16epoch.pth -[gpua002:0/64] 2023-12-09 18:48:08,823 (trainer:272) INFO: 22/40epoch started. Estimated time to finish: 1 week, 15 hours and 52 minutes -[gpua002:0/64] 2023-12-09 18:48:09,098 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua002:0/64] 2023-12-09 18:48:27,841 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 18:48:31,278 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 18:48:31,278 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua002:0/64] 2023-12-09 18:48:31,281 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-09 18:58:12,723 (trainer:737) INFO: 22epoch:train:1-100batch: iter_time=2.575, forward_time=0.204, loss_ctc=65.993, loss_att=52.381, acc=0.717, loss=56.465, backward_time=0.295, grad_norm=77.553, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=8.729e-05, train_time=6.036 -[gpua002:0/64] 2023-12-09 19:00:43,812 (trainer:737) INFO: 22epoch:train:101-200batch: iter_time=7.732e-05, forward_time=0.148, loss_ctc=61.456, loss_att=49.384, acc=0.714, loss=53.006, backward_time=0.295, grad_norm=54.566, clip=100.000, loss_scale=2.211e+31, optim_step_time=0.136, optim0_lr0=8.727e-05, train_time=1.511 -[gpua002:0/64] 2023-12-09 19:02:55,307 (trainer:737) INFO: 22epoch:train:201-300batch: iter_time=7.598e-05, forward_time=0.158, loss_ctc=73.748, loss_att=59.250, acc=0.688, loss=63.599, backward_time=0.288, grad_norm=61.449, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.726e-05, train_time=1.315 -[gpua002:0/64] 2023-12-09 19:05:13,009 (trainer:737) INFO: 22epoch:train:301-400batch: iter_time=7.647e-05, forward_time=0.149, loss_ctc=68.923, loss_att=60.376, acc=0.687, loss=62.940, backward_time=0.294, grad_norm=61.087, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.725e-05, train_time=1.377 -[gpua002:0/64] 2023-12-09 19:07:33,934 (trainer:737) INFO: 22epoch:train:401-500batch: iter_time=7.778e-05, forward_time=0.148, loss_ctc=64.648, loss_att=49.354, acc=0.715, loss=53.942, backward_time=0.283, grad_norm=55.468, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.723e-05, train_time=1.409 -[gpua002:0/64] 2023-12-09 19:09:54,512 (trainer:737) INFO: 22epoch:train:501-600batch: iter_time=7.648e-05, forward_time=0.149, loss_ctc=81.923, loss_att=64.785, acc=0.686, loss=69.926, backward_time=0.297, grad_norm=83.572, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.722e-05, train_time=1.406 -[gpua002:0/64] 2023-12-09 19:12:29,986 (trainer:737) INFO: 22epoch:train:601-700batch: iter_time=7.910e-05, forward_time=0.148, loss_ctc=71.155, loss_att=55.420, acc=0.708, loss=60.140, backward_time=0.294, grad_norm=68.310, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.720e-05, train_time=1.555 -[gpua002:0/64] 2023-12-09 19:15:07,903 (trainer:737) INFO: 22epoch:train:701-800batch: iter_time=7.731e-05, forward_time=0.148, loss_ctc=70.506, loss_att=54.748, acc=0.697, loss=59.475, backward_time=0.327, grad_norm=63.746, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.719e-05, train_time=1.578 -[gpua002:0/64] 2023-12-09 19:17:40,553 (trainer:737) INFO: 22epoch:train:801-900batch: iter_time=7.703e-05, forward_time=0.163, loss_ctc=73.239, loss_att=52.022, acc=0.706, loss=58.387, backward_time=0.297, grad_norm=68.803, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.718e-05, train_time=1.526 -[gpua002:0/64] 2023-12-09 19:20:06,898 (trainer:737) INFO: 22epoch:train:901-1000batch: iter_time=7.763e-05, forward_time=0.148, loss_ctc=67.686, loss_att=55.702, acc=0.703, loss=59.297, backward_time=0.293, grad_norm=72.821, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.716e-05, train_time=1.464 -[gpua002:0/64] 2023-12-09 19:22:36,506 (trainer:737) INFO: 22epoch:train:1001-1100batch: iter_time=1.939e-04, forward_time=0.158, loss_ctc=75.804, loss_att=60.943, acc=0.697, loss=65.401, backward_time=0.302, grad_norm=65.315, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.715e-05, train_time=1.496 -[gpua002:0/64] 2023-12-09 19:25:46,571 (trainer:737) INFO: 22epoch:train:1101-1200batch: iter_time=7.933e-05, forward_time=0.174, loss_ctc=68.084, loss_att=54.907, acc=0.711, loss=58.860, backward_time=0.320, grad_norm=75.189, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.713e-05, train_time=1.900 -[gpua002:0/64] 2023-12-09 19:27:22,731 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua002:0/64] 2023-12-09 19:27:41,899 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 19:27:45,401 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 19:27:45,401 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua002:0/64] 2023-12-09 19:27:45,404 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-09 19:32:59,080 (trainer:737) INFO: 22epoch:train:1201-1300batch: iter_time=2.451, forward_time=0.195, loss_ctc=69.558, loss_att=56.758, acc=0.711, loss=60.598, backward_time=0.316, grad_norm=74.198, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=8.712e-05, train_time=4.325 -[gpua002:0/64] 2023-12-09 19:34:59,175 (trainer:737) INFO: 22epoch:train:1301-1400batch: iter_time=7.777e-05, forward_time=0.148, loss_ctc=61.363, loss_att=45.219, acc=0.715, loss=50.062, backward_time=0.280, grad_norm=54.310, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.711e-05, train_time=1.201 -[gpua002:0/64] 2023-12-09 19:37:16,131 (trainer:737) INFO: 22epoch:train:1401-1500batch: iter_time=6.898e-05, forward_time=0.150, loss_ctc=62.730, loss_att=51.271, acc=0.720, loss=54.709, backward_time=0.285, grad_norm=63.545, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.709e-05, train_time=1.369 -[gpua002:0/64] 2023-12-09 19:39:41,300 (trainer:737) INFO: 22epoch:train:1501-1600batch: iter_time=7.274e-05, forward_time=0.166, loss_ctc=70.917, loss_att=57.219, acc=0.692, loss=61.328, backward_time=0.290, grad_norm=61.163, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.708e-05, train_time=1.451 -[gpua002:0/64] 2023-12-09 19:41:47,957 (trainer:737) INFO: 22epoch:train:1601-1700batch: iter_time=0.001, forward_time=0.150, loss_ctc=68.958, loss_att=59.158, acc=0.689, loss=62.098, backward_time=0.283, grad_norm=55.976, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=8.707e-05, train_time=1.267 -[gpua002:0/64] 2023-12-09 19:44:05,913 (trainer:737) INFO: 22epoch:train:1701-1800batch: iter_time=8.005e-05, forward_time=0.169, loss_ctc=67.274, loss_att=52.644, acc=0.717, loss=57.033, backward_time=0.310, grad_norm=52.379, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=8.705e-05, train_time=1.379 -[gpua002:0/64] 2023-12-09 19:46:24,778 (trainer:737) INFO: 22epoch:train:1801-1900batch: iter_time=0.005, forward_time=0.192, loss_ctc=78.477, loss_att=59.610, acc=0.707, loss=65.270, backward_time=0.300, grad_norm=68.629, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=8.704e-05, train_time=1.388 -[gpua002:0/64] 2023-12-09 19:49:19,446 (trainer:737) INFO: 22epoch:train:1901-2000batch: iter_time=7.919e-05, forward_time=0.182, loss_ctc=77.051, loss_att=61.150, acc=0.691, loss=65.920, backward_time=0.323, grad_norm=71.980, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.702e-05, train_time=1.747 -[gpua002:0/64] 2023-12-09 19:52:15,390 (trainer:737) INFO: 22epoch:train:2001-2100batch: iter_time=7.812e-05, forward_time=0.156, loss_ctc=66.463, loss_att=49.426, acc=0.710, loss=54.537, backward_time=0.311, grad_norm=69.428, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.701e-05, train_time=1.759 -[gpua002:0/64] 2023-12-09 19:54:56,597 (trainer:737) INFO: 22epoch:train:2101-2200batch: iter_time=7.903e-05, forward_time=0.148, loss_ctc=63.611, loss_att=45.824, acc=0.717, loss=51.160, backward_time=0.311, grad_norm=53.753, clip=100.000, loss_scale=4.422e+31, optim_step_time=0.136, optim0_lr0=8.700e-05, train_time=1.612 -[gpua002:0/64] 2023-12-09 19:57:29,920 (trainer:737) INFO: 22epoch:train:2201-2300batch: iter_time=2.295e-04, forward_time=0.157, loss_ctc=73.129, loss_att=59.529, acc=0.708, loss=63.609, backward_time=0.318, grad_norm=66.425, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.698e-05, train_time=1.532 -[gpua002:0/64] 2023-12-09 19:59:43,261 (trainer:737) INFO: 22epoch:train:2301-2400batch: iter_time=7.744e-05, forward_time=0.161, loss_ctc=71.424, loss_att=59.565, acc=0.699, loss=63.123, backward_time=0.317, grad_norm=64.846, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.697e-05, train_time=1.333 -[gpua002:0/64] 2023-12-09 20:02:06,103 (trainer:737) INFO: 22epoch:train:2401-2500batch: iter_time=7.796e-05, forward_time=0.190, loss_ctc=68.478, loss_att=56.555, acc=0.707, loss=60.132, backward_time=0.326, grad_norm=60.601, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=8.696e-05, train_time=1.430 -[gpua002:0/64] 2023-12-09 20:02:26,151 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua002:0/64] 2023-12-09 20:02:45,773 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 20:02:49,235 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 20:02:49,235 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua002:0/64] 2023-12-09 20:02:49,243 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-09 20:13:21,895 (trainer:737) INFO: 22epoch:train:2501-2600batch: iter_time=2.757, forward_time=0.210, loss_ctc=65.346, loss_att=51.354, acc=0.724, loss=55.552, backward_time=0.292, grad_norm=51.946, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=8.694e-05, train_time=6.758 -[gpua002:0/64] 2023-12-09 20:15:24,504 (trainer:737) INFO: 22epoch:train:2601-2700batch: iter_time=7.565e-05, forward_time=0.148, loss_ctc=60.190, loss_att=48.216, acc=0.721, loss=51.808, backward_time=0.283, grad_norm=64.653, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.693e-05, train_time=1.226 -[gpua002:0/64] 2023-12-09 20:18:00,833 (trainer:737) INFO: 22epoch:train:2701-2800batch: iter_time=7.551e-05, forward_time=0.147, loss_ctc=71.983, loss_att=57.061, acc=0.696, loss=61.538, backward_time=0.301, grad_norm=77.823, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.692e-05, train_time=1.563 -[gpua002:0/64] 2023-12-09 20:20:25,958 (trainer:737) INFO: 22epoch:train:2801-2900batch: iter_time=4.865e-04, forward_time=0.167, loss_ctc=67.291, loss_att=58.665, acc=0.696, loss=61.253, backward_time=0.304, grad_norm=54.919, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.690e-05, train_time=1.451 -[gpua002:0/64] 2023-12-09 20:23:07,458 (trainer:737) INFO: 22epoch:train:2901-3000batch: iter_time=8.245e-05, forward_time=0.188, loss_ctc=64.064, loss_att=47.810, acc=0.725, loss=52.686, backward_time=0.313, grad_norm=61.365, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=8.689e-05, train_time=1.615 -[gpua002:0/64] 2023-12-09 20:26:12,773 (trainer:737) INFO: 22epoch:train:3001-3100batch: iter_time=7.594e-05, forward_time=0.198, loss_ctc=79.295, loss_att=63.439, acc=0.692, loss=68.196, backward_time=0.322, grad_norm=72.157, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.687e-05, train_time=1.853 -[gpua002:0/64] 2023-12-09 20:28:42,204 (trainer:737) INFO: 22epoch:train:3101-3200batch: iter_time=7.839e-05, forward_time=0.148, loss_ctc=69.685, loss_att=53.855, acc=0.714, loss=58.604, backward_time=0.293, grad_norm=59.238, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.686e-05, train_time=1.494 -[gpua002:0/64] 2023-12-09 20:31:22,373 (trainer:737) INFO: 22epoch:train:3201-3300batch: iter_time=7.613e-05, forward_time=0.147, loss_ctc=69.164, loss_att=53.323, acc=0.703, loss=58.075, backward_time=0.342, grad_norm=62.882, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.685e-05, train_time=1.601 -[gpua002:0/64] 2023-12-09 20:33:49,264 (trainer:737) INFO: 22epoch:train:3301-3400batch: iter_time=7.897e-05, forward_time=0.147, loss_ctc=71.418, loss_att=50.581, acc=0.711, loss=56.832, backward_time=0.301, grad_norm=55.007, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.683e-05, train_time=1.469 -[gpua002:0/64] 2023-12-09 20:36:34,709 (trainer:737) INFO: 22epoch:train:3401-3500batch: iter_time=7.971e-05, forward_time=0.147, loss_ctc=66.987, loss_att=54.729, acc=0.709, loss=58.406, backward_time=0.314, grad_norm=60.549, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.682e-05, train_time=1.654 -[gpua002:0/64] 2023-12-09 20:38:39,510 (trainer:737) INFO: 22epoch:train:3501-3600batch: iter_time=7.898e-05, forward_time=0.159, loss_ctc=73.024, loss_att=59.392, acc=0.703, loss=63.482, backward_time=0.283, grad_norm=70.357, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.681e-05, train_time=1.248 -[gpua002:0/64] 2023-12-09 20:40:47,769 (trainer:737) INFO: 22epoch:train:3601-3700batch: iter_time=7.826e-05, forward_time=0.156, loss_ctc=67.358, loss_att=54.160, acc=0.716, loss=58.120, backward_time=0.288, grad_norm=56.315, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.679e-05, train_time=1.282 -[gpua002:0/64] 2023-12-09 20:42:11,225 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua002:0/64] 2023-12-09 20:42:30,711 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 20:42:34,259 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 20:42:34,259 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua002:0/64] 2023-12-09 20:42:34,262 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-09 20:48:18,244 (trainer:737) INFO: 22epoch:train:3701-3800batch: iter_time=2.741, forward_time=0.193, loss_ctc=66.414, loss_att=54.904, acc=0.717, loss=58.357, backward_time=0.321, grad_norm=59.915, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.678e-05, train_time=4.504 -[gpua002:0/64] 2023-12-09 20:50:32,478 (trainer:737) INFO: 22epoch:train:3801-3900batch: iter_time=8.123e-05, forward_time=0.147, loss_ctc=60.200, loss_att=44.574, acc=0.721, loss=49.262, backward_time=0.281, grad_norm=57.283, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.677e-05, train_time=1.342 -[gpua002:0/64] 2023-12-09 20:52:40,154 (trainer:737) INFO: 22epoch:train:3901-4000batch: iter_time=7.889e-05, forward_time=0.147, loss_ctc=62.318, loss_att=50.379, acc=0.726, loss=53.961, backward_time=0.293, grad_norm=54.886, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.675e-05, train_time=1.277 -[gpua002:0/64] 2023-12-09 20:54:57,501 (trainer:737) INFO: 22epoch:train:4001-4100batch: iter_time=7.517e-05, forward_time=0.149, loss_ctc=70.511, loss_att=55.547, acc=0.698, loss=60.036, backward_time=0.294, grad_norm=72.417, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.674e-05, train_time=1.373 -[gpua002:0/64] 2023-12-09 20:55:58,054 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-09 20:57:31,186 (trainer:737) INFO: 22epoch:train:4101-4200batch: iter_time=7.796e-05, forward_time=0.285, loss_ctc=67.834, loss_att=58.426, acc=0.692, loss=61.248, backward_time=0.326, grad_norm=64.642, clip=100.000, loss_scale=5.818e+31, optim_step_time=0.142, optim0_lr0=8.672e-05, train_time=1.537 -[gpua002:0/64] 2023-12-09 20:59:52,627 (trainer:737) INFO: 22epoch:train:4201-4300batch: iter_time=7.277e-05, forward_time=0.149, loss_ctc=66.845, loss_att=51.980, acc=0.719, loss=56.439, backward_time=0.307, grad_norm=58.923, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.671e-05, train_time=1.414 -[gpua002:0/64] 2023-12-09 21:02:13,546 (trainer:737) INFO: 22epoch:train:4301-4400batch: iter_time=8.289e-05, forward_time=0.148, loss_ctc=77.277, loss_att=58.808, acc=0.711, loss=64.348, backward_time=0.303, grad_norm=72.682, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.670e-05, train_time=1.409 -[gpua002:0/64] 2023-12-09 21:03:55,085 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-09 21:04:56,092 (trainer:737) INFO: 22epoch:train:4401-4500batch: iter_time=7.562e-05, forward_time=0.147, loss_ctc=75.302, loss_att=60.448, acc=0.693, loss=64.905, backward_time=0.336, grad_norm=67.473, clip=100.000, loss_scale=3.155e+31, optim_step_time=0.136, optim0_lr0=8.668e-05, train_time=1.625 -[gpua002:0/64] 2023-12-09 21:07:19,414 (trainer:737) INFO: 22epoch:train:4501-4600batch: iter_time=7.938e-05, forward_time=0.148, loss_ctc=65.711, loss_att=48.928, acc=0.714, loss=53.963, backward_time=0.289, grad_norm=53.086, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.667e-05, train_time=1.433 -[gpua002:0/64] 2023-12-09 21:09:50,448 (trainer:737) INFO: 22epoch:train:4601-4700batch: iter_time=7.816e-05, forward_time=0.147, loss_ctc=61.978, loss_att=45.763, acc=0.717, loss=50.628, backward_time=0.295, grad_norm=52.395, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.666e-05, train_time=1.510 -[gpua002:0/64] 2023-12-09 21:12:15,548 (trainer:737) INFO: 22epoch:train:4701-4800batch: iter_time=7.632e-05, forward_time=0.147, loss_ctc=71.644, loss_att=58.249, acc=0.711, loss=62.268, backward_time=0.301, grad_norm=61.336, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.664e-05, train_time=1.451 -[gpua002:0/64] 2023-12-09 21:14:57,815 (trainer:737) INFO: 22epoch:train:4801-4900batch: iter_time=7.735e-05, forward_time=0.148, loss_ctc=69.665, loss_att=57.646, acc=0.705, loss=61.252, backward_time=0.304, grad_norm=65.043, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.663e-05, train_time=1.622 -[gpua002:0/64] 2023-12-09 21:17:31,262 (trainer:737) INFO: 22epoch:train:4901-5000batch: iter_time=1.078e-04, forward_time=0.151, loss_ctc=67.388, loss_att=55.422, acc=0.713, loss=59.012, backward_time=0.346, grad_norm=63.175, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=8.662e-05, train_time=1.534 -[gpua002:0/64] 2023-12-09 21:17:51,291 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua002:0/64] 2023-12-09 21:18:10,570 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 21:18:14,051 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 21:18:14,051 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua002:0/64] 2023-12-09 21:18:14,070 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-09 21:29:06,247 (trainer:737) INFO: 22epoch:train:5001-5100batch: iter_time=3.295, forward_time=0.179, loss_ctc=64.231, loss_att=50.367, acc=0.729, loss=54.526, backward_time=0.288, grad_norm=55.636, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.660e-05, train_time=6.950 -[gpua002:0/64] 2023-12-09 21:31:14,180 (trainer:737) INFO: 22epoch:train:5101-5200batch: iter_time=7.507e-05, forward_time=0.149, loss_ctc=60.155, loss_att=48.305, acc=0.723, loss=51.860, backward_time=0.288, grad_norm=63.244, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.659e-05, train_time=1.279 -[gpua002:0/64] 2023-12-09 21:33:24,016 (trainer:737) INFO: 22epoch:train:5201-5300batch: iter_time=8.371e-05, forward_time=0.147, loss_ctc=71.006, loss_att=56.291, acc=0.697, loss=60.706, backward_time=0.281, grad_norm=58.990, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.658e-05, train_time=1.298 -[gpua002:0/64] 2023-12-09 21:35:49,651 (trainer:737) INFO: 22epoch:train:5301-5400batch: iter_time=8.574e-05, forward_time=0.148, loss_ctc=67.131, loss_att=57.898, acc=0.698, loss=60.668, backward_time=0.307, grad_norm=51.351, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.656e-05, train_time=1.456 -[gpua002:0/64] 2023-12-09 21:38:06,897 (trainer:737) INFO: 22epoch:train:5401-5500batch: iter_time=7.949e-05, forward_time=0.147, loss_ctc=64.084, loss_att=47.830, acc=0.727, loss=52.706, backward_time=0.281, grad_norm=52.481, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.655e-05, train_time=1.372 -[gpua002:0/64] 2023-12-09 21:41:09,579 (trainer:737) INFO: 22epoch:train:5501-5600batch: iter_time=8.159e-05, forward_time=0.165, loss_ctc=76.937, loss_att=62.198, acc=0.697, loss=66.620, backward_time=0.316, grad_norm=71.545, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.654e-05, train_time=1.827 -[gpua002:0/64] 2023-12-09 21:43:32,133 (trainer:737) INFO: 22epoch:train:5601-5700batch: iter_time=8.048e-05, forward_time=0.219, loss_ctc=68.949, loss_att=52.991, acc=0.718, loss=57.778, backward_time=0.320, grad_norm=83.663, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=8.652e-05, train_time=1.425 -[gpua002:0/64] 2023-12-09 21:45:53,364 (trainer:737) INFO: 22epoch:train:5701-5800batch: iter_time=7.796e-05, forward_time=0.163, loss_ctc=67.986, loss_att=53.573, acc=0.705, loss=57.897, backward_time=0.295, grad_norm=66.690, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.651e-05, train_time=1.412 -[gpua002:0/64] 2023-12-09 21:48:29,987 (trainer:737) INFO: 22epoch:train:5801-5900batch: iter_time=7.588e-05, forward_time=0.147, loss_ctc=71.551, loss_att=50.554, acc=0.713, loss=56.853, backward_time=0.292, grad_norm=60.565, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.649e-05, train_time=1.566 -[gpua002:0/64] 2023-12-09 21:51:18,131 (trainer:737) INFO: 22epoch:train:5901-6000batch: iter_time=7.983e-05, forward_time=0.147, loss_ctc=66.073, loss_att=53.864, acc=0.712, loss=57.527, backward_time=0.308, grad_norm=59.144, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.648e-05, train_time=1.681 -[gpua002:0/64] 2023-12-09 21:53:33,206 (trainer:737) INFO: 22epoch:train:6001-6100batch: iter_time=7.818e-05, forward_time=0.147, loss_ctc=71.795, loss_att=58.373, acc=0.706, loss=62.399, backward_time=0.286, grad_norm=66.148, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.647e-05, train_time=1.351 -[gpua002:0/64] 2023-12-09 21:55:36,867 (trainer:737) INFO: 22epoch:train:6101-6200batch: iter_time=7.665e-05, forward_time=0.148, loss_ctc=66.598, loss_att=53.875, acc=0.716, loss=57.692, backward_time=0.282, grad_norm=63.494, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.645e-05, train_time=1.236 -[gpua002:0/64] 2023-12-09 21:56:59,980 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua002:0/64] 2023-12-09 21:57:19,204 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 21:57:22,716 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 21:57:22,716 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua002:0/64] 2023-12-09 21:57:22,720 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-09 22:03:15,051 (trainer:737) INFO: 22epoch:train:6201-6300batch: iter_time=3.147, forward_time=0.206, loss_ctc=66.042, loss_att=56.395, acc=0.721, loss=59.289, backward_time=0.287, grad_norm=64.676, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.644e-05, train_time=4.582 -[gpua002:0/64] 2023-12-09 22:05:30,882 (trainer:737) INFO: 22epoch:train:6301-6400batch: iter_time=8.554e-05, forward_time=0.148, loss_ctc=60.619, loss_att=46.062, acc=0.724, loss=50.429, backward_time=0.284, grad_norm=80.571, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.643e-05, train_time=1.358 -[gpua002:0/64] 2023-12-09 22:08:12,385 (trainer:737) INFO: 22epoch:train:6401-6500batch: iter_time=8.227e-05, forward_time=0.150, loss_ctc=62.663, loss_att=52.452, acc=0.726, loss=55.515, backward_time=0.322, grad_norm=53.978, clip=100.000, loss_scale=2.921e+31, optim_step_time=0.135, optim0_lr0=8.641e-05, train_time=1.615 -[gpua002:0/64] 2023-12-09 22:10:17,053 (trainer:737) INFO: 22epoch:train:6501-6600batch: iter_time=8.225e-05, forward_time=0.173, loss_ctc=69.491, loss_att=56.223, acc=0.706, loss=60.204, backward_time=0.287, grad_norm=72.081, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.640e-05, train_time=1.246 -[gpua002:0/64] 2023-12-09 22:12:20,340 (trainer:737) INFO: 22epoch:train:6601-6700batch: iter_time=8.117e-05, forward_time=0.147, loss_ctc=67.178, loss_att=59.513, acc=0.698, loss=61.812, backward_time=0.289, grad_norm=67.497, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.639e-05, train_time=1.233 -[gpua002:0/64] 2023-12-09 22:14:46,155 (trainer:737) INFO: 22epoch:train:6701-6800batch: iter_time=8.582e-05, forward_time=0.147, loss_ctc=67.034, loss_att=54.319, acc=0.723, loss=58.133, backward_time=0.300, grad_norm=55.133, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.637e-05, train_time=1.458 -[gpua002:0/64] 2023-12-09 22:17:02,212 (trainer:737) INFO: 22epoch:train:6801-6900batch: iter_time=7.956e-05, forward_time=0.148, loss_ctc=75.314, loss_att=58.237, acc=0.719, loss=63.360, backward_time=0.290, grad_norm=60.004, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.636e-05, train_time=1.360 -[gpua002:0/64] 2023-12-09 22:19:32,787 (trainer:737) INFO: 22epoch:train:6901-7000batch: iter_time=7.381e-05, forward_time=0.162, loss_ctc=74.890, loss_att=62.446, acc=0.702, loss=66.179, backward_time=0.291, grad_norm=82.291, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.635e-05, train_time=1.506 -[gpua002:0/64] 2023-12-09 22:22:15,574 (trainer:737) INFO: 22epoch:train:7001-7100batch: iter_time=7.567e-05, forward_time=0.148, loss_ctc=64.839, loss_att=48.933, acc=0.718, loss=53.705, backward_time=0.300, grad_norm=57.509, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.633e-05, train_time=1.628 -[gpua002:0/64] 2023-12-09 22:25:07,581 (trainer:737) INFO: 22epoch:train:7101-7200batch: iter_time=8.006e-05, forward_time=0.147, loss_ctc=61.742, loss_att=45.436, acc=0.725, loss=50.327, backward_time=0.313, grad_norm=56.349, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.632e-05, train_time=1.720 -[gpua002:0/64] 2023-12-09 22:27:41,137 (trainer:737) INFO: 22epoch:train:7201-7300batch: iter_time=7.924e-05, forward_time=0.147, loss_ctc=71.095, loss_att=59.873, acc=0.716, loss=63.240, backward_time=0.303, grad_norm=75.151, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.631e-05, train_time=1.535 -[gpua002:0/64] 2023-12-09 22:30:19,516 (trainer:737) INFO: 22epoch:train:7301-7400batch: iter_time=8.558e-04, forward_time=0.196, loss_ctc=69.093, loss_att=59.482, acc=0.709, loss=62.365, backward_time=0.313, grad_norm=114.700, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.146, optim0_lr0=8.629e-05, train_time=1.584 -[gpua002:0/64] 2023-12-09 22:32:34,442 (trainer:737) INFO: 22epoch:train:7401-7500batch: iter_time=8.041e-05, forward_time=0.173, loss_ctc=67.106, loss_att=56.465, acc=0.719, loss=59.657, backward_time=0.304, grad_norm=57.211, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.141, optim0_lr0=8.628e-05, train_time=1.349 -[gpua002:0/64] 2023-12-09 22:32:54,471 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua002:0/64] 2023-12-09 22:33:13,742 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 22:33:17,272 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 22:33:17,273 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua002:0/64] 2023-12-09 22:33:17,276 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-09 22:39:50,322 (trainer:737) INFO: 22epoch:train:7501-7600batch: iter_time=3.025, forward_time=0.197, loss_ctc=64.062, loss_att=50.801, acc=0.737, loss=54.779, backward_time=0.289, grad_norm=51.201, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.627e-05, train_time=4.358 -[gpua002:0/64] 2023-12-09 22:41:51,549 (trainer:737) INFO: 22epoch:train:7601-7700batch: iter_time=7.903e-05, forward_time=0.147, loss_ctc=59.633, loss_att=48.322, acc=0.727, loss=51.715, backward_time=0.281, grad_norm=50.665, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.625e-05, train_time=1.212 -[gpua002:0/64] 2023-12-09 22:43:42,925 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-09 22:44:24,842 (trainer:737) INFO: 22epoch:train:7701-7800batch: iter_time=7.491e-05, forward_time=0.147, loss_ctc=70.412, loss_att=56.406, acc=0.703, loss=60.608, backward_time=0.330, grad_norm=66.659, clip=100.000, loss_scale=3.339e+31, optim_step_time=0.136, optim0_lr0=8.624e-05, train_time=1.533 -[gpua002:0/64] 2023-12-09 22:47:15,614 (trainer:737) INFO: 22epoch:train:7801-7900batch: iter_time=7.948e-05, forward_time=0.147, loss_ctc=66.811, loss_att=58.240, acc=0.709, loss=60.812, backward_time=0.360, grad_norm=57.462, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.623e-05, train_time=1.707 -[gpua002:0/64] 2023-12-09 22:49:38,800 (trainer:737) INFO: 22epoch:train:7901-8000batch: iter_time=7.596e-05, forward_time=0.158, loss_ctc=63.290, loss_att=48.793, acc=0.731, loss=53.142, backward_time=0.294, grad_norm=57.956, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.621e-05, train_time=1.432 -[gpua002:0/64] 2023-12-09 22:52:18,713 (trainer:737) INFO: 22epoch:train:8001-8100batch: iter_time=7.662e-05, forward_time=0.149, loss_ctc=76.799, loss_att=62.984, acc=0.707, loss=67.128, backward_time=0.308, grad_norm=71.866, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.620e-05, train_time=1.599 -[gpua002:0/64] 2023-12-09 22:54:51,889 (trainer:737) INFO: 22epoch:train:8101-8200batch: iter_time=7.601e-05, forward_time=0.151, loss_ctc=68.945, loss_att=53.693, acc=0.728, loss=58.268, backward_time=0.295, grad_norm=68.348, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.619e-05, train_time=1.532 -[gpua002:0/64] 2023-12-09 22:57:19,035 (trainer:737) INFO: 22epoch:train:8201-8300batch: iter_time=7.847e-05, forward_time=0.173, loss_ctc=66.664, loss_att=54.881, acc=0.708, loss=58.416, backward_time=0.300, grad_norm=75.509, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.617e-05, train_time=1.471 -[gpua002:0/64] 2023-12-09 22:59:51,229 (trainer:737) INFO: 22epoch:train:8301-8400batch: iter_time=8.536e-05, forward_time=0.188, loss_ctc=71.000, loss_att=50.804, acc=0.720, loss=56.863, backward_time=0.314, grad_norm=61.573, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.616e-05, train_time=1.522 -[gpua002:0/64] 2023-12-09 23:02:58,469 (trainer:737) INFO: 22epoch:train:8401-8500batch: iter_time=7.731e-05, forward_time=0.164, loss_ctc=65.986, loss_att=55.842, acc=0.715, loss=58.885, backward_time=0.367, grad_norm=101.029, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.615e-05, train_time=1.872 -[gpua002:0/64] 2023-12-09 23:05:17,516 (trainer:737) INFO: 22epoch:train:8501-8600batch: iter_time=7.729e-05, forward_time=0.147, loss_ctc=71.068, loss_att=59.422, acc=0.712, loss=62.916, backward_time=0.293, grad_norm=109.587, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.613e-05, train_time=1.391 -[gpua002:0/64] 2023-12-09 23:07:41,084 (trainer:737) INFO: 22epoch:train:8601-8700batch: iter_time=7.604e-05, forward_time=0.147, loss_ctc=66.239, loss_att=54.119, acc=0.721, loss=57.755, backward_time=0.284, grad_norm=62.859, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.612e-05, train_time=1.435 -[gpua002:0/64] 2023-12-09 23:09:32,834 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua002:0/64] 2023-12-09 23:09:51,919 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 23:09:55,421 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 23:09:55,421 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua002:0/64] 2023-12-09 23:09:55,425 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-09 23:15:24,694 (trainer:737) INFO: 22epoch:train:8701-8800batch: iter_time=3.034, forward_time=0.177, loss_ctc=65.368, loss_att=54.398, acc=0.731, loss=57.689, backward_time=0.301, grad_norm=56.384, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.611e-05, train_time=4.635 -[gpua002:0/64] 2023-12-09 23:17:31,312 (trainer:737) INFO: 22epoch:train:8801-8900batch: iter_time=7.518e-05, forward_time=0.148, loss_ctc=60.313, loss_att=44.848, acc=0.728, loss=49.488, backward_time=0.283, grad_norm=55.754, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.609e-05, train_time=1.267 -[gpua002:0/64] 2023-12-09 23:19:48,984 (trainer:737) INFO: 22epoch:train:8901-9000batch: iter_time=7.719e-05, forward_time=0.148, loss_ctc=62.240, loss_att=51.097, acc=0.730, loss=54.440, backward_time=0.284, grad_norm=50.562, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.608e-05, train_time=1.376 -[gpua002:0/64] 2023-12-09 23:22:16,334 (trainer:737) INFO: 22epoch:train:9001-9100batch: iter_time=7.703e-05, forward_time=0.148, loss_ctc=69.216, loss_att=54.860, acc=0.713, loss=59.167, backward_time=0.304, grad_norm=60.877, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.607e-05, train_time=1.473 -[gpua002:0/64] 2023-12-09 23:24:36,969 (trainer:737) INFO: 22epoch:train:9101-9200batch: iter_time=7.712e-05, forward_time=0.147, loss_ctc=67.449, loss_att=58.470, acc=0.702, loss=61.164, backward_time=0.285, grad_norm=55.401, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.605e-05, train_time=1.406 -[gpua002:0/64] 2023-12-09 23:27:25,624 (trainer:737) INFO: 22epoch:train:9201-9300batch: iter_time=8.024e-05, forward_time=0.200, loss_ctc=66.244, loss_att=52.665, acc=0.730, loss=56.738, backward_time=0.363, grad_norm=52.584, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.143, optim0_lr0=8.604e-05, train_time=1.686 -[gpua002:0/64] 2023-12-09 23:30:09,178 (trainer:737) INFO: 22epoch:train:9301-9400batch: iter_time=7.818e-05, forward_time=0.149, loss_ctc=74.634, loss_att=57.266, acc=0.724, loss=62.477, backward_time=0.323, grad_norm=60.476, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.603e-05, train_time=1.635 -[gpua002:0/64] 2023-12-09 23:32:12,195 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-09 23:32:17,204 (trainer:737) INFO: 22epoch:train:9401-9500batch: iter_time=7.272e-05, forward_time=0.148, loss_ctc=75.100, loss_att=62.366, acc=0.705, loss=66.186, backward_time=0.283, grad_norm=78.542, clip=100.000, loss_scale=1.998e+31, optim_step_time=0.136, optim0_lr0=8.601e-05, train_time=1.281 -[gpua002:0/64] 2023-12-09 23:34:46,631 (trainer:737) INFO: 22epoch:train:9501-9600batch: iter_time=8.079e-05, forward_time=0.147, loss_ctc=64.872, loss_att=48.588, acc=0.721, loss=53.473, backward_time=0.328, grad_norm=82.998, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=8.600e-05, train_time=1.494 -[gpua002:0/64] 2023-12-09 23:37:21,715 (trainer:737) INFO: 22epoch:train:9601-9700batch: iter_time=7.870e-05, forward_time=0.147, loss_ctc=61.836, loss_att=45.350, acc=0.727, loss=50.296, backward_time=0.298, grad_norm=66.395, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.599e-05, train_time=1.551 -[gpua002:0/64] 2023-12-09 23:40:00,355 (trainer:737) INFO: 22epoch:train:9701-9800batch: iter_time=7.896e-05, forward_time=0.147, loss_ctc=70.794, loss_att=58.928, acc=0.717, loss=62.488, backward_time=0.371, grad_norm=59.526, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=8.597e-05, train_time=1.586 -[gpua002:0/64] 2023-12-09 23:42:32,896 (trainer:737) INFO: 22epoch:train:9801-9900batch: iter_time=7.846e-05, forward_time=0.147, loss_ctc=68.543, loss_att=58.543, acc=0.713, loss=61.543, backward_time=0.284, grad_norm=73.003, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.596e-05, train_time=1.525 -[gpua002:0/64] 2023-12-09 23:44:57,049 (trainer:737) INFO: 22epoch:train:9901-10000batch: iter_time=7.898e-05, forward_time=0.146, loss_ctc=65.951, loss_att=55.320, acc=0.723, loss=58.509, backward_time=0.301, grad_norm=62.745, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.595e-05, train_time=1.441 -[gpua002:0/64] 2023-12-09 23:45:17,079 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua002:0/64] 2023-12-09 23:45:36,561 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 23:45:40,081 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 23:45:40,081 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua002:0/64] 2023-12-09 23:45:40,085 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-09 23:52:16,781 (trainer:737) INFO: 22epoch:train:10001-10100batch: iter_time=3.102, forward_time=0.216, loss_ctc=64.090, loss_att=51.954, acc=0.729, loss=55.595, backward_time=0.293, grad_norm=54.972, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=8.593e-05, train_time=4.397 -[gpua002:0/64] 2023-12-09 23:54:32,917 (trainer:737) INFO: 22epoch:train:10101-10200batch: iter_time=8.020e-05, forward_time=0.147, loss_ctc=60.092, loss_att=48.493, acc=0.727, loss=51.973, backward_time=0.281, grad_norm=82.258, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.592e-05, train_time=1.361 -[gpua002:0/64] 2023-12-09 23:57:54,153 (trainer:737) INFO: 22epoch:train:10201-10300batch: iter_time=8.404e-05, forward_time=0.147, loss_ctc=70.585, loss_att=57.016, acc=0.699, loss=61.087, backward_time=0.311, grad_norm=62.066, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=8.591e-05, train_time=2.012 -[gpua002:0/64] 2023-12-10 00:00:01,879 (trainer:737) INFO: 22epoch:train:10301-10400batch: iter_time=8.022e-05, forward_time=0.147, loss_ctc=66.664, loss_att=57.837, acc=0.702, loss=60.485, backward_time=0.280, grad_norm=51.549, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=8.589e-05, train_time=1.277 -[gpua002:0/64] 2023-12-10 00:02:41,485 (trainer:737) INFO: 22epoch:train:10401-10500batch: iter_time=8.025e-05, forward_time=0.148, loss_ctc=63.258, loss_att=48.223, acc=0.729, loss=52.733, backward_time=0.309, grad_norm=113.346, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.588e-05, train_time=1.596 -[gpua002:0/64] 2023-12-10 00:04:44,658 (trainer:737) INFO: 22epoch:train:10501-10600batch: iter_time=7.729e-05, forward_time=0.147, loss_ctc=76.513, loss_att=62.486, acc=0.700, loss=66.694, backward_time=0.283, grad_norm=66.690, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=8.587e-05, train_time=1.231 -[gpua002:0/64] 2023-12-10 00:07:09,917 (trainer:737) INFO: 22epoch:train:10601-10700batch: iter_time=2.429e-04, forward_time=0.211, loss_ctc=68.686, loss_att=53.446, acc=0.719, loss=58.018, backward_time=0.345, grad_norm=50.615, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.140, optim0_lr0=8.585e-05, train_time=1.452 -[gpua002:0/64] 2023-12-10 00:10:28,211 (trainer:737) INFO: 22epoch:train:10701-10800batch: iter_time=8.110e-05, forward_time=0.158, loss_ctc=66.040, loss_att=52.608, acc=0.709, loss=56.637, backward_time=0.402, grad_norm=61.852, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.584e-05, train_time=1.983 -[gpua002:0/64] 2023-12-10 00:13:01,053 (trainer:737) INFO: 22epoch:train:10801-10900batch: iter_time=7.660e-05, forward_time=0.148, loss_ctc=70.083, loss_att=49.756, acc=0.716, loss=55.854, backward_time=0.304, grad_norm=64.762, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.583e-05, train_time=1.528 -[gpua002:0/64] 2023-12-10 00:15:39,853 (trainer:737) INFO: 22epoch:train:10901-11000batch: iter_time=7.934e-05, forward_time=0.148, loss_ctc=65.599, loss_att=54.144, acc=0.715, loss=57.580, backward_time=0.299, grad_norm=57.342, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.582e-05, train_time=1.588 -[gpua002:0/64] 2023-12-10 00:17:48,243 (trainer:737) INFO: 22epoch:train:11001-11100batch: iter_time=8.084e-05, forward_time=0.148, loss_ctc=70.076, loss_att=58.217, acc=0.708, loss=61.775, backward_time=0.281, grad_norm=61.878, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.580e-05, train_time=1.284 -[gpua002:0/64] 2023-12-10 00:20:35,754 (trainer:737) INFO: 22epoch:train:11101-11200batch: iter_time=7.837e-05, forward_time=0.148, loss_ctc=65.095, loss_att=53.423, acc=0.720, loss=56.925, backward_time=0.294, grad_norm=63.823, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.579e-05, train_time=1.675 -[gpua002:0/64] 2023-12-10 00:22:11,405 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua002:0/64] 2023-12-10 00:22:30,643 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 00:22:34,161 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 00:22:34,161 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua002:0/64] 2023-12-10 00:22:34,165 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 00:27:59,557 (trainer:737) INFO: 22epoch:train:11201-11300batch: iter_time=3.024, forward_time=0.179, loss_ctc=64.702, loss_att=55.730, acc=0.725, loss=58.422, backward_time=0.293, grad_norm=60.954, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.578e-05, train_time=4.438 -[gpua002:0/64] 2023-12-10 00:30:08,856 (trainer:737) INFO: 22epoch:train:11301-11400batch: iter_time=7.707e-05, forward_time=0.148, loss_ctc=59.660, loss_att=44.865, acc=0.730, loss=49.304, backward_time=0.282, grad_norm=56.447, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.576e-05, train_time=1.293 -[gpua002:0/64] 2023-12-10 00:32:37,622 (trainer:737) INFO: 22epoch:train:11401-11500batch: iter_time=7.931e-05, forward_time=0.148, loss_ctc=61.586, loss_att=50.603, acc=0.732, loss=53.898, backward_time=0.290, grad_norm=47.704, clip=100.000, loss_scale=1.045e+31, optim_step_time=0.136, optim0_lr0=8.575e-05, train_time=1.487 -[gpua002:0/64] 2023-12-10 00:34:56,931 (trainer:737) INFO: 22epoch:train:11501-11600batch: iter_time=8.003e-05, forward_time=0.148, loss_ctc=68.573, loss_att=54.654, acc=0.715, loss=58.830, backward_time=0.281, grad_norm=56.592, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.574e-05, train_time=1.393 -[gpua002:0/64] 2023-12-10 00:37:37,846 (trainer:737) INFO: 22epoch:train:11601-11700batch: iter_time=8.108e-05, forward_time=0.148, loss_ctc=66.729, loss_att=58.386, acc=0.704, loss=60.889, backward_time=0.308, grad_norm=55.532, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.572e-05, train_time=1.609 -[gpua002:0/64] 2023-12-10 00:40:06,558 (trainer:737) INFO: 22epoch:train:11701-11800batch: iter_time=7.986e-05, forward_time=0.148, loss_ctc=65.877, loss_att=52.917, acc=0.729, loss=56.805, backward_time=0.293, grad_norm=53.485, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.571e-05, train_time=1.487 -[gpua002:0/64] 2023-12-10 00:42:22,114 (trainer:737) INFO: 22epoch:train:11801-11900batch: iter_time=7.821e-05, forward_time=0.148, loss_ctc=75.190, loss_att=58.081, acc=0.720, loss=63.214, backward_time=0.290, grad_norm=67.773, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.570e-05, train_time=1.355 -[gpua002:0/64] 2023-12-10 00:45:10,370 (trainer:737) INFO: 22epoch:train:11901-12000batch: iter_time=7.618e-05, forward_time=0.148, loss_ctc=74.163, loss_att=61.923, acc=0.706, loss=65.595, backward_time=0.312, grad_norm=86.471, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.568e-05, train_time=1.682 -[gpua002:0/64] 2023-12-10 00:48:03,747 (trainer:737) INFO: 22epoch:train:12001-12100batch: iter_time=1.913e-04, forward_time=0.210, loss_ctc=64.630, loss_att=48.455, acc=0.722, loss=53.308, backward_time=0.316, grad_norm=52.648, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=8.567e-05, train_time=1.734 -[gpua002:0/64] 2023-12-10 00:50:45,822 (trainer:737) INFO: 22epoch:train:12101-12200batch: iter_time=7.828e-05, forward_time=0.169, loss_ctc=61.721, loss_att=44.604, acc=0.730, loss=49.739, backward_time=0.303, grad_norm=50.302, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.566e-05, train_time=1.620 -[gpua002:0/64] 2023-12-10 00:53:11,151 (trainer:737) INFO: 22epoch:train:12201-12300batch: iter_time=7.682e-05, forward_time=0.148, loss_ctc=70.575, loss_att=58.921, acc=0.719, loss=62.417, backward_time=0.288, grad_norm=66.780, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.564e-05, train_time=1.453 -[gpua002:0/64] 2023-12-10 00:55:47,554 (trainer:737) INFO: 22epoch:train:12301-12400batch: iter_time=7.783e-05, forward_time=0.148, loss_ctc=68.180, loss_att=58.893, acc=0.711, loss=61.679, backward_time=0.291, grad_norm=78.421, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.563e-05, train_time=1.564 -[gpua002:0/64] 2023-12-10 00:57:54,268 (trainer:737) INFO: 22epoch:train:12401-12500batch: iter_time=7.714e-05, forward_time=0.147, loss_ctc=66.329, loss_att=55.169, acc=0.723, loss=58.517, backward_time=0.285, grad_norm=67.357, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.562e-05, train_time=1.267 -[gpua002:0/64] 2023-12-10 00:58:14,297 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua002:0/64] 2023-12-10 00:58:33,648 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 00:58:37,137 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 00:58:37,137 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua002:0/64] 2023-12-10 00:58:37,143 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 01:05:24,699 (trainer:737) INFO: 22epoch:train:12501-12600batch: iter_time=3.192, forward_time=0.194, loss_ctc=63.782, loss_att=49.878, acc=0.741, loss=54.049, backward_time=0.288, grad_norm=47.605, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.561e-05, train_time=4.504 -[gpua002:0/64] 2023-12-10 01:07:41,364 (trainer:737) INFO: 22epoch:train:12601-12700batch: iter_time=7.854e-05, forward_time=0.147, loss_ctc=59.095, loss_att=47.633, acc=0.734, loss=51.072, backward_time=0.285, grad_norm=51.818, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.559e-05, train_time=1.367 -[gpua002:0/64] 2023-12-10 01:10:01,832 (trainer:737) INFO: 22epoch:train:12701-12800batch: iter_time=8.084e-05, forward_time=0.147, loss_ctc=70.039, loss_att=56.211, acc=0.710, loss=60.359, backward_time=0.297, grad_norm=62.987, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.558e-05, train_time=1.404 -[gpua002:0/64] 2023-12-10 01:12:43,104 (trainer:737) INFO: 22epoch:train:12801-12900batch: iter_time=3.114e-04, forward_time=0.148, loss_ctc=66.957, loss_att=58.021, acc=0.710, loss=60.702, backward_time=0.306, grad_norm=66.183, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=8.557e-05, train_time=1.612 -[gpua002:0/64] 2023-12-10 01:14:51,879 (trainer:737) INFO: 22epoch:train:12901-13000batch: iter_time=7.969e-05, forward_time=0.148, loss_ctc=62.886, loss_att=48.102, acc=0.736, loss=52.537, backward_time=0.284, grad_norm=48.088, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=8.555e-05, train_time=1.288 -[gpua002:0/64] 2023-12-10 01:17:15,003 (trainer:737) INFO: 22epoch:train:13001-13100batch: iter_time=8.042e-05, forward_time=0.147, loss_ctc=75.464, loss_att=62.504, acc=0.706, loss=66.392, backward_time=0.284, grad_norm=63.802, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.554e-05, train_time=1.431 -[gpua002:0/64] 2023-12-10 01:20:13,235 (trainer:737) INFO: 22epoch:train:13101-13200batch: iter_time=6.770e-04, forward_time=0.212, loss_ctc=68.911, loss_att=52.824, acc=0.731, loss=57.650, backward_time=0.391, grad_norm=57.204, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=8.553e-05, train_time=1.782 -[gpua002:0/64] 2023-12-10 01:22:51,687 (trainer:737) INFO: 22epoch:train:13201-13300batch: iter_time=7.850e-05, forward_time=0.148, loss_ctc=66.358, loss_att=54.342, acc=0.713, loss=57.946, backward_time=0.294, grad_norm=61.648, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.551e-05, train_time=1.584 -[gpua002:0/64] 2023-12-10 01:25:30,603 (trainer:737) INFO: 22epoch:train:13301-13400batch: iter_time=7.741e-05, forward_time=0.166, loss_ctc=70.212, loss_att=50.059, acc=0.722, loss=56.105, backward_time=0.295, grad_norm=58.561, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.550e-05, train_time=1.589 -[gpua002:0/64] 2023-12-10 01:27:59,906 (trainer:737) INFO: 22epoch:train:13401-13500batch: iter_time=7.879e-05, forward_time=0.147, loss_ctc=65.724, loss_att=55.286, acc=0.720, loss=58.417, backward_time=0.280, grad_norm=60.670, clip=100.000, loss_scale=2.089e+31, optim_step_time=0.135, optim0_lr0=8.549e-05, train_time=1.493 -[gpua002:0/64] 2023-12-10 01:30:08,844 (trainer:737) INFO: 22epoch:train:13501-13600batch: iter_time=7.840e-05, forward_time=0.147, loss_ctc=70.885, loss_att=59.379, acc=0.711, loss=62.830, backward_time=0.284, grad_norm=63.912, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.548e-05, train_time=1.289 -[gpua002:0/64] 2023-12-10 01:32:37,054 (trainer:737) INFO: 22epoch:train:13601-13700batch: iter_time=7.706e-05, forward_time=0.147, loss_ctc=66.077, loss_att=53.832, acc=0.724, loss=57.506, backward_time=0.308, grad_norm=68.813, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.546e-05, train_time=1.482 -[gpua002:0/64] 2023-12-10 01:34:18,261 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua002:0/64] 2023-12-10 01:34:37,485 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 01:34:40,974 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 01:34:40,974 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua002:0/64] 2023-12-10 01:34:40,980 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 01:40:23,559 (trainer:737) INFO: 22epoch:train:13701-13800batch: iter_time=3.150, forward_time=0.176, loss_ctc=65.336, loss_att=54.074, acc=0.732, loss=57.452, backward_time=0.315, grad_norm=62.913, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.545e-05, train_time=4.665 -[gpua002:0/64] 2023-12-10 01:42:29,925 (trainer:737) INFO: 22epoch:train:13801-13900batch: iter_time=7.432e-05, forward_time=0.148, loss_ctc=59.721, loss_att=44.501, acc=0.732, loss=49.067, backward_time=0.280, grad_norm=58.164, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.544e-05, train_time=1.264 -[gpua002:0/64] 2023-12-10 01:45:01,416 (trainer:737) INFO: 22epoch:train:13901-14000batch: iter_time=7.934e-05, forward_time=0.151, loss_ctc=61.710, loss_att=50.430, acc=0.734, loss=53.814, backward_time=0.304, grad_norm=52.960, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.542e-05, train_time=1.515 -[gpua002:0/64] 2023-12-10 01:47:11,353 (trainer:737) INFO: 22epoch:train:14001-14100batch: iter_time=7.486e-05, forward_time=0.148, loss_ctc=69.096, loss_att=54.444, acc=0.715, loss=58.840, backward_time=0.283, grad_norm=58.436, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.541e-05, train_time=1.299 -[gpua002:0/64] 2023-12-10 01:49:14,521 (trainer:737) INFO: 22epoch:train:14101-14200batch: iter_time=7.663e-05, forward_time=0.147, loss_ctc=66.721, loss_att=58.376, acc=0.703, loss=60.880, backward_time=0.279, grad_norm=63.560, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.540e-05, train_time=1.231 -[gpua002:0/64] 2023-12-10 01:52:11,641 (trainer:737) INFO: 22epoch:train:14201-14300batch: iter_time=7.784e-05, forward_time=0.147, loss_ctc=66.126, loss_att=52.370, acc=0.731, loss=56.497, backward_time=0.290, grad_norm=61.087, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.538e-05, train_time=1.771 -[gpua002:0/64] 2023-12-10 01:54:34,533 (trainer:737) INFO: 22epoch:train:14301-14400batch: iter_time=7.817e-05, forward_time=0.147, loss_ctc=75.716, loss_att=58.212, acc=0.722, loss=63.463, backward_time=0.312, grad_norm=71.654, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.537e-05, train_time=1.429 -[gpua002:0/64] 2023-12-10 01:57:34,775 (trainer:737) INFO: 22epoch:train:14401-14500batch: iter_time=7.855e-05, forward_time=0.148, loss_ctc=74.524, loss_att=61.712, acc=0.708, loss=65.556, backward_time=0.336, grad_norm=67.478, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.536e-05, train_time=1.802 -[gpua002:0/64] 2023-12-10 02:00:36,707 (trainer:737) INFO: 22epoch:train:14501-14600batch: iter_time=7.911e-05, forward_time=0.148, loss_ctc=64.856, loss_att=48.514, acc=0.723, loss=53.417, backward_time=0.310, grad_norm=52.504, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.535e-05, train_time=1.819 -[gpua002:0/64] 2023-12-10 02:03:20,527 (trainer:737) INFO: 22epoch:train:14601-14700batch: iter_time=7.442e-05, forward_time=0.262, loss_ctc=60.881, loss_att=44.201, acc=0.731, loss=49.205, backward_time=0.319, grad_norm=54.962, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=8.533e-05, train_time=1.638 -[gpua002:0/64] 2023-12-10 02:05:33,233 (trainer:737) INFO: 22epoch:train:14701-14800batch: iter_time=7.070e-05, forward_time=0.148, loss_ctc=70.523, loss_att=58.453, acc=0.721, loss=62.074, backward_time=0.292, grad_norm=61.406, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.532e-05, train_time=1.327 -[gpua002:0/64] 2023-12-10 02:08:01,477 (trainer:737) INFO: 22epoch:train:14801-14900batch: iter_time=7.595e-05, forward_time=0.147, loss_ctc=67.969, loss_att=58.315, acc=0.712, loss=61.211, backward_time=0.340, grad_norm=74.604, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.531e-05, train_time=1.482 -[gpua002:0/64] 2023-12-10 02:10:23,195 (trainer:737) INFO: 22epoch:train:14901-15000batch: iter_time=7.580e-05, forward_time=0.148, loss_ctc=65.569, loss_att=55.074, acc=0.724, loss=58.222, backward_time=0.302, grad_norm=60.986, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.529e-05, train_time=1.417 -[gpua002:0/64] 2023-12-10 02:37:04,876 (trainer:343) INFO: 22epoch results: [train] iter_time=0.237, forward_time=0.160, loss_ctc=67.856, loss_att=54.356, acc=0.714, loss=58.406, backward_time=0.303, grad_norm=63.860, clip=100.000, loss_scale=3.378e+31, optim_step_time=0.136, optim0_lr0=8.628e-05, train_time=1.769, time=7 hours, 22 minutes and 37.99 seconds, total_count=330000, gpu_max_cached_mem_GB=36.283, [valid] loss_ctc=38.758, cer_ctc=0.198, loss_att=35.326, acc=0.707, cer=0.327, wer=0.966, loss=36.356, time=26 minutes and 17.85 seconds, total_count=102762, gpu_max_cached_mem_GB=36.283 -[gpua002:0/64] 2023-12-10 02:37:24,198 (trainer:391) INFO: The best model has been updated: valid.total_count -[gpua002:0/64] 2023-12-10 02:37:24,209 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/17epoch.pth -[gpua002:0/64] 2023-12-10 02:37:24,209 (trainer:272) INFO: 23/40epoch started. Estimated time to finish: 6 days, 13 hours and 29 minutes -[gpua002:0/64] 2023-12-10 02:37:24,223 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua002:0/64] 2023-12-10 02:37:42,540 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 02:37:46,008 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 02:37:46,008 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua002:0/64] 2023-12-10 02:37:46,011 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 02:44:42,580 (trainer:737) INFO: 23epoch:train:1-100batch: iter_time=2.750, forward_time=0.181, loss_ctc=69.440, loss_att=56.769, acc=0.715, loss=60.570, backward_time=0.285, grad_norm=59.391, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.528e-05, train_time=4.383 -[gpua002:0/64] 2023-12-10 02:47:05,206 (trainer:737) INFO: 23epoch:train:101-200batch: iter_time=8.067e-05, forward_time=0.147, loss_ctc=79.466, loss_att=59.021, acc=0.701, loss=65.154, backward_time=0.338, grad_norm=69.833, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.527e-05, train_time=1.426 -[gpua002:0/64] 2023-12-10 02:49:20,986 (trainer:737) INFO: 23epoch:train:201-300batch: iter_time=8.004e-05, forward_time=0.147, loss_ctc=68.861, loss_att=52.873, acc=0.710, loss=57.669, backward_time=0.281, grad_norm=61.254, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.525e-05, train_time=1.357 -[gpua002:0/64] 2023-12-10 02:51:59,135 (trainer:737) INFO: 23epoch:train:301-400batch: iter_time=7.931e-05, forward_time=0.147, loss_ctc=73.442, loss_att=52.669, acc=0.715, loss=58.901, backward_time=0.373, grad_norm=69.276, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.524e-05, train_time=1.582 -[gpua002:0/64] 2023-12-10 02:54:18,596 (trainer:737) INFO: 23epoch:train:401-500batch: iter_time=7.983e-05, forward_time=0.148, loss_ctc=65.919, loss_att=51.204, acc=0.716, loss=55.618, backward_time=0.292, grad_norm=72.862, clip=100.000, loss_scale=4.178e+31, optim_step_time=0.136, optim0_lr0=8.523e-05, train_time=1.394 -[gpua002:0/64] 2023-12-10 02:56:39,415 (trainer:737) INFO: 23epoch:train:501-600batch: iter_time=8.126e-05, forward_time=0.148, loss_ctc=64.014, loss_att=51.719, acc=0.715, loss=55.408, backward_time=0.300, grad_norm=70.318, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.522e-05, train_time=1.408 -[gpua002:0/64] 2023-12-10 02:59:20,729 (trainer:737) INFO: 23epoch:train:601-700batch: iter_time=7.970e-05, forward_time=0.147, loss_ctc=71.588, loss_att=60.235, acc=0.697, loss=63.641, backward_time=0.296, grad_norm=63.375, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.520e-05, train_time=1.613 -[gpua002:0/64] 2023-12-10 03:02:08,356 (trainer:737) INFO: 23epoch:train:701-800batch: iter_time=8.188e-05, forward_time=0.147, loss_ctc=66.439, loss_att=60.677, acc=0.699, loss=62.406, backward_time=0.349, grad_norm=57.119, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.519e-05, train_time=1.676 -[gpua002:0/64] 2023-12-10 03:04:46,805 (trainer:737) INFO: 23epoch:train:801-900batch: iter_time=7.874e-05, forward_time=0.147, loss_ctc=68.799, loss_att=57.745, acc=0.701, loss=61.061, backward_time=0.322, grad_norm=58.145, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.518e-05, train_time=1.584 -[gpua002:0/64] 2023-12-10 03:07:43,501 (trainer:737) INFO: 23epoch:train:901-1000batch: iter_time=1.022e-04, forward_time=0.155, loss_ctc=61.331, loss_att=50.451, acc=0.715, loss=53.715, backward_time=0.341, grad_norm=56.494, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.516e-05, train_time=1.767 -[gpua002:0/64] 2023-12-10 03:10:19,967 (trainer:737) INFO: 23epoch:train:1001-1100batch: iter_time=8.063e-05, forward_time=0.167, loss_ctc=68.062, loss_att=52.517, acc=0.696, loss=57.180, backward_time=0.310, grad_norm=57.676, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.515e-05, train_time=1.564 -[gpua002:0/64] 2023-12-10 03:13:04,504 (trainer:737) INFO: 23epoch:train:1101-1200batch: iter_time=8.654e-05, forward_time=0.186, loss_ctc=76.490, loss_att=57.073, acc=0.718, loss=62.898, backward_time=0.351, grad_norm=68.365, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=8.514e-05, train_time=1.645 -[gpua002:0/64] 2023-12-10 03:14:34,862 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua002:0/64] 2023-12-10 03:14:54,425 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 03:14:57,969 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 03:14:57,969 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua002:0/64] 2023-12-10 03:14:57,973 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 03:20:45,908 (trainer:737) INFO: 23epoch:train:1201-1300batch: iter_time=3.190, forward_time=0.148, loss_ctc=61.860, loss_att=50.713, acc=0.707, loss=54.057, backward_time=0.308, grad_norm=53.482, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.513e-05, train_time=4.614 -[gpua002:0/64] 2023-12-10 03:22:59,299 (trainer:737) INFO: 23epoch:train:1301-1400batch: iter_time=7.522e-05, forward_time=0.148, loss_ctc=81.615, loss_att=66.063, acc=0.696, loss=70.728, backward_time=0.281, grad_norm=62.012, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.511e-05, train_time=1.333 -[gpua002:0/64] 2023-12-10 03:25:28,425 (trainer:737) INFO: 23epoch:train:1401-1500batch: iter_time=8.332e-05, forward_time=0.148, loss_ctc=71.050, loss_att=51.730, acc=0.706, loss=57.526, backward_time=0.289, grad_norm=64.897, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.510e-05, train_time=1.492 -[gpua002:0/64] 2023-12-10 03:26:40,888 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-10 03:27:59,628 (trainer:737) INFO: 23epoch:train:1501-1600batch: iter_time=8.267e-05, forward_time=0.148, loss_ctc=69.369, loss_att=51.987, acc=0.720, loss=57.202, backward_time=0.294, grad_norm=59.692, clip=100.000, loss_scale=6.105e+31, optim_step_time=0.136, optim0_lr0=8.509e-05, train_time=1.512 -[gpua002:0/64] 2023-12-10 03:30:47,208 (trainer:737) INFO: 23epoch:train:1601-1700batch: iter_time=8.305e-05, forward_time=0.148, loss_ctc=70.954, loss_att=52.466, acc=0.713, loss=58.012, backward_time=0.300, grad_norm=63.365, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.507e-05, train_time=1.676 -[gpua002:0/64] 2023-12-10 03:33:31,822 (trainer:737) INFO: 23epoch:train:1701-1800batch: iter_time=7.844e-05, forward_time=0.147, loss_ctc=63.772, loss_att=49.890, acc=0.712, loss=54.054, backward_time=0.302, grad_norm=58.966, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.506e-05, train_time=1.646 -[gpua002:0/64] 2023-12-10 03:35:56,747 (trainer:737) INFO: 23epoch:train:1801-1900batch: iter_time=1.850e-04, forward_time=0.149, loss_ctc=63.434, loss_att=54.757, acc=0.702, loss=57.360, backward_time=0.283, grad_norm=58.756, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.505e-05, train_time=1.449 -[gpua002:0/64] 2023-12-10 03:38:15,917 (trainer:737) INFO: 23epoch:train:1901-2000batch: iter_time=7.141e-05, forward_time=0.148, loss_ctc=74.281, loss_att=65.704, acc=0.686, loss=68.277, backward_time=0.295, grad_norm=63.909, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.504e-05, train_time=1.391 -[gpua002:0/64] 2023-12-10 03:40:31,963 (trainer:737) INFO: 23epoch:train:2001-2100batch: iter_time=8.054e-05, forward_time=0.147, loss_ctc=59.123, loss_att=50.802, acc=0.702, loss=53.298, backward_time=0.293, grad_norm=56.686, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.502e-05, train_time=1.360 -[gpua002:0/64] 2023-12-10 03:43:04,543 (trainer:737) INFO: 23epoch:train:2101-2200batch: iter_time=7.574e-05, forward_time=0.174, loss_ctc=63.136, loss_att=49.267, acc=0.708, loss=53.427, backward_time=0.313, grad_norm=61.933, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.501e-05, train_time=1.526 -[gpua002:0/64] 2023-12-10 03:46:08,310 (trainer:737) INFO: 23epoch:train:2201-2300batch: iter_time=7.664e-05, forward_time=0.194, loss_ctc=67.493, loss_att=56.900, acc=0.696, loss=60.078, backward_time=0.348, grad_norm=71.052, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.142, optim0_lr0=8.500e-05, train_time=1.837 -[gpua002:0/64] 2023-12-10 03:48:58,528 (trainer:737) INFO: 23epoch:train:2301-2400batch: iter_time=7.430e-05, forward_time=0.148, loss_ctc=68.752, loss_att=50.851, acc=0.707, loss=56.221, backward_time=0.356, grad_norm=69.295, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.499e-05, train_time=1.702 -[gpua002:0/64] 2023-12-10 03:51:14,592 (trainer:737) INFO: 23epoch:train:2401-2500batch: iter_time=7.355e-05, forward_time=0.164, loss_ctc=74.830, loss_att=56.678, acc=0.709, loss=62.124, backward_time=0.280, grad_norm=87.150, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.497e-05, train_time=1.360 -[gpua002:0/64] 2023-12-10 03:51:34,620 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua002:0/64] 2023-12-10 03:51:53,888 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 03:51:57,385 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 03:51:57,385 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua002:0/64] 2023-12-10 03:51:57,388 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 03:57:50,354 (trainer:737) INFO: 23epoch:train:2501-2600batch: iter_time=2.431, forward_time=0.151, loss_ctc=68.359, loss_att=56.698, acc=0.719, loss=60.196, backward_time=0.283, grad_norm=61.148, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.496e-05, train_time=3.957 -[gpua002:0/64] 2023-12-10 04:00:06,425 (trainer:737) INFO: 23epoch:train:2601-2700batch: iter_time=8.044e-05, forward_time=0.147, loss_ctc=78.071, loss_att=58.646, acc=0.704, loss=64.474, backward_time=0.288, grad_norm=62.227, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.495e-05, train_time=1.361 -[gpua002:0/64] 2023-12-10 04:02:27,218 (trainer:737) INFO: 23epoch:train:2701-2800batch: iter_time=7.994e-05, forward_time=0.147, loss_ctc=66.506, loss_att=51.563, acc=0.719, loss=56.046, backward_time=0.285, grad_norm=57.108, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.493e-05, train_time=1.408 -[gpua002:0/64] 2023-12-10 04:04:42,962 (trainer:737) INFO: 23epoch:train:2801-2900batch: iter_time=7.823e-05, forward_time=0.148, loss_ctc=71.272, loss_att=51.462, acc=0.720, loss=57.405, backward_time=0.298, grad_norm=64.451, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.492e-05, train_time=1.357 -[gpua002:0/64] 2023-12-10 04:07:01,700 (trainer:737) INFO: 23epoch:train:2901-3000batch: iter_time=7.776e-05, forward_time=0.147, loss_ctc=64.701, loss_att=50.049, acc=0.724, loss=54.445, backward_time=0.282, grad_norm=51.982, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.491e-05, train_time=1.387 -[gpua002:0/64] 2023-12-10 04:09:41,344 (trainer:737) INFO: 23epoch:train:3001-3100batch: iter_time=8.054e-05, forward_time=0.150, loss_ctc=62.216, loss_att=49.691, acc=0.723, loss=53.448, backward_time=0.300, grad_norm=60.840, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.490e-05, train_time=1.596 -[gpua002:0/64] 2023-12-10 04:12:05,226 (trainer:737) INFO: 23epoch:train:3101-3200batch: iter_time=7.820e-05, forward_time=0.147, loss_ctc=69.189, loss_att=58.649, acc=0.706, loss=61.811, backward_time=0.292, grad_norm=59.383, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.488e-05, train_time=1.439 -[gpua002:0/64] 2023-12-10 04:14:51,363 (trainer:737) INFO: 23epoch:train:3201-3300batch: iter_time=7.924e-05, forward_time=0.170, loss_ctc=65.387, loss_att=59.798, acc=0.707, loss=61.474, backward_time=0.295, grad_norm=55.284, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.487e-05, train_time=1.661 -[gpua002:0/64] 2023-12-10 04:17:29,725 (trainer:737) INFO: 23epoch:train:3301-3400batch: iter_time=7.738e-05, forward_time=0.195, loss_ctc=66.550, loss_att=56.632, acc=0.708, loss=59.607, backward_time=0.346, grad_norm=58.896, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=8.486e-05, train_time=1.584 -[gpua002:0/64] 2023-12-10 04:19:51,739 (trainer:737) INFO: 23epoch:train:3401-3500batch: iter_time=7.834e-05, forward_time=0.154, loss_ctc=61.245, loss_att=50.323, acc=0.719, loss=53.600, backward_time=0.298, grad_norm=49.662, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.484e-05, train_time=1.420 -[gpua002:0/64] 2023-12-10 04:22:24,674 (trainer:737) INFO: 23epoch:train:3501-3600batch: iter_time=7.805e-05, forward_time=0.147, loss_ctc=65.829, loss_att=50.471, acc=0.706, loss=55.079, backward_time=0.328, grad_norm=61.043, clip=100.000, loss_scale=6.044e+31, optim_step_time=0.135, optim0_lr0=8.483e-05, train_time=1.529 -[gpua002:0/64] 2023-12-10 04:25:07,607 (trainer:737) INFO: 23epoch:train:3601-3700batch: iter_time=7.895e-05, forward_time=0.146, loss_ctc=74.671, loss_att=55.247, acc=0.727, loss=61.074, backward_time=0.303, grad_norm=63.308, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.482e-05, train_time=1.629 -[gpua002:0/64] 2023-12-10 04:26:37,875 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua002:0/64] 2023-12-10 04:26:57,048 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 04:27:00,520 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 04:27:00,520 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua002:0/64] 2023-12-10 04:27:00,670 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 04:32:37,009 (trainer:737) INFO: 23epoch:train:3701-3800batch: iter_time=3.145, forward_time=0.149, loss_ctc=61.523, loss_att=50.047, acc=0.715, loss=53.490, backward_time=0.286, grad_norm=55.021, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.481e-05, train_time=4.493 -[gpua002:0/64] 2023-12-10 04:34:38,938 (trainer:737) INFO: 23epoch:train:3801-3900batch: iter_time=7.465e-05, forward_time=0.147, loss_ctc=80.457, loss_att=63.611, acc=0.716, loss=68.665, backward_time=0.280, grad_norm=60.604, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.479e-05, train_time=1.219 -[gpua002:0/64] 2023-12-10 04:36:50,998 (trainer:737) INFO: 23epoch:train:3901-4000batch: iter_time=7.597e-05, forward_time=0.148, loss_ctc=70.693, loss_att=51.313, acc=0.711, loss=57.127, backward_time=0.280, grad_norm=68.141, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.478e-05, train_time=1.320 -[gpua002:0/64] 2023-12-10 04:39:23,319 (trainer:737) INFO: 23epoch:train:4001-4100batch: iter_time=2.136e-04, forward_time=0.152, loss_ctc=67.480, loss_att=52.236, acc=0.726, loss=56.809, backward_time=0.307, grad_norm=64.203, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.477e-05, train_time=1.523 -[gpua002:0/64] 2023-12-10 04:41:45,987 (trainer:737) INFO: 23epoch:train:4101-4200batch: iter_time=7.541e-05, forward_time=0.147, loss_ctc=69.656, loss_att=52.001, acc=0.726, loss=57.298, backward_time=0.295, grad_norm=64.372, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.476e-05, train_time=1.426 -[gpua002:0/64] 2023-12-10 04:44:08,778 (trainer:737) INFO: 23epoch:train:4201-4300batch: iter_time=7.778e-05, forward_time=0.147, loss_ctc=63.110, loss_att=49.001, acc=0.723, loss=53.234, backward_time=0.290, grad_norm=68.350, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.474e-05, train_time=1.428 -[gpua002:0/64] 2023-12-10 04:46:35,282 (trainer:737) INFO: 23epoch:train:4301-4400batch: iter_time=7.719e-05, forward_time=0.157, loss_ctc=63.329, loss_att=54.225, acc=0.720, loss=56.956, backward_time=0.310, grad_norm=60.424, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.473e-05, train_time=1.465 -[gpua002:0/64] 2023-12-10 04:49:52,386 (trainer:737) INFO: 23epoch:train:4401-4500batch: iter_time=7.697e-05, forward_time=0.203, loss_ctc=73.381, loss_att=67.434, acc=0.695, loss=69.218, backward_time=0.343, grad_norm=68.947, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=8.472e-05, train_time=1.970 -[gpua002:0/64] 2023-12-10 04:52:34,707 (trainer:737) INFO: 23epoch:train:4501-4600batch: iter_time=7.578e-05, forward_time=0.178, loss_ctc=58.823, loss_att=49.426, acc=0.719, loss=52.245, backward_time=0.306, grad_norm=52.141, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=8.471e-05, train_time=1.623 -[gpua002:0/64] 2023-12-10 04:54:56,958 (trainer:737) INFO: 23epoch:train:4601-4700batch: iter_time=7.633e-05, forward_time=0.148, loss_ctc=62.359, loss_att=48.506, acc=0.715, loss=52.662, backward_time=0.288, grad_norm=55.764, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.469e-05, train_time=1.422 -[gpua002:0/64] 2023-12-10 04:55:40,503 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-10 04:57:31,579 (trainer:737) INFO: 23epoch:train:4701-4800batch: iter_time=7.856e-05, forward_time=0.148, loss_ctc=66.499, loss_att=55.938, acc=0.711, loss=59.106, backward_time=0.291, grad_norm=59.407, clip=100.000, loss_scale=5.081e+31, optim_step_time=0.136, optim0_lr0=8.468e-05, train_time=1.546 -[gpua002:0/64] 2023-12-10 04:59:37,495 (trainer:737) INFO: 23epoch:train:4801-4900batch: iter_time=7.590e-05, forward_time=0.148, loss_ctc=67.491, loss_att=49.974, acc=0.717, loss=55.229, backward_time=0.281, grad_norm=64.974, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.467e-05, train_time=1.259 -[gpua002:0/64] 2023-12-10 05:01:53,353 (trainer:737) INFO: 23epoch:train:4901-5000batch: iter_time=7.642e-05, forward_time=0.147, loss_ctc=73.968, loss_att=56.339, acc=0.720, loss=61.627, backward_time=0.296, grad_norm=68.769, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.465e-05, train_time=1.358 -[gpua002:0/64] 2023-12-10 05:02:13,436 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua002:0/64] 2023-12-10 05:02:32,589 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 05:02:36,084 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 05:02:36,084 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua002:0/64] 2023-12-10 05:02:36,095 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 05:09:08,043 (trainer:737) INFO: 23epoch:train:5001-5100batch: iter_time=3.057, forward_time=0.153, loss_ctc=67.620, loss_att=56.252, acc=0.712, loss=59.662, backward_time=0.280, grad_norm=56.599, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.464e-05, train_time=4.347 -[gpua002:0/64] 2023-12-10 05:11:17,088 (trainer:737) INFO: 23epoch:train:5101-5200batch: iter_time=7.775e-05, forward_time=0.147, loss_ctc=77.106, loss_att=58.644, acc=0.696, loss=64.183, backward_time=0.282, grad_norm=64.194, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.463e-05, train_time=1.290 -[gpua002:0/64] 2023-12-10 05:13:47,718 (trainer:737) INFO: 23epoch:train:5201-5300batch: iter_time=7.900e-05, forward_time=0.147, loss_ctc=66.056, loss_att=50.176, acc=0.721, loss=54.940, backward_time=0.293, grad_norm=69.888, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.462e-05, train_time=1.506 -[gpua002:0/64] 2023-12-10 05:16:03,899 (trainer:737) INFO: 23epoch:train:5301-5400batch: iter_time=7.928e-05, forward_time=0.148, loss_ctc=70.945, loss_att=51.770, acc=0.713, loss=57.522, backward_time=0.287, grad_norm=65.422, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.460e-05, train_time=1.362 -[gpua002:0/64] 2023-12-10 05:19:00,876 (trainer:737) INFO: 23epoch:train:5401-5500batch: iter_time=8.022e-05, forward_time=0.172, loss_ctc=64.756, loss_att=48.297, acc=0.721, loss=53.234, backward_time=0.341, grad_norm=68.502, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.144, optim0_lr0=8.459e-05, train_time=1.770 -[gpua002:0/64] 2023-12-10 05:21:54,367 (trainer:737) INFO: 23epoch:train:5501-5600batch: iter_time=8.106e-05, forward_time=0.238, loss_ctc=61.659, loss_att=49.311, acc=0.721, loss=53.015, backward_time=0.326, grad_norm=58.972, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=8.458e-05, train_time=1.735 -[gpua002:0/64] 2023-12-10 05:24:45,228 (trainer:737) INFO: 23epoch:train:5601-5700batch: iter_time=7.678e-05, forward_time=0.147, loss_ctc=69.270, loss_att=58.926, acc=0.696, loss=62.029, backward_time=0.298, grad_norm=61.505, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.457e-05, train_time=1.709 -[gpua002:0/64] 2023-12-10 05:27:01,888 (trainer:737) INFO: 23epoch:train:5701-5800batch: iter_time=8.040e-05, forward_time=0.147, loss_ctc=65.791, loss_att=56.767, acc=0.704, loss=59.474, backward_time=0.289, grad_norm=58.192, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.455e-05, train_time=1.366 -[gpua002:0/64] 2023-12-10 05:29:08,737 (trainer:737) INFO: 23epoch:train:5801-5900batch: iter_time=7.864e-05, forward_time=0.148, loss_ctc=67.277, loss_att=56.131, acc=0.705, loss=59.475, backward_time=0.280, grad_norm=56.193, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.454e-05, train_time=1.268 -[gpua002:0/64] 2023-12-10 05:31:28,878 (trainer:737) INFO: 23epoch:train:5901-6000batch: iter_time=7.904e-05, forward_time=0.149, loss_ctc=60.846, loss_att=50.009, acc=0.716, loss=53.260, backward_time=0.292, grad_norm=50.738, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.453e-05, train_time=1.401 -[gpua002:0/64] 2023-12-10 05:33:50,689 (trainer:737) INFO: 23epoch:train:6001-6100batch: iter_time=7.847e-05, forward_time=0.149, loss_ctc=65.349, loss_att=50.404, acc=0.698, loss=54.888, backward_time=0.311, grad_norm=57.420, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.452e-05, train_time=1.417 -[gpua002:0/64] 2023-12-10 05:36:33,625 (trainer:737) INFO: 23epoch:train:6101-6200batch: iter_time=8.135e-05, forward_time=0.158, loss_ctc=74.663, loss_att=56.048, acc=0.717, loss=61.633, backward_time=0.297, grad_norm=61.918, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.450e-05, train_time=1.630 -[gpua002:0/64] 2023-12-10 05:38:00,875 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua002:0/64] 2023-12-10 05:38:20,406 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 05:38:24,173 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 05:38:24,174 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua002:0/64] 2023-12-10 05:38:24,177 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 05:44:22,093 (trainer:737) INFO: 23epoch:train:6201-6300batch: iter_time=3.231, forward_time=0.182, loss_ctc=61.145, loss_att=48.801, acc=0.711, loss=52.504, backward_time=0.283, grad_norm=90.498, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.449e-05, train_time=4.684 -[gpua002:0/64] 2023-12-10 05:46:43,196 (trainer:737) INFO: 23epoch:train:6301-6400batch: iter_time=7.883e-05, forward_time=0.211, loss_ctc=79.701, loss_att=62.336, acc=0.707, loss=67.546, backward_time=0.291, grad_norm=60.249, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.148, optim0_lr0=8.448e-05, train_time=1.411 -[gpua002:0/64] 2023-12-10 05:48:46,489 (trainer:737) INFO: 23epoch:train:6401-6500batch: iter_time=7.409e-05, forward_time=0.147, loss_ctc=70.004, loss_att=50.242, acc=0.715, loss=56.171, backward_time=0.282, grad_norm=63.250, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.447e-05, train_time=1.233 -[gpua002:0/64] 2023-12-10 05:51:24,669 (trainer:737) INFO: 23epoch:train:6501-6600batch: iter_time=7.835e-05, forward_time=0.147, loss_ctc=66.964, loss_att=50.115, acc=0.729, loss=55.170, backward_time=0.285, grad_norm=64.453, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.445e-05, train_time=1.582 -[gpua002:0/64] 2023-12-10 05:54:01,455 (trainer:737) INFO: 23epoch:train:6601-6700batch: iter_time=7.717e-05, forward_time=0.147, loss_ctc=68.568, loss_att=50.824, acc=0.719, loss=56.147, backward_time=0.321, grad_norm=53.277, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.444e-05, train_time=1.568 -[gpua002:0/64] 2023-12-10 05:56:21,539 (trainer:737) INFO: 23epoch:train:6701-6800batch: iter_time=7.955e-05, forward_time=0.148, loss_ctc=62.202, loss_att=48.395, acc=0.721, loss=52.537, backward_time=0.285, grad_norm=55.653, clip=100.000, loss_scale=7.058e+31, optim_step_time=0.136, optim0_lr0=8.443e-05, train_time=1.401 -[gpua002:0/64] 2023-12-10 05:58:58,866 (trainer:737) INFO: 23epoch:train:6801-6900batch: iter_time=7.512e-05, forward_time=0.150, loss_ctc=62.439, loss_att=53.439, acc=0.712, loss=56.139, backward_time=0.309, grad_norm=57.316, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.442e-05, train_time=1.573 -[gpua002:0/64] 2023-12-10 06:01:27,561 (trainer:737) INFO: 23epoch:train:6901-7000batch: iter_time=7.745e-05, forward_time=0.147, loss_ctc=72.954, loss_att=64.242, acc=0.693, loss=66.856, backward_time=0.288, grad_norm=58.331, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.440e-05, train_time=1.486 -[gpua002:0/64] 2023-12-10 06:04:03,693 (trainer:737) INFO: 23epoch:train:7001-7100batch: iter_time=7.807e-05, forward_time=0.148, loss_ctc=58.034, loss_att=49.656, acc=0.709, loss=52.169, backward_time=0.291, grad_norm=50.251, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.439e-05, train_time=1.561 -[gpua002:0/64] 2023-12-10 06:07:13,711 (trainer:737) INFO: 23epoch:train:7101-7200batch: iter_time=7.528e-05, forward_time=0.148, loss_ctc=62.019, loss_att=48.304, acc=0.714, loss=52.418, backward_time=0.339, grad_norm=57.294, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.438e-05, train_time=1.900 -[gpua002:0/64] 2023-12-10 06:09:43,291 (trainer:737) INFO: 23epoch:train:7201-7300batch: iter_time=7.691e-05, forward_time=0.223, loss_ctc=65.822, loss_att=54.812, acc=0.704, loss=58.115, backward_time=0.303, grad_norm=57.367, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.145, optim0_lr0=8.437e-05, train_time=1.496 -[gpua002:0/64] 2023-12-10 06:11:58,072 (trainer:737) INFO: 23epoch:train:7301-7400batch: iter_time=7.623e-05, forward_time=0.147, loss_ctc=67.091, loss_att=50.041, acc=0.711, loss=55.156, backward_time=0.284, grad_norm=66.977, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.435e-05, train_time=1.348 -[gpua002:0/64] 2023-12-10 06:14:43,082 (trainer:737) INFO: 23epoch:train:7401-7500batch: iter_time=7.514e-05, forward_time=0.146, loss_ctc=74.019, loss_att=55.969, acc=0.713, loss=61.384, backward_time=0.319, grad_norm=61.471, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.434e-05, train_time=1.650 -[gpua002:0/64] 2023-12-10 06:15:03,111 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua002:0/64] 2023-12-10 06:15:22,417 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 06:15:25,915 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 06:15:25,915 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua002:0/64] 2023-12-10 06:15:25,934 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 06:22:29,679 (trainer:737) INFO: 23epoch:train:7501-7600batch: iter_time=3.043, forward_time=0.148, loss_ctc=67.173, loss_att=56.532, acc=0.723, loss=59.725, backward_time=0.281, grad_norm=57.148, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.433e-05, train_time=4.666 -[gpua002:0/64] 2023-12-10 06:24:40,575 (trainer:737) INFO: 23epoch:train:7601-7700batch: iter_time=8.145e-05, forward_time=0.148, loss_ctc=77.079, loss_att=58.482, acc=0.706, loss=64.061, backward_time=0.281, grad_norm=60.147, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.432e-05, train_time=1.309 -[gpua002:0/64] 2023-12-10 06:27:27,727 (trainer:737) INFO: 23epoch:train:7701-7800batch: iter_time=8.018e-05, forward_time=0.149, loss_ctc=65.357, loss_att=51.362, acc=0.723, loss=55.561, backward_time=0.325, grad_norm=56.924, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.430e-05, train_time=1.671 -[gpua002:0/64] 2023-12-10 06:29:50,156 (trainer:737) INFO: 23epoch:train:7801-7900batch: iter_time=7.899e-05, forward_time=0.148, loss_ctc=69.651, loss_att=51.171, acc=0.725, loss=56.715, backward_time=0.282, grad_norm=55.775, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.429e-05, train_time=1.424 -[gpua002:0/64] 2023-12-10 06:32:21,135 (trainer:737) INFO: 23epoch:train:7901-8000batch: iter_time=7.713e-05, forward_time=0.150, loss_ctc=64.394, loss_att=49.842, acc=0.725, loss=54.207, backward_time=0.332, grad_norm=56.605, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.428e-05, train_time=1.509 -[gpua002:0/64] 2023-12-10 06:34:36,723 (trainer:737) INFO: 23epoch:train:8001-8100batch: iter_time=7.473e-05, forward_time=0.148, loss_ctc=62.112, loss_att=49.620, acc=0.727, loss=53.368, backward_time=0.298, grad_norm=60.684, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.427e-05, train_time=1.356 -[gpua002:0/64] 2023-12-10 06:37:40,232 (trainer:737) INFO: 23epoch:train:8101-8200batch: iter_time=7.764e-05, forward_time=0.155, loss_ctc=68.446, loss_att=58.293, acc=0.711, loss=61.339, backward_time=0.346, grad_norm=57.455, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.425e-05, train_time=1.834 -[gpua002:0/64] 2023-12-10 06:40:13,737 (trainer:737) INFO: 23epoch:train:8201-8300batch: iter_time=7.874e-05, forward_time=0.283, loss_ctc=65.171, loss_att=59.406, acc=0.712, loss=61.136, backward_time=0.299, grad_norm=53.241, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=8.424e-05, train_time=1.535 -[gpua002:0/64] 2023-12-10 06:43:08,366 (trainer:737) INFO: 23epoch:train:8301-8400batch: iter_time=7.843e-05, forward_time=0.148, loss_ctc=66.455, loss_att=56.185, acc=0.711, loss=59.266, backward_time=0.327, grad_norm=59.749, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.423e-05, train_time=1.746 -[gpua002:0/64] 2023-12-10 06:45:30,280 (trainer:737) INFO: 23epoch:train:8401-8500batch: iter_time=7.645e-05, forward_time=0.148, loss_ctc=60.688, loss_att=49.719, acc=0.723, loss=53.010, backward_time=0.292, grad_norm=52.218, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.422e-05, train_time=1.419 -[gpua002:0/64] 2023-12-10 06:47:59,548 (trainer:737) INFO: 23epoch:train:8501-8600batch: iter_time=7.798e-05, forward_time=0.148, loss_ctc=65.263, loss_att=50.127, acc=0.710, loss=54.668, backward_time=0.329, grad_norm=59.476, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.420e-05, train_time=1.492 -[gpua002:0/64] 2023-12-10 06:50:17,802 (trainer:737) INFO: 23epoch:train:8601-8700batch: iter_time=7.455e-05, forward_time=0.150, loss_ctc=73.766, loss_att=55.238, acc=0.730, loss=60.796, backward_time=0.287, grad_norm=62.002, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.419e-05, train_time=1.382 -[gpua002:0/64] 2023-12-10 06:51:57,220 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua002:0/64] 2023-12-10 06:52:16,721 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 06:52:20,226 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 06:52:20,226 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua002:0/64] 2023-12-10 06:52:20,232 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 06:57:59,850 (trainer:737) INFO: 23epoch:train:8701-8800batch: iter_time=3.157, forward_time=0.153, loss_ctc=61.447, loss_att=49.534, acc=0.716, loss=53.108, backward_time=0.285, grad_norm=53.722, clip=100.000, loss_scale=1.412e+32, optim_step_time=0.135, optim0_lr0=8.418e-05, train_time=4.620 -[gpua002:0/64] 2023-12-10 07:00:01,926 (trainer:737) INFO: 23epoch:train:8801-8900batch: iter_time=7.469e-05, forward_time=0.147, loss_ctc=78.843, loss_att=63.123, acc=0.707, loss=67.839, backward_time=0.280, grad_norm=60.449, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=8.417e-05, train_time=1.221 -[gpua002:0/64] 2023-12-10 07:02:53,007 (trainer:737) INFO: 23epoch:train:8901-9000batch: iter_time=7.933e-05, forward_time=0.267, loss_ctc=69.761, loss_att=50.411, acc=0.715, loss=56.216, backward_time=0.311, grad_norm=64.437, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.139, optim0_lr0=8.415e-05, train_time=1.710 -[gpua002:0/64] 2023-12-10 07:05:06,436 (trainer:737) INFO: 23epoch:train:9001-9100batch: iter_time=8.004e-05, forward_time=0.147, loss_ctc=67.177, loss_att=50.239, acc=0.728, loss=55.321, backward_time=0.284, grad_norm=59.415, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=8.414e-05, train_time=1.334 -[gpua002:0/64] 2023-12-10 07:06:52,319 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-10 07:07:56,810 (trainer:737) INFO: 23epoch:train:9101-9200batch: iter_time=7.904e-05, forward_time=0.149, loss_ctc=69.245, loss_att=51.020, acc=0.721, loss=56.488, backward_time=0.317, grad_norm=69.274, clip=100.000, loss_scale=1.319e+32, optim_step_time=0.135, optim0_lr0=8.413e-05, train_time=1.704 -[gpua002:0/64] 2023-12-10 07:10:05,610 (trainer:737) INFO: 23epoch:train:9201-9300batch: iter_time=7.648e-05, forward_time=0.147, loss_ctc=61.728, loss_att=48.066, acc=0.723, loss=52.164, backward_time=0.288, grad_norm=55.467, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.412e-05, train_time=1.288 -[gpua002:0/64] 2023-12-10 07:12:32,065 (trainer:737) INFO: 23epoch:train:9301-9400batch: iter_time=7.982e-05, forward_time=0.146, loss_ctc=61.990, loss_att=53.267, acc=0.712, loss=55.884, backward_time=0.291, grad_norm=59.584, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.410e-05, train_time=1.464 -[gpua002:0/64] 2023-12-10 07:15:20,702 (trainer:737) INFO: 23epoch:train:9401-9500batch: iter_time=7.880e-05, forward_time=0.148, loss_ctc=72.248, loss_att=63.871, acc=0.694, loss=66.384, backward_time=0.335, grad_norm=66.159, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.409e-05, train_time=1.686 -[gpua002:0/64] 2023-12-10 07:17:42,684 (trainer:737) INFO: 23epoch:train:9501-9600batch: iter_time=8.082e-05, forward_time=0.147, loss_ctc=58.193, loss_att=49.637, acc=0.711, loss=52.204, backward_time=0.286, grad_norm=49.036, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.408e-05, train_time=1.420 -[gpua002:0/64] 2023-12-10 07:20:36,390 (trainer:737) INFO: 23epoch:train:9601-9700batch: iter_time=8.336e-05, forward_time=0.153, loss_ctc=62.026, loss_att=47.926, acc=0.716, loss=52.156, backward_time=0.350, grad_norm=57.678, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.407e-05, train_time=1.737 -[gpua002:0/64] 2023-12-10 07:23:17,900 (trainer:737) INFO: 23epoch:train:9701-9800batch: iter_time=7.991e-05, forward_time=0.149, loss_ctc=65.857, loss_att=54.839, acc=0.706, loss=58.144, backward_time=0.301, grad_norm=57.987, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.405e-05, train_time=1.614 -[gpua002:0/64] 2023-12-10 07:25:50,785 (trainer:737) INFO: 23epoch:train:9801-9900batch: iter_time=8.027e-05, forward_time=0.243, loss_ctc=66.726, loss_att=49.694, acc=0.716, loss=54.803, backward_time=0.320, grad_norm=60.100, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=8.404e-05, train_time=1.529 -[gpua002:0/64] 2023-12-10 07:27:58,041 (trainer:737) INFO: 23epoch:train:9901-10000batch: iter_time=8.150e-05, forward_time=0.148, loss_ctc=73.117, loss_att=55.590, acc=0.715, loss=60.848, backward_time=0.287, grad_norm=59.786, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.403e-05, train_time=1.272 -[gpua002:0/64] 2023-12-10 07:28:18,069 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua002:0/64] 2023-12-10 07:28:37,596 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 07:28:41,173 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 07:28:41,173 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua002:0/64] 2023-12-10 07:28:41,180 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 07:34:59,155 (trainer:737) INFO: 23epoch:train:10001-10100batch: iter_time=2.935, forward_time=0.149, loss_ctc=66.671, loss_att=55.780, acc=0.725, loss=59.047, backward_time=0.284, grad_norm=56.041, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.402e-05, train_time=4.211 -[gpua002:0/64] 2023-12-10 07:37:02,555 (trainer:737) INFO: 23epoch:train:10101-10200batch: iter_time=7.700e-05, forward_time=0.147, loss_ctc=76.748, loss_att=57.853, acc=0.708, loss=63.521, backward_time=0.280, grad_norm=62.036, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.401e-05, train_time=1.234 -[gpua002:0/64] 2023-12-10 07:39:20,889 (trainer:737) INFO: 23epoch:train:10201-10300batch: iter_time=7.703e-05, forward_time=0.148, loss_ctc=65.694, loss_att=51.227, acc=0.724, loss=55.568, backward_time=0.313, grad_norm=68.212, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.399e-05, train_time=1.383 -[gpua002:0/64] 2023-12-10 07:41:56,917 (trainer:737) INFO: 23epoch:train:10301-10400batch: iter_time=7.836e-05, forward_time=0.147, loss_ctc=69.721, loss_att=50.629, acc=0.727, loss=56.356, backward_time=0.293, grad_norm=61.774, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.398e-05, train_time=1.560 -[gpua002:0/64] 2023-12-10 07:44:07,848 (trainer:737) INFO: 23epoch:train:10401-10500batch: iter_time=7.451e-05, forward_time=0.147, loss_ctc=63.333, loss_att=49.524, acc=0.728, loss=53.666, backward_time=0.282, grad_norm=65.376, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.397e-05, train_time=1.309 -[gpua002:0/64] 2023-12-10 07:46:52,993 (trainer:737) INFO: 23epoch:train:10501-10600batch: iter_time=7.784e-05, forward_time=0.151, loss_ctc=60.734, loss_att=48.987, acc=0.728, loss=52.511, backward_time=0.293, grad_norm=55.966, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.396e-05, train_time=1.651 -[gpua002:0/64] 2023-12-10 07:50:09,800 (trainer:737) INFO: 23epoch:train:10601-10700batch: iter_time=7.920e-05, forward_time=0.147, loss_ctc=68.279, loss_att=57.987, acc=0.711, loss=61.074, backward_time=0.346, grad_norm=62.214, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.394e-05, train_time=1.967 -[gpua002:0/64] 2023-12-10 07:53:18,533 (trainer:737) INFO: 23epoch:train:10701-10800batch: iter_time=8.003e-05, forward_time=0.186, loss_ctc=64.592, loss_att=58.966, acc=0.712, loss=60.654, backward_time=0.342, grad_norm=57.014, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.141, optim0_lr0=8.393e-05, train_time=1.888 -[gpua002:0/64] 2023-12-10 07:56:09,531 (trainer:737) INFO: 23epoch:train:10801-10900batch: iter_time=7.914e-05, forward_time=0.204, loss_ctc=65.996, loss_att=55.532, acc=0.714, loss=58.671, backward_time=0.338, grad_norm=56.953, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.392e-05, train_time=1.709 -[gpua002:0/64] 2023-12-10 07:58:13,917 (trainer:737) INFO: 23epoch:train:10901-11000batch: iter_time=7.799e-05, forward_time=0.148, loss_ctc=60.461, loss_att=49.491, acc=0.726, loss=52.782, backward_time=0.281, grad_norm=54.413, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.391e-05, train_time=1.244 -[gpua002:0/64] 2023-12-10 08:00:56,995 (trainer:737) INFO: 23epoch:train:11001-11100batch: iter_time=8.179e-05, forward_time=0.148, loss_ctc=64.378, loss_att=50.320, acc=0.708, loss=54.538, backward_time=0.299, grad_norm=67.360, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.389e-05, train_time=1.631 -[gpua002:0/64] 2023-12-10 08:03:49,916 (trainer:737) INFO: 23epoch:train:11101-11200batch: iter_time=7.578e-05, forward_time=0.148, loss_ctc=73.722, loss_att=54.953, acc=0.730, loss=60.584, backward_time=0.300, grad_norm=64.764, clip=100.000, loss_scale=1.111e+32, optim_step_time=0.136, optim0_lr0=8.388e-05, train_time=1.729 -[gpua002:0/64] 2023-12-10 08:03:55,690 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-10 08:05:25,244 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua002:0/64] 2023-12-10 08:05:44,715 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 08:05:48,249 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 08:05:48,249 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua002:0/64] 2023-12-10 08:05:48,257 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 08:11:44,158 (trainer:737) INFO: 23epoch:train:11201-11300batch: iter_time=3.271, forward_time=0.154, loss_ctc=60.763, loss_att=48.664, acc=0.726, loss=52.294, backward_time=0.290, grad_norm=51.854, clip=100.000, loss_scale=8.359e+31, optim_step_time=0.137, optim0_lr0=8.387e-05, train_time=4.742 -[gpua002:0/64] 2023-12-10 08:13:58,010 (trainer:737) INFO: 23epoch:train:11301-11400batch: iter_time=7.913e-05, forward_time=0.149, loss_ctc=79.126, loss_att=62.945, acc=0.719, loss=67.799, backward_time=0.295, grad_norm=58.926, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.386e-05, train_time=1.339 -[gpua002:0/64] 2023-12-10 08:16:49,299 (trainer:737) INFO: 23epoch:train:11401-11500batch: iter_time=8.048e-05, forward_time=0.169, loss_ctc=69.146, loss_att=50.223, acc=0.718, loss=55.900, backward_time=0.327, grad_norm=61.595, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=8.385e-05, train_time=1.713 -[gpua002:0/64] 2023-12-10 08:19:21,372 (trainer:737) INFO: 23epoch:train:11501-11600batch: iter_time=0.002, forward_time=0.242, loss_ctc=66.707, loss_att=51.822, acc=0.730, loss=56.287, backward_time=0.318, grad_norm=59.655, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=8.383e-05, train_time=1.520 -[gpua002:0/64] 2023-12-10 08:22:04,151 (trainer:737) INFO: 23epoch:train:11601-11700batch: iter_time=7.822e-05, forward_time=0.147, loss_ctc=68.849, loss_att=51.436, acc=0.731, loss=56.659, backward_time=0.315, grad_norm=58.153, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.382e-05, train_time=1.628 -[gpua002:0/64] 2023-12-10 08:24:38,290 (trainer:737) INFO: 23epoch:train:11701-11800batch: iter_time=7.675e-05, forward_time=0.149, loss_ctc=61.840, loss_att=48.246, acc=0.726, loss=52.324, backward_time=0.291, grad_norm=58.976, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.381e-05, train_time=1.541 -[gpua002:0/64] 2023-12-10 08:24:58,247 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-10 08:27:44,323 (trainer:737) INFO: 23epoch:train:11801-11900batch: iter_time=7.705e-05, forward_time=0.147, loss_ctc=62.065, loss_att=53.741, acc=0.723, loss=56.238, backward_time=0.423, grad_norm=58.234, clip=100.000, loss_scale=4.630e+31, optim_step_time=0.136, optim0_lr0=8.380e-05, train_time=1.860 -[gpua002:0/64] 2023-12-10 08:30:21,695 (trainer:737) INFO: 23epoch:train:11901-12000batch: iter_time=7.734e-05, forward_time=0.147, loss_ctc=72.179, loss_att=66.498, acc=0.700, loss=68.202, backward_time=0.313, grad_norm=63.855, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.378e-05, train_time=1.573 -[gpua002:0/64] 2023-12-10 08:32:53,643 (trainer:737) INFO: 23epoch:train:12001-12100batch: iter_time=7.683e-05, forward_time=0.150, loss_ctc=58.071, loss_att=49.141, acc=0.723, loss=51.820, backward_time=0.347, grad_norm=49.157, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.377e-05, train_time=1.519 -[gpua002:0/64] 2023-12-10 08:35:27,245 (trainer:737) INFO: 23epoch:train:12101-12200batch: iter_time=7.924e-05, forward_time=0.152, loss_ctc=61.148, loss_att=47.031, acc=0.722, loss=51.266, backward_time=0.327, grad_norm=60.101, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.376e-05, train_time=1.534 -[gpua002:0/64] 2023-12-10 08:38:24,577 (trainer:737) INFO: 23epoch:train:12201-12300batch: iter_time=7.862e-05, forward_time=0.147, loss_ctc=66.366, loss_att=55.690, acc=0.716, loss=58.893, backward_time=0.380, grad_norm=60.308, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.375e-05, train_time=1.775 -[gpua002:0/64] 2023-12-10 08:41:11,435 (trainer:737) INFO: 23epoch:train:12301-12400batch: iter_time=1.960e-04, forward_time=0.249, loss_ctc=66.817, loss_att=49.774, acc=0.719, loss=54.887, backward_time=0.352, grad_norm=101.385, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=8.373e-05, train_time=1.668 -[gpua002:0/64] 2023-12-10 08:43:41,446 (trainer:737) INFO: 23epoch:train:12401-12500batch: iter_time=7.478e-05, forward_time=0.147, loss_ctc=73.144, loss_att=55.271, acc=0.725, loss=60.633, backward_time=0.287, grad_norm=70.861, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.372e-05, train_time=1.500 -[gpua002:0/64] 2023-12-10 08:44:01,474 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua002:0/64] 2023-12-10 08:44:20,923 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 08:44:24,469 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 08:44:24,469 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua002:0/64] 2023-12-10 08:44:24,475 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 08:51:05,062 (trainer:737) INFO: 23epoch:train:12501-12600batch: iter_time=3.160, forward_time=0.155, loss_ctc=66.592, loss_att=55.389, acc=0.717, loss=58.750, backward_time=0.283, grad_norm=64.170, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.371e-05, train_time=4.436 -[gpua002:0/64] 2023-12-10 08:53:26,197 (trainer:737) INFO: 23epoch:train:12601-12700batch: iter_time=7.633e-05, forward_time=0.147, loss_ctc=76.903, loss_att=58.597, acc=0.699, loss=64.089, backward_time=0.290, grad_norm=62.176, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.370e-05, train_time=1.411 -[gpua002:0/64] 2023-12-10 08:56:03,107 (trainer:737) INFO: 23epoch:train:12701-12800batch: iter_time=7.790e-05, forward_time=0.147, loss_ctc=64.911, loss_att=48.916, acc=0.727, loss=53.714, backward_time=0.293, grad_norm=66.577, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.369e-05, train_time=1.569 -[gpua002:0/64] 2023-12-10 08:58:14,188 (trainer:737) INFO: 23epoch:train:12801-12900batch: iter_time=7.867e-05, forward_time=0.149, loss_ctc=69.065, loss_att=50.959, acc=0.718, loss=56.391, backward_time=0.299, grad_norm=65.674, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.367e-05, train_time=1.311 -[gpua002:0/64] 2023-12-10 09:00:48,911 (trainer:737) INFO: 23epoch:train:12901-13000batch: iter_time=8.086e-05, forward_time=0.147, loss_ctc=63.340, loss_att=47.843, acc=0.725, loss=52.492, backward_time=0.304, grad_norm=52.499, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.366e-05, train_time=1.546 -[gpua002:0/64] 2023-12-10 09:03:24,423 (trainer:737) INFO: 23epoch:train:13001-13100batch: iter_time=7.926e-05, forward_time=0.168, loss_ctc=60.565, loss_att=48.499, acc=0.726, loss=52.119, backward_time=0.335, grad_norm=64.958, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.365e-05, train_time=1.555 -[gpua002:0/64] 2023-12-10 09:05:58,116 (trainer:737) INFO: 23epoch:train:13101-13200batch: iter_time=7.996e-05, forward_time=0.220, loss_ctc=67.699, loss_att=58.189, acc=0.701, loss=61.042, backward_time=0.315, grad_norm=61.741, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=8.364e-05, train_time=1.537 -[gpua002:0/64] 2023-12-10 09:08:53,887 (trainer:737) INFO: 23epoch:train:13201-13300batch: iter_time=7.996e-05, forward_time=0.149, loss_ctc=64.510, loss_att=56.419, acc=0.708, loss=58.846, backward_time=0.366, grad_norm=67.041, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.363e-05, train_time=1.757 -[gpua002:0/64] 2023-12-10 09:11:56,825 (trainer:737) INFO: 23epoch:train:13301-13400batch: iter_time=7.959e-05, forward_time=0.157, loss_ctc=65.869, loss_att=55.015, acc=0.710, loss=58.271, backward_time=0.375, grad_norm=59.114, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.361e-05, train_time=1.829 -[gpua002:0/64] 2023-12-10 09:14:22,520 (trainer:737) INFO: 23epoch:train:13401-13500batch: iter_time=7.739e-05, forward_time=0.147, loss_ctc=60.026, loss_att=49.382, acc=0.719, loss=52.575, backward_time=0.293, grad_norm=77.210, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.360e-05, train_time=1.457 -[gpua002:0/64] 2023-12-10 09:16:22,801 (trainer:737) INFO: 23epoch:train:13501-13600batch: iter_time=7.744e-05, forward_time=0.147, loss_ctc=64.923, loss_att=50.253, acc=0.702, loss=54.654, backward_time=0.280, grad_norm=61.039, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.359e-05, train_time=1.203 -[gpua002:0/64] 2023-12-10 09:18:52,283 (trainer:737) INFO: 23epoch:train:13601-13700batch: iter_time=7.968e-05, forward_time=0.148, loss_ctc=73.646, loss_att=55.296, acc=0.720, loss=60.801, backward_time=0.303, grad_norm=63.231, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.358e-05, train_time=1.495 -[gpua002:0/64] 2023-12-10 09:20:23,294 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua002:0/64] 2023-12-10 09:20:42,754 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 09:20:46,580 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 09:20:46,580 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua002:0/64] 2023-12-10 09:20:46,583 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 09:26:37,102 (trainer:737) INFO: 23epoch:train:13701-13800batch: iter_time=3.256, forward_time=0.193, loss_ctc=60.131, loss_att=48.188, acc=0.715, loss=51.771, backward_time=0.303, grad_norm=58.888, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.356e-05, train_time=4.648 -[gpua002:0/64] 2023-12-10 09:28:45,882 (trainer:737) INFO: 23epoch:train:13801-13900batch: iter_time=7.554e-05, forward_time=0.148, loss_ctc=78.834, loss_att=61.886, acc=0.711, loss=66.971, backward_time=0.281, grad_norm=62.717, clip=100.000, loss_scale=7.504e+31, optim_step_time=0.136, optim0_lr0=8.355e-05, train_time=1.288 -[gpua002:0/64] 2023-12-10 09:30:49,619 (trainer:737) INFO: 23epoch:train:13901-14000batch: iter_time=7.482e-05, forward_time=0.148, loss_ctc=69.466, loss_att=49.887, acc=0.718, loss=55.761, backward_time=0.298, grad_norm=57.635, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.354e-05, train_time=1.237 -[gpua002:0/64] 2023-12-10 09:33:01,455 (trainer:737) INFO: 23epoch:train:14001-14100batch: iter_time=7.786e-05, forward_time=0.148, loss_ctc=66.957, loss_att=50.081, acc=0.730, loss=55.143, backward_time=0.283, grad_norm=56.195, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.353e-05, train_time=1.318 -[gpua002:0/64] 2023-12-10 09:35:47,505 (trainer:737) INFO: 23epoch:train:14101-14200batch: iter_time=7.760e-05, forward_time=0.147, loss_ctc=68.739, loss_att=50.500, acc=0.723, loss=55.972, backward_time=0.342, grad_norm=57.479, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.352e-05, train_time=1.660 -[gpua002:0/64] 2023-12-10 09:38:30,653 (trainer:737) INFO: 23epoch:train:14201-14300batch: iter_time=7.826e-05, forward_time=0.147, loss_ctc=61.522, loss_att=47.370, acc=0.728, loss=51.615, backward_time=0.295, grad_norm=59.740, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.350e-05, train_time=1.631 -[gpua002:0/64] 2023-12-10 09:41:34,155 (trainer:737) INFO: 23epoch:train:14301-14400batch: iter_time=7.892e-05, forward_time=0.196, loss_ctc=62.140, loss_att=53.085, acc=0.714, loss=55.801, backward_time=0.404, grad_norm=54.060, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.147, optim0_lr0=8.349e-05, train_time=1.835 -[gpua002:0/64] 2023-12-10 09:44:16,505 (trainer:737) INFO: 23epoch:train:14401-14500batch: iter_time=7.463e-05, forward_time=0.149, loss_ctc=72.203, loss_att=63.317, acc=0.698, loss=65.983, backward_time=0.301, grad_norm=63.714, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.348e-05, train_time=1.623 -[gpua002:0/64] 2023-12-10 09:45:42,415 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-10 09:46:47,481 (trainer:737) INFO: 23epoch:train:14501-14600batch: iter_time=7.663e-05, forward_time=0.148, loss_ctc=57.447, loss_att=48.657, acc=0.714, loss=51.294, backward_time=0.282, grad_norm=50.726, clip=100.000, loss_scale=6.228e+31, optim_step_time=0.136, optim0_lr0=8.347e-05, train_time=1.510 -[gpua002:0/64] 2023-12-10 09:49:30,921 (trainer:737) INFO: 23epoch:train:14601-14700batch: iter_time=7.668e-05, forward_time=0.147, loss_ctc=61.037, loss_att=47.505, acc=0.718, loss=51.565, backward_time=0.298, grad_norm=64.504, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.346e-05, train_time=1.634 -[gpua002:0/64] 2023-12-10 09:51:46,623 (trainer:737) INFO: 23epoch:train:14701-14800batch: iter_time=7.621e-05, forward_time=0.147, loss_ctc=65.582, loss_att=54.212, acc=0.709, loss=57.623, backward_time=0.280, grad_norm=57.343, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.344e-05, train_time=1.357 -[gpua002:0/64] 2023-12-10 09:53:49,647 (trainer:737) INFO: 23epoch:train:14801-14900batch: iter_time=7.661e-05, forward_time=0.147, loss_ctc=66.427, loss_att=49.756, acc=0.717, loss=54.757, backward_time=0.282, grad_norm=59.719, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.343e-05, train_time=1.230 -[gpua002:0/64] 2023-12-10 09:56:33,136 (trainer:737) INFO: 23epoch:train:14901-15000batch: iter_time=7.586e-05, forward_time=0.148, loss_ctc=72.757, loss_att=55.029, acc=0.718, loss=60.348, backward_time=0.292, grad_norm=58.637, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.342e-05, train_time=1.635 -[gpua002:0/64] 2023-12-10 10:22:53,418 (trainer:343) INFO: 23epoch results: [train] iter_time=0.244, forward_time=0.158, loss_ctc=67.336, loss_att=53.527, acc=0.714, loss=57.670, backward_time=0.306, grad_norm=61.162, clip=100.000, loss_scale=6.492e+31, optim_step_time=0.136, optim0_lr0=8.434e-05, train_time=1.756, time=7 hours, 19 minutes and 32.61 seconds, total_count=345000, gpu_max_cached_mem_GB=36.283, [valid] loss_ctc=37.559, cer_ctc=0.193, loss_att=34.271, acc=0.708, cer=0.337, wer=0.989, loss=35.257, time=25 minutes and 56.43 seconds, total_count=107433, gpu_max_cached_mem_GB=36.283 -[gpua002:0/64] 2023-12-10 10:23:16,457 (trainer:391) INFO: The best model has been updated: valid.total_count -[gpua002:0/64] 2023-12-10 10:23:16,693 (trainer:272) INFO: 24/40epoch started. Estimated time to finish: 5 days, 23 hours and 9 minutes -[gpua002:0/64] 2023-12-10 10:23:17,954 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua002:0/64] 2023-12-10 10:23:36,297 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 10:23:39,706 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 10:23:39,707 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua002:0/64] 2023-12-10 10:23:39,710 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 10:30:01,981 (trainer:737) INFO: 24epoch:train:1-100batch: iter_time=2.333, forward_time=0.210, loss_ctc=68.103, loss_att=60.435, acc=0.707, loss=62.735, backward_time=0.287, grad_norm=57.963, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=8.341e-05, train_time=4.045 -[gpua002:0/64] 2023-12-10 10:32:06,031 (trainer:737) INFO: 24epoch:train:101-200batch: iter_time=8.109e-05, forward_time=0.148, loss_ctc=68.369, loss_att=63.644, acc=0.697, loss=65.061, backward_time=0.279, grad_norm=57.699, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.339e-05, train_time=1.240 -[gpua002:0/64] 2023-12-10 10:34:16,813 (trainer:737) INFO: 24epoch:train:201-300batch: iter_time=8.002e-05, forward_time=0.147, loss_ctc=61.033, loss_att=46.924, acc=0.713, loss=51.157, backward_time=0.280, grad_norm=56.280, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.338e-05, train_time=1.308 -[gpua002:0/64] 2023-12-10 10:36:49,763 (trainer:737) INFO: 24epoch:train:301-400batch: iter_time=8.245e-05, forward_time=0.148, loss_ctc=71.516, loss_att=53.168, acc=0.707, loss=58.672, backward_time=0.357, grad_norm=58.607, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.337e-05, train_time=1.529 -[gpua002:0/64] 2023-12-10 10:39:20,779 (trainer:737) INFO: 24epoch:train:401-500batch: iter_time=7.991e-05, forward_time=0.150, loss_ctc=69.972, loss_att=60.470, acc=0.701, loss=63.320, backward_time=0.319, grad_norm=65.566, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.336e-05, train_time=1.510 -[gpua002:0/64] 2023-12-10 10:39:48,705 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-10 10:41:46,537 (trainer:737) INFO: 24epoch:train:501-600batch: iter_time=7.753e-05, forward_time=0.154, loss_ctc=61.520, loss_att=49.732, acc=0.720, loss=53.268, backward_time=0.299, grad_norm=85.658, clip=100.000, loss_scale=2.356e+31, optim_step_time=0.138, optim0_lr0=8.335e-05, train_time=1.457 -[gpua002:0/64] 2023-12-10 10:44:11,884 (trainer:737) INFO: 24epoch:train:601-700batch: iter_time=7.917e-05, forward_time=0.148, loss_ctc=65.100, loss_att=50.762, acc=0.727, loss=55.063, backward_time=0.295, grad_norm=66.623, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.333e-05, train_time=1.453 -[gpua002:0/64] 2023-12-10 10:46:35,321 (trainer:737) INFO: 24epoch:train:701-800batch: iter_time=7.963e-05, forward_time=0.151, loss_ctc=69.728, loss_att=58.457, acc=0.723, loss=61.838, backward_time=0.288, grad_norm=65.880, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.332e-05, train_time=1.434 -[gpua002:0/64] 2023-12-10 10:49:27,806 (trainer:737) INFO: 24epoch:train:801-900batch: iter_time=6.082e-04, forward_time=0.176, loss_ctc=71.460, loss_att=53.391, acc=0.722, loss=58.812, backward_time=0.333, grad_norm=61.186, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=8.331e-05, train_time=1.725 -[gpua002:0/64] 2023-12-10 10:52:22,141 (trainer:737) INFO: 24epoch:train:901-1000batch: iter_time=7.977e-05, forward_time=0.191, loss_ctc=71.761, loss_att=53.047, acc=0.720, loss=58.661, backward_time=0.371, grad_norm=58.234, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.141, optim0_lr0=8.330e-05, train_time=1.743 -[gpua002:0/64] 2023-12-10 10:55:27,728 (trainer:737) INFO: 24epoch:train:1001-1100batch: iter_time=8.040e-05, forward_time=0.148, loss_ctc=77.957, loss_att=63.505, acc=0.706, loss=67.840, backward_time=0.353, grad_norm=68.520, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.329e-05, train_time=1.856 -[gpua002:0/64] 2023-12-10 10:58:05,767 (trainer:737) INFO: 24epoch:train:1101-1200batch: iter_time=7.352e-05, forward_time=0.166, loss_ctc=68.674, loss_att=51.938, acc=0.716, loss=56.959, backward_time=0.304, grad_norm=65.116, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.327e-05, train_time=1.580 -[gpua002:0/64] 2023-12-10 10:59:29,888 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua002:0/64] 2023-12-10 10:59:49,233 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 10:59:52,786 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 10:59:52,786 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua002:0/64] 2023-12-10 10:59:52,789 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 11:05:29,137 (trainer:737) INFO: 24epoch:train:1201-1300batch: iter_time=3.098, forward_time=0.151, loss_ctc=71.842, loss_att=58.897, acc=0.712, loss=62.780, backward_time=0.285, grad_norm=55.848, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.326e-05, train_time=4.433 -[gpua002:0/64] 2023-12-10 11:07:31,263 (trainer:737) INFO: 24epoch:train:1301-1400batch: iter_time=7.623e-05, forward_time=0.148, loss_ctc=65.254, loss_att=60.099, acc=0.706, loss=61.645, backward_time=0.281, grad_norm=87.645, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.325e-05, train_time=1.222 -[gpua002:0/64] 2023-12-10 11:09:47,693 (trainer:737) INFO: 24epoch:train:1401-1500batch: iter_time=7.853e-05, forward_time=0.148, loss_ctc=64.566, loss_att=51.377, acc=0.715, loss=55.333, backward_time=0.284, grad_norm=82.141, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.324e-05, train_time=1.364 -[gpua002:0/64] 2023-12-10 11:12:15,952 (trainer:737) INFO: 24epoch:train:1501-1600batch: iter_time=7.794e-05, forward_time=0.162, loss_ctc=69.418, loss_att=53.187, acc=0.721, loss=58.056, backward_time=0.286, grad_norm=70.973, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.323e-05, train_time=1.482 -[gpua002:0/64] 2023-12-10 11:14:48,625 (trainer:737) INFO: 24epoch:train:1601-1700batch: iter_time=1.666e-04, forward_time=0.177, loss_ctc=62.417, loss_att=50.843, acc=0.704, loss=54.315, backward_time=0.308, grad_norm=91.297, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=8.321e-05, train_time=1.526 -[gpua002:0/64] 2023-12-10 11:17:39,297 (trainer:737) INFO: 24epoch:train:1701-1800batch: iter_time=7.820e-05, forward_time=0.207, loss_ctc=66.888, loss_att=56.406, acc=0.712, loss=59.551, backward_time=0.319, grad_norm=65.507, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.143, optim0_lr0=8.320e-05, train_time=1.707 -[gpua002:0/64] 2023-12-10 11:20:31,242 (trainer:737) INFO: 24epoch:train:1801-1900batch: iter_time=7.854e-05, forward_time=0.148, loss_ctc=61.534, loss_att=45.440, acc=0.730, loss=50.268, backward_time=0.306, grad_norm=65.129, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.319e-05, train_time=1.719 -[gpua002:0/64] 2023-12-10 11:23:32,652 (trainer:737) INFO: 24epoch:train:1901-2000batch: iter_time=7.778e-05, forward_time=0.147, loss_ctc=67.568, loss_att=56.989, acc=0.727, loss=60.162, backward_time=0.294, grad_norm=67.246, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.318e-05, train_time=1.814 -[gpua002:0/64] 2023-12-10 11:26:13,874 (trainer:737) INFO: 24epoch:train:2001-2100batch: iter_time=8.018e-05, forward_time=0.147, loss_ctc=68.899, loss_att=55.170, acc=0.723, loss=59.289, backward_time=0.294, grad_norm=64.209, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.317e-05, train_time=1.612 -[gpua002:0/64] 2023-12-10 11:28:11,763 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-10 11:28:42,521 (trainer:737) INFO: 24epoch:train:2101-2200batch: iter_time=7.642e-05, forward_time=0.153, loss_ctc=74.379, loss_att=54.920, acc=0.724, loss=60.758, backward_time=0.298, grad_norm=62.025, clip=100.000, loss_scale=1.936e+31, optim_step_time=0.135, optim0_lr0=8.315e-05, train_time=1.486 -[gpua002:0/64] 2023-12-10 11:30:44,038 (trainer:737) INFO: 24epoch:train:2201-2300batch: iter_time=8.114e-05, forward_time=0.147, loss_ctc=69.154, loss_att=57.527, acc=0.719, loss=61.015, backward_time=0.280, grad_norm=89.112, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.314e-05, train_time=1.215 -[gpua002:0/64] 2023-12-10 11:33:10,014 (trainer:737) INFO: 24epoch:train:2301-2400batch: iter_time=7.885e-05, forward_time=0.147, loss_ctc=72.726, loss_att=55.157, acc=0.704, loss=60.428, backward_time=0.282, grad_norm=85.731, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.313e-05, train_time=1.460 -[gpua002:0/64] 2023-12-10 11:35:31,387 (trainer:737) INFO: 24epoch:train:2401-2500batch: iter_time=7.672e-05, forward_time=0.150, loss_ctc=69.594, loss_att=52.872, acc=0.729, loss=57.889, backward_time=0.297, grad_norm=126.120, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=8.312e-05, train_time=1.414 -[gpua002:0/64] 2023-12-10 11:35:51,416 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua002:0/64] 2023-12-10 11:36:10,771 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 11:36:14,221 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 11:36:14,221 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua002:0/64] 2023-12-10 11:36:14,268 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 11:42:47,417 (trainer:737) INFO: 24epoch:train:2501-2600batch: iter_time=3.009, forward_time=0.188, loss_ctc=67.173, loss_att=58.610, acc=0.707, loss=61.179, backward_time=0.291, grad_norm=98.796, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=8.311e-05, train_time=4.360 -[gpua002:0/64] 2023-12-10 11:44:52,564 (trainer:737) INFO: 24epoch:train:2601-2700batch: iter_time=8.017e-05, forward_time=0.147, loss_ctc=68.271, loss_att=60.401, acc=0.694, loss=62.762, backward_time=0.292, grad_norm=58.342, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=8.309e-05, train_time=1.251 -[gpua002:0/64] 2023-12-10 11:47:24,630 (trainer:737) INFO: 24epoch:train:2701-2800batch: iter_time=7.947e-05, forward_time=0.147, loss_ctc=59.069, loss_att=45.892, acc=0.718, loss=49.845, backward_time=0.302, grad_norm=72.606, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.308e-05, train_time=1.520 -[gpua002:0/64] 2023-12-10 11:50:07,256 (trainer:737) INFO: 24epoch:train:2801-2900batch: iter_time=7.854e-05, forward_time=0.148, loss_ctc=70.501, loss_att=52.508, acc=0.710, loss=57.906, backward_time=0.294, grad_norm=72.451, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.307e-05, train_time=1.626 -[gpua002:0/64] 2023-12-10 11:52:42,207 (trainer:737) INFO: 24epoch:train:2901-3000batch: iter_time=7.808e-05, forward_time=0.150, loss_ctc=67.730, loss_att=55.562, acc=0.706, loss=59.213, backward_time=0.294, grad_norm=96.152, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.143, optim0_lr0=8.306e-05, train_time=1.549 -[gpua002:0/64] 2023-12-10 11:54:47,249 (trainer:737) INFO: 24epoch:train:3001-3100batch: iter_time=7.477e-05, forward_time=0.149, loss_ctc=60.787, loss_att=49.368, acc=0.714, loss=52.794, backward_time=0.292, grad_norm=82.782, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=8.305e-05, train_time=1.250 -[gpua002:0/64] 2023-12-10 11:56:54,672 (trainer:737) INFO: 24epoch:train:3101-3200batch: iter_time=7.463e-05, forward_time=0.149, loss_ctc=64.338, loss_att=50.534, acc=0.729, loss=54.675, backward_time=0.289, grad_norm=55.420, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.303e-05, train_time=1.275 -[gpua002:0/64] 2023-12-10 11:59:35,684 (trainer:737) INFO: 24epoch:train:3201-3300batch: iter_time=7.686e-05, forward_time=0.148, loss_ctc=68.279, loss_att=58.058, acc=0.715, loss=61.124, backward_time=0.307, grad_norm=74.026, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.302e-05, train_time=1.610 -[gpua002:0/64] 2023-12-10 12:02:10,686 (trainer:737) INFO: 24epoch:train:3301-3400batch: iter_time=7.999e-05, forward_time=0.149, loss_ctc=69.496, loss_att=52.600, acc=0.719, loss=57.669, backward_time=0.332, grad_norm=63.275, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=8.301e-05, train_time=1.550 -[gpua002:0/64] 2023-12-10 12:05:15,293 (trainer:737) INFO: 24epoch:train:3401-3500batch: iter_time=5.880e-04, forward_time=0.246, loss_ctc=70.336, loss_att=52.147, acc=0.713, loss=57.604, backward_time=0.305, grad_norm=72.852, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.151, optim0_lr0=8.300e-05, train_time=1.845 -[gpua002:0/64] 2023-12-10 12:07:47,237 (trainer:737) INFO: 24epoch:train:3501-3600batch: iter_time=7.970e-05, forward_time=0.148, loss_ctc=75.462, loss_att=59.345, acc=0.711, loss=64.180, backward_time=0.308, grad_norm=66.899, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.299e-05, train_time=1.520 -[gpua002:0/64] 2023-12-10 12:09:55,592 (trainer:737) INFO: 24epoch:train:3601-3700batch: iter_time=7.862e-05, forward_time=0.147, loss_ctc=68.078, loss_att=51.307, acc=0.710, loss=56.339, backward_time=0.281, grad_norm=57.091, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=8.298e-05, train_time=1.283 -[gpua002:0/64] 2023-12-10 12:11:23,806 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua002:0/64] 2023-12-10 12:11:43,012 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 12:11:46,504 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 12:11:46,505 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua002:0/64] 2023-12-10 12:11:46,508 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 12:16:51,602 (trainer:737) INFO: 24epoch:train:3701-3800batch: iter_time=2.729, forward_time=0.152, loss_ctc=71.576, loss_att=57.745, acc=0.711, loss=61.895, backward_time=0.289, grad_norm=87.085, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.296e-05, train_time=4.160 -[gpua002:0/64] 2023-12-10 12:18:57,542 (trainer:737) INFO: 24epoch:train:3801-3900batch: iter_time=7.644e-05, forward_time=0.148, loss_ctc=64.681, loss_att=58.310, acc=0.704, loss=60.222, backward_time=0.282, grad_norm=61.870, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.295e-05, train_time=1.259 -[gpua002:0/64] 2023-12-10 12:21:09,853 (trainer:737) INFO: 24epoch:train:3901-4000batch: iter_time=7.618e-05, forward_time=0.149, loss_ctc=63.490, loss_att=49.011, acc=0.717, loss=53.355, backward_time=0.292, grad_norm=55.823, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=8.294e-05, train_time=1.322 -[gpua002:0/64] 2023-12-10 12:23:26,550 (trainer:737) INFO: 24epoch:train:4001-4100batch: iter_time=7.578e-05, forward_time=0.148, loss_ctc=68.644, loss_att=52.620, acc=0.724, loss=57.427, backward_time=0.287, grad_norm=56.534, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.293e-05, train_time=1.367 -[gpua002:0/64] 2023-12-10 12:26:24,482 (trainer:737) INFO: 24epoch:train:4101-4200batch: iter_time=7.910e-05, forward_time=0.150, loss_ctc=61.694, loss_att=48.586, acc=0.708, loss=52.519, backward_time=0.305, grad_norm=87.391, clip=100.000, loss_scale=1.105e+31, optim_step_time=0.137, optim0_lr0=8.292e-05, train_time=1.779 -[gpua002:0/64] 2023-12-10 12:28:56,175 (trainer:737) INFO: 24epoch:train:4201-4300batch: iter_time=7.860e-05, forward_time=0.223, loss_ctc=66.623, loss_att=54.760, acc=0.710, loss=58.319, backward_time=0.344, grad_norm=110.340, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.143, optim0_lr0=8.290e-05, train_time=1.517 -[gpua002:0/64] 2023-12-10 12:31:23,221 (trainer:737) INFO: 24epoch:train:4301-4400batch: iter_time=7.649e-05, forward_time=0.161, loss_ctc=61.147, loss_att=45.077, acc=0.728, loss=49.898, backward_time=0.291, grad_norm=68.623, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=8.289e-05, train_time=1.470 -[gpua002:0/64] 2023-12-10 12:34:06,970 (trainer:737) INFO: 24epoch:train:4401-4500batch: iter_time=7.651e-05, forward_time=0.147, loss_ctc=67.070, loss_att=56.691, acc=0.727, loss=59.805, backward_time=0.323, grad_norm=70.226, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.288e-05, train_time=1.637 -[gpua002:0/64] 2023-12-10 12:36:34,070 (trainer:737) INFO: 24epoch:train:4501-4600batch: iter_time=7.451e-05, forward_time=0.147, loss_ctc=68.177, loss_att=55.006, acc=0.708, loss=58.957, backward_time=0.284, grad_norm=84.370, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.287e-05, train_time=1.471 -[gpua002:0/64] 2023-12-10 12:38:46,351 (trainer:737) INFO: 24epoch:train:4601-4700batch: iter_time=7.667e-05, forward_time=0.150, loss_ctc=73.892, loss_att=54.648, acc=0.718, loss=60.421, backward_time=0.285, grad_norm=74.398, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.286e-05, train_time=1.323 -[gpua002:0/64] 2023-12-10 12:41:11,605 (trainer:737) INFO: 24epoch:train:4701-4800batch: iter_time=7.747e-05, forward_time=0.159, loss_ctc=69.059, loss_att=56.101, acc=0.717, loss=59.988, backward_time=0.293, grad_norm=56.163, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.284e-05, train_time=1.452 -[gpua002:0/64] 2023-12-10 12:43:59,180 (trainer:737) INFO: 24epoch:train:4801-4900batch: iter_time=7.590e-05, forward_time=0.148, loss_ctc=71.874, loss_att=52.812, acc=0.705, loss=58.530, backward_time=0.307, grad_norm=62.058, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.283e-05, train_time=1.676 -[gpua002:0/64] 2023-12-10 12:46:55,116 (trainer:737) INFO: 24epoch:train:4901-5000batch: iter_time=7.717e-05, forward_time=0.149, loss_ctc=69.127, loss_att=52.273, acc=0.727, loss=57.329, backward_time=0.316, grad_norm=53.014, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.282e-05, train_time=1.758 -[gpua002:0/64] 2023-12-10 12:47:15,232 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua002:0/64] 2023-12-10 12:47:34,232 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 12:47:37,705 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 12:47:37,705 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua002:0/64] 2023-12-10 12:47:37,747 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 12:54:21,051 (trainer:737) INFO: 24epoch:train:5001-5100batch: iter_time=3.111, forward_time=0.223, loss_ctc=66.544, loss_att=58.942, acc=0.717, loss=61.223, backward_time=0.291, grad_norm=63.358, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.281e-05, train_time=4.459 -[gpua002:0/64] 2023-12-10 12:56:30,987 (trainer:737) INFO: 24epoch:train:5101-5200batch: iter_time=8.058e-05, forward_time=0.149, loss_ctc=67.647, loss_att=62.609, acc=0.702, loss=64.120, backward_time=0.282, grad_norm=59.849, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.280e-05, train_time=1.300 -[gpua002:0/64] 2023-12-10 12:58:45,848 (trainer:737) INFO: 24epoch:train:5201-5300batch: iter_time=7.815e-05, forward_time=0.148, loss_ctc=58.382, loss_att=45.441, acc=0.723, loss=49.324, backward_time=0.299, grad_norm=118.191, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.279e-05, train_time=1.348 -[gpua002:0/64] 2023-12-10 13:01:14,864 (trainer:737) INFO: 24epoch:train:5301-5400batch: iter_time=8.257e-05, forward_time=0.148, loss_ctc=69.836, loss_att=52.069, acc=0.715, loss=57.399, backward_time=0.300, grad_norm=65.596, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.277e-05, train_time=1.490 -[gpua002:0/64] 2023-12-10 13:03:24,065 (trainer:737) INFO: 24epoch:train:5401-5500batch: iter_time=8.071e-05, forward_time=0.148, loss_ctc=67.993, loss_att=59.101, acc=0.705, loss=61.769, backward_time=0.282, grad_norm=66.113, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.276e-05, train_time=1.292 -[gpua002:0/64] 2023-12-10 13:06:02,134 (trainer:737) INFO: 24epoch:train:5501-5600batch: iter_time=8.020e-05, forward_time=0.150, loss_ctc=60.151, loss_att=49.014, acc=0.725, loss=52.355, backward_time=0.296, grad_norm=59.708, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.275e-05, train_time=1.580 -[gpua002:0/64] 2023-12-10 13:08:54,688 (trainer:737) INFO: 24epoch:train:5601-5700batch: iter_time=8.032e-05, forward_time=0.151, loss_ctc=64.291, loss_att=49.887, acc=0.735, loss=54.208, backward_time=0.342, grad_norm=61.333, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.274e-05, train_time=1.725 -[gpua002:0/64] 2023-12-10 13:11:24,340 (trainer:737) INFO: 24epoch:train:5701-5800batch: iter_time=7.771e-05, forward_time=0.149, loss_ctc=68.434, loss_att=57.345, acc=0.730, loss=60.672, backward_time=0.292, grad_norm=81.838, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.273e-05, train_time=1.496 -[gpua002:0/64] 2023-12-10 13:13:56,594 (trainer:737) INFO: 24epoch:train:5801-5900batch: iter_time=8.070e-05, forward_time=0.150, loss_ctc=69.473, loss_att=52.130, acc=0.729, loss=57.333, backward_time=0.296, grad_norm=65.232, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.271e-05, train_time=1.522 -[gpua002:0/64] 2023-12-10 13:17:00,263 (trainer:737) INFO: 24epoch:train:5901-6000batch: iter_time=1.382e-04, forward_time=0.220, loss_ctc=69.758, loss_att=52.037, acc=0.724, loss=57.353, backward_time=0.378, grad_norm=63.326, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.141, optim0_lr0=8.270e-05, train_time=1.836 -[gpua002:0/64] 2023-12-10 13:19:17,229 (trainer:737) INFO: 24epoch:train:6001-6100batch: iter_time=8.376e-05, forward_time=0.165, loss_ctc=74.092, loss_att=60.952, acc=0.712, loss=64.894, backward_time=0.291, grad_norm=69.650, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.269e-05, train_time=1.370 -[gpua002:0/64] 2023-12-10 13:21:29,949 (trainer:737) INFO: 24epoch:train:6101-6200batch: iter_time=8.313e-05, forward_time=0.148, loss_ctc=66.764, loss_att=50.423, acc=0.724, loss=55.326, backward_time=0.292, grad_norm=60.937, clip=100.000, loss_scale=2.211e+31, optim_step_time=0.135, optim0_lr0=8.268e-05, train_time=1.327 -[gpua002:0/64] 2023-12-10 13:23:14,626 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua002:0/64] 2023-12-10 13:23:33,753 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 13:23:37,203 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 13:23:37,203 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua002:0/64] 2023-12-10 13:23:37,208 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 13:29:18,406 (trainer:737) INFO: 24epoch:train:6201-6300batch: iter_time=3.135, forward_time=0.149, loss_ctc=71.378, loss_att=58.359, acc=0.718, loss=62.264, backward_time=0.284, grad_norm=73.201, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.267e-05, train_time=4.684 -[gpua002:0/64] 2023-12-10 13:31:30,387 (trainer:737) INFO: 24epoch:train:6301-6400batch: iter_time=7.711e-05, forward_time=0.148, loss_ctc=64.520, loss_att=59.848, acc=0.711, loss=61.250, backward_time=0.282, grad_norm=102.069, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.266e-05, train_time=1.320 -[gpua002:0/64] 2023-12-10 13:33:37,702 (trainer:737) INFO: 24epoch:train:6401-6500batch: iter_time=7.719e-05, forward_time=0.148, loss_ctc=63.404, loss_att=50.646, acc=0.720, loss=54.473, backward_time=0.286, grad_norm=92.304, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.264e-05, train_time=1.273 -[gpua002:0/64] 2023-12-10 13:35:54,677 (trainer:737) INFO: 24epoch:train:6501-6600batch: iter_time=8.121e-05, forward_time=0.148, loss_ctc=68.460, loss_att=52.642, acc=0.725, loss=57.388, backward_time=0.316, grad_norm=74.991, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.263e-05, train_time=1.370 -[gpua002:0/64] 2023-12-10 13:38:35,453 (trainer:737) INFO: 24epoch:train:6601-6700batch: iter_time=8.228e-05, forward_time=0.147, loss_ctc=61.350, loss_att=49.711, acc=0.709, loss=53.203, backward_time=0.298, grad_norm=73.647, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.262e-05, train_time=1.608 -[gpua002:0/64] 2023-12-10 13:41:17,286 (trainer:737) INFO: 24epoch:train:6701-6800batch: iter_time=8.279e-05, forward_time=0.148, loss_ctc=65.495, loss_att=56.103, acc=0.717, loss=58.921, backward_time=0.307, grad_norm=62.187, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.261e-05, train_time=1.618 -[gpua002:0/64] 2023-12-10 13:44:09,370 (trainer:737) INFO: 24epoch:train:6801-6900batch: iter_time=2.320e-04, forward_time=0.194, loss_ctc=60.648, loss_att=44.799, acc=0.734, loss=49.554, backward_time=0.309, grad_norm=93.047, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=8.260e-05, train_time=1.721 -[gpua002:0/64] 2023-12-10 13:47:14,330 (trainer:737) INFO: 24epoch:train:6901-7000batch: iter_time=8.279e-04, forward_time=0.185, loss_ctc=66.867, loss_att=56.324, acc=0.732, loss=59.486, backward_time=0.346, grad_norm=59.894, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=8.259e-05, train_time=1.849 -[gpua002:0/64] 2023-12-10 13:49:49,122 (trainer:737) INFO: 24epoch:train:7001-7100batch: iter_time=7.195e-05, forward_time=0.147, loss_ctc=67.979, loss_att=54.160, acc=0.728, loss=58.306, backward_time=0.285, grad_norm=84.379, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.257e-05, train_time=1.548 -[gpua002:0/64] 2023-12-10 13:52:21,816 (trainer:737) INFO: 24epoch:train:7101-7200batch: iter_time=7.845e-05, forward_time=0.147, loss_ctc=73.309, loss_att=54.457, acc=0.728, loss=60.112, backward_time=0.294, grad_norm=69.919, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.256e-05, train_time=1.527 -[gpua002:0/64] 2023-12-10 13:54:47,881 (trainer:737) INFO: 24epoch:train:7201-7300batch: iter_time=7.710e-05, forward_time=0.149, loss_ctc=68.495, loss_att=56.786, acc=0.723, loss=60.298, backward_time=0.289, grad_norm=66.215, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.255e-05, train_time=1.460 -[gpua002:0/64] 2023-12-10 13:56:56,292 (trainer:737) INFO: 24epoch:train:7301-7400batch: iter_time=7.814e-05, forward_time=0.148, loss_ctc=71.530, loss_att=54.131, acc=0.710, loss=59.350, backward_time=0.288, grad_norm=71.765, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.254e-05, train_time=1.284 -[gpua002:0/64] 2023-12-10 13:59:40,855 (trainer:737) INFO: 24epoch:train:7401-7500batch: iter_time=7.764e-05, forward_time=0.147, loss_ctc=68.219, loss_att=52.021, acc=0.734, loss=56.880, backward_time=0.324, grad_norm=51.472, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.253e-05, train_time=1.645 -[gpua002:0/64] 2023-12-10 14:00:00,884 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua002:0/64] 2023-12-10 14:00:20,321 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 14:00:23,836 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 14:00:23,836 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua002:0/64] 2023-12-10 14:00:23,859 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 14:07:19,752 (trainer:737) INFO: 24epoch:train:7501-7600batch: iter_time=3.308, forward_time=0.198, loss_ctc=66.400, loss_att=58.177, acc=0.711, loss=60.644, backward_time=0.288, grad_norm=56.576, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=8.251e-05, train_time=4.589 -[gpua002:0/64] 2023-12-10 14:09:39,573 (trainer:737) INFO: 24epoch:train:7601-7700batch: iter_time=7.626e-05, forward_time=0.147, loss_ctc=66.911, loss_att=58.963, acc=0.701, loss=61.347, backward_time=0.281, grad_norm=85.462, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.250e-05, train_time=1.398 -[gpua002:0/64] 2023-12-10 14:12:59,557 (trainer:737) INFO: 24epoch:train:7701-7800batch: iter_time=7.773e-05, forward_time=0.147, loss_ctc=58.261, loss_att=45.313, acc=0.723, loss=49.198, backward_time=0.326, grad_norm=82.946, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.249e-05, train_time=1.999 -[gpua002:0/64] 2023-12-10 14:15:14,927 (trainer:737) INFO: 24epoch:train:7801-7900batch: iter_time=7.913e-05, forward_time=0.147, loss_ctc=69.122, loss_att=51.614, acc=0.716, loss=56.866, backward_time=0.282, grad_norm=64.843, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.248e-05, train_time=1.354 -[gpua002:0/64] 2023-12-10 14:17:35,799 (trainer:737) INFO: 24epoch:train:7901-8000batch: iter_time=7.911e-05, forward_time=0.146, loss_ctc=67.187, loss_att=54.941, acc=0.711, loss=58.615, backward_time=0.280, grad_norm=57.238, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.247e-05, train_time=1.409 -[gpua002:0/64] 2023-12-10 14:20:01,263 (trainer:737) INFO: 24epoch:train:8001-8100batch: iter_time=8.235e-05, forward_time=0.148, loss_ctc=60.610, loss_att=48.656, acc=0.718, loss=52.242, backward_time=0.287, grad_norm=80.728, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.246e-05, train_time=1.454 -[gpua002:0/64] 2023-12-10 14:22:21,178 (trainer:737) INFO: 24epoch:train:8101-8200batch: iter_time=7.832e-05, forward_time=0.151, loss_ctc=63.432, loss_att=49.630, acc=0.734, loss=53.770, backward_time=0.300, grad_norm=50.271, clip=100.000, loss_scale=4.422e+31, optim_step_time=0.136, optim0_lr0=8.244e-05, train_time=1.399 -[gpua002:0/64] 2023-12-10 14:24:54,530 (trainer:737) INFO: 24epoch:train:8201-8300batch: iter_time=7.824e-05, forward_time=0.146, loss_ctc=67.487, loss_att=57.116, acc=0.720, loss=60.227, backward_time=0.297, grad_norm=54.357, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.243e-05, train_time=1.533 -[gpua002:0/64] 2023-12-10 14:27:39,358 (trainer:737) INFO: 24epoch:train:8301-8400batch: iter_time=8.307e-05, forward_time=0.178, loss_ctc=68.694, loss_att=52.490, acc=0.720, loss=57.351, backward_time=0.327, grad_norm=59.511, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=8.242e-05, train_time=1.648 -[gpua002:0/64] 2023-12-10 14:30:29,960 (trainer:737) INFO: 24epoch:train:8401-8500batch: iter_time=8.117e-05, forward_time=0.174, loss_ctc=69.471, loss_att=51.312, acc=0.718, loss=56.759, backward_time=0.357, grad_norm=62.855, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=8.241e-05, train_time=1.706 -[gpua002:0/64] 2023-12-10 14:32:59,486 (trainer:737) INFO: 24epoch:train:8501-8600batch: iter_time=8.208e-05, forward_time=0.148, loss_ctc=73.833, loss_att=57.818, acc=0.714, loss=62.623, backward_time=0.291, grad_norm=61.770, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.240e-05, train_time=1.495 -[gpua002:0/64] 2023-12-10 14:35:48,359 (trainer:737) INFO: 24epoch:train:8601-8700batch: iter_time=8.026e-05, forward_time=0.147, loss_ctc=67.216, loss_att=50.256, acc=0.717, loss=55.344, backward_time=0.288, grad_norm=51.983, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.239e-05, train_time=1.689 -[gpua002:0/64] 2023-12-10 14:37:13,975 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua002:0/64] 2023-12-10 14:37:33,234 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 14:37:36,759 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 14:37:36,759 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua002:0/64] 2023-12-10 14:37:36,875 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 14:43:41,306 (trainer:737) INFO: 24epoch:train:8701-8800batch: iter_time=3.360, forward_time=0.148, loss_ctc=70.349, loss_att=58.616, acc=0.716, loss=62.135, backward_time=0.282, grad_norm=61.878, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.237e-05, train_time=4.729 -[gpua002:0/64] 2023-12-10 14:45:41,945 (trainer:737) INFO: 24epoch:train:8801-8900batch: iter_time=7.606e-05, forward_time=0.149, loss_ctc=64.299, loss_att=60.107, acc=0.711, loss=61.365, backward_time=0.281, grad_norm=56.565, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.236e-05, train_time=1.207 -[gpua002:0/64] 2023-12-10 14:48:12,488 (trainer:737) INFO: 24epoch:train:8901-9000batch: iter_time=7.600e-05, forward_time=0.147, loss_ctc=63.291, loss_att=50.469, acc=0.725, loss=54.316, backward_time=0.286, grad_norm=59.983, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.235e-05, train_time=1.505 -[gpua002:0/64] 2023-12-10 14:50:56,437 (trainer:737) INFO: 24epoch:train:9001-9100batch: iter_time=7.878e-05, forward_time=0.218, loss_ctc=68.217, loss_att=52.094, acc=0.729, loss=56.931, backward_time=0.297, grad_norm=73.173, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=8.234e-05, train_time=1.639 -[gpua002:0/64] 2023-12-10 14:52:46,293 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-10 14:53:36,662 (trainer:737) INFO: 24epoch:train:9101-9200batch: iter_time=6.285e-04, forward_time=0.204, loss_ctc=61.088, loss_att=49.830, acc=0.710, loss=53.207, backward_time=0.297, grad_norm=50.647, clip=100.000, loss_scale=6.720e+31, optim_step_time=0.137, optim0_lr0=8.233e-05, train_time=1.602 -[gpua002:0/64] 2023-12-10 14:56:16,439 (trainer:737) INFO: 24epoch:train:9201-9300batch: iter_time=7.916e-05, forward_time=0.152, loss_ctc=65.665, loss_att=55.729, acc=0.719, loss=58.710, backward_time=0.338, grad_norm=62.528, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.232e-05, train_time=1.598 -[gpua002:0/64] 2023-12-10 14:59:12,984 (trainer:737) INFO: 24epoch:train:9301-9400batch: iter_time=8.266e-05, forward_time=0.147, loss_ctc=60.782, loss_att=45.086, acc=0.733, loss=49.795, backward_time=0.352, grad_norm=60.291, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.231e-05, train_time=1.765 -[gpua002:0/64] 2023-12-10 15:02:26,770 (trainer:737) INFO: 24epoch:train:9401-9500batch: iter_time=8.169e-05, forward_time=0.148, loss_ctc=65.872, loss_att=56.162, acc=0.733, loss=59.075, backward_time=0.301, grad_norm=56.598, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.229e-05, train_time=1.938 -[gpua002:0/64] 2023-12-10 15:05:07,447 (trainer:737) INFO: 24epoch:train:9501-9600batch: iter_time=7.883e-05, forward_time=0.148, loss_ctc=68.007, loss_att=54.038, acc=0.729, loss=58.228, backward_time=0.353, grad_norm=57.549, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.228e-05, train_time=1.606 -[gpua002:0/64] 2023-12-10 15:07:37,857 (trainer:737) INFO: 24epoch:train:9601-9700batch: iter_time=8.171e-05, forward_time=0.148, loss_ctc=73.585, loss_att=54.735, acc=0.725, loss=60.390, backward_time=0.284, grad_norm=60.035, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.227e-05, train_time=1.503 -[gpua002:0/64] 2023-12-10 15:10:22,368 (trainer:737) INFO: 24epoch:train:9701-9800batch: iter_time=8.223e-05, forward_time=0.148, loss_ctc=68.444, loss_att=57.027, acc=0.719, loss=60.452, backward_time=0.313, grad_norm=60.473, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.226e-05, train_time=1.646 -[gpua002:0/64] 2023-12-10 15:13:05,825 (trainer:737) INFO: 24epoch:train:9801-9900batch: iter_time=8.063e-05, forward_time=0.148, loss_ctc=71.163, loss_att=54.192, acc=0.711, loss=59.283, backward_time=0.398, grad_norm=60.231, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.225e-05, train_time=1.634 -[gpua002:0/64] 2023-12-10 15:15:53,615 (trainer:737) INFO: 24epoch:train:9901-10000batch: iter_time=7.886e-05, forward_time=0.188, loss_ctc=68.979, loss_att=52.451, acc=0.732, loss=57.409, backward_time=0.319, grad_norm=57.981, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.143, optim0_lr0=8.224e-05, train_time=1.678 -[gpua002:0/64] 2023-12-10 15:16:13,644 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua002:0/64] 2023-12-10 15:16:32,804 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 15:16:36,300 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 15:16:36,300 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua002:0/64] 2023-12-10 15:16:36,323 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 15:23:16,271 (trainer:737) INFO: 24epoch:train:10001-10100batch: iter_time=3.122, forward_time=0.178, loss_ctc=65.643, loss_att=56.173, acc=0.722, loss=59.014, backward_time=0.290, grad_norm=57.510, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.222e-05, train_time=4.426 -[gpua002:0/64] 2023-12-10 15:25:29,001 (trainer:737) INFO: 24epoch:train:10101-10200batch: iter_time=7.704e-05, forward_time=0.149, loss_ctc=66.716, loss_att=61.158, acc=0.707, loss=62.825, backward_time=0.290, grad_norm=63.150, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.221e-05, train_time=1.327 -[gpua002:0/64] 2023-12-10 15:27:38,055 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-10 15:27:57,885 (trainer:737) INFO: 24epoch:train:10201-10300batch: iter_time=7.735e-05, forward_time=0.148, loss_ctc=57.809, loss_att=44.838, acc=0.725, loss=48.729, backward_time=0.305, grad_norm=54.388, clip=100.000, loss_scale=3.811e+31, optim_step_time=0.136, optim0_lr0=8.220e-05, train_time=1.489 -[gpua002:0/64] 2023-12-10 15:30:46,269 (trainer:737) INFO: 24epoch:train:10301-10400batch: iter_time=7.946e-05, forward_time=0.152, loss_ctc=69.340, loss_att=51.360, acc=0.719, loss=56.754, backward_time=0.379, grad_norm=61.503, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.219e-05, train_time=1.683 -[gpua002:0/64] 2023-12-10 15:33:01,232 (trainer:737) INFO: 24epoch:train:10401-10500batch: iter_time=8.041e-05, forward_time=0.148, loss_ctc=66.863, loss_att=58.090, acc=0.712, loss=60.722, backward_time=0.290, grad_norm=70.220, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.218e-05, train_time=1.349 -[gpua002:0/64] 2023-12-10 15:35:25,761 (trainer:737) INFO: 24epoch:train:10501-10600batch: iter_time=7.766e-05, forward_time=0.149, loss_ctc=60.398, loss_att=48.565, acc=0.728, loss=52.115, backward_time=0.286, grad_norm=57.603, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.217e-05, train_time=1.446 -[gpua002:0/64] 2023-12-10 15:38:10,166 (trainer:737) INFO: 24epoch:train:10601-10700batch: iter_time=8.351e-05, forward_time=0.148, loss_ctc=63.325, loss_att=49.106, acc=0.738, loss=53.372, backward_time=0.293, grad_norm=62.529, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.215e-05, train_time=1.644 -[gpua002:0/64] 2023-12-10 15:41:17,326 (trainer:737) INFO: 24epoch:train:10701-10800batch: iter_time=7.918e-05, forward_time=0.181, loss_ctc=67.415, loss_att=56.994, acc=0.733, loss=60.121, backward_time=0.331, grad_norm=56.574, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.141, optim0_lr0=8.214e-05, train_time=1.871 -[gpua002:0/64] 2023-12-10 15:44:21,119 (trainer:737) INFO: 24epoch:train:10801-10900batch: iter_time=8.089e-05, forward_time=0.160, loss_ctc=68.338, loss_att=51.421, acc=0.733, loss=56.496, backward_time=0.327, grad_norm=81.568, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.141, optim0_lr0=8.213e-05, train_time=1.838 -[gpua002:0/64] 2023-12-10 15:46:52,068 (trainer:737) INFO: 24epoch:train:10901-11000batch: iter_time=7.994e-05, forward_time=0.185, loss_ctc=68.973, loss_att=51.311, acc=0.728, loss=56.610, backward_time=0.290, grad_norm=62.087, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.212e-05, train_time=1.509 -[gpua002:0/64] 2023-12-10 15:49:10,871 (trainer:737) INFO: 24epoch:train:11001-11100batch: iter_time=8.028e-05, forward_time=0.147, loss_ctc=73.292, loss_att=60.155, acc=0.716, loss=64.096, backward_time=0.323, grad_norm=63.657, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.211e-05, train_time=1.388 -[gpua002:0/64] 2023-12-10 15:51:45,472 (trainer:737) INFO: 24epoch:train:11101-11200batch: iter_time=7.881e-05, forward_time=0.147, loss_ctc=66.876, loss_att=50.286, acc=0.727, loss=55.263, backward_time=0.365, grad_norm=64.032, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.210e-05, train_time=1.546 -[gpua002:0/64] 2023-12-10 15:53:13,219 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua002:0/64] 2023-12-10 15:53:32,636 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 15:53:36,177 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 15:53:36,177 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua002:0/64] 2023-12-10 15:53:36,212 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 15:59:55,151 (trainer:737) INFO: 24epoch:train:11201-11300batch: iter_time=3.398, forward_time=0.187, loss_ctc=70.282, loss_att=58.529, acc=0.714, loss=62.055, backward_time=0.293, grad_norm=55.729, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.209e-05, train_time=4.896 -[gpua002:0/64] 2023-12-10 16:02:03,759 (trainer:737) INFO: 24epoch:train:11301-11400batch: iter_time=7.500e-05, forward_time=0.148, loss_ctc=64.118, loss_att=59.067, acc=0.704, loss=60.582, backward_time=0.282, grad_norm=59.886, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.207e-05, train_time=1.287 -[gpua002:0/64] 2023-12-10 16:04:21,836 (trainer:737) INFO: 24epoch:train:11401-11500batch: iter_time=7.744e-05, forward_time=0.147, loss_ctc=63.084, loss_att=49.741, acc=0.717, loss=53.744, backward_time=0.281, grad_norm=56.483, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.206e-05, train_time=1.381 -[gpua002:0/64] 2023-12-10 16:07:24,143 (trainer:737) INFO: 24epoch:train:11501-11600batch: iter_time=7.894e-05, forward_time=0.159, loss_ctc=67.705, loss_att=51.478, acc=0.728, loss=56.346, backward_time=0.390, grad_norm=57.238, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=8.205e-05, train_time=1.823 -[gpua002:0/64] 2023-12-10 16:09:42,650 (trainer:737) INFO: 24epoch:train:11601-11700batch: iter_time=7.693e-05, forward_time=0.184, loss_ctc=60.860, loss_att=48.201, acc=0.714, loss=51.999, backward_time=0.301, grad_norm=57.048, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=8.204e-05, train_time=1.385 -[gpua002:0/64] 2023-12-10 16:12:10,626 (trainer:737) INFO: 24epoch:train:11701-11800batch: iter_time=7.728e-05, forward_time=0.148, loss_ctc=65.123, loss_att=54.735, acc=0.713, loss=57.851, backward_time=0.297, grad_norm=54.577, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.203e-05, train_time=1.480 -[gpua002:0/64] 2023-12-10 16:15:10,409 (trainer:737) INFO: 24epoch:train:11801-11900batch: iter_time=7.905e-05, forward_time=0.147, loss_ctc=60.592, loss_att=45.141, acc=0.730, loss=49.777, backward_time=0.408, grad_norm=55.689, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.202e-05, train_time=1.798 -[gpua002:0/64] 2023-12-10 16:18:10,314 (trainer:737) INFO: 24epoch:train:11901-12000batch: iter_time=7.940e-05, forward_time=0.148, loss_ctc=66.782, loss_att=56.856, acc=0.726, loss=59.834, backward_time=0.354, grad_norm=50.219, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.200e-05, train_time=1.799 -[gpua002:0/64] 2023-12-10 16:20:41,675 (trainer:737) INFO: 24epoch:train:12001-12100batch: iter_time=7.691e-05, forward_time=0.169, loss_ctc=67.169, loss_att=53.946, acc=0.716, loss=57.913, backward_time=0.284, grad_norm=55.567, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.199e-05, train_time=1.513 -[gpua002:0/64] 2023-12-10 16:23:23,943 (trainer:737) INFO: 24epoch:train:12101-12200batch: iter_time=5.301e-04, forward_time=0.155, loss_ctc=72.960, loss_att=54.372, acc=0.721, loss=59.948, backward_time=0.294, grad_norm=59.196, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.142, optim0_lr0=8.198e-05, train_time=1.622 -[gpua002:0/64] 2023-12-10 16:25:59,611 (trainer:737) INFO: 24epoch:train:12201-12300batch: iter_time=7.758e-05, forward_time=0.170, loss_ctc=68.269, loss_att=55.920, acc=0.718, loss=59.624, backward_time=0.342, grad_norm=67.600, clip=100.000, loss_scale=2.272e+31, optim_step_time=0.139, optim0_lr0=8.197e-05, train_time=1.557 -[gpua002:0/64] 2023-12-10 16:28:35,996 (trainer:737) INFO: 24epoch:train:12301-12400batch: iter_time=7.908e-05, forward_time=0.147, loss_ctc=70.775, loss_att=53.005, acc=0.705, loss=58.336, backward_time=0.308, grad_norm=72.155, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.196e-05, train_time=1.563 -[gpua002:0/64] 2023-12-10 16:30:58,385 (trainer:737) INFO: 24epoch:train:12401-12500batch: iter_time=7.375e-05, forward_time=0.148, loss_ctc=68.513, loss_att=51.424, acc=0.729, loss=56.550, backward_time=0.284, grad_norm=61.032, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.195e-05, train_time=1.424 -[gpua002:0/64] 2023-12-10 16:31:18,414 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua002:0/64] 2023-12-10 16:31:38,443 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 16:31:41,935 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 16:31:41,935 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua002:0/64] 2023-12-10 16:31:41,940 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 16:38:22,528 (trainer:737) INFO: 24epoch:train:12501-12600batch: iter_time=3.154, forward_time=0.190, loss_ctc=66.191, loss_att=56.400, acc=0.715, loss=59.337, backward_time=0.286, grad_norm=54.672, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=8.194e-05, train_time=4.441 -[gpua002:0/64] 2023-12-10 16:40:32,024 (trainer:737) INFO: 24epoch:train:12601-12700batch: iter_time=8.149e-05, forward_time=0.147, loss_ctc=66.797, loss_att=58.483, acc=0.701, loss=60.977, backward_time=0.280, grad_norm=67.355, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.192e-05, train_time=1.295 -[gpua002:0/64] 2023-12-10 16:42:56,519 (trainer:737) INFO: 24epoch:train:12701-12800batch: iter_time=7.799e-05, forward_time=0.147, loss_ctc=57.901, loss_att=44.496, acc=0.727, loss=48.518, backward_time=0.292, grad_norm=64.511, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.191e-05, train_time=1.445 -[gpua002:0/64] 2023-12-10 16:45:11,229 (trainer:737) INFO: 24epoch:train:12801-12900batch: iter_time=7.869e-05, forward_time=0.150, loss_ctc=68.972, loss_att=51.604, acc=0.718, loss=56.814, backward_time=0.286, grad_norm=61.116, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.190e-05, train_time=1.347 -[gpua002:0/64] 2023-12-10 16:47:34,796 (trainer:737) INFO: 24epoch:train:12901-13000batch: iter_time=7.979e-05, forward_time=0.151, loss_ctc=66.203, loss_att=54.073, acc=0.713, loss=57.712, backward_time=0.306, grad_norm=60.666, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.189e-05, train_time=1.435 -[gpua002:0/64] 2023-12-10 16:50:11,907 (trainer:737) INFO: 24epoch:train:13001-13100batch: iter_time=7.886e-05, forward_time=0.155, loss_ctc=59.721, loss_att=48.097, acc=0.720, loss=51.584, backward_time=0.315, grad_norm=52.098, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.188e-05, train_time=1.570 -[gpua002:0/64] 2023-12-10 16:53:04,821 (trainer:737) INFO: 24epoch:train:13101-13200batch: iter_time=7.738e-05, forward_time=0.192, loss_ctc=63.710, loss_att=49.813, acc=0.733, loss=53.982, backward_time=0.317, grad_norm=63.381, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=8.187e-05, train_time=1.729 -[gpua002:0/64] 2023-12-10 16:55:52,101 (trainer:737) INFO: 24epoch:train:13201-13300batch: iter_time=7.865e-05, forward_time=0.147, loss_ctc=67.373, loss_att=57.234, acc=0.721, loss=60.276, backward_time=0.327, grad_norm=55.665, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.186e-05, train_time=1.672 -[gpua002:0/64] 2023-12-10 16:58:27,787 (trainer:737) INFO: 24epoch:train:13301-13400batch: iter_time=7.920e-05, forward_time=0.150, loss_ctc=68.632, loss_att=51.803, acc=0.724, loss=56.852, backward_time=0.289, grad_norm=69.776, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.184e-05, train_time=1.557 -[gpua002:0/64] 2023-12-10 17:00:52,675 (trainer:737) INFO: 24epoch:train:13401-13500batch: iter_time=7.755e-05, forward_time=0.195, loss_ctc=68.406, loss_att=50.842, acc=0.720, loss=56.111, backward_time=0.294, grad_norm=74.985, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.147, optim0_lr0=8.183e-05, train_time=1.449 -[gpua002:0/64] 2023-12-10 17:03:09,417 (trainer:737) INFO: 24epoch:train:13501-13600batch: iter_time=7.691e-05, forward_time=0.148, loss_ctc=72.954, loss_att=57.687, acc=0.715, loss=62.267, backward_time=0.283, grad_norm=71.434, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.182e-05, train_time=1.367 -[gpua002:0/64] 2023-12-10 17:05:36,966 (trainer:737) INFO: 24epoch:train:13601-13700batch: iter_time=7.868e-05, forward_time=0.147, loss_ctc=66.829, loss_att=50.109, acc=0.718, loss=55.125, backward_time=0.291, grad_norm=63.110, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.181e-05, train_time=1.475 -[gpua002:0/64] 2023-12-10 17:07:14,547 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua002:0/64] 2023-12-10 17:07:34,153 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 17:07:37,767 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 17:07:37,767 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua002:0/64] 2023-12-10 17:07:37,770 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 17:13:12,614 (trainer:737) INFO: 24epoch:train:13701-13800batch: iter_time=3.074, forward_time=0.165, loss_ctc=70.195, loss_att=56.431, acc=0.718, loss=60.561, backward_time=0.292, grad_norm=63.043, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.180e-05, train_time=4.556 -[gpua002:0/64] 2023-12-10 17:15:19,414 (trainer:737) INFO: 24epoch:train:13801-13900batch: iter_time=7.719e-05, forward_time=0.147, loss_ctc=63.733, loss_att=57.515, acc=0.710, loss=59.380, backward_time=0.282, grad_norm=62.344, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.179e-05, train_time=1.268 -[gpua002:0/64] 2023-12-10 17:17:26,636 (trainer:737) INFO: 24epoch:train:13901-14000batch: iter_time=7.488e-05, forward_time=0.149, loss_ctc=63.426, loss_att=49.347, acc=0.719, loss=53.571, backward_time=0.287, grad_norm=65.658, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.178e-05, train_time=1.272 -[gpua002:0/64] 2023-12-10 17:19:53,431 (trainer:737) INFO: 24epoch:train:14001-14100batch: iter_time=7.698e-05, forward_time=0.147, loss_ctc=67.421, loss_att=51.297, acc=0.729, loss=56.134, backward_time=0.291, grad_norm=65.581, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.176e-05, train_time=1.466 -[gpua002:0/64] 2023-12-10 17:22:37,416 (trainer:737) INFO: 24epoch:train:14101-14200batch: iter_time=7.811e-05, forward_time=0.148, loss_ctc=60.424, loss_att=47.477, acc=0.714, loss=51.361, backward_time=0.306, grad_norm=62.780, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.175e-05, train_time=1.641 -[gpua002:0/64] 2023-12-10 17:25:10,139 (trainer:737) INFO: 24epoch:train:14201-14300batch: iter_time=7.800e-05, forward_time=0.214, loss_ctc=64.766, loss_att=53.711, acc=0.716, loss=57.028, backward_time=0.328, grad_norm=59.633, clip=100.000, loss_scale=4.543e+31, optim_step_time=0.138, optim0_lr0=8.174e-05, train_time=1.527 -[gpua002:0/64] 2023-12-10 17:28:06,994 (trainer:737) INFO: 24epoch:train:14301-14400batch: iter_time=7.704e-05, forward_time=0.148, loss_ctc=60.264, loss_att=44.559, acc=0.732, loss=49.271, backward_time=0.345, grad_norm=55.632, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.173e-05, train_time=1.768 -[gpua002:0/64] 2023-12-10 17:30:59,956 (trainer:737) INFO: 24epoch:train:14401-14500batch: iter_time=7.728e-05, forward_time=0.147, loss_ctc=66.112, loss_att=55.544, acc=0.732, loss=58.714, backward_time=0.346, grad_norm=60.514, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.172e-05, train_time=1.729 -[gpua002:0/64] 2023-12-10 17:33:40,259 (trainer:737) INFO: 24epoch:train:14501-14600batch: iter_time=7.732e-05, forward_time=0.147, loss_ctc=67.376, loss_att=54.219, acc=0.713, loss=58.166, backward_time=0.335, grad_norm=76.284, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.171e-05, train_time=1.603 -[gpua002:0/64] 2023-12-10 17:36:34,107 (trainer:737) INFO: 24epoch:train:14601-14700batch: iter_time=7.600e-05, forward_time=0.199, loss_ctc=72.403, loss_att=53.845, acc=0.723, loss=59.413, backward_time=0.331, grad_norm=61.367, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.170e-05, train_time=1.738 -[gpua002:0/64] 2023-12-10 17:39:00,011 (trainer:737) INFO: 24epoch:train:14701-14800batch: iter_time=7.616e-05, forward_time=0.161, loss_ctc=68.320, loss_att=55.986, acc=0.722, loss=59.686, backward_time=0.297, grad_norm=54.001, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.169e-05, train_time=1.459 -[gpua002:0/64] 2023-12-10 17:41:28,059 (trainer:737) INFO: 24epoch:train:14801-14900batch: iter_time=7.907e-05, forward_time=0.147, loss_ctc=70.597, loss_att=52.295, acc=0.708, loss=57.786, backward_time=0.288, grad_norm=63.138, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.167e-05, train_time=1.480 -[gpua002:0/64] 2023-12-10 17:44:19,492 (trainer:737) INFO: 24epoch:train:14901-15000batch: iter_time=7.724e-05, forward_time=0.148, loss_ctc=68.335, loss_att=51.478, acc=0.732, loss=56.535, backward_time=0.319, grad_norm=66.968, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.166e-05, train_time=1.714 -[gpua002:0/64] 2023-12-10 18:11:02,039 (trainer:343) INFO: 24epoch results: [train] iter_time=0.246, forward_time=0.158, loss_ctc=67.051, loss_att=53.649, acc=0.718, loss=57.669, backward_time=0.306, grad_norm=66.858, clip=100.000, loss_scale=3.340e+31, optim_step_time=0.137, optim0_lr0=8.253e-05, train_time=1.764, time=7 hours, 21 minutes and 26.62 seconds, total_count=360000, gpu_max_cached_mem_GB=36.566, [valid] loss_ctc=36.890, cer_ctc=0.193, loss_att=35.966, acc=0.696, cer=0.314, wer=0.991, loss=36.243, time=26 minutes and 18.48 seconds, total_count=112104, gpu_max_cached_mem_GB=36.566 -[gpua002:0/64] 2023-12-10 18:11:22,162 (trainer:391) INFO: The best model has been updated: valid.total_count -[gpua002:0/64] 2023-12-10 18:11:22,188 (trainer:272) INFO: 25/40epoch started. Estimated time to finish: 5 days, 12 hours and 15 minutes -[gpua002:0/64] 2023-12-10 18:11:22,248 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua002:0/64] 2023-12-10 18:11:41,106 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 18:11:44,565 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 18:11:44,566 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua002:0/64] 2023-12-10 18:11:44,569 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 18:17:49,906 (trainer:737) INFO: 25epoch:train:1-100batch: iter_time=2.611, forward_time=0.194, loss_ctc=64.832, loss_att=54.862, acc=0.719, loss=57.853, backward_time=0.286, grad_norm=62.375, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.165e-05, train_time=3.876 -[gpua002:0/64] 2023-12-10 18:19:52,984 (trainer:737) INFO: 25epoch:train:101-200batch: iter_time=7.901e-05, forward_time=0.146, loss_ctc=62.033, loss_att=47.336, acc=0.711, loss=51.745, backward_time=0.278, grad_norm=65.745, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.164e-05, train_time=1.231 -[gpua002:0/64] 2023-12-10 18:21:57,350 (trainer:737) INFO: 25epoch:train:201-300batch: iter_time=7.919e-05, forward_time=0.149, loss_ctc=93.774, loss_att=69.908, acc=0.707, loss=77.068, backward_time=0.281, grad_norm=92.688, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.163e-05, train_time=1.243 -[gpua002:0/64] 2023-12-10 18:23:34,618 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-10 18:23:59,737 (trainer:737) INFO: 25epoch:train:301-400batch: iter_time=7.883e-05, forward_time=0.147, loss_ctc=76.884, loss_att=53.034, acc=0.713, loss=60.189, backward_time=0.281, grad_norm=113.806, clip=100.000, loss_scale=7.252e+31, optim_step_time=0.136, optim0_lr0=8.162e-05, train_time=1.224 -[gpua002:0/64] 2023-12-10 18:26:14,156 (trainer:737) INFO: 25epoch:train:401-500batch: iter_time=8.170e-05, forward_time=0.147, loss_ctc=69.901, loss_att=57.164, acc=0.707, loss=60.985, backward_time=0.293, grad_norm=77.576, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.161e-05, train_time=1.344 -[gpua002:0/64] 2023-12-10 18:28:41,898 (trainer:737) INFO: 25epoch:train:501-600batch: iter_time=8.297e-05, forward_time=0.147, loss_ctc=67.129, loss_att=55.628, acc=0.709, loss=59.078, backward_time=0.334, grad_norm=71.667, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.159e-05, train_time=1.476 -[gpua002:0/64] 2023-12-10 18:31:29,960 (trainer:737) INFO: 25epoch:train:601-700batch: iter_time=8.225e-05, forward_time=0.147, loss_ctc=66.166, loss_att=51.812, acc=0.706, loss=56.118, backward_time=0.326, grad_norm=73.197, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.158e-05, train_time=1.681 -[gpua002:0/64] 2023-12-10 18:33:58,025 (trainer:737) INFO: 25epoch:train:701-800batch: iter_time=8.174e-05, forward_time=0.155, loss_ctc=62.302, loss_att=52.560, acc=0.715, loss=55.483, backward_time=0.293, grad_norm=71.451, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.157e-05, train_time=1.481 -[gpua002:0/64] 2023-12-10 18:36:24,040 (trainer:737) INFO: 25epoch:train:801-900batch: iter_time=8.126e-05, forward_time=0.193, loss_ctc=65.710, loss_att=53.662, acc=0.729, loss=57.276, backward_time=0.332, grad_norm=67.846, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=8.156e-05, train_time=1.460 -[gpua002:0/64] 2023-12-10 18:38:55,398 (trainer:737) INFO: 25epoch:train:901-1000batch: iter_time=7.945e-05, forward_time=0.152, loss_ctc=71.507, loss_att=52.006, acc=0.688, loss=57.856, backward_time=0.298, grad_norm=79.714, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.155e-05, train_time=1.513 -[gpua002:0/64] 2023-12-10 18:41:25,330 (trainer:737) INFO: 25epoch:train:1001-1100batch: iter_time=7.909e-05, forward_time=0.147, loss_ctc=68.533, loss_att=54.894, acc=0.701, loss=58.986, backward_time=0.300, grad_norm=75.586, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.154e-05, train_time=1.499 -[gpua002:0/64] 2023-12-10 18:44:08,651 (trainer:737) INFO: 25epoch:train:1101-1200batch: iter_time=7.948e-05, forward_time=0.147, loss_ctc=70.422, loss_att=54.627, acc=0.707, loss=59.365, backward_time=0.292, grad_norm=65.301, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.153e-05, train_time=1.633 -[gpua002:0/64] 2023-12-10 18:45:38,864 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua002:0/64] 2023-12-10 18:45:57,991 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 18:46:01,516 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 18:46:01,516 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua002:0/64] 2023-12-10 18:46:01,519 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 18:50:55,472 (trainer:737) INFO: 25epoch:train:1201-1300batch: iter_time=2.598, forward_time=0.167, loss_ctc=62.359, loss_att=52.884, acc=0.717, loss=55.726, backward_time=0.288, grad_norm=86.739, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.152e-05, train_time=4.068 -[gpua002:0/64] 2023-12-10 18:53:03,690 (trainer:737) INFO: 25epoch:train:1301-1400batch: iter_time=7.568e-05, forward_time=0.147, loss_ctc=65.893, loss_att=53.940, acc=0.725, loss=57.526, backward_time=0.284, grad_norm=62.257, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.150e-05, train_time=1.282 -[gpua002:0/64] 2023-12-10 18:55:12,645 (trainer:737) INFO: 25epoch:train:1401-1500batch: iter_time=7.639e-05, forward_time=0.147, loss_ctc=82.691, loss_att=65.490, acc=0.709, loss=70.650, backward_time=0.279, grad_norm=117.313, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.149e-05, train_time=1.289 -[gpua002:0/64] 2023-12-10 18:57:39,632 (trainer:737) INFO: 25epoch:train:1501-1600batch: iter_time=7.738e-05, forward_time=0.207, loss_ctc=79.390, loss_att=60.206, acc=0.717, loss=65.961, backward_time=0.304, grad_norm=87.279, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=8.148e-05, train_time=1.470 -[gpua002:0/64] 2023-12-10 19:00:14,375 (trainer:737) INFO: 25epoch:train:1601-1700batch: iter_time=7.831e-05, forward_time=0.161, loss_ctc=63.765, loss_att=54.082, acc=0.726, loss=56.987, backward_time=0.298, grad_norm=61.795, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.147e-05, train_time=1.547 -[gpua002:0/64] 2023-12-10 19:02:54,132 (trainer:737) INFO: 25epoch:train:1701-1800batch: iter_time=7.845e-05, forward_time=0.147, loss_ctc=71.500, loss_att=58.455, acc=0.715, loss=62.369, backward_time=0.314, grad_norm=105.475, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.146e-05, train_time=1.597 -[gpua002:0/64] 2023-12-10 19:04:58,729 (trainer:737) INFO: 25epoch:train:1801-1900batch: iter_time=7.574e-05, forward_time=0.147, loss_ctc=67.632, loss_att=55.235, acc=0.709, loss=58.954, backward_time=0.280, grad_norm=59.360, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.145e-05, train_time=1.246 -[gpua002:0/64] 2023-12-10 19:07:40,397 (trainer:737) INFO: 25epoch:train:1901-2000batch: iter_time=7.431e-05, forward_time=0.147, loss_ctc=59.988, loss_att=53.293, acc=0.715, loss=55.301, backward_time=0.340, grad_norm=82.996, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.144e-05, train_time=1.616 -[gpua002:0/64] 2023-12-10 19:10:21,615 (trainer:737) INFO: 25epoch:train:2001-2100batch: iter_time=7.655e-05, forward_time=0.147, loss_ctc=63.961, loss_att=52.267, acc=0.738, loss=55.775, backward_time=0.296, grad_norm=66.473, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.143e-05, train_time=1.612 -[gpua002:0/64] 2023-12-10 19:12:51,902 (trainer:737) INFO: 25epoch:train:2101-2200batch: iter_time=7.703e-05, forward_time=0.150, loss_ctc=68.315, loss_att=54.411, acc=0.714, loss=58.582, backward_time=0.286, grad_norm=93.157, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=8.141e-05, train_time=1.503 -[gpua002:0/64] 2023-12-10 19:15:16,264 (trainer:737) INFO: 25epoch:train:2201-2300batch: iter_time=7.626e-05, forward_time=0.174, loss_ctc=69.493, loss_att=54.879, acc=0.702, loss=59.263, backward_time=0.296, grad_norm=96.860, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=8.140e-05, train_time=1.443 -[gpua002:0/64] 2023-12-10 19:18:01,474 (trainer:737) INFO: 25epoch:train:2301-2400batch: iter_time=7.765e-05, forward_time=0.149, loss_ctc=67.929, loss_att=56.366, acc=0.706, loss=59.835, backward_time=0.288, grad_norm=66.041, clip=100.000, loss_scale=4.908e+31, optim_step_time=0.136, optim0_lr0=8.139e-05, train_time=1.652 -[gpua002:0/64] 2023-12-10 19:19:55,442 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-10 19:20:12,489 (trainer:737) INFO: 25epoch:train:2401-2500batch: iter_time=7.121e-05, forward_time=0.148, loss_ctc=65.603, loss_att=48.847, acc=0.724, loss=53.874, backward_time=0.285, grad_norm=61.138, clip=100.000, loss_scale=7.580e+31, optim_step_time=0.136, optim0_lr0=8.138e-05, train_time=1.310 -[gpua002:0/64] 2023-12-10 19:20:32,517 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua002:0/64] 2023-12-10 19:20:51,859 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 19:20:55,308 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 19:20:55,308 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua002:0/64] 2023-12-10 19:20:55,311 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 19:27:20,629 (trainer:737) INFO: 25epoch:train:2501-2600batch: iter_time=2.984, forward_time=0.200, loss_ctc=64.263, loss_att=55.144, acc=0.738, loss=57.880, backward_time=0.288, grad_norm=56.054, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.137e-05, train_time=4.281 -[gpua002:0/64] 2023-12-10 19:29:27,632 (trainer:737) INFO: 25epoch:train:2601-2700batch: iter_time=7.724e-05, forward_time=0.147, loss_ctc=60.904, loss_att=46.984, acc=0.727, loss=51.160, backward_time=0.285, grad_norm=66.232, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.136e-05, train_time=1.270 -[gpua002:0/64] 2023-12-10 19:31:48,843 (trainer:737) INFO: 25epoch:train:2701-2800batch: iter_time=7.595e-05, forward_time=0.148, loss_ctc=90.172, loss_att=74.574, acc=0.705, loss=79.254, backward_time=0.288, grad_norm=81.339, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.135e-05, train_time=1.412 -[gpua002:0/64] 2023-12-10 19:34:24,575 (trainer:737) INFO: 25epoch:train:2801-2900batch: iter_time=7.656e-05, forward_time=0.147, loss_ctc=72.861, loss_att=52.654, acc=0.725, loss=58.716, backward_time=0.334, grad_norm=72.596, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.134e-05, train_time=1.557 -[gpua002:0/64] 2023-12-10 19:37:05,625 (trainer:737) INFO: 25epoch:train:2901-3000batch: iter_time=8.134e-05, forward_time=0.148, loss_ctc=69.178, loss_att=58.767, acc=0.713, loss=61.890, backward_time=0.302, grad_norm=60.640, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.132e-05, train_time=1.610 -[gpua002:0/64] 2023-12-10 19:39:39,955 (trainer:737) INFO: 25epoch:train:3001-3100batch: iter_time=7.938e-05, forward_time=0.150, loss_ctc=66.301, loss_att=55.770, acc=0.720, loss=58.929, backward_time=0.293, grad_norm=56.656, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.142, optim0_lr0=8.131e-05, train_time=1.543 -[gpua002:0/64] 2023-12-10 19:42:05,749 (trainer:737) INFO: 25epoch:train:3101-3200batch: iter_time=7.881e-05, forward_time=0.153, loss_ctc=65.172, loss_att=51.657, acc=0.715, loss=55.711, backward_time=0.293, grad_norm=57.308, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.130e-05, train_time=1.458 -[gpua002:0/64] 2023-12-10 19:45:00,338 (trainer:737) INFO: 25epoch:train:3201-3300batch: iter_time=8.013e-05, forward_time=0.164, loss_ctc=61.919, loss_att=52.921, acc=0.723, loss=55.620, backward_time=0.296, grad_norm=59.604, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.129e-05, train_time=1.746 -[gpua002:0/64] 2023-12-10 19:47:13,702 (trainer:737) INFO: 25epoch:train:3301-3400batch: iter_time=7.839e-05, forward_time=0.148, loss_ctc=65.080, loss_att=55.507, acc=0.736, loss=58.379, backward_time=0.293, grad_norm=66.689, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.128e-05, train_time=1.333 -[gpua002:0/64] 2023-12-10 19:49:49,190 (trainer:737) INFO: 25epoch:train:3401-3500batch: iter_time=7.655e-05, forward_time=0.166, loss_ctc=69.011, loss_att=51.797, acc=0.699, loss=56.961, backward_time=0.293, grad_norm=97.988, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.141, optim0_lr0=8.127e-05, train_time=1.555 -[gpua002:0/64] 2023-12-10 19:52:24,552 (trainer:737) INFO: 25epoch:train:3501-3600batch: iter_time=8.082e-05, forward_time=0.192, loss_ctc=66.449, loss_att=54.374, acc=0.710, loss=57.997, backward_time=0.309, grad_norm=62.393, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.151, optim0_lr0=8.126e-05, train_time=1.553 -[gpua002:0/64] 2023-12-10 19:54:56,121 (trainer:737) INFO: 25epoch:train:3601-3700batch: iter_time=7.846e-05, forward_time=0.148, loss_ctc=69.387, loss_att=54.228, acc=0.719, loss=58.776, backward_time=0.288, grad_norm=57.101, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.125e-05, train_time=1.515 -[gpua002:0/64] 2023-12-10 19:56:19,981 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua002:0/64] 2023-12-10 19:56:39,249 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 19:56:42,752 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 19:56:42,752 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua002:0/64] 2023-12-10 19:56:42,755 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 20:02:19,238 (trainer:737) INFO: 25epoch:train:3701-3800batch: iter_time=3.094, forward_time=0.157, loss_ctc=61.496, loss_att=52.217, acc=0.721, loss=55.001, backward_time=0.288, grad_norm=57.550, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.123e-05, train_time=4.431 -[gpua002:0/64] 2023-12-10 20:04:21,803 (trainer:737) INFO: 25epoch:train:3801-3900batch: iter_time=7.099e-05, forward_time=0.149, loss_ctc=64.078, loss_att=49.570, acc=0.727, loss=53.923, backward_time=0.281, grad_norm=59.770, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.122e-05, train_time=1.225 -[gpua002:0/64] 2023-12-10 20:07:05,086 (trainer:737) INFO: 25epoch:train:3901-4000batch: iter_time=7.538e-05, forward_time=0.147, loss_ctc=83.481, loss_att=62.453, acc=0.706, loss=68.762, backward_time=0.330, grad_norm=83.967, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.121e-05, train_time=1.633 -[gpua002:0/64] 2023-12-10 20:09:21,325 (trainer:737) INFO: 25epoch:train:4001-4100batch: iter_time=7.689e-05, forward_time=0.164, loss_ctc=77.498, loss_att=56.950, acc=0.720, loss=63.114, backward_time=0.289, grad_norm=67.972, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=8.120e-05, train_time=1.362 -[gpua002:0/64] 2023-12-10 20:11:49,222 (trainer:737) INFO: 25epoch:train:4101-4200batch: iter_time=7.781e-05, forward_time=0.147, loss_ctc=63.209, loss_att=53.000, acc=0.724, loss=56.063, backward_time=0.313, grad_norm=64.045, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.119e-05, train_time=1.479 -[gpua002:0/64] 2023-12-10 20:14:41,388 (trainer:737) INFO: 25epoch:train:4201-4300batch: iter_time=7.659e-05, forward_time=0.150, loss_ctc=70.453, loss_att=56.599, acc=0.715, loss=60.755, backward_time=0.378, grad_norm=65.457, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.118e-05, train_time=1.721 -[gpua002:0/64] 2023-12-10 20:17:09,619 (trainer:737) INFO: 25epoch:train:4301-4400batch: iter_time=7.478e-05, forward_time=0.188, loss_ctc=66.584, loss_att=54.450, acc=0.703, loss=58.090, backward_time=0.304, grad_norm=79.967, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.141, optim0_lr0=8.117e-05, train_time=1.482 -[gpua002:0/64] 2023-12-10 20:19:59,027 (trainer:737) INFO: 25epoch:train:4401-4500batch: iter_time=8.089e-05, forward_time=0.149, loss_ctc=59.606, loss_att=51.836, acc=0.715, loss=54.167, backward_time=0.315, grad_norm=69.331, clip=100.000, loss_scale=4.584e+31, optim_step_time=0.136, optim0_lr0=8.116e-05, train_time=1.694 -[gpua002:0/64] 2023-12-10 20:21:28,728 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-10 20:22:05,276 (trainer:737) INFO: 25epoch:train:4501-4600batch: iter_time=7.086e-05, forward_time=0.146, loss_ctc=63.256, loss_att=49.838, acc=0.735, loss=53.863, backward_time=0.284, grad_norm=66.638, clip=100.000, loss_scale=6.884e+31, optim_step_time=0.136, optim0_lr0=8.115e-05, train_time=1.262 -[gpua002:0/64] 2023-12-10 20:24:33,688 (trainer:737) INFO: 25epoch:train:4601-4700batch: iter_time=7.560e-05, forward_time=0.167, loss_ctc=67.980, loss_att=53.483, acc=0.711, loss=57.832, backward_time=0.317, grad_norm=68.288, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.113e-05, train_time=1.483 -[gpua002:0/64] 2023-12-10 20:26:49,196 (trainer:737) INFO: 25epoch:train:4701-4800batch: iter_time=8.133e-05, forward_time=0.148, loss_ctc=68.387, loss_att=53.500, acc=0.703, loss=57.966, backward_time=0.286, grad_norm=67.694, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.112e-05, train_time=1.355 -[gpua002:0/64] 2023-12-10 20:29:44,608 (trainer:737) INFO: 25epoch:train:4801-4900batch: iter_time=7.867e-05, forward_time=0.147, loss_ctc=66.241, loss_att=54.627, acc=0.697, loss=58.111, backward_time=0.319, grad_norm=58.698, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.111e-05, train_time=1.754 -[gpua002:0/64] 2023-12-10 20:32:09,950 (trainer:737) INFO: 25epoch:train:4901-5000batch: iter_time=7.638e-05, forward_time=0.147, loss_ctc=65.098, loss_att=48.028, acc=0.723, loss=53.149, backward_time=0.293, grad_norm=60.114, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.110e-05, train_time=1.453 -[gpua002:0/64] 2023-12-10 20:32:29,975 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua002:0/64] 2023-12-10 20:32:49,286 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 20:32:52,764 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 20:32:52,764 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua002:0/64] 2023-12-10 20:32:52,772 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 20:39:06,738 (trainer:737) INFO: 25epoch:train:5001-5100batch: iter_time=2.638, forward_time=0.197, loss_ctc=63.246, loss_att=55.438, acc=0.738, loss=57.781, backward_time=0.287, grad_norm=73.267, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.109e-05, train_time=4.168 -[gpua002:0/64] 2023-12-10 20:41:08,465 (trainer:737) INFO: 25epoch:train:5101-5200batch: iter_time=7.924e-05, forward_time=0.148, loss_ctc=59.620, loss_att=46.233, acc=0.732, loss=50.249, backward_time=0.282, grad_norm=64.955, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=8.108e-05, train_time=1.217 -[gpua002:0/64] 2023-12-10 20:43:16,991 (trainer:737) INFO: 25epoch:train:5201-5300batch: iter_time=8.107e-05, forward_time=0.148, loss_ctc=89.172, loss_att=74.633, acc=0.706, loss=78.995, backward_time=0.280, grad_norm=81.243, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.142, optim0_lr0=8.107e-05, train_time=1.285 -[gpua002:0/64] 2023-12-10 20:45:52,043 (trainer:737) INFO: 25epoch:train:5301-5400batch: iter_time=8.204e-05, forward_time=0.147, loss_ctc=72.227, loss_att=52.608, acc=0.726, loss=58.493, backward_time=0.340, grad_norm=68.849, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.106e-05, train_time=1.550 -[gpua002:0/64] 2023-12-10 20:48:22,463 (trainer:737) INFO: 25epoch:train:5401-5500batch: iter_time=7.921e-05, forward_time=0.147, loss_ctc=69.006, loss_att=58.321, acc=0.717, loss=61.526, backward_time=0.308, grad_norm=66.660, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.105e-05, train_time=1.504 -[gpua002:0/64] 2023-12-10 20:50:40,650 (trainer:737) INFO: 25epoch:train:5501-5600batch: iter_time=7.108e-04, forward_time=0.148, loss_ctc=65.803, loss_att=55.308, acc=0.721, loss=58.457, backward_time=0.282, grad_norm=57.537, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.103e-05, train_time=1.382 -[gpua002:0/64] 2023-12-10 20:53:28,804 (trainer:737) INFO: 25epoch:train:5601-5700batch: iter_time=7.298e-05, forward_time=0.285, loss_ctc=64.656, loss_att=51.356, acc=0.717, loss=55.346, backward_time=0.323, grad_norm=57.341, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=8.102e-05, train_time=1.681 -[gpua002:0/64] 2023-12-10 20:56:14,553 (trainer:737) INFO: 25epoch:train:5701-5800batch: iter_time=8.093e-05, forward_time=0.147, loss_ctc=61.305, loss_att=52.805, acc=0.724, loss=55.355, backward_time=0.294, grad_norm=49.450, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.101e-05, train_time=1.657 -[gpua002:0/64] 2023-12-10 20:59:10,886 (trainer:737) INFO: 25epoch:train:5801-5900batch: iter_time=8.282e-05, forward_time=0.153, loss_ctc=64.621, loss_att=54.643, acc=0.741, loss=57.637, backward_time=0.304, grad_norm=51.275, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.100e-05, train_time=1.763 -[gpua002:0/64] 2023-12-10 21:01:31,339 (trainer:737) INFO: 25epoch:train:5901-6000batch: iter_time=8.128e-05, forward_time=0.146, loss_ctc=68.273, loss_att=51.028, acc=0.705, loss=56.202, backward_time=0.280, grad_norm=65.562, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.099e-05, train_time=1.404 -[gpua002:0/64] 2023-12-10 21:03:56,235 (trainer:737) INFO: 25epoch:train:6001-6100batch: iter_time=8.207e-05, forward_time=0.152, loss_ctc=65.481, loss_att=54.352, acc=0.710, loss=57.690, backward_time=0.324, grad_norm=59.107, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.098e-05, train_time=1.449 -[gpua002:0/64] 2023-12-10 21:06:14,887 (trainer:737) INFO: 25epoch:train:6101-6200batch: iter_time=8.414e-05, forward_time=0.151, loss_ctc=68.801, loss_att=53.440, acc=0.723, loss=58.048, backward_time=0.287, grad_norm=52.059, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=8.097e-05, train_time=1.386 -[gpua002:0/64] 2023-12-10 21:07:38,706 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua002:0/64] 2023-12-10 21:07:58,569 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 21:08:02,563 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 21:08:02,563 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua002:0/64] 2023-12-10 21:08:02,566 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 21:13:36,414 (trainer:737) INFO: 25epoch:train:6201-6300batch: iter_time=3.118, forward_time=0.148, loss_ctc=61.029, loss_att=51.737, acc=0.725, loss=54.525, backward_time=0.284, grad_norm=54.379, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.096e-05, train_time=4.415 -[gpua002:0/64] 2023-12-10 21:15:40,281 (trainer:737) INFO: 25epoch:train:6301-6400batch: iter_time=4.059e-04, forward_time=0.147, loss_ctc=63.629, loss_att=49.155, acc=0.729, loss=53.497, backward_time=0.280, grad_norm=54.982, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.095e-05, train_time=1.239 -[gpua002:0/64] 2023-12-10 21:17:41,125 (trainer:737) INFO: 25epoch:train:6401-6500batch: iter_time=8.507e-05, forward_time=0.147, loss_ctc=80.175, loss_att=62.569, acc=0.708, loss=67.851, backward_time=0.281, grad_norm=77.162, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.094e-05, train_time=1.208 -[gpua002:0/64] 2023-12-10 21:19:48,781 (trainer:737) INFO: 25epoch:train:6501-6600batch: iter_time=8.953e-05, forward_time=0.149, loss_ctc=76.835, loss_att=55.938, acc=0.723, loss=62.207, backward_time=0.280, grad_norm=78.712, clip=100.000, loss_scale=5.273e+31, optim_step_time=0.136, optim0_lr0=8.092e-05, train_time=1.276 -[gpua002:0/64] 2023-12-10 21:22:29,584 (trainer:737) INFO: 25epoch:train:6601-6700batch: iter_time=8.079e-05, forward_time=0.247, loss_ctc=63.138, loss_att=53.179, acc=0.725, loss=56.167, backward_time=0.326, grad_norm=55.670, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.142, optim0_lr0=8.091e-05, train_time=1.608 -[gpua002:0/64] 2023-12-10 21:25:04,155 (trainer:737) INFO: 25epoch:train:6701-6800batch: iter_time=7.878e-05, forward_time=0.147, loss_ctc=70.330, loss_att=56.784, acc=0.716, loss=60.848, backward_time=0.327, grad_norm=76.132, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.090e-05, train_time=1.545 -[gpua002:0/64] 2023-12-10 21:28:27,465 (trainer:737) INFO: 25epoch:train:6801-6900batch: iter_time=7.428e-05, forward_time=0.155, loss_ctc=67.025, loss_att=54.270, acc=0.704, loss=58.096, backward_time=0.352, grad_norm=60.450, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.089e-05, train_time=2.033 -[gpua002:0/64] 2023-12-10 21:31:10,619 (trainer:737) INFO: 25epoch:train:6901-7000batch: iter_time=7.844e-05, forward_time=0.149, loss_ctc=59.249, loss_att=51.877, acc=0.716, loss=54.089, backward_time=0.361, grad_norm=53.830, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.088e-05, train_time=1.631 -[gpua002:0/64] 2023-12-10 21:34:05,097 (trainer:737) INFO: 25epoch:train:7001-7100batch: iter_time=8.067e-05, forward_time=0.152, loss_ctc=63.778, loss_att=49.679, acc=0.738, loss=53.909, backward_time=0.331, grad_norm=54.238, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.087e-05, train_time=1.744 -[gpua002:0/64] 2023-12-10 21:36:21,485 (trainer:737) INFO: 25epoch:train:7101-7200batch: iter_time=6.002e-04, forward_time=0.149, loss_ctc=67.111, loss_att=52.667, acc=0.713, loss=57.000, backward_time=0.291, grad_norm=60.355, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.086e-05, train_time=1.364 -[gpua002:0/64] 2023-12-10 21:36:27,837 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-10 21:38:52,012 (trainer:737) INFO: 25epoch:train:7201-7300batch: iter_time=1.454e-04, forward_time=0.150, loss_ctc=68.511, loss_att=53.509, acc=0.702, loss=58.010, backward_time=0.344, grad_norm=68.574, clip=100.000, loss_scale=4.138e+31, optim_step_time=0.138, optim0_lr0=8.085e-05, train_time=1.504 -[gpua002:0/64] 2023-12-10 21:40:57,592 (trainer:737) INFO: 25epoch:train:7301-7400batch: iter_time=8.002e-05, forward_time=0.146, loss_ctc=65.954, loss_att=54.845, acc=0.697, loss=58.177, backward_time=0.281, grad_norm=60.358, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.084e-05, train_time=1.257 -[gpua002:0/64] 2023-12-10 21:44:04,285 (trainer:737) INFO: 25epoch:train:7401-7500batch: iter_time=7.847e-05, forward_time=0.164, loss_ctc=64.550, loss_att=48.199, acc=0.723, loss=53.104, backward_time=0.370, grad_norm=67.404, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.083e-05, train_time=1.867 -[gpua002:0/64] 2023-12-10 21:44:24,317 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua002:0/64] 2023-12-10 21:44:43,947 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 21:44:47,423 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 21:44:47,423 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua002:0/64] 2023-12-10 21:44:47,426 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 21:49:53,902 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-10 21:51:25,315 (trainer:737) INFO: 25epoch:train:7501-7600batch: iter_time=3.081, forward_time=0.194, loss_ctc=63.246, loss_att=53.384, acc=0.732, loss=56.342, backward_time=0.289, grad_norm=53.817, clip=100.000, loss_scale=2.561e+31, optim_step_time=0.137, optim0_lr0=8.081e-05, train_time=4.410 -[gpua002:0/64] 2023-12-10 21:53:39,213 (trainer:737) INFO: 25epoch:train:7601-7700batch: iter_time=7.824e-04, forward_time=0.150, loss_ctc=59.257, loss_att=45.013, acc=0.725, loss=49.286, backward_time=0.299, grad_norm=62.969, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.080e-05, train_time=1.339 -[gpua002:0/64] 2023-12-10 21:56:01,542 (trainer:737) INFO: 25epoch:train:7701-7800batch: iter_time=7.984e-05, forward_time=0.148, loss_ctc=88.737, loss_att=71.015, acc=0.712, loss=76.332, backward_time=0.323, grad_norm=86.997, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.079e-05, train_time=1.423 -[gpua002:0/64] 2023-12-10 21:58:13,979 (trainer:737) INFO: 25epoch:train:7801-7900batch: iter_time=8.147e-05, forward_time=0.148, loss_ctc=70.998, loss_att=51.999, acc=0.721, loss=57.699, backward_time=0.290, grad_norm=65.521, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=8.078e-05, train_time=1.324 -[gpua002:0/64] 2023-12-10 22:01:07,953 (trainer:737) INFO: 25epoch:train:7901-8000batch: iter_time=8.116e-05, forward_time=0.153, loss_ctc=68.009, loss_att=56.559, acc=0.714, loss=59.994, backward_time=0.314, grad_norm=69.087, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=8.077e-05, train_time=1.740 -[gpua002:0/64] 2023-12-10 22:04:00,574 (trainer:737) INFO: 25epoch:train:8001-8100batch: iter_time=7.780e-05, forward_time=0.148, loss_ctc=65.471, loss_att=54.588, acc=0.715, loss=57.853, backward_time=0.343, grad_norm=57.717, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.076e-05, train_time=1.726 -[gpua002:0/64] 2023-12-10 22:06:47,403 (trainer:737) INFO: 25epoch:train:8101-8200batch: iter_time=7.724e-05, forward_time=0.149, loss_ctc=63.734, loss_att=50.163, acc=0.717, loss=54.234, backward_time=0.307, grad_norm=56.568, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.075e-05, train_time=1.667 -[gpua002:0/64] 2023-12-10 22:09:35,066 (trainer:737) INFO: 25epoch:train:8201-8300batch: iter_time=7.995e-05, forward_time=0.147, loss_ctc=61.172, loss_att=51.531, acc=0.724, loss=54.424, backward_time=0.327, grad_norm=55.600, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.074e-05, train_time=1.678 -[gpua002:0/64] 2023-12-10 22:11:54,136 (trainer:737) INFO: 25epoch:train:8301-8400batch: iter_time=3.567e-04, forward_time=0.148, loss_ctc=64.580, loss_att=52.667, acc=0.737, loss=56.241, backward_time=0.282, grad_norm=56.560, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=8.073e-05, train_time=1.390 -[gpua002:0/64] 2023-12-10 22:14:27,713 (trainer:737) INFO: 25epoch:train:8401-8500batch: iter_time=7.701e-05, forward_time=0.175, loss_ctc=68.818, loss_att=50.760, acc=0.699, loss=56.177, backward_time=0.333, grad_norm=66.005, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=8.072e-05, train_time=1.536 -[gpua002:0/64] 2023-12-10 22:16:45,228 (trainer:737) INFO: 25epoch:train:8501-8600batch: iter_time=8.561e-05, forward_time=0.183, loss_ctc=64.773, loss_att=53.310, acc=0.710, loss=56.749, backward_time=0.304, grad_norm=64.242, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.070e-05, train_time=1.375 -[gpua002:0/64] 2023-12-10 22:19:40,005 (trainer:737) INFO: 25epoch:train:8601-8700batch: iter_time=8.244e-05, forward_time=0.170, loss_ctc=69.014, loss_att=53.282, acc=0.713, loss=58.002, backward_time=0.348, grad_norm=58.680, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.069e-05, train_time=1.748 -[gpua002:0/64] 2023-12-10 22:21:06,661 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua002:0/64] 2023-12-10 22:21:26,428 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 22:21:29,970 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 22:21:29,970 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua002:0/64] 2023-12-10 22:21:29,973 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 22:27:02,787 (trainer:737) INFO: 25epoch:train:8701-8800batch: iter_time=3.094, forward_time=0.147, loss_ctc=61.083, loss_att=51.817, acc=0.718, loss=54.596, backward_time=0.284, grad_norm=56.520, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.068e-05, train_time=4.427 -[gpua002:0/64] 2023-12-10 22:29:05,465 (trainer:737) INFO: 25epoch:train:8801-8900batch: iter_time=7.826e-05, forward_time=0.146, loss_ctc=62.607, loss_att=47.414, acc=0.735, loss=51.972, backward_time=0.279, grad_norm=52.321, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.067e-05, train_time=1.227 -[gpua002:0/64] 2023-12-10 22:31:30,280 (trainer:737) INFO: 25epoch:train:8901-9000batch: iter_time=7.778e-05, forward_time=0.147, loss_ctc=80.374, loss_att=60.896, acc=0.713, loss=66.740, backward_time=0.287, grad_norm=79.747, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.066e-05, train_time=1.448 -[gpua002:0/64] 2023-12-10 22:34:12,152 (trainer:737) INFO: 25epoch:train:9001-9100batch: iter_time=1.944e-04, forward_time=0.148, loss_ctc=76.673, loss_att=55.904, acc=0.724, loss=62.135, backward_time=0.358, grad_norm=64.141, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=8.065e-05, train_time=1.618 -[gpua002:0/64] 2023-12-10 22:36:42,630 (trainer:737) INFO: 25epoch:train:9101-9200batch: iter_time=7.714e-05, forward_time=0.161, loss_ctc=63.770, loss_att=52.646, acc=0.728, loss=55.984, backward_time=0.302, grad_norm=59.753, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.064e-05, train_time=1.505 -[gpua002:0/64] 2023-12-10 22:39:42,052 (trainer:737) INFO: 25epoch:train:9201-9300batch: iter_time=7.519e-05, forward_time=0.227, loss_ctc=70.495, loss_att=55.909, acc=0.718, loss=60.285, backward_time=0.335, grad_norm=59.754, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=8.063e-05, train_time=1.794 -[gpua002:0/64] 2023-12-10 22:42:34,806 (trainer:737) INFO: 25epoch:train:9301-9400batch: iter_time=7.691e-05, forward_time=0.150, loss_ctc=66.113, loss_att=53.218, acc=0.708, loss=57.087, backward_time=0.323, grad_norm=57.426, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.062e-05, train_time=1.727 -[gpua002:0/64] 2023-12-10 22:45:24,115 (trainer:737) INFO: 25epoch:train:9401-9500batch: iter_time=7.995e-05, forward_time=0.149, loss_ctc=58.799, loss_att=51.282, acc=0.719, loss=53.537, backward_time=0.326, grad_norm=62.451, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.143, optim0_lr0=8.061e-05, train_time=1.693 -[gpua002:0/64] 2023-12-10 22:48:02,459 (trainer:737) INFO: 25epoch:train:9501-9600batch: iter_time=7.846e-05, forward_time=0.146, loss_ctc=61.997, loss_att=48.744, acc=0.740, loss=52.720, backward_time=0.317, grad_norm=52.384, clip=100.000, loss_scale=3.509e+31, optim_step_time=0.135, optim0_lr0=8.060e-05, train_time=1.583 -[gpua002:0/64] 2023-12-10 22:50:02,409 (trainer:737) INFO: 25epoch:train:9601-9700batch: iter_time=7.699e-05, forward_time=0.146, loss_ctc=67.398, loss_att=52.593, acc=0.714, loss=57.034, backward_time=0.279, grad_norm=59.141, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.058e-05, train_time=1.199 -[gpua002:0/64] 2023-12-10 22:52:36,567 (trainer:737) INFO: 25epoch:train:9701-9800batch: iter_time=7.517e-05, forward_time=0.146, loss_ctc=68.322, loss_att=53.140, acc=0.706, loss=57.695, backward_time=0.292, grad_norm=62.213, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.057e-05, train_time=1.541 -[gpua002:0/64] 2023-12-10 22:55:52,584 (trainer:737) INFO: 25epoch:train:9801-9900batch: iter_time=2.219e-04, forward_time=0.147, loss_ctc=65.399, loss_att=54.373, acc=0.699, loss=57.681, backward_time=0.325, grad_norm=60.308, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.056e-05, train_time=1.960 -[gpua002:0/64] 2023-12-10 22:57:07,265 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-10 22:58:35,536 (trainer:737) INFO: 25epoch:train:9901-10000batch: iter_time=7.479e-05, forward_time=0.147, loss_ctc=64.171, loss_att=47.581, acc=0.725, loss=52.558, backward_time=0.321, grad_norm=56.399, clip=100.000, loss_scale=2.868e+31, optim_step_time=0.136, optim0_lr0=8.055e-05, train_time=1.629 -[gpua002:0/64] 2023-12-10 22:58:55,565 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua002:0/64] 2023-12-10 22:59:15,080 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 22:59:18,593 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 22:59:18,593 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua002:0/64] 2023-12-10 22:59:18,597 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 23:05:59,178 (trainer:737) INFO: 25epoch:train:10001-10100batch: iter_time=3.157, forward_time=0.182, loss_ctc=63.663, loss_att=56.673, acc=0.739, loss=58.770, backward_time=0.284, grad_norm=53.232, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.054e-05, train_time=4.436 -[gpua002:0/64] 2023-12-10 23:07:59,437 (trainer:737) INFO: 25epoch:train:10101-10200batch: iter_time=7.850e-05, forward_time=0.152, loss_ctc=59.194, loss_att=46.167, acc=0.733, loss=50.075, backward_time=0.279, grad_norm=65.280, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.053e-05, train_time=1.202 -[gpua002:0/64] 2023-12-10 23:10:25,222 (trainer:737) INFO: 25epoch:train:10201-10300batch: iter_time=7.892e-05, forward_time=0.148, loss_ctc=86.622, loss_att=74.445, acc=0.710, loss=78.098, backward_time=0.288, grad_norm=75.830, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.052e-05, train_time=1.458 -[gpua002:0/64] 2023-12-10 23:13:02,363 (trainer:737) INFO: 25epoch:train:10301-10400batch: iter_time=8.113e-05, forward_time=0.148, loss_ctc=70.714, loss_att=52.284, acc=0.729, loss=57.813, backward_time=0.299, grad_norm=63.500, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=8.051e-05, train_time=1.571 -[gpua002:0/64] 2023-12-10 23:15:41,267 (trainer:737) INFO: 25epoch:train:10401-10500batch: iter_time=7.633e-05, forward_time=0.150, loss_ctc=67.790, loss_att=57.690, acc=0.722, loss=60.720, backward_time=0.295, grad_norm=63.137, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.050e-05, train_time=1.589 -[gpua002:0/64] 2023-12-10 23:19:03,433 (trainer:737) INFO: 25epoch:train:10501-10600batch: iter_time=8.092e-05, forward_time=0.148, loss_ctc=65.279, loss_att=55.214, acc=0.724, loss=58.234, backward_time=0.426, grad_norm=60.253, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.049e-05, train_time=2.021 -[gpua002:0/64] 2023-12-10 23:21:31,051 (trainer:737) INFO: 25epoch:train:10601-10700batch: iter_time=7.919e-05, forward_time=0.148, loss_ctc=63.675, loss_att=50.897, acc=0.719, loss=54.731, backward_time=0.286, grad_norm=55.179, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.048e-05, train_time=1.476 -[gpua002:0/64] 2023-12-10 23:24:19,137 (trainer:737) INFO: 25epoch:train:10701-10800batch: iter_time=7.846e-05, forward_time=0.147, loss_ctc=60.655, loss_att=52.274, acc=0.729, loss=54.789, backward_time=0.349, grad_norm=54.766, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.046e-05, train_time=1.681 -[gpua002:0/64] 2023-12-10 23:27:09,295 (trainer:737) INFO: 25epoch:train:10801-10900batch: iter_time=7.931e-05, forward_time=0.148, loss_ctc=64.267, loss_att=55.054, acc=0.742, loss=57.818, backward_time=0.301, grad_norm=53.406, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.045e-05, train_time=1.701 -[gpua002:0/64] 2023-12-10 23:30:03,713 (trainer:737) INFO: 25epoch:train:10901-11000batch: iter_time=7.810e-05, forward_time=0.147, loss_ctc=67.634, loss_att=50.777, acc=0.708, loss=55.834, backward_time=0.326, grad_norm=70.163, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.044e-05, train_time=1.744 -[gpua002:0/64] 2023-12-10 23:32:25,402 (trainer:737) INFO: 25epoch:train:11001-11100batch: iter_time=2.062e-04, forward_time=0.224, loss_ctc=65.030, loss_att=54.501, acc=0.713, loss=57.660, backward_time=0.310, grad_norm=61.490, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.145, optim0_lr0=8.043e-05, train_time=1.417 -[gpua002:0/64] 2023-12-10 23:34:51,524 (trainer:737) INFO: 25epoch:train:11101-11200batch: iter_time=7.762e-05, forward_time=0.156, loss_ctc=69.058, loss_att=53.962, acc=0.723, loss=58.491, backward_time=0.290, grad_norm=54.679, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.042e-05, train_time=1.461 -[gpua002:0/64] 2023-12-10 23:35:13,234 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-10 23:36:14,500 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua002:0/64] 2023-12-10 23:36:33,862 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-10 23:36:37,341 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-10 23:36:37,341 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua002:0/64] 2023-12-10 23:36:37,347 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-10 23:42:21,992 (trainer:737) INFO: 25epoch:train:11201-11300batch: iter_time=3.151, forward_time=0.209, loss_ctc=60.990, loss_att=51.229, acc=0.726, loss=54.158, backward_time=0.287, grad_norm=59.181, clip=100.000, loss_scale=1.188e+31, optim_step_time=0.138, optim0_lr0=8.041e-05, train_time=4.504 -[gpua002:0/64] 2023-12-10 23:44:25,774 (trainer:737) INFO: 25epoch:train:11301-11400batch: iter_time=7.859e-05, forward_time=0.147, loss_ctc=63.607, loss_att=48.741, acc=0.732, loss=53.201, backward_time=0.278, grad_norm=63.385, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.040e-05, train_time=1.238 -[gpua002:0/64] 2023-12-10 23:46:43,893 (trainer:737) INFO: 25epoch:train:11401-11500batch: iter_time=7.805e-05, forward_time=0.148, loss_ctc=81.154, loss_att=61.229, acc=0.710, loss=67.207, backward_time=0.286, grad_norm=74.508, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=8.039e-05, train_time=1.381 -[gpua002:0/64] 2023-12-10 23:49:19,295 (trainer:737) INFO: 25epoch:train:11501-11600batch: iter_time=7.788e-05, forward_time=0.168, loss_ctc=76.064, loss_att=55.667, acc=0.725, loss=61.786, backward_time=0.283, grad_norm=92.491, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.038e-05, train_time=1.554 -[gpua002:0/64] 2023-12-10 23:52:02,440 (trainer:737) INFO: 25epoch:train:11601-11700batch: iter_time=0.001, forward_time=0.205, loss_ctc=62.633, loss_att=51.987, acc=0.731, loss=55.181, backward_time=0.328, grad_norm=55.834, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.142, optim0_lr0=8.037e-05, train_time=1.631 -[gpua002:0/64] 2023-12-10 23:54:27,985 (trainer:737) INFO: 25epoch:train:11701-11800batch: iter_time=7.494e-05, forward_time=0.148, loss_ctc=69.914, loss_att=55.616, acc=0.719, loss=59.906, backward_time=0.282, grad_norm=65.076, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=8.036e-05, train_time=1.455 -[gpua002:0/64] 2023-12-10 23:57:15,050 (trainer:737) INFO: 25epoch:train:11801-11900batch: iter_time=7.858e-05, forward_time=0.147, loss_ctc=65.818, loss_att=53.346, acc=0.708, loss=57.087, backward_time=0.315, grad_norm=61.513, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=8.035e-05, train_time=1.670 -[gpua002:0/64] 2023-12-11 00:00:27,672 (trainer:737) INFO: 25epoch:train:11901-12000batch: iter_time=7.876e-05, forward_time=0.154, loss_ctc=58.462, loss_att=50.745, acc=0.723, loss=53.060, backward_time=0.324, grad_norm=55.699, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=8.033e-05, train_time=1.922 -[gpua002:0/64] 2023-12-11 00:03:47,890 (trainer:737) INFO: 25epoch:train:12001-12100batch: iter_time=0.003, forward_time=0.223, loss_ctc=62.654, loss_att=49.338, acc=0.741, loss=53.333, backward_time=0.354, grad_norm=84.533, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.141, optim0_lr0=8.032e-05, train_time=2.005 -[gpua002:0/64] 2023-12-11 00:06:05,353 (trainer:737) INFO: 25epoch:train:12101-12200batch: iter_time=8.190e-05, forward_time=0.148, loss_ctc=66.721, loss_att=52.325, acc=0.717, loss=56.644, backward_time=0.304, grad_norm=66.110, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.031e-05, train_time=1.376 -[gpua002:0/64] 2023-12-11 00:08:14,448 (trainer:737) INFO: 25epoch:train:12201-12300batch: iter_time=8.169e-05, forward_time=0.147, loss_ctc=67.230, loss_att=52.742, acc=0.706, loss=57.089, backward_time=0.279, grad_norm=118.695, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.030e-05, train_time=1.291 -[gpua002:0/64] 2023-12-11 00:10:33,275 (trainer:737) INFO: 25epoch:train:12301-12400batch: iter_time=7.774e-05, forward_time=0.148, loss_ctc=64.897, loss_att=54.181, acc=0.701, loss=57.396, backward_time=0.318, grad_norm=87.048, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.029e-05, train_time=1.388 -[gpua002:0/64] 2023-12-11 00:13:22,543 (trainer:737) INFO: 25epoch:train:12401-12500batch: iter_time=0.002, forward_time=0.213, loss_ctc=64.308, loss_att=47.469, acc=0.727, loss=52.521, backward_time=0.342, grad_norm=81.660, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.142, optim0_lr0=8.028e-05, train_time=1.692 -[gpua002:0/64] 2023-12-11 00:13:42,571 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua002:0/64] 2023-12-11 00:14:02,642 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-11 00:14:06,110 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-11 00:14:06,110 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua002:0/64] 2023-12-11 00:14:06,113 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-11 00:20:51,483 (trainer:737) INFO: 25epoch:train:12501-12600batch: iter_time=3.074, forward_time=0.160, loss_ctc=63.521, loss_att=55.287, acc=0.741, loss=57.757, backward_time=0.281, grad_norm=53.494, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.027e-05, train_time=4.489 -[gpua002:0/64] 2023-12-11 00:22:56,274 (trainer:737) INFO: 25epoch:train:12601-12700batch: iter_time=7.877e-05, forward_time=0.148, loss_ctc=59.194, loss_att=46.063, acc=0.734, loss=50.002, backward_time=0.279, grad_norm=57.093, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.026e-05, train_time=1.248 -[gpua002:0/64] 2023-12-11 00:25:39,433 (trainer:737) INFO: 25epoch:train:12701-12800batch: iter_time=8.109e-05, forward_time=0.149, loss_ctc=90.431, loss_att=76.045, acc=0.711, loss=80.361, backward_time=0.318, grad_norm=87.742, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.025e-05, train_time=1.631 -[gpua002:0/64] 2023-12-11 00:27:57,698 (trainer:737) INFO: 25epoch:train:12801-12900batch: iter_time=8.019e-05, forward_time=0.148, loss_ctc=70.572, loss_att=51.891, acc=0.732, loss=57.496, backward_time=0.281, grad_norm=70.855, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.024e-05, train_time=1.382 -[gpua002:0/64] 2023-12-11 00:30:52,117 (trainer:737) INFO: 25epoch:train:12901-13000batch: iter_time=7.939e-05, forward_time=0.230, loss_ctc=67.852, loss_att=57.100, acc=0.722, loss=60.326, backward_time=0.376, grad_norm=65.595, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.142, optim0_lr0=8.023e-05, train_time=1.744 -[gpua002:0/64] 2023-12-11 00:33:39,739 (trainer:737) INFO: 25epoch:train:13001-13100batch: iter_time=8.315e-05, forward_time=0.152, loss_ctc=65.030, loss_att=54.721, acc=0.725, loss=57.814, backward_time=0.305, grad_norm=58.418, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=8.022e-05, train_time=1.676 -[gpua002:0/64] 2023-12-11 00:36:57,927 (trainer:737) INFO: 25epoch:train:13101-13200batch: iter_time=8.075e-05, forward_time=0.159, loss_ctc=63.305, loss_att=50.647, acc=0.720, loss=54.445, backward_time=0.341, grad_norm=66.511, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=8.021e-05, train_time=1.981 -[gpua002:0/64] 2023-12-11 00:39:29,802 (trainer:737) INFO: 25epoch:train:13201-13300batch: iter_time=8.013e-05, forward_time=0.148, loss_ctc=60.477, loss_att=51.913, acc=0.729, loss=54.482, backward_time=0.303, grad_norm=50.153, clip=100.000, loss_scale=1.846e+31, optim_step_time=0.135, optim0_lr0=8.019e-05, train_time=1.519 -[gpua002:0/64] 2023-12-11 00:42:25,085 (trainer:737) INFO: 25epoch:train:13301-13400batch: iter_time=8.093e-05, forward_time=0.149, loss_ctc=63.590, loss_att=53.407, acc=0.745, loss=56.462, backward_time=0.368, grad_norm=71.395, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.018e-05, train_time=1.753 -[gpua002:0/64] 2023-12-11 00:45:14,250 (trainer:737) INFO: 25epoch:train:13401-13500batch: iter_time=8.290e-05, forward_time=0.148, loss_ctc=66.892, loss_att=50.406, acc=0.709, loss=55.352, backward_time=0.313, grad_norm=85.303, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.017e-05, train_time=1.691 -[gpua002:0/64] 2023-12-11 00:47:42,514 (trainer:737) INFO: 25epoch:train:13501-13600batch: iter_time=8.200e-05, forward_time=0.147, loss_ctc=64.371, loss_att=53.863, acc=0.714, loss=57.015, backward_time=0.292, grad_norm=78.037, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.016e-05, train_time=1.482 -[gpua002:0/64] 2023-12-11 00:50:15,770 (trainer:737) INFO: 25epoch:train:13601-13700batch: iter_time=8.060e-05, forward_time=0.148, loss_ctc=68.394, loss_att=53.460, acc=0.725, loss=57.940, backward_time=0.292, grad_norm=81.999, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.015e-05, train_time=1.532 -[gpua002:0/64] 2023-12-11 00:51:49,758 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua002:0/64] 2023-12-11 00:52:09,373 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-11 00:52:13,210 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-11 00:52:13,210 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua002:0/64] 2023-12-11 00:52:13,213 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-11 00:57:44,286 (trainer:737) INFO: 25epoch:train:13701-13800batch: iter_time=3.063, forward_time=0.179, loss_ctc=60.446, loss_att=50.641, acc=0.734, loss=53.582, backward_time=0.289, grad_norm=84.292, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.014e-05, train_time=4.485 -[gpua002:0/64] 2023-12-11 00:59:51,239 (trainer:737) INFO: 25epoch:train:13801-13900batch: iter_time=7.565e-05, forward_time=0.149, loss_ctc=63.134, loss_att=50.737, acc=0.738, loss=54.456, backward_time=0.280, grad_norm=83.615, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.013e-05, train_time=1.270 -[gpua002:0/64] 2023-12-11 01:02:47,945 (trainer:737) INFO: 25epoch:train:13901-14000batch: iter_time=7.808e-05, forward_time=0.148, loss_ctc=79.412, loss_att=65.509, acc=0.717, loss=69.680, backward_time=0.360, grad_norm=94.463, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.012e-05, train_time=1.767 -[gpua002:0/64] 2023-12-11 01:05:41,338 (trainer:737) INFO: 25epoch:train:14001-14100batch: iter_time=8.257e-05, forward_time=0.148, loss_ctc=77.763, loss_att=58.851, acc=0.723, loss=64.524, backward_time=0.308, grad_norm=74.662, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.011e-05, train_time=1.734 -[gpua002:0/64] 2023-12-11 01:08:32,353 (trainer:737) INFO: 25epoch:train:14101-14200batch: iter_time=8.106e-05, forward_time=0.148, loss_ctc=62.789, loss_att=52.867, acc=0.735, loss=55.844, backward_time=0.303, grad_norm=69.702, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.010e-05, train_time=1.710 -[gpua002:0/64] 2023-12-11 01:11:20,020 (trainer:737) INFO: 25epoch:train:14201-14300batch: iter_time=7.877e-05, forward_time=0.148, loss_ctc=70.459, loss_att=57.341, acc=0.724, loss=61.276, backward_time=0.336, grad_norm=66.574, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.009e-05, train_time=1.676 -[gpua002:0/64] 2023-12-11 01:14:04,732 (trainer:737) INFO: 25epoch:train:14301-14400batch: iter_time=7.831e-05, forward_time=0.148, loss_ctc=65.945, loss_att=53.696, acc=0.718, loss=57.371, backward_time=0.298, grad_norm=60.675, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.008e-05, train_time=1.647 -[gpua002:0/64] 2023-12-11 01:17:10,371 (trainer:737) INFO: 25epoch:train:14401-14500batch: iter_time=7.722e-05, forward_time=0.226, loss_ctc=58.155, loss_att=52.116, acc=0.723, loss=53.928, backward_time=0.401, grad_norm=52.168, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=8.007e-05, train_time=1.856 -[gpua002:0/64] 2023-12-11 01:20:49,895 (trainer:737) INFO: 25epoch:train:14501-14600batch: iter_time=8.196e-05, forward_time=0.181, loss_ctc=62.289, loss_att=50.431, acc=0.747, loss=53.988, backward_time=0.389, grad_norm=61.810, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.006e-05, train_time=2.195 -[gpua002:0/64] 2023-12-11 01:23:20,697 (trainer:737) INFO: 25epoch:train:14601-14700batch: iter_time=7.924e-05, forward_time=0.149, loss_ctc=66.444, loss_att=52.575, acc=0.724, loss=56.736, backward_time=0.292, grad_norm=74.066, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.004e-05, train_time=1.508 -[gpua002:0/64] 2023-12-11 01:26:16,323 (trainer:737) INFO: 25epoch:train:14701-14800batch: iter_time=8.073e-05, forward_time=0.148, loss_ctc=67.486, loss_att=53.325, acc=0.710, loss=57.574, backward_time=0.293, grad_norm=75.429, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.003e-05, train_time=1.756 -[gpua002:0/64] 2023-12-11 01:28:52,331 (trainer:737) INFO: 25epoch:train:14801-14900batch: iter_time=7.939e-05, forward_time=0.148, loss_ctc=64.535, loss_att=54.370, acc=0.713, loss=57.419, backward_time=0.307, grad_norm=96.856, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.002e-05, train_time=1.560 -[gpua002:0/64] 2023-12-11 01:31:34,021 (trainer:737) INFO: 25epoch:train:14901-15000batch: iter_time=7.698e-05, forward_time=0.149, loss_ctc=64.301, loss_att=47.548, acc=0.732, loss=52.574, backward_time=0.314, grad_norm=82.101, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.001e-05, train_time=1.617 -[gpua002:0/64] 2023-12-11 01:58:29,342 (trainer:343) INFO: 25epoch results: [train] iter_time=0.238, forward_time=0.159, loss_ctc=67.461, loss_att=54.150, acc=0.719, loss=58.143, backward_time=0.307, grad_norm=68.223, clip=100.000, loss_scale=3.291e+31, optim_step_time=0.137, optim0_lr0=8.082e-05, train_time=1.761, time=7 hours, 20 minutes and 35.62 seconds, total_count=375000, gpu_max_cached_mem_GB=36.566, [valid] loss_ctc=38.585, cer_ctc=0.195, loss_att=37.996, acc=0.697, cer=0.358, wer=0.997, loss=38.173, time=26 minutes and 31.42 seconds, total_count=116775, gpu_max_cached_mem_GB=36.566 -[gpua002:0/64] 2023-12-11 01:58:49,012 (trainer:391) INFO: The best model has been updated: valid.total_count -[gpua002:0/64] 2023-12-11 01:58:49,065 (trainer:272) INFO: 26/40epoch started. Estimated time to finish: 5 days, 2 hours and 33 minutes -[gpua002:0/64] 2023-12-11 01:58:49,078 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua002:0/64] 2023-12-11 01:59:07,831 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-11 01:59:11,339 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-11 01:59:11,339 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua002:0/64] 2023-12-11 01:59:11,343 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-11 02:05:35,867 (trainer:737) INFO: 26epoch:train:1-100batch: iter_time=2.623, forward_time=0.178, loss_ctc=62.733, loss_att=53.255, acc=0.698, loss=56.099, backward_time=0.291, grad_norm=96.240, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.000e-05, train_time=4.068 -[gpua002:0/64] 2023-12-11 02:07:42,490 (trainer:737) INFO: 26epoch:train:101-200batch: iter_time=8.172e-05, forward_time=0.151, loss_ctc=66.445, loss_att=47.916, acc=0.715, loss=53.475, backward_time=0.286, grad_norm=74.311, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=7.999e-05, train_time=1.266 -[gpua002:0/64] 2023-12-11 02:10:02,966 (trainer:737) INFO: 26epoch:train:201-300batch: iter_time=7.841e-05, forward_time=0.148, loss_ctc=67.342, loss_att=54.052, acc=0.711, loss=58.039, backward_time=0.288, grad_norm=110.047, clip=100.000, loss_scale=3.691e+31, optim_step_time=0.136, optim0_lr0=7.998e-05, train_time=1.405 -[gpua002:0/64] 2023-12-11 02:12:29,422 (trainer:737) INFO: 26epoch:train:301-400batch: iter_time=7.650e-05, forward_time=0.165, loss_ctc=68.285, loss_att=57.509, acc=0.716, loss=60.742, backward_time=0.298, grad_norm=115.830, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=7.997e-05, train_time=1.464 -[gpua002:0/64] 2023-12-11 02:15:06,385 (trainer:737) INFO: 26epoch:train:401-500batch: iter_time=0.001, forward_time=0.255, loss_ctc=64.549, loss_att=48.546, acc=0.718, loss=53.347, backward_time=0.345, grad_norm=73.409, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.145, optim0_lr0=7.996e-05, train_time=1.569 -[gpua002:0/64] 2023-12-11 02:17:50,675 (trainer:737) INFO: 26epoch:train:501-600batch: iter_time=7.785e-05, forward_time=0.150, loss_ctc=70.772, loss_att=57.954, acc=0.712, loss=61.800, backward_time=0.305, grad_norm=66.962, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.995e-05, train_time=1.643 -[gpua002:0/64] 2023-12-11 02:20:16,900 (trainer:737) INFO: 26epoch:train:601-700batch: iter_time=7.885e-05, forward_time=0.147, loss_ctc=65.817, loss_att=53.169, acc=0.711, loss=56.964, backward_time=0.329, grad_norm=83.119, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.994e-05, train_time=1.462 -[gpua002:0/64] 2023-12-11 02:21:17,470 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-11 02:22:47,957 (trainer:737) INFO: 26epoch:train:701-800batch: iter_time=7.751e-05, forward_time=0.148, loss_ctc=66.668, loss_att=53.620, acc=0.709, loss=57.534, backward_time=0.307, grad_norm=65.613, clip=100.000, loss_scale=2.889e+31, optim_step_time=0.136, optim0_lr0=7.993e-05, train_time=1.510 -[gpua002:0/64] 2023-12-11 02:25:50,216 (trainer:737) INFO: 26epoch:train:801-900batch: iter_time=5.136e-04, forward_time=0.175, loss_ctc=67.556, loss_att=51.987, acc=0.724, loss=56.657, backward_time=0.320, grad_norm=65.983, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.143, optim0_lr0=7.992e-05, train_time=1.822 -[gpua002:0/64] 2023-12-11 02:29:08,651 (trainer:737) INFO: 26epoch:train:901-1000batch: iter_time=7.907e-05, forward_time=0.231, loss_ctc=85.018, loss_att=66.825, acc=0.694, loss=72.283, backward_time=0.367, grad_norm=103.232, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.141, optim0_lr0=7.991e-05, train_time=1.984 -[gpua002:0/64] 2023-12-11 02:31:25,175 (trainer:737) INFO: 26epoch:train:1001-1100batch: iter_time=8.004e-05, forward_time=0.147, loss_ctc=63.699, loss_att=51.757, acc=0.697, loss=55.339, backward_time=0.293, grad_norm=75.911, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.990e-05, train_time=1.365 -[gpua002:0/64] 2023-12-11 02:33:57,436 (trainer:737) INFO: 26epoch:train:1101-1200batch: iter_time=7.980e-05, forward_time=0.151, loss_ctc=73.899, loss_att=57.124, acc=0.697, loss=62.157, backward_time=0.338, grad_norm=79.833, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.989e-05, train_time=1.522 -[gpua002:0/64] 2023-12-11 02:35:25,024 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua002:0/64] 2023-12-11 02:35:44,142 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-11 02:35:47,644 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-11 02:35:47,644 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua002:0/64] 2023-12-11 02:35:47,648 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-11 02:41:29,043 (trainer:737) INFO: 26epoch:train:1201-1300batch: iter_time=2.821, forward_time=0.153, loss_ctc=62.673, loss_att=51.120, acc=0.717, loss=54.586, backward_time=0.301, grad_norm=67.969, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.987e-05, train_time=4.516 -[gpua002:0/64] 2023-12-11 02:43:31,771 (trainer:737) INFO: 26epoch:train:1301-1400batch: iter_time=7.840e-05, forward_time=0.147, loss_ctc=61.759, loss_att=44.723, acc=0.722, loss=49.834, backward_time=0.280, grad_norm=65.303, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.986e-05, train_time=1.227 -[gpua002:0/64] 2023-12-11 02:45:38,047 (trainer:737) INFO: 26epoch:train:1401-1500batch: iter_time=7.718e-05, forward_time=0.148, loss_ctc=65.391, loss_att=48.739, acc=0.736, loss=53.735, backward_time=0.280, grad_norm=59.662, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.985e-05, train_time=1.263 -[gpua002:0/64] 2023-12-11 02:48:06,048 (trainer:737) INFO: 26epoch:train:1501-1600batch: iter_time=7.889e-05, forward_time=0.149, loss_ctc=68.322, loss_att=52.728, acc=0.719, loss=57.406, backward_time=0.328, grad_norm=80.605, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.984e-05, train_time=1.480 -[gpua002:0/64] 2023-12-11 02:50:35,017 (trainer:737) INFO: 26epoch:train:1601-1700batch: iter_time=8.148e-05, forward_time=0.147, loss_ctc=66.239, loss_att=56.724, acc=0.720, loss=59.579, backward_time=0.286, grad_norm=59.913, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.983e-05, train_time=1.489 -[gpua002:0/64] 2023-12-11 02:50:54,400 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-11 02:53:13,477 (trainer:737) INFO: 26epoch:train:1701-1800batch: iter_time=1.909e-04, forward_time=0.188, loss_ctc=64.289, loss_att=51.447, acc=0.728, loss=55.300, backward_time=0.327, grad_norm=66.489, clip=100.000, loss_scale=1.137e+31, optim_step_time=0.139, optim0_lr0=7.982e-05, train_time=1.584 -[gpua002:0/64] 2023-12-11 02:56:17,924 (trainer:737) INFO: 26epoch:train:1801-1900batch: iter_time=1.318e-04, forward_time=0.183, loss_ctc=67.752, loss_att=56.475, acc=0.726, loss=59.858, backward_time=0.314, grad_norm=63.528, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.138, optim0_lr0=7.981e-05, train_time=1.845 -[gpua002:0/64] 2023-12-11 02:59:06,970 (trainer:737) INFO: 26epoch:train:1901-2000batch: iter_time=8.205e-05, forward_time=0.148, loss_ctc=68.018, loss_att=52.776, acc=0.726, loss=57.348, backward_time=0.292, grad_norm=78.762, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.980e-05, train_time=1.690 -[gpua002:0/64] 2023-12-11 03:01:16,622 (trainer:737) INFO: 26epoch:train:2001-2100batch: iter_time=7.652e-05, forward_time=0.148, loss_ctc=61.258, loss_att=45.480, acc=0.734, loss=50.213, backward_time=0.279, grad_norm=54.730, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.979e-05, train_time=1.296 -[gpua002:0/64] 2023-12-11 03:03:40,997 (trainer:737) INFO: 26epoch:train:2101-2200batch: iter_time=8.026e-04, forward_time=0.162, loss_ctc=85.968, loss_att=68.401, acc=0.705, loss=73.671, backward_time=0.287, grad_norm=111.115, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=7.978e-05, train_time=1.442 -[gpua002:0/64] 2023-12-11 03:05:59,831 (trainer:737) INFO: 26epoch:train:2201-2300batch: iter_time=7.822e-05, forward_time=0.148, loss_ctc=62.724, loss_att=50.639, acc=0.707, loss=54.264, backward_time=0.282, grad_norm=70.310, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.977e-05, train_time=1.389 -[gpua002:0/64] 2023-12-11 03:08:46,678 (trainer:737) INFO: 26epoch:train:2301-2400batch: iter_time=7.766e-05, forward_time=0.148, loss_ctc=68.491, loss_att=56.264, acc=0.709, loss=59.932, backward_time=0.310, grad_norm=73.733, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.976e-05, train_time=1.668 -[gpua002:0/64] 2023-12-11 03:10:56,625 (trainer:737) INFO: 26epoch:train:2401-2500batch: iter_time=7.637e-05, forward_time=0.147, loss_ctc=62.925, loss_att=48.540, acc=0.720, loss=52.856, backward_time=0.292, grad_norm=65.210, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.975e-05, train_time=1.299 -[gpua002:0/64] 2023-12-11 03:11:16,653 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua002:0/64] 2023-12-11 03:11:35,789 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-11 03:11:39,248 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-11 03:11:39,248 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua002:0/64] 2023-12-11 03:11:39,256 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-11 03:18:25,013 (trainer:737) INFO: 26epoch:train:2501-2600batch: iter_time=3.182, forward_time=0.217, loss_ctc=62.528, loss_att=50.996, acc=0.707, loss=54.456, backward_time=0.287, grad_norm=74.621, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=7.974e-05, train_time=4.484 -[gpua002:0/64] 2023-12-11 03:20:26,900 (trainer:737) INFO: 26epoch:train:2601-2700batch: iter_time=7.652e-05, forward_time=0.147, loss_ctc=65.284, loss_att=46.296, acc=0.722, loss=51.992, backward_time=0.279, grad_norm=76.427, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.973e-05, train_time=1.219 -[gpua002:0/64] 2023-12-11 03:22:45,534 (trainer:737) INFO: 26epoch:train:2701-2800batch: iter_time=7.711e-05, forward_time=0.148, loss_ctc=64.999, loss_att=51.816, acc=0.721, loss=55.771, backward_time=0.286, grad_norm=72.935, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.972e-05, train_time=1.386 -[gpua002:0/64] 2023-12-11 03:25:33,332 (trainer:737) INFO: 26epoch:train:2801-2900batch: iter_time=7.914e-05, forward_time=0.147, loss_ctc=66.550, loss_att=56.075, acc=0.722, loss=59.218, backward_time=0.338, grad_norm=67.571, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.971e-05, train_time=1.678 -[gpua002:0/64] 2023-12-11 03:28:08,983 (trainer:737) INFO: 26epoch:train:2901-3000batch: iter_time=7.857e-05, forward_time=0.148, loss_ctc=63.446, loss_att=47.128, acc=0.726, loss=52.023, backward_time=0.312, grad_norm=64.850, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.969e-05, train_time=1.556 -[gpua002:0/64] 2023-12-11 03:30:30,554 (trainer:737) INFO: 26epoch:train:3001-3100batch: iter_time=8.077e-05, forward_time=0.155, loss_ctc=69.817, loss_att=57.446, acc=0.716, loss=61.157, backward_time=0.294, grad_norm=70.451, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.968e-05, train_time=1.414 -[gpua002:0/64] 2023-12-11 03:33:06,951 (trainer:737) INFO: 26epoch:train:3101-3200batch: iter_time=7.455e-05, forward_time=0.147, loss_ctc=64.721, loss_att=52.390, acc=0.717, loss=56.089, backward_time=0.298, grad_norm=58.676, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.967e-05, train_time=1.565 -[gpua002:0/64] 2023-12-11 03:35:51,958 (trainer:737) INFO: 26epoch:train:3201-3300batch: iter_time=7.702e-05, forward_time=0.148, loss_ctc=66.062, loss_att=53.332, acc=0.710, loss=57.151, backward_time=0.306, grad_norm=56.060, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.966e-05, train_time=1.650 -[gpua002:0/64] 2023-12-11 03:38:45,104 (trainer:737) INFO: 26epoch:train:3301-3400batch: iter_time=7.800e-05, forward_time=0.215, loss_ctc=66.169, loss_att=51.199, acc=0.728, loss=55.690, backward_time=0.335, grad_norm=58.644, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.141, optim0_lr0=7.965e-05, train_time=1.731 -[gpua002:0/64] 2023-12-11 03:41:22,466 (trainer:737) INFO: 26epoch:train:3401-3500batch: iter_time=7.743e-05, forward_time=0.168, loss_ctc=79.792, loss_att=63.681, acc=0.700, loss=68.515, backward_time=0.295, grad_norm=90.352, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.964e-05, train_time=1.573 -[gpua002:0/64] 2023-12-11 03:43:29,470 (trainer:737) INFO: 26epoch:train:3501-3600batch: iter_time=7.805e-05, forward_time=0.148, loss_ctc=62.291, loss_att=50.938, acc=0.704, loss=54.343, backward_time=0.279, grad_norm=60.024, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.963e-05, train_time=1.270 -[gpua002:0/64] 2023-12-11 03:46:03,836 (trainer:737) INFO: 26epoch:train:3601-3700batch: iter_time=7.705e-05, forward_time=0.149, loss_ctc=71.492, loss_att=56.355, acc=0.701, loss=60.896, backward_time=0.345, grad_norm=86.442, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.962e-05, train_time=1.543 -[gpua002:0/64] 2023-12-11 03:47:25,587 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua002:0/64] 2023-12-11 03:47:44,906 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-11 03:47:48,455 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-11 03:47:48,456 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua002:0/64] 2023-12-11 03:47:48,459 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-11 03:53:31,593 (trainer:737) INFO: 26epoch:train:3701-3800batch: iter_time=3.119, forward_time=0.152, loss_ctc=61.868, loss_att=50.011, acc=0.720, loss=53.568, backward_time=0.284, grad_norm=65.655, clip=100.000, loss_scale=1.896e+31, optim_step_time=0.136, optim0_lr0=7.961e-05, train_time=4.477 -[gpua002:0/64] 2023-12-11 03:55:58,471 (trainer:737) INFO: 26epoch:train:3801-3900batch: iter_time=7.753e-05, forward_time=0.147, loss_ctc=60.550, loss_att=43.588, acc=0.722, loss=48.677, backward_time=0.286, grad_norm=58.333, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.960e-05, train_time=1.469 -[gpua002:0/64] 2023-12-11 03:58:39,392 (trainer:737) INFO: 26epoch:train:3901-4000batch: iter_time=7.668e-05, forward_time=0.148, loss_ctc=64.571, loss_att=48.242, acc=0.737, loss=53.141, backward_time=0.324, grad_norm=62.802, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.959e-05, train_time=1.609 -[gpua002:0/64] 2023-12-11 04:00:43,233 (trainer:737) INFO: 26epoch:train:4001-4100batch: iter_time=7.837e-05, forward_time=0.147, loss_ctc=67.299, loss_att=51.947, acc=0.718, loss=56.553, backward_time=0.281, grad_norm=64.442, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.958e-05, train_time=1.238 -[gpua002:0/64] 2023-12-11 04:03:01,423 (trainer:737) INFO: 26epoch:train:4101-4200batch: iter_time=7.868e-05, forward_time=0.149, loss_ctc=66.202, loss_att=57.052, acc=0.716, loss=59.797, backward_time=0.298, grad_norm=62.832, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.957e-05, train_time=1.382 -[gpua002:0/64] 2023-12-11 04:05:57,046 (trainer:737) INFO: 26epoch:train:4201-4300batch: iter_time=7.909e-05, forward_time=0.159, loss_ctc=63.501, loss_att=50.407, acc=0.724, loss=54.335, backward_time=0.338, grad_norm=59.152, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=7.956e-05, train_time=1.756 -[gpua002:0/64] 2023-12-11 04:08:32,454 (trainer:737) INFO: 26epoch:train:4301-4400batch: iter_time=8.050e-05, forward_time=0.207, loss_ctc=66.114, loss_att=55.458, acc=0.724, loss=58.655, backward_time=0.321, grad_norm=76.978, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.146, optim0_lr0=7.955e-05, train_time=1.554 -[gpua002:0/64] 2023-12-11 04:11:30,157 (trainer:737) INFO: 26epoch:train:4401-4500batch: iter_time=8.028e-05, forward_time=0.147, loss_ctc=67.949, loss_att=52.214, acc=0.721, loss=56.934, backward_time=0.317, grad_norm=69.173, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.954e-05, train_time=1.777 -[gpua002:0/64] 2023-12-11 04:14:19,738 (trainer:737) INFO: 26epoch:train:4501-4600batch: iter_time=8.018e-05, forward_time=0.147, loss_ctc=60.487, loss_att=44.613, acc=0.734, loss=49.375, backward_time=0.302, grad_norm=59.399, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.953e-05, train_time=1.696 -[gpua002:0/64] 2023-12-11 04:17:17,851 (trainer:737) INFO: 26epoch:train:4601-4700batch: iter_time=8.042e-05, forward_time=0.147, loss_ctc=84.655, loss_att=66.994, acc=0.703, loss=72.292, backward_time=0.346, grad_norm=97.316, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.952e-05, train_time=1.781 -[gpua002:0/64] 2023-12-11 04:20:03,703 (trainer:737) INFO: 26epoch:train:4701-4800batch: iter_time=2.745e-04, forward_time=0.147, loss_ctc=61.430, loss_att=49.664, acc=0.706, loss=53.194, backward_time=0.286, grad_norm=81.066, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.951e-05, train_time=1.658 -[gpua002:0/64] 2023-12-11 04:22:23,535 (trainer:737) INFO: 26epoch:train:4801-4900batch: iter_time=7.476e-05, forward_time=0.150, loss_ctc=67.667, loss_att=55.306, acc=0.707, loss=59.015, backward_time=0.282, grad_norm=58.289, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.950e-05, train_time=1.398 -[gpua002:0/64] 2023-12-11 04:25:20,033 (trainer:737) INFO: 26epoch:train:4901-5000batch: iter_time=7.703e-05, forward_time=0.147, loss_ctc=62.365, loss_att=48.066, acc=0.721, loss=52.356, backward_time=0.310, grad_norm=66.985, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.948e-05, train_time=1.765 -[gpua002:0/64] 2023-12-11 04:25:40,061 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua002:0/64] 2023-12-11 04:25:59,231 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-11 04:26:02,785 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-11 04:26:02,785 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua002:0/64] 2023-12-11 04:26:02,804 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-11 04:32:43,011 (trainer:737) INFO: 26epoch:train:5001-5100batch: iter_time=3.055, forward_time=0.197, loss_ctc=61.464, loss_att=51.641, acc=0.717, loss=54.588, backward_time=0.290, grad_norm=82.054, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=7.947e-05, train_time=4.429 -[gpua002:0/64] 2023-12-11 04:34:47,395 (trainer:737) INFO: 26epoch:train:5101-5200batch: iter_time=7.823e-05, forward_time=0.147, loss_ctc=64.862, loss_att=45.371, acc=0.736, loss=51.218, backward_time=0.279, grad_norm=61.914, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.946e-05, train_time=1.245 -[gpua002:0/64] 2023-12-11 04:37:22,662 (trainer:737) INFO: 26epoch:train:5201-5300batch: iter_time=7.860e-05, forward_time=0.148, loss_ctc=64.567, loss_att=52.562, acc=0.726, loss=56.163, backward_time=0.307, grad_norm=64.259, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.945e-05, train_time=1.552 -[gpua002:0/64] 2023-12-11 04:40:10,828 (trainer:737) INFO: 26epoch:train:5301-5400batch: iter_time=7.991e-05, forward_time=0.148, loss_ctc=66.119, loss_att=55.518, acc=0.730, loss=58.698, backward_time=0.336, grad_norm=64.963, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.944e-05, train_time=1.681 -[gpua002:0/64] 2023-12-11 04:43:00,377 (trainer:737) INFO: 26epoch:train:5401-5500batch: iter_time=7.629e-05, forward_time=0.148, loss_ctc=62.538, loss_att=46.824, acc=0.735, loss=51.538, backward_time=0.331, grad_norm=69.883, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.943e-05, train_time=1.695 -[gpua002:0/64] 2023-12-11 04:46:02,842 (trainer:737) INFO: 26epoch:train:5501-5600batch: iter_time=7.848e-05, forward_time=0.154, loss_ctc=69.591, loss_att=57.140, acc=0.728, loss=60.875, backward_time=0.346, grad_norm=62.475, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.942e-05, train_time=1.825 -[gpua002:0/64] 2023-12-11 04:48:36,041 (trainer:737) INFO: 26epoch:train:5601-5700batch: iter_time=8.769e-05, forward_time=0.212, loss_ctc=63.979, loss_att=52.363, acc=0.728, loss=55.848, backward_time=0.357, grad_norm=88.664, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.144, optim0_lr0=7.941e-05, train_time=1.532 -[gpua002:0/64] 2023-12-11 04:50:56,530 (trainer:737) INFO: 26epoch:train:5701-5800batch: iter_time=7.796e-05, forward_time=0.148, loss_ctc=64.413, loss_att=52.246, acc=0.724, loss=55.896, backward_time=0.295, grad_norm=69.926, clip=100.000, loss_scale=3.793e+31, optim_step_time=0.136, optim0_lr0=7.940e-05, train_time=1.405 -[gpua002:0/64] 2023-12-11 04:53:30,013 (trainer:737) INFO: 26epoch:train:5801-5900batch: iter_time=7.794e-05, forward_time=0.148, loss_ctc=66.113, loss_att=50.517, acc=0.741, loss=55.196, backward_time=0.299, grad_norm=56.277, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.939e-05, train_time=1.535 -[gpua002:0/64] 2023-12-11 04:56:47,251 (trainer:737) INFO: 26epoch:train:5901-6000batch: iter_time=7.847e-05, forward_time=0.148, loss_ctc=78.526, loss_att=65.480, acc=0.706, loss=69.394, backward_time=0.335, grad_norm=105.019, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.938e-05, train_time=1.972 -[gpua002:0/64] 2023-12-11 04:59:05,018 (trainer:737) INFO: 26epoch:train:6001-6100batch: iter_time=7.795e-05, forward_time=0.147, loss_ctc=61.874, loss_att=51.179, acc=0.714, loss=54.387, backward_time=0.289, grad_norm=74.358, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.937e-05, train_time=1.377 -[gpua002:0/64] 2023-12-11 05:01:33,082 (trainer:737) INFO: 26epoch:train:6101-6200batch: iter_time=7.652e-05, forward_time=0.148, loss_ctc=69.892, loss_att=55.176, acc=0.713, loss=59.591, backward_time=0.288, grad_norm=69.395, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.936e-05, train_time=1.480 -[gpua002:0/64] 2023-12-11 05:03:18,725 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua002:0/64] 2023-12-11 05:03:37,988 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-11 05:03:41,544 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-11 05:03:41,544 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua002:0/64] 2023-12-11 05:03:41,547 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-11 05:09:14,496 (trainer:737) INFO: 26epoch:train:6201-6300batch: iter_time=3.102, forward_time=0.167, loss_ctc=62.279, loss_att=49.711, acc=0.725, loss=53.482, backward_time=0.325, grad_norm=66.519, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=7.935e-05, train_time=4.614 -[gpua002:0/64] 2023-12-11 05:11:28,706 (trainer:737) INFO: 26epoch:train:6301-6400batch: iter_time=7.626e-05, forward_time=0.150, loss_ctc=60.539, loss_att=43.830, acc=0.727, loss=48.843, backward_time=0.292, grad_norm=82.877, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.934e-05, train_time=1.342 -[gpua002:0/64] 2023-12-11 05:14:03,294 (trainer:737) INFO: 26epoch:train:6401-6500batch: iter_time=8.212e-05, forward_time=0.148, loss_ctc=64.722, loss_att=48.056, acc=0.741, loss=53.056, backward_time=0.292, grad_norm=99.941, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.933e-05, train_time=1.546 -[gpua002:0/64] 2023-12-11 05:16:25,981 (trainer:737) INFO: 26epoch:train:6501-6600batch: iter_time=8.559e-05, forward_time=0.148, loss_ctc=67.539, loss_att=52.817, acc=0.722, loss=57.234, backward_time=0.317, grad_norm=63.542, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.932e-05, train_time=1.427 -[gpua002:0/64] 2023-12-11 05:18:53,624 (trainer:737) INFO: 26epoch:train:6601-6700batch: iter_time=8.260e-05, forward_time=0.148, loss_ctc=65.320, loss_att=57.124, acc=0.722, loss=59.583, backward_time=0.289, grad_norm=63.491, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.931e-05, train_time=1.476 -[gpua002:0/64] 2023-12-11 05:21:40,982 (trainer:737) INFO: 26epoch:train:6701-6800batch: iter_time=8.204e-05, forward_time=0.148, loss_ctc=63.184, loss_att=50.617, acc=0.733, loss=54.387, backward_time=0.328, grad_norm=64.092, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=7.930e-05, train_time=1.673 -[gpua002:0/64] 2023-12-11 05:24:20,159 (trainer:737) INFO: 26epoch:train:6801-6900batch: iter_time=8.036e-05, forward_time=0.148, loss_ctc=66.662, loss_att=54.608, acc=0.733, loss=58.224, backward_time=0.305, grad_norm=71.240, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.929e-05, train_time=1.592 -srun: Job step aborted: Waiting up to 32 seconds for job step to finish. -slurmstepd: error: *** STEP 2741609.0 ON gpua002 CANCELLED AT 2023-12-11T09:02:38 DUE TO TIME LIMIT *** diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.7.log b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.7.log deleted file mode 100644 index 40a0bc334c7ca1f8b47ad68846111a966a4ff2f9..0000000000000000000000000000000000000000 --- a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.7.log +++ /dev/null @@ -1,4227 +0,0 @@ -# Running on gpua002.delta.ncsa.illinois.edu -# Started at Thu Dec 7 08:45:14 CST 2023 -# SLURMD_NODENAME=gpua002 -# SLURM_CLUSTER_NAME=delta -# SLURM_CONF=/var/spool/slurmd/conf-cache/slurm.conf -# SLURM_CPUS_ON_NODE=64 -# SLURM_CPUS_PER_TASK=64 -# SLURM_EXPORT_ENV=PATH -# SLURM_GET_USER_ENV=1 -# SLURM_GPUS_ON_NODE=4 -# SLURM_GTIDS=0 -# SLURM_JOBID=2737380 -# SLURM_JOB_ACCOUNT=bbjs-delta-gpu -# SLURM_JOB_CPUS_PER_NODE='64(x16)' -# SLURM_JOB_END_TIME=1702133098 -# SLURM_JOB_GID=202 -# SLURM_JOB_GPUS=0,1,2,3 -# SLURM_JOB_ID=2737380 -# SLURM_JOB_NAME=exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.log -# SLURM_JOB_NODELIST='gpua[002,005-007,022-023,030-031,054-057,082-083,085-086]' -# SLURM_JOB_NUM_NODES=16 -# SLURM_JOB_PARTITION=gpuA100x4 -# SLURM_JOB_QOS=bbjs-delta-gpu -# SLURM_JOB_START_TIME=1701960298 -# SLURM_JOB_UID=68077 -# SLURM_JOB_USER=peng6 -# SLURM_LOCALID=0 -# SLURM_MEM_PER_NODE=240000 -# SLURM_NNODES=16 -# SLURM_NODEID=0 -# SLURM_NODELIST='gpua[002,005-007,022-023,030-031,054-057,082-083,085-086]' -# SLURM_NODE_ALIASES='(null)' -# SLURM_OPEN_MODE=a -# SLURM_PRIO_PROCESS=0 -# SLURM_PROCID=0 -# SLURM_SUBMIT_DIR=/scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1 -# SLURM_SUBMIT_HOST=dt-login01.delta.ncsa.illinois.edu -# SLURM_TASKS_PER_NODE='1(x16)' -# SLURM_TASK_PID=872496 -# SLURM_TOPOLOGY_ADDR=ss00.ss05.gpua002 -# SLURM_TOPOLOGY_ADDR_PATTERN=switch.switch.node -# SLURM_WORKING_CLUSTER=delta:dt-sched:6817:9984:109 -# srun --export=ALL python3 -m espnet2.bin.s2t_train --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 -/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 -[gpua002:0/64] 2023-12-07 08:45:59,428 (distributed_c10d:319) INFO: Added key: store_based_barrier_key:1 to store for rank: 0 -[gpua002:0/64] 2023-12-07 08:45:59,813 (distributed_c10d:353) INFO: Rank 0: Completed store-based barrier for key:store_based_barrier_key:1 with 64 nodes. -[gpua002:0/64] 2023-12-07 08:45:59,840 (s2t:464) INFO: Vocabulary size: 50002 -[gpua002:0/64] 2023-12-07 08:46:10,376 (abs_task:1231) INFO: pytorch.version=1.13.1, cuda.available=True, cudnn.version=8500, cudnn.benchmark=False, cudnn.deterministic=True -[gpua002:0/64] 2023-12-07 08:46:10,387 (abs_task:1232) INFO: Model structure: -ESPnetS2TModel( - (frontend): DefaultFrontend( - (stft): Stft(n_fft=512, win_length=400, hop_length=160, center=True, normalized=False, onesided=True) - (frontend): Frontend() - (logmel): LogMel(sr=16000, n_fft=512, n_mels=80, fmin=0, fmax=8000.0, htk=False) - ) - (specaug): SpecAug( - (freq_mask): MaskAlongAxis(mask_width_range=[0, 27], num_mask=2, axis=freq) - (time_mask): MaskAlongAxisVariableMaxWidth(mask_width_ratio_range=[0.0, 0.05], num_mask=10, axis=time) - ) - (normalize): GlobalMVN(stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz, norm_means=True, norm_vars=True) - (encoder): EBranchformerEncoder( - (embed): Conv2dSubsampling( - (conv): Sequential( - (0): Conv2d(1, 1024, kernel_size=(3, 3), stride=(2, 2)) - (1): ReLU() - (2): Conv2d(1024, 1024, kernel_size=(3, 3), stride=(2, 2)) - (3): ReLU() - ) - (out): Sequential( - (0): Linear(in_features=19456, out_features=1024, bias=True) - (1): PositionalEncoding( - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - ) - (encoders): MultiSequential( - (0): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (1): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (2): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (3): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (4): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (5): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (6): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (7): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (8): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (9): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (10): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (11): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (12): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (13): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (14): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (15): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (16): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (17): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - ) - (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - ) - (decoder): TransformerDecoder( - (embed): Sequential( - (0): Embedding(50002, 1024) - (1): PositionalEncoding( - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (output_layer): Linear(in_features=1024, out_features=50002, bias=True) - (decoders): MultiSequential( - (0): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (1): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (2): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (3): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (4): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (5): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (6): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (7): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (8): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (9): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (10): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (11): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (12): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (13): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (14): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (15): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (16): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (17): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - ) - (criterion_att): LabelSmoothingLoss( - (criterion): KLDivLoss() - ) - (ctc): CTC( - (ctc_lo): Linear(in_features=1024, out_features=50002, bias=True) - (ctc_loss): CTCLoss() - ) -) - -Model summary: - Class Name: ESPnetS2TModel - Total Number of model parameters: 1.02 B - Number of trainable parameters: 1.02 B (100.0%) - Size: 4.07 GB - Type: torch.float32 -[gpua002:0/64] 2023-12-07 08:46:10,387 (abs_task:1235) INFO: Optimizer: -AdamW ( -Parameter Group 0 - amsgrad: False - betas: [0.9, 0.98] - capturable: False - eps: 1e-06 - foreach: None - initial_lr: 0.0002 - lr: 1.6666666666666667e-09 - maximize: False - weight_decay: 0.0 -) -[gpua002:0/64] 2023-12-07 08:46:10,387 (abs_task:1236) INFO: Scheduler: PiecewiseLinearWarmupLR(warmup_steps_list=[0, 30000, 60000], warmup_lr_list=[0.0, 5e-05, 0.0002]) -[gpua002:0/64] 2023-12-07 08:46:10,396 (abs_task:1245) INFO: Saving the configuration in exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/config.yaml -[gpua002:0/64] 2023-12-07 08:46:15,938 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 08:46:16,934 (abs_task:1616) INFO: [valid] dataset: -ESPnetDataset( - speech: {"path": "dump/raw/dev_v3/wav.scp", "type": "kaldi_ark"} - text_prev: {"path": "dump/raw/dev_v3/text.prev", "type": "text"} - text_ctc: {"path": "dump/raw/dev_v3/text.ctc", "type": "text"} - text: {"path": "dump/raw/dev_v3/text", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 08:46:16,934 (abs_task:1617) INFO: [valid] Batch sampler: UnsortedBatchSampler(N-batch=4671, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/valid/speech_shape, -[gpua002:0/64] 2023-12-07 08:46:16,935 (abs_task:1618) INFO: [valid] mini-batch sizes summary: N-batch=4671, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 08:46:45,928 (trainer:159) INFO: The training was resumed using exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/checkpoint.pth -gpua002:872564:872564 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.2<0> -gpua002:872564:872564 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua002:872564:872564 [0] NCCL INFO cudaDriverVersion 12020 -NCCL version 2.14.3+cuda11.7 -[gpua002:0/64] 2023-12-07 08:46:51,247 (trainer:284) INFO: 16/40epoch started -[gpua002:0/64] 2023-12-07 08:46:51,295 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua002:0/64] 2023-12-07 08:47:10,084 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 08:47:13,690 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 08:47:13,690 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua002:0/64] 2023-12-07 08:47:13,693 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -gpua023:627542:627542 [2] NCCL INFO cudaDriverVersion 12020 -gpua023:627542:627542 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.23<0> -gpua023:627542:627542 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua023:627542:627585 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.23<0> -gpua023:627542:627585 [2] NCCL INFO Using network IB -gpua023:627542:627585 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua023:627542:627585 [2] NCCL INFO Trees [0] 23/-1/-1->22->21 [1] 23/-1/-1->22->21 -gpua023:627542:627585 [2] NCCL INFO Channel 00/0 : 22[85000] -> 23[c7000] via P2P/IPC/read -gpua023:627542:627585 [2] NCCL INFO Channel 01/0 : 22[85000] -> 23[c7000] via P2P/IPC/read -gpua023:627542:627585 [2] NCCL INFO Connected all rings -gpua023:627542:627585 [2] NCCL INFO Channel 00/0 : 22[85000] -> 21[46000] via P2P/IPC/read -gpua023:627542:627585 [2] NCCL INFO Channel 01/0 : 22[85000] -> 21[46000] via P2P/IPC/read -gpua023:627542:627585 [2] NCCL INFO Connected all trees -gpua023:627542:627585 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua023:627542:627585 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua023:627542:627585 [2] NCCL INFO comm 0xe41ead0 rank 22 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua023:627543:627543 [3] NCCL INFO cudaDriverVersion 12020 -gpua023:627543:627543 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.23<0> -gpua023:627543:627543 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua023:627543:627583 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.23<0> -gpua023:627543:627583 [3] NCCL INFO Using network IB -gpua023:627543:627583 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua023:627543:627583 [3] NCCL INFO Trees [0] -1/-1/-1->23->22 [1] -1/-1/-1->23->22 -gpua023:627543:627583 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 -gpua023:627543:627583 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 -gpua023:627543:627583 [3] NCCL INFO Connected all rings -gpua023:627543:627583 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 22[85000] via P2P/IPC/read -gpua023:627543:627583 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 22[85000] via P2P/IPC/read -gpua023:627543:627583 [3] NCCL INFO Connected all trees -gpua023:627543:627583 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua023:627543:627583 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua023:627543:627583 [3] NCCL INFO comm 0x4a952b50 rank 23 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua023:627540:627540 [0] NCCL INFO cudaDriverVersion 12020 -gpua023:627540:627540 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.23<0> -gpua023:627540:627540 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua023:627540:627582 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.23<0> -gpua023:627540:627582 [0] NCCL INFO Using network IB -gpua023:627540:627582 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua023:627540:627582 [0] NCCL INFO Trees [0] 21/-1/-1->20->25 [1] 21/16/-1->20->13 -gpua023:627540:627582 [0] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 -gpua023:627540:627582 [0] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 -gpua023:627540:627582 [0] NCCL INFO Channel 00/0 : 20[7000] -> 21[46000] via P2P/IPC/read -gpua023:627540:627582 [0] NCCL INFO Channel 01/0 : 20[7000] -> 21[46000] via P2P/IPC/read -gpua023:627540:627582 [0] NCCL INFO Connected all rings -gpua023:627540:627582 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [receive] via NET/IB/0 -gpua023:627540:627582 [0] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [send] via NET/IB/0 -gpua023:627540:627582 [0] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [receive] via NET/IB/0 -gpua023:627540:627582 [0] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [send] via NET/IB/0 -gpua023:627540:627582 [0] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [receive] via NET/IB/0 -gpua023:627540:627582 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [send] via NET/IB/0 -gpua023:627540:627582 [0] NCCL INFO Connected all trees -gpua023:627540:627582 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua023:627540:627582 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua023:627540:627582 [0] NCCL INFO comm 0xa154cbe0 rank 20 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua023:627541:627541 [1] NCCL INFO cudaDriverVersion 12020 -gpua023:627541:627541 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.23<0> -gpua023:627541:627541 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua023:627541:627584 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.23<0> -gpua023:627541:627584 [1] NCCL INFO Using network IB -gpua023:627541:627584 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua023:627541:627584 [1] NCCL INFO Trees [0] 22/-1/-1->21->20 [1] 22/24/-1->21->20 -gpua023:627541:627584 [1] NCCL INFO Channel 00/0 : 21[46000] -> 22[85000] via P2P/IPC/read -gpua023:627541:627584 [1] NCCL INFO Channel 01/0 : 21[46000] -> 22[85000] via P2P/IPC/read -gpua023:627541:627584 [1] NCCL INFO Connected all rings -gpua023:627541:627584 [1] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [send] via NET/IB/0 -gpua023:627541:627584 [1] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [receive] via NET/IB/0 -gpua023:627541:627584 [1] NCCL INFO Channel 00/0 : 21[46000] -> 20[7000] via P2P/IPC/read -gpua023:627541:627584 [1] NCCL INFO Channel 01/0 : 21[46000] -> 20[7000] via P2P/IPC/read -gpua023:627541:627584 [1] NCCL INFO Connected all trees -gpua023:627541:627584 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua023:627541:627584 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua023:627541:627584 [1] NCCL INFO comm 0xe494620 rank 21 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua085:1288949:1288949 [0] NCCL INFO cudaDriverVersion 12020 -gpua085:1288949:1288949 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> -gpua085:1288949:1288949 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua085:1288949:1288996 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> -gpua085:1288949:1288996 [0] NCCL INFO Using network IB -gpua085:1288949:1288996 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua085:1288949:1288996 [0] NCCL INFO Trees [0] 57/60/-1->56->48 [1] 57/-1/-1->56->53 -gpua085:1288949:1288996 [0] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 -gpua085:1288949:1288996 [0] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 -gpua085:1288949:1288996 [0] NCCL INFO Channel 00/0 : 56[7000] -> 57[46000] via P2P/IPC/read -gpua085:1288949:1288996 [0] NCCL INFO Channel 01/0 : 56[7000] -> 57[46000] via P2P/IPC/read -gpua085:1288949:1288996 [0] NCCL INFO Connected all rings -gpua085:1288949:1288996 [0] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [receive] via NET/IB/0 -gpua085:1288949:1288996 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [send] via NET/IB/0 -gpua085:1288949:1288996 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [receive] via NET/IB/0 -gpua085:1288949:1288996 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [send] via NET/IB/0 -gpua085:1288949:1288996 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [receive] via NET/IB/0 -gpua085:1288949:1288996 [0] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [send] via NET/IB/0 -gpua085:1288949:1288996 [0] NCCL INFO Connected all trees -gpua085:1288949:1288996 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua085:1288949:1288996 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua085:1288949:1288996 [0] NCCL INFO comm 0x173000e0 rank 56 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua085:1288952:1288952 [3] NCCL INFO cudaDriverVersion 12020 -gpua085:1288952:1288952 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> -gpua085:1288952:1288952 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua085:1288952:1288994 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> -gpua085:1288952:1288994 [3] NCCL INFO Using network IB -gpua085:1288952:1288994 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua085:1288952:1288994 [3] NCCL INFO Trees [0] -1/-1/-1->59->58 [1] -1/-1/-1->59->58 -gpua085:1288952:1288994 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 -gpua085:1288952:1288994 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 -gpua085:1288952:1288994 [3] NCCL INFO Connected all rings -gpua085:1288952:1288994 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 58[85000] via P2P/IPC/read -gpua085:1288952:1288994 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 58[85000] via P2P/IPC/read -gpua085:1288952:1288994 [3] NCCL INFO Connected all trees -gpua085:1288952:1288994 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua085:1288952:1288994 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua085:1288952:1288994 [3] NCCL INFO comm 0x8f8f39d0 rank 59 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua030:977738:977738 [2] NCCL INFO cudaDriverVersion 12020 -gpua030:977738:977738 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> -gpua030:977738:977738 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua030:977738:977792 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> -gpua030:977738:977792 [2] NCCL INFO Using network IB -gpua030:977738:977792 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua030:977738:977792 [2] NCCL INFO Trees [0] 27/-1/-1->26->25 [1] 27/-1/-1->26->25 -gpua030:977738:977792 [2] NCCL INFO Channel 00/0 : 26[85000] -> 27[c7000] via P2P/IPC/read -gpua030:977738:977792 [2] NCCL INFO Channel 01/0 : 26[85000] -> 27[c7000] via P2P/IPC/read -gpua030:977738:977792 [2] NCCL INFO Connected all rings -gpua030:977738:977792 [2] NCCL INFO Channel 00/0 : 26[85000] -> 25[46000] via P2P/IPC/read -gpua030:977738:977792 [2] NCCL INFO Channel 01/0 : 26[85000] -> 25[46000] via P2P/IPC/read -gpua030:977738:977792 [2] NCCL INFO Connected all trees -gpua030:977738:977792 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua030:977738:977792 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua030:977738:977792 [2] NCCL INFO comm 0x185624d0 rank 26 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua055:595804:595804 [1] NCCL INFO cudaDriverVersion 12020 -gpua055:595804:595804 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> -gpua055:595804:595804 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua055:595804:595844 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> -gpua055:595804:595844 [1] NCCL INFO Using network IB -gpua055:595804:595844 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua055:595804:595844 [1] NCCL INFO Trees [0] 38/-1/-1->37->36 [1] 38/40/-1->37->36 -gpua055:595804:595844 [1] NCCL INFO Channel 00/0 : 37[46000] -> 38[85000] via P2P/IPC/read -gpua055:595804:595844 [1] NCCL INFO Channel 01/0 : 37[46000] -> 38[85000] via P2P/IPC/read -gpua055:595804:595844 [1] NCCL INFO Connected all rings -gpua055:595804:595844 [1] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [send] via NET/IB/0 -gpua055:595804:595844 [1] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [receive] via NET/IB/0 -gpua055:595804:595844 [1] NCCL INFO Channel 00/0 : 37[46000] -> 36[7000] via P2P/IPC/read -gpua055:595804:595844 [1] NCCL INFO Channel 01/0 : 37[46000] -> 36[7000] via P2P/IPC/read -gpua055:595804:595844 [1] NCCL INFO Connected all trees -gpua055:595804:595844 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua055:595804:595844 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua055:595804:595844 [1] NCCL INFO comm 0x92bd1810 rank 37 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua057:497542:497542 [1] NCCL INFO cudaDriverVersion 12020 -gpua057:497542:497542 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> -gpua057:497542:497542 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua057:497542:497581 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> -gpua057:497542:497581 [1] NCCL INFO Using network IB -gpua057:497542:497581 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua057:497542:497581 [1] NCCL INFO Trees [0] 46/-1/-1->45->44 [1] 46/52/-1->45->44 -gpua057:497542:497581 [1] NCCL INFO Channel 00/0 : 45[46000] -> 46[85000] via P2P/IPC/read -gpua057:497542:497581 [1] NCCL INFO Channel 01/0 : 45[46000] -> 46[85000] via P2P/IPC/read -gpua057:497542:497581 [1] NCCL INFO Connected all rings -gpua057:497542:497581 [1] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [send] via NET/IB/0 -gpua057:497542:497581 [1] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [receive] via NET/IB/0 -gpua005:2463482:2463482 [1] NCCL INFO cudaDriverVersion 12020 -gpua005:2463482:2463482 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> -gpua005:2463482:2463482 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua005:2463482:2463526 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> -gpua005:2463482:2463526 [1] NCCL INFO Using network IB -gpua005:2463482:2463526 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua005:2463482:2463526 [1] NCCL INFO Trees [0] 6/-1/-1->5->4 [1] 6/8/-1->5->4 -gpua005:2463482:2463526 [1] NCCL INFO Channel 00/0 : 5[46000] -> 6[85000] via P2P/IPC/read -gpua005:2463482:2463526 [1] NCCL INFO Channel 01/0 : 5[46000] -> 6[85000] via P2P/IPC/read -gpua005:2463482:2463526 [1] NCCL INFO Connected all rings -gpua005:2463482:2463526 [1] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [send] via NET/IB/0 -gpua005:2463482:2463526 [1] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [receive] via NET/IB/0 -gpua057:497542:497581 [1] NCCL INFO Channel 00/0 : 45[46000] -> 44[7000] via P2P/IPC/read -gpua057:497542:497581 [1] NCCL INFO Channel 01/0 : 45[46000] -> 44[7000] via P2P/IPC/read -gpua057:497542:497581 [1] NCCL INFO Connected all trees -gpua057:497542:497581 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua057:497542:497581 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua057:497542:497581 [1] NCCL INFO comm 0x4e1e7880 rank 45 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua005:2463482:2463526 [1] NCCL INFO Channel 00/0 : 5[46000] -> 4[7000] via P2P/IPC/read -gpua005:2463482:2463526 [1] NCCL INFO Channel 01/0 : 5[46000] -> 4[7000] via P2P/IPC/read -gpua005:2463482:2463526 [1] NCCL INFO Connected all trees -gpua005:2463482:2463526 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua005:2463482:2463526 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua005:2463482:2463526 [1] NCCL INFO comm 0xccf9410 rank 5 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua083:1863063:1863063 [0] NCCL INFO cudaDriverVersion 12020 -gpua083:1863063:1863063 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> -gpua083:1863063:1863063 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua083:1863063:1863111 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> -gpua083:1863063:1863111 [0] NCCL INFO Using network IB -gpua083:1863063:1863111 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua083:1863063:1863111 [0] NCCL INFO Trees [0] 53/-1/-1->52->57 [1] 53/48/-1->52->45 -gpua083:1863063:1863111 [0] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 -gpua083:1863063:1863111 [0] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 -gpua083:1863063:1863111 [0] NCCL INFO Channel 00/0 : 52[7000] -> 53[46000] via P2P/IPC/read -gpua083:1863063:1863111 [0] NCCL INFO Channel 01/0 : 52[7000] -> 53[46000] via P2P/IPC/read -gpua083:1863063:1863111 [0] NCCL INFO Connected all rings -gpua083:1863063:1863111 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [receive] via NET/IB/0 -gpua083:1863063:1863111 [0] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [send] via NET/IB/0 -gpua083:1863063:1863111 [0] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [receive] via NET/IB/0 -gpua083:1863063:1863111 [0] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [send] via NET/IB/0 -gpua083:1863063:1863111 [0] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [receive] via NET/IB/0 -gpua083:1863063:1863111 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [send] via NET/IB/0 -gpua083:1863063:1863111 [0] NCCL INFO Connected all trees -gpua083:1863063:1863111 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua083:1863063:1863111 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua083:1863063:1863111 [0] NCCL INFO comm 0x98a5c620 rank 52 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua056:1152034:1152034 [2] NCCL INFO cudaDriverVersion 12020 -gpua056:1152034:1152034 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> -gpua056:1152034:1152034 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua056:1152034:1152075 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> -gpua056:1152034:1152075 [2] NCCL INFO Using network IB -gpua056:1152034:1152075 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua056:1152034:1152075 [2] NCCL INFO Trees [0] 43/-1/-1->42->41 [1] 43/-1/-1->42->41 -gpua056:1152034:1152075 [2] NCCL INFO Channel 00/0 : 42[85000] -> 43[c7000] via P2P/IPC/read -gpua056:1152034:1152075 [2] NCCL INFO Channel 01/0 : 42[85000] -> 43[c7000] via P2P/IPC/read -gpua056:1152034:1152075 [2] NCCL INFO Connected all rings -gpua056:1152034:1152075 [2] NCCL INFO Channel 00/0 : 42[85000] -> 41[46000] via P2P/IPC/read -gpua056:1152034:1152075 [2] NCCL INFO Channel 01/0 : 42[85000] -> 41[46000] via P2P/IPC/read -gpua056:1152034:1152075 [2] NCCL INFO Connected all trees -gpua056:1152034:1152075 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua056:1152034:1152075 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua056:1152034:1152075 [2] NCCL INFO comm 0xb1d4640 rank 42 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua055:595803:595803 [0] NCCL INFO cudaDriverVersion 12020 -gpua055:595803:595803 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> -gpua055:595803:595803 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua055:595803:595842 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> -gpua055:595803:595842 [0] NCCL INFO Using network IB -gpua055:595803:595842 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua055:595803:595842 [0] NCCL INFO Trees [0] 37/-1/-1->36->41 [1] 37/32/-1->36->44 -gpua055:595803:595842 [0] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 -gpua055:595803:595842 [0] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 -gpua055:595803:595842 [0] NCCL INFO Channel 00/0 : 36[7000] -> 37[46000] via P2P/IPC/read -gpua055:595803:595842 [0] NCCL INFO Channel 01/0 : 36[7000] -> 37[46000] via P2P/IPC/read -gpua055:595803:595842 [0] NCCL INFO Connected all rings -gpua055:595803:595842 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [receive] via NET/IB/0 -gpua055:595803:595842 [0] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [send] via NET/IB/0 -gpua055:595803:595842 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [send] via NET/IB/0 -gpua055:595803:595842 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [receive] via NET/IB/0 -gpua055:595803:595842 [0] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [receive] via NET/IB/0 -gpua055:595803:595842 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [send] via NET/IB/0 -gpua055:595803:595842 [0] NCCL INFO Connected all trees -gpua055:595803:595842 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua055:595803:595842 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua055:595803:595842 [0] NCCL INFO comm 0x7f3a3cafa560 rank 36 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua086:757541:757541 [3] NCCL INFO cudaDriverVersion 12020 -gpua086:757541:757541 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> -gpua086:757541:757541 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua086:757541:757585 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> -gpua086:757541:757585 [3] NCCL INFO Using network IB -gpua086:757541:757585 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua086:757541:757585 [3] NCCL INFO Trees [0] -1/-1/-1->63->62 [1] -1/-1/-1->63->62 -gpua086:757541:757585 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 -gpua086:757541:757585 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 -gpua086:757541:757585 [3] NCCL INFO Connected all rings -gpua086:757541:757585 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 62[85000] via P2P/IPC/read -gpua086:757541:757585 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 62[85000] via P2P/IPC/read -gpua086:757541:757585 [3] NCCL INFO Connected all trees -gpua086:757541:757585 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua086:757541:757585 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua086:757541:757585 [3] NCCL INFO comm 0xe5be3ae0 rank 63 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua083:1863065:1863065 [2] NCCL INFO cudaDriverVersion 12020 -gpua083:1863065:1863065 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> -gpua083:1863065:1863065 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua083:1863065:1863109 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> -gpua083:1863065:1863109 [2] NCCL INFO Using network IB -gpua083:1863065:1863109 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua083:1863065:1863109 [2] NCCL INFO Trees [0] 55/-1/-1->54->53 [1] 55/-1/-1->54->53 -gpua083:1863065:1863109 [2] NCCL INFO Channel 00/0 : 54[85000] -> 55[c7000] via P2P/IPC/read -gpua083:1863065:1863109 [2] NCCL INFO Channel 01/0 : 54[85000] -> 55[c7000] via P2P/IPC/read -gpua083:1863065:1863109 [2] NCCL INFO Connected all rings -gpua083:1863065:1863109 [2] NCCL INFO Channel 00/0 : 54[85000] -> 53[46000] via P2P/IPC/read -gpua083:1863065:1863109 [2] NCCL INFO Channel 01/0 : 54[85000] -> 53[46000] via P2P/IPC/read -gpua083:1863065:1863109 [2] NCCL INFO Connected all trees -gpua083:1863065:1863109 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua083:1863065:1863109 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua083:1863065:1863109 [2] NCCL INFO comm 0xcdddff0 rank 54 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua082:601002:601002 [2] NCCL INFO cudaDriverVersion 12020 -gpua082:601002:601002 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> -gpua082:601002:601002 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua082:601002:601048 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> -gpua082:601002:601048 [2] NCCL INFO Using network IB -gpua082:601002:601048 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua082:601002:601048 [2] NCCL INFO Trees [0] 51/-1/-1->50->49 [1] 51/-1/-1->50->49 -gpua082:601002:601048 [2] NCCL INFO Channel 00/0 : 50[85000] -> 51[c7000] via P2P/IPC/read -gpua082:601002:601048 [2] NCCL INFO Channel 01/0 : 50[85000] -> 51[c7000] via P2P/IPC/read -gpua082:601002:601048 [2] NCCL INFO Connected all rings -gpua082:601002:601048 [2] NCCL INFO Channel 00/0 : 50[85000] -> 49[46000] via P2P/IPC/read -gpua082:601002:601048 [2] NCCL INFO Channel 01/0 : 50[85000] -> 49[46000] via P2P/IPC/read -gpua082:601002:601048 [2] NCCL INFO Connected all trees -gpua082:601002:601048 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua082:601002:601048 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua082:601002:601048 [2] NCCL INFO comm 0x97d8fdd0 rank 50 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua007:384567:384567 [3] NCCL INFO cudaDriverVersion 12020 -gpua007:384567:384567 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> -gpua007:384567:384567 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua007:384567:384615 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> -gpua007:384567:384615 [3] NCCL INFO Using network IB -gpua007:384567:384615 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua007:384567:384615 [3] NCCL INFO Trees [0] -1/-1/-1->15->14 [1] -1/-1/-1->15->14 -gpua007:384567:384615 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 -gpua007:384567:384615 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 -gpua007:384567:384615 [3] NCCL INFO Connected all rings -gpua007:384567:384615 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 14[85000] via P2P/IPC/read -gpua007:384567:384615 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 14[85000] via P2P/IPC/read -gpua007:384567:384615 [3] NCCL INFO Connected all trees -gpua007:384567:384615 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua007:384567:384615 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua007:384567:384615 [3] NCCL INFO comm 0x1b23b6a0 rank 15 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua007:384566:384566 [2] NCCL INFO cudaDriverVersion 12020 -gpua007:384566:384566 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> -gpua007:384566:384566 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua007:384566:384614 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> -gpua007:384566:384614 [2] NCCL INFO Using network IB -gpua007:384566:384614 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua007:384566:384614 [2] NCCL INFO Trees [0] 15/-1/-1->14->13 [1] 15/-1/-1->14->13 -gpua007:384566:384614 [2] NCCL INFO Channel 00/0 : 14[85000] -> 15[c7000] via P2P/IPC/read -gpua007:384566:384614 [2] NCCL INFO Channel 01/0 : 14[85000] -> 15[c7000] via P2P/IPC/read -gpua007:384566:384614 [2] NCCL INFO Connected all rings -gpua007:384566:384614 [2] NCCL INFO Channel 00/0 : 14[85000] -> 13[46000] via P2P/IPC/read -gpua007:384566:384614 [2] NCCL INFO Channel 01/0 : 14[85000] -> 13[46000] via P2P/IPC/read -gpua007:384566:384614 [2] NCCL INFO Connected all trees -gpua007:384566:384614 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua007:384566:384614 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua007:384566:384614 [2] NCCL INFO comm 0xea167a60 rank 14 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua057:497543:497543 [2] NCCL INFO cudaDriverVersion 12020 -gpua057:497543:497543 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> -gpua057:497543:497543 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua057:497543:497583 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> -gpua057:497543:497583 [2] NCCL INFO Using network IB -gpua057:497543:497583 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua057:497543:497583 [2] NCCL INFO Trees [0] 47/-1/-1->46->45 [1] 47/-1/-1->46->45 -gpua057:497543:497583 [2] NCCL INFO Channel 00/0 : 46[85000] -> 47[c7000] via P2P/IPC/read -gpua057:497543:497583 [2] NCCL INFO Channel 01/0 : 46[85000] -> 47[c7000] via P2P/IPC/read -gpua057:497543:497583 [2] NCCL INFO Connected all rings -gpua057:497543:497583 [2] NCCL INFO Channel 00/0 : 46[85000] -> 45[46000] via P2P/IPC/read -gpua057:497543:497583 [2] NCCL INFO Channel 01/0 : 46[85000] -> 45[46000] via P2P/IPC/read -gpua057:497543:497583 [2] NCCL INFO Connected all trees -gpua057:497543:497583 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua057:497543:497583 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua057:497543:497583 [2] NCCL INFO comm 0x9901d550 rank 46 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua031:762750:762750 [0] NCCL INFO cudaDriverVersion 12020 -gpua031:762750:762750 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> -gpua031:762750:762750 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua031:762750:762796 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> -gpua031:762750:762796 [0] NCCL INFO Using network IB -gpua031:762750:762796 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua031:762750:762796 [0] NCCL INFO Trees [0] 29/-1/-1->28->24 [1] 29/12/-1->28->60 -gpua031:762750:762796 [0] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 -gpua031:762750:762796 [0] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 -gpua031:762750:762796 [0] NCCL INFO Channel 00/0 : 28[7000] -> 29[46000] via P2P/IPC/read -gpua031:762750:762796 [0] NCCL INFO Channel 01/0 : 28[7000] -> 29[46000] via P2P/IPC/read -gpua031:762750:762796 [0] NCCL INFO Connected all rings -gpua054:408242:408242 [3] NCCL INFO cudaDriverVersion 12020 -gpua054:408242:408242 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> -gpua054:408242:408242 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua054:408242:408282 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> -gpua054:408242:408282 [3] NCCL INFO Using network IB -gpua054:408242:408282 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua054:408242:408282 [3] NCCL INFO Trees [0] -1/-1/-1->35->34 [1] -1/-1/-1->35->34 -gpua054:408242:408282 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 -gpua054:408242:408282 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 -gpua054:408242:408282 [3] NCCL INFO Connected all rings -gpua054:408242:408282 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 34[85000] via P2P/IPC/read -gpua054:408242:408282 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 34[85000] via P2P/IPC/read -gpua031:762750:762796 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [receive] via NET/IB/0 -gpua031:762750:762796 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [receive] via NET/IB/0 -gpua031:762750:762796 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [receive] via NET/IB/0 -gpua031:762750:762796 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [send] via NET/IB/0 -gpua031:762750:762796 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [send] via NET/IB/0 -gpua031:762750:762796 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [send] via NET/IB/0 -gpua031:762750:762796 [0] NCCL INFO Connected all trees -gpua031:762750:762796 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua031:762750:762796 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua031:762750:762796 [0] NCCL INFO comm 0x2fa37b20 rank 28 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua054:408242:408282 [3] NCCL INFO Connected all trees -gpua054:408242:408282 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua054:408242:408282 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua054:408242:408282 [3] NCCL INFO comm 0x10bd4280 rank 35 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua031:762752:762752 [2] NCCL INFO cudaDriverVersion 12020 -gpua031:762752:762752 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> -gpua031:762752:762752 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua031:762752:762793 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> -gpua031:762752:762793 [2] NCCL INFO Using network IB -gpua031:762752:762793 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua031:762752:762793 [2] NCCL INFO Trees [0] 31/-1/-1->30->29 [1] 31/-1/-1->30->29 -gpua031:762752:762793 [2] NCCL INFO Channel 00/0 : 30[85000] -> 31[c7000] via P2P/IPC/read -gpua031:762752:762793 [2] NCCL INFO Channel 01/0 : 30[85000] -> 31[c7000] via P2P/IPC/read -gpua031:762752:762793 [2] NCCL INFO Connected all rings -gpua031:762752:762793 [2] NCCL INFO Channel 00/0 : 30[85000] -> 29[46000] via P2P/IPC/read -gpua031:762752:762793 [2] NCCL INFO Channel 01/0 : 30[85000] -> 29[46000] via P2P/IPC/read -gpua030:977737:977737 [1] NCCL INFO cudaDriverVersion 12020 -gpua030:977737:977737 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> -gpua030:977737:977737 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua030:977737:977789 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> -gpua030:977737:977789 [1] NCCL INFO Using network IB -gpua030:977737:977789 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua030:977737:977789 [1] NCCL INFO Trees [0] 26/20/-1->25->24 [1] 26/-1/-1->25->24 -gpua030:977737:977789 [1] NCCL INFO Channel 00/0 : 25[46000] -> 26[85000] via P2P/IPC/read -gpua030:977737:977789 [1] NCCL INFO Channel 01/0 : 25[46000] -> 26[85000] via P2P/IPC/read -gpua030:977737:977789 [1] NCCL INFO Connected all rings -gpua030:977737:977789 [1] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [receive] via NET/IB/0 -gpua030:977737:977789 [1] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [send] via NET/IB/0 -gpua031:762752:762793 [2] NCCL INFO Connected all trees -gpua031:762752:762793 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua031:762752:762793 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua031:762752:762793 [2] NCCL INFO comm 0xa7cfb60 rank 30 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua030:977737:977789 [1] NCCL INFO Channel 00/0 : 25[46000] -> 24[7000] via P2P/IPC/read -gpua030:977737:977789 [1] NCCL INFO Channel 01/0 : 25[46000] -> 24[7000] via P2P/IPC/read -gpua030:977737:977789 [1] NCCL INFO Connected all trees -gpua030:977737:977789 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua030:977737:977789 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua030:977737:977789 [1] NCCL INFO comm 0x126f88d0 rank 25 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua006:2780424:2780424 [0] NCCL INFO cudaDriverVersion 12020 -gpua006:2780424:2780424 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> -gpua006:2780424:2780424 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua006:2780424:2780472 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> -gpua006:2780424:2780472 [0] NCCL INFO Using network IB -gpua006:2780424:2780472 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua006:2780424:2780472 [0] NCCL INFO Trees [0] 9/12/-1->8->17 [1] 9/-1/-1->8->5 -gpua006:2780424:2780472 [0] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 -gpua006:2780424:2780472 [0] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 -gpua006:2780424:2780472 [0] NCCL INFO Channel 00/0 : 8[7000] -> 9[46000] via P2P/IPC/read -gpua006:2780424:2780472 [0] NCCL INFO Channel 01/0 : 8[7000] -> 9[46000] via P2P/IPC/read -gpua006:2780424:2780472 [0] NCCL INFO Connected all rings -gpua006:2780424:2780472 [0] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [receive] via NET/IB/0 -gpua006:2780424:2780472 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [send] via NET/IB/0 -gpua006:2780424:2780472 [0] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [send] via NET/IB/0 -gpua006:2780424:2780472 [0] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [receive] via NET/IB/0 -gpua006:2780424:2780472 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [receive] via NET/IB/0 -gpua006:2780424:2780472 [0] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [send] via NET/IB/0 -gpua006:2780424:2780472 [0] NCCL INFO Connected all trees -gpua006:2780424:2780472 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua006:2780424:2780472 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua006:2780424:2780472 [0] NCCL INFO comm 0xe71ac50 rank 8 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua002:872566:872566 [2] NCCL INFO cudaDriverVersion 12020 -gpua002:872566:872566 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.2<0> -gpua002:872566:872566 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua002:872566:872613 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.2<0> -gpua002:872566:872613 [2] NCCL INFO Using network IB -gpua002:872566:872613 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua002:872566:872613 [2] NCCL INFO Trees [0] 3/-1/-1->2->1 [1] 3/-1/-1->2->1 -gpua002:872566:872613 [2] NCCL INFO Channel 00/0 : 2[85000] -> 3[c7000] via P2P/IPC/read -gpua002:872566:872613 [2] NCCL INFO Channel 01/0 : 2[85000] -> 3[c7000] via P2P/IPC/read -gpua002:872566:872613 [2] NCCL INFO Connected all rings -gpua002:872566:872613 [2] NCCL INFO Channel 00/0 : 2[85000] -> 1[46000] via P2P/IPC/read -gpua002:872566:872613 [2] NCCL INFO Channel 01/0 : 2[85000] -> 1[46000] via P2P/IPC/read -gpua002:872566:872613 [2] NCCL INFO Connected all trees -gpua002:872566:872613 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua002:872566:872613 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua002:872566:872613 [2] NCCL INFO comm 0x15f56d60 rank 2 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua007:384565:384565 [1] NCCL INFO cudaDriverVersion 12020 -gpua007:384565:384565 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> -gpua007:384565:384565 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua007:384565:384616 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> -gpua007:384565:384616 [1] NCCL INFO Using network IB -gpua007:384565:384616 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua007:384565:384616 [1] NCCL INFO Trees [0] 14/-1/-1->13->12 [1] 14/20/-1->13->12 -gpua007:384565:384616 [1] NCCL INFO Channel 00/0 : 13[46000] -> 14[85000] via P2P/IPC/read -gpua007:384565:384616 [1] NCCL INFO Channel 01/0 : 13[46000] -> 14[85000] via P2P/IPC/read -gpua007:384565:384616 [1] NCCL INFO Connected all rings -gpua007:384565:384616 [1] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [send] via NET/IB/0 -gpua007:384565:384616 [1] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [receive] via NET/IB/0 -gpua022:734061:734061 [2] NCCL INFO cudaDriverVersion 12020 -gpua022:734061:734061 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.22<0> -gpua022:734061:734061 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua022:734061:734100 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.22<0> -gpua022:734061:734100 [2] NCCL INFO Using network IB -gpua022:734061:734100 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua022:734061:734100 [2] NCCL INFO Trees [0] 19/-1/-1->18->17 [1] 19/-1/-1->18->17 -gpua022:734061:734100 [2] NCCL INFO Channel 00/0 : 18[85000] -> 19[c7000] via P2P/IPC/read -gpua022:734061:734100 [2] NCCL INFO Channel 01/0 : 18[85000] -> 19[c7000] via P2P/IPC/read -gpua022:734061:734100 [2] NCCL INFO Connected all rings -gpua022:734061:734100 [2] NCCL INFO Channel 00/0 : 18[85000] -> 17[46000] via P2P/IPC/read -gpua022:734061:734100 [2] NCCL INFO Channel 01/0 : 18[85000] -> 17[46000] via P2P/IPC/read -gpua085:1288950:1288950 [1] NCCL INFO cudaDriverVersion 12020 -gpua085:1288950:1288950 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> -gpua085:1288950:1288950 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua085:1288950:1288995 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> -gpua085:1288950:1288995 [1] NCCL INFO Using network IB -gpua085:1288950:1288995 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua085:1288950:1288995 [1] NCCL INFO Trees [0] 58/52/-1->57->56 [1] 58/-1/-1->57->56 -gpua085:1288950:1288995 [1] NCCL INFO Channel 00/0 : 57[46000] -> 58[85000] via P2P/IPC/read -gpua085:1288950:1288995 [1] NCCL INFO Channel 01/0 : 57[46000] -> 58[85000] via P2P/IPC/read -gpua085:1288950:1288995 [1] NCCL INFO Connected all rings -gpua085:1288950:1288995 [1] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [receive] via NET/IB/0 -gpua085:1288950:1288995 [1] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [send] via NET/IB/0 -gpua007:384565:384616 [1] NCCL INFO Channel 00/0 : 13[46000] -> 12[7000] via P2P/IPC/read -gpua007:384565:384616 [1] NCCL INFO Channel 01/0 : 13[46000] -> 12[7000] via P2P/IPC/read -gpua007:384565:384616 [1] NCCL INFO Connected all trees -gpua007:384565:384616 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua007:384565:384616 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua007:384565:384616 [1] NCCL INFO comm 0x1ff63b5e0 rank 13 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua022:734061:734100 [2] NCCL INFO Connected all trees -gpua022:734061:734100 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua022:734061:734100 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua022:734061:734100 [2] NCCL INFO comm 0xc0493a0 rank 18 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua085:1288950:1288995 [1] NCCL INFO Channel 00/0 : 57[46000] -> 56[7000] via P2P/IPC/read -gpua085:1288950:1288995 [1] NCCL INFO Channel 01/0 : 57[46000] -> 56[7000] via P2P/IPC/read -gpua085:1288950:1288995 [1] NCCL INFO Connected all trees -gpua085:1288950:1288995 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua085:1288950:1288995 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua085:1288950:1288995 [1] NCCL INFO comm 0x18a77ee0 rank 57 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua054:408240:408240 [1] NCCL INFO cudaDriverVersion 12020 -gpua054:408240:408240 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> -gpua054:408240:408240 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua054:408240:408283 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> -gpua054:408240:408283 [1] NCCL INFO Using network IB -gpua054:408240:408283 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua054:408240:408283 [1] NCCL INFO Trees [0] 34/16/-1->33->32 [1] 34/-1/-1->33->32 -gpua054:408240:408283 [1] NCCL INFO Channel 00/0 : 33[46000] -> 34[85000] via P2P/IPC/read -gpua054:408240:408283 [1] NCCL INFO Channel 01/0 : 33[46000] -> 34[85000] via P2P/IPC/read -gpua054:408240:408283 [1] NCCL INFO Connected all rings -gpua054:408240:408283 [1] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [receive] via NET/IB/0 -gpua054:408240:408283 [1] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [send] via NET/IB/0 -gpua054:408240:408283 [1] NCCL INFO Channel 00/0 : 33[46000] -> 32[7000] via P2P/IPC/read -gpua054:408240:408283 [1] NCCL INFO Channel 01/0 : 33[46000] -> 32[7000] via P2P/IPC/read -gpua054:408240:408283 [1] NCCL INFO Connected all trees -gpua054:408240:408283 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua054:408240:408283 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua054:408240:408283 [1] NCCL INFO comm 0x1177c050 rank 33 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua085:1288951:1288951 [2] NCCL INFO cudaDriverVersion 12020 -gpua085:1288951:1288951 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> -gpua085:1288951:1288951 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua085:1288951:1288993 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> -gpua085:1288951:1288993 [2] NCCL INFO Using network IB -gpua085:1288951:1288993 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua085:1288951:1288993 [2] NCCL INFO Trees [0] 59/-1/-1->58->57 [1] 59/-1/-1->58->57 -gpua085:1288951:1288993 [2] NCCL INFO Channel 00/0 : 58[85000] -> 59[c7000] via P2P/IPC/read -gpua085:1288951:1288993 [2] NCCL INFO Channel 01/0 : 58[85000] -> 59[c7000] via P2P/IPC/read -gpua085:1288951:1288993 [2] NCCL INFO Connected all rings -gpua085:1288951:1288993 [2] NCCL INFO Channel 00/0 : 58[85000] -> 57[46000] via P2P/IPC/read -gpua085:1288951:1288993 [2] NCCL INFO Channel 01/0 : 58[85000] -> 57[46000] via P2P/IPC/read -gpua085:1288951:1288993 [2] NCCL INFO Connected all trees -gpua085:1288951:1288993 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua085:1288951:1288993 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua085:1288951:1288993 [2] NCCL INFO comm 0x124c6450 rank 58 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua055:595805:595805 [2] NCCL INFO cudaDriverVersion 12020 -gpua055:595805:595805 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> -gpua055:595805:595805 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua055:595805:595845 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> -gpua055:595805:595845 [2] NCCL INFO Using network IB -gpua055:595805:595845 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua055:595805:595845 [2] NCCL INFO Trees [0] 39/-1/-1->38->37 [1] 39/-1/-1->38->37 -gpua055:595805:595845 [2] NCCL INFO Channel 00/0 : 38[85000] -> 39[c7000] via P2P/IPC/read -gpua055:595805:595845 [2] NCCL INFO Channel 01/0 : 38[85000] -> 39[c7000] via P2P/IPC/read -gpua055:595805:595845 [2] NCCL INFO Connected all rings -gpua055:595805:595845 [2] NCCL INFO Channel 00/0 : 38[85000] -> 37[46000] via P2P/IPC/read -gpua055:595805:595845 [2] NCCL INFO Channel 01/0 : 38[85000] -> 37[46000] via P2P/IPC/read -gpua055:595805:595845 [2] NCCL INFO Connected all trees -gpua055:595805:595845 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua055:595805:595845 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua055:595805:595845 [2] NCCL INFO comm 0xb1c72a0 rank 38 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua022:734060:734060 [1] NCCL INFO cudaDriverVersion 12020 -gpua022:734060:734060 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.22<0> -gpua022:734060:734060 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua022:734060:734103 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.22<0> -gpua022:734060:734103 [1] NCCL INFO Using network IB -gpua022:734060:734103 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua022:734060:734103 [1] NCCL INFO Trees [0] 18/8/-1->17->16 [1] 18/-1/-1->17->16 -gpua022:734060:734103 [1] NCCL INFO Channel 00/0 : 17[46000] -> 18[85000] via P2P/IPC/read -gpua022:734060:734103 [1] NCCL INFO Channel 01/0 : 17[46000] -> 18[85000] via P2P/IPC/read -gpua022:734060:734103 [1] NCCL INFO Connected all rings -gpua022:734060:734103 [1] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [receive] via NET/IB/0 -gpua022:734060:734103 [1] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [send] via NET/IB/0 -gpua022:734060:734103 [1] NCCL INFO Channel 00/0 : 17[46000] -> 16[7000] via P2P/IPC/read -gpua022:734060:734103 [1] NCCL INFO Channel 01/0 : 17[46000] -> 16[7000] via P2P/IPC/read -gpua022:734060:734103 [1] NCCL INFO Connected all trees -gpua022:734060:734103 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua022:734060:734103 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua022:734060:734103 [1] NCCL INFO comm 0x9c294990 rank 17 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua022:734059:734059 [0] NCCL INFO cudaDriverVersion 12020 -gpua022:734059:734059 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.22<0> -gpua022:734059:734059 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua022:734059:734102 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.22<0> -gpua022:734059:734102 [0] NCCL INFO Using network IB -gpua022:734059:734102 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua022:734059:734102 [0] NCCL INFO Trees [0] 17/24/-1->16->33 [1] 17/-1/-1->16->20 -gpua022:734059:734102 [0] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 -gpua022:734059:734102 [0] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 -gpua022:734059:734102 [0] NCCL INFO Channel 00/0 : 16[7000] -> 17[46000] via P2P/IPC/read -gpua022:734059:734102 [0] NCCL INFO Channel 01/0 : 16[7000] -> 17[46000] via P2P/IPC/read -gpua022:734059:734102 [0] NCCL INFO Connected all rings -gpua022:734059:734102 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [send] via NET/IB/0 -gpua022:734059:734102 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [send] via NET/IB/0 -gpua022:734059:734102 [0] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [send] via NET/IB/0 -gpua022:734059:734102 [0] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [receive] via NET/IB/0 -gpua022:734059:734102 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [receive] via NET/IB/0 -gpua022:734059:734102 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [receive] via NET/IB/0 -gpua022:734059:734102 [0] NCCL INFO Connected all trees -gpua022:734059:734102 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua022:734059:734102 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua022:734059:734102 [0] NCCL INFO comm 0x14d3c910 rank 16 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua086:757539:757539 [1] NCCL INFO cudaDriverVersion 12020 -gpua086:757539:757539 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> -gpua086:757539:757539 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua086:757539:757584 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> -gpua086:757539:757584 [1] NCCL INFO Using network IB -gpua086:757539:757584 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua086:757539:757584 [1] NCCL INFO Trees [0] 62/-1/-1->61->60 [1] 62/-1/-1->61->60 -gpua086:757539:757584 [1] NCCL INFO Channel 00/0 : 61[46000] -> 62[85000] via P2P/IPC/read -gpua086:757539:757584 [1] NCCL INFO Channel 01/0 : 61[46000] -> 62[85000] via P2P/IPC/read -gpua086:757539:757584 [1] NCCL INFO Connected all rings -gpua086:757539:757584 [1] NCCL INFO Channel 00/0 : 61[46000] -> 60[7000] via P2P/IPC/read -gpua086:757539:757584 [1] NCCL INFO Channel 01/0 : 61[46000] -> 60[7000] via P2P/IPC/read -gpua086:757539:757584 [1] NCCL INFO Connected all trees -gpua086:757539:757584 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua086:757539:757584 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua086:757539:757584 [1] NCCL INFO comm 0x13ce9a70 rank 61 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua002:872564:872610 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.2<0> -gpua002:872564:872610 [0] NCCL INFO Using network IB -gpua002:872564:872610 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua002:872564:872610 [0] NCCL INFO Channel 00/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 -gpua002:872564:872610 [0] NCCL INFO Channel 01/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 -gpua002:872564:872610 [0] NCCL INFO Trees [0] 1/32/-1->0->-1 [1] 1/-1/-1->0->4 -gpua002:872564:872610 [0] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 -gpua002:872564:872610 [0] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 -gpua002:872564:872610 [0] NCCL INFO Channel 00/0 : 0[7000] -> 1[46000] via P2P/IPC/read -gpua002:872564:872610 [0] NCCL INFO Channel 01/0 : 0[7000] -> 1[46000] via P2P/IPC/read -gpua002:872564:872610 [0] NCCL INFO Connected all rings -gpua002:872564:872610 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [send] via NET/IB/0 -gpua002:872564:872610 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [receive] via NET/IB/0 -gpua002:872564:872610 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [send] via NET/IB/0 -gpua002:872564:872610 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [receive] via NET/IB/0 -gpua002:872564:872610 [0] NCCL INFO Connected all trees -gpua002:872564:872610 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua002:872564:872610 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua002:872564:872610 [0] NCCL INFO comm 0x14ca08d0 rank 0 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua006:2780427:2780427 [3] NCCL INFO cudaDriverVersion 12020 -gpua006:2780427:2780427 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> -gpua006:2780427:2780427 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua006:2780427:2780474 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> -gpua006:2780427:2780474 [3] NCCL INFO Using network IB -gpua006:2780427:2780474 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua006:2780427:2780474 [3] NCCL INFO Trees [0] -1/-1/-1->11->10 [1] -1/-1/-1->11->10 -gpua006:2780427:2780474 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 -gpua006:2780427:2780474 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 -gpua006:2780427:2780474 [3] NCCL INFO Connected all rings -gpua006:2780427:2780474 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 10[85000] via P2P/IPC/read -gpua006:2780427:2780474 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 10[85000] via P2P/IPC/read -gpua006:2780427:2780474 [3] NCCL INFO Connected all trees -gpua006:2780427:2780474 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua006:2780427:2780474 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua006:2780427:2780474 [3] NCCL INFO comm 0x162d99a0 rank 11 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua005:2463483:2463483 [2] NCCL INFO cudaDriverVersion 12020 -gpua005:2463483:2463483 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> -gpua005:2463483:2463483 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua005:2463483:2463525 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> -gpua005:2463483:2463525 [2] NCCL INFO Using network IB -gpua005:2463483:2463525 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua005:2463483:2463525 [2] NCCL INFO Trees [0] 7/-1/-1->6->5 [1] 7/-1/-1->6->5 -gpua005:2463483:2463525 [2] NCCL INFO Channel 00/0 : 6[85000] -> 7[c7000] via P2P/IPC/read -gpua005:2463483:2463525 [2] NCCL INFO Channel 01/0 : 6[85000] -> 7[c7000] via P2P/IPC/read -gpua005:2463483:2463525 [2] NCCL INFO Connected all rings -gpua005:2463483:2463525 [2] NCCL INFO Channel 00/0 : 6[85000] -> 5[46000] via P2P/IPC/read -gpua005:2463483:2463525 [2] NCCL INFO Channel 01/0 : 6[85000] -> 5[46000] via P2P/IPC/read -gpua005:2463483:2463525 [2] NCCL INFO Connected all trees -gpua005:2463483:2463525 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua005:2463483:2463525 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua005:2463483:2463525 [2] NCCL INFO comm 0x9cd1f6d0 rank 6 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua022:734062:734062 [3] NCCL INFO cudaDriverVersion 12020 -gpua022:734062:734062 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.22<0> -gpua022:734062:734062 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua022:734062:734101 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.22<0> -gpua022:734062:734101 [3] NCCL INFO Using network IB -gpua022:734062:734101 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua022:734062:734101 [3] NCCL INFO Trees [0] -1/-1/-1->19->18 [1] -1/-1/-1->19->18 -gpua022:734062:734101 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 -gpua022:734062:734101 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 -gpua022:734062:734101 [3] NCCL INFO Connected all rings -gpua022:734062:734101 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 18[85000] via P2P/IPC/read -gpua022:734062:734101 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 18[85000] via P2P/IPC/read -gpua022:734062:734101 [3] NCCL INFO Connected all trees -gpua022:734062:734101 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua022:734062:734101 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua022:734062:734101 [3] NCCL INFO comm 0xcc5c230 rank 19 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua005:2463481:2463481 [0] NCCL INFO cudaDriverVersion 12020 -gpua005:2463481:2463481 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> -gpua005:2463481:2463481 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua005:2463481:2463524 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> -gpua005:2463481:2463524 [0] NCCL INFO Using network IB -gpua005:2463481:2463524 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua005:2463481:2463524 [0] NCCL INFO Trees [0] 5/-1/-1->4->9 [1] 5/0/-1->4->12 -gpua005:2463481:2463524 [0] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 -gpua005:2463481:2463524 [0] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 -gpua005:2463481:2463524 [0] NCCL INFO Channel 00/0 : 4[7000] -> 5[46000] via P2P/IPC/read -gpua005:2463481:2463524 [0] NCCL INFO Channel 01/0 : 4[7000] -> 5[46000] via P2P/IPC/read -gpua005:2463481:2463524 [0] NCCL INFO Connected all rings -gpua005:2463481:2463524 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [receive] via NET/IB/0 -gpua005:2463481:2463524 [0] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [send] via NET/IB/0 -gpua005:2463481:2463524 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [send] via NET/IB/0 -gpua005:2463481:2463524 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [receive] via NET/IB/0 -gpua005:2463481:2463524 [0] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [receive] via NET/IB/0 -gpua005:2463481:2463524 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [send] via NET/IB/0 -gpua005:2463481:2463524 [0] NCCL INFO Connected all trees -gpua005:2463481:2463524 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua005:2463481:2463524 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua005:2463481:2463524 [0] NCCL INFO comm 0xed0604a0 rank 4 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua002:872565:872565 [1] NCCL INFO cudaDriverVersion 12020 -gpua002:872565:872565 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.2<0> -gpua002:872565:872565 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua002:872565:872612 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.2<0> -gpua002:872565:872612 [1] NCCL INFO Using network IB -gpua002:872565:872612 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua002:872565:872612 [1] NCCL INFO Trees [0] 2/-1/-1->1->0 [1] 2/-1/-1->1->0 -gpua002:872565:872612 [1] NCCL INFO Channel 00/0 : 1[46000] -> 2[85000] via P2P/IPC/read -gpua002:872565:872612 [1] NCCL INFO Channel 01/0 : 1[46000] -> 2[85000] via P2P/IPC/read -gpua002:872565:872612 [1] NCCL INFO Connected all rings -gpua002:872565:872612 [1] NCCL INFO Channel 00/0 : 1[46000] -> 0[7000] via P2P/IPC/read -gpua002:872565:872612 [1] NCCL INFO Channel 01/0 : 1[46000] -> 0[7000] via P2P/IPC/read -gpua002:872565:872612 [1] NCCL INFO Connected all trees -gpua002:872565:872612 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua002:872565:872612 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua002:872565:872612 [1] NCCL INFO comm 0x8f7e800 rank 1 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua082:601000:601000 [0] NCCL INFO cudaDriverVersion 12020 -gpua082:601000:601000 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> -gpua082:601000:601000 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua082:601000:601050 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> -gpua082:601000:601050 [0] NCCL INFO Using network IB -gpua082:601000:601050 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua082:601000:601050 [0] NCCL INFO Trees [0] 49/56/-1->48->32 [1] 49/-1/-1->48->52 -gpua082:601000:601050 [0] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 -gpua082:601000:601050 [0] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 -gpua082:601000:601050 [0] NCCL INFO Channel 00/0 : 48[7000] -> 49[46000] via P2P/IPC/read -gpua082:601000:601050 [0] NCCL INFO Channel 01/0 : 48[7000] -> 49[46000] via P2P/IPC/read -gpua082:601000:601050 [0] NCCL INFO Connected all rings -gpua083:1863064:1863064 [1] NCCL INFO cudaDriverVersion 12020 -gpua083:1863064:1863064 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> -gpua083:1863064:1863064 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua083:1863064:1863112 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> -gpua083:1863064:1863112 [1] NCCL INFO Using network IB -gpua083:1863064:1863112 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua083:1863064:1863112 [1] NCCL INFO Trees [0] 54/-1/-1->53->52 [1] 54/56/-1->53->52 -gpua083:1863064:1863112 [1] NCCL INFO Channel 00/0 : 53[46000] -> 54[85000] via P2P/IPC/read -gpua083:1863064:1863112 [1] NCCL INFO Channel 01/0 : 53[46000] -> 54[85000] via P2P/IPC/read -gpua083:1863064:1863112 [1] NCCL INFO Connected all rings -gpua083:1863064:1863112 [1] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [send] via NET/IB/0 -gpua083:1863064:1863112 [1] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [receive] via NET/IB/0 -gpua082:601000:601050 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [send] via NET/IB/0 -gpua082:601000:601050 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [send] via NET/IB/0 -gpua082:601000:601050 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [receive] via NET/IB/0 -gpua082:601000:601050 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [send] via NET/IB/0 -gpua082:601000:601050 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [receive] via NET/IB/0 -gpua082:601000:601050 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [receive] via NET/IB/0 -gpua082:601000:601050 [0] NCCL INFO Connected all trees -gpua082:601000:601050 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua082:601000:601050 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua082:601000:601050 [0] NCCL INFO comm 0x10f94bb0 rank 48 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua083:1863064:1863112 [1] NCCL INFO Channel 00/0 : 53[46000] -> 52[7000] via P2P/IPC/read -gpua083:1863064:1863112 [1] NCCL INFO Channel 01/0 : 53[46000] -> 52[7000] via P2P/IPC/read -gpua083:1863064:1863112 [1] NCCL INFO Connected all trees -gpua083:1863064:1863112 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua083:1863064:1863112 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua083:1863064:1863112 [1] NCCL INFO comm 0x2acc4030 rank 53 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua083:1863066:1863066 [3] NCCL INFO cudaDriverVersion 12020 -gpua083:1863066:1863066 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> -gpua083:1863066:1863066 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua083:1863066:1863110 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> -gpua083:1863066:1863110 [3] NCCL INFO Using network IB -gpua083:1863066:1863110 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua083:1863066:1863110 [3] NCCL INFO Trees [0] -1/-1/-1->55->54 [1] -1/-1/-1->55->54 -gpua083:1863066:1863110 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 -gpua083:1863066:1863110 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 -gpua083:1863066:1863110 [3] NCCL INFO Connected all rings -gpua083:1863066:1863110 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 54[85000] via P2P/IPC/read -gpua083:1863066:1863110 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 54[85000] via P2P/IPC/read -gpua083:1863066:1863110 [3] NCCL INFO Connected all trees -gpua083:1863066:1863110 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua083:1863066:1863110 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua083:1863066:1863110 [3] NCCL INFO comm 0x27ad2860 rank 55 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua031:762753:762753 [3] NCCL INFO cudaDriverVersion 12020 -gpua031:762753:762753 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> -gpua031:762753:762753 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua031:762753:762795 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> -gpua031:762753:762795 [3] NCCL INFO Using network IB -gpua031:762753:762795 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua031:762753:762795 [3] NCCL INFO Trees [0] -1/-1/-1->31->30 [1] -1/-1/-1->31->30 -gpua031:762753:762795 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 -gpua031:762753:762795 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 -gpua031:762753:762795 [3] NCCL INFO Connected all rings -gpua031:762753:762795 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 30[85000] via P2P/IPC/read -gpua031:762753:762795 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 30[85000] via P2P/IPC/read -gpua056:1152035:1152035 [3] NCCL INFO cudaDriverVersion 12020 -gpua056:1152035:1152035 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> -gpua056:1152035:1152035 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua056:1152035:1152076 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> -gpua056:1152035:1152076 [3] NCCL INFO Using network IB -gpua056:1152035:1152076 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua056:1152035:1152076 [3] NCCL INFO Trees [0] -1/-1/-1->43->42 [1] -1/-1/-1->43->42 -gpua056:1152035:1152076 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 -gpua056:1152035:1152076 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 -gpua056:1152035:1152076 [3] NCCL INFO Connected all rings -gpua056:1152035:1152076 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 42[85000] via P2P/IPC/read -gpua056:1152035:1152076 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 42[85000] via P2P/IPC/read -gpua031:762753:762795 [3] NCCL INFO Connected all trees -gpua031:762753:762795 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua031:762753:762795 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua031:762753:762795 [3] NCCL INFO comm 0x24052ec0 rank 31 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua005:2463484:2463484 [3] NCCL INFO cudaDriverVersion 12020 -gpua005:2463484:2463484 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> -gpua005:2463484:2463484 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua005:2463484:2463523 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> -gpua005:2463484:2463523 [3] NCCL INFO Using network IB -gpua005:2463484:2463523 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua005:2463484:2463523 [3] NCCL INFO Trees [0] -1/-1/-1->7->6 [1] -1/-1/-1->7->6 -gpua005:2463484:2463523 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 -gpua005:2463484:2463523 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 -gpua005:2463484:2463523 [3] NCCL INFO Connected all rings -gpua005:2463484:2463523 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 6[85000] via P2P/IPC/read -gpua005:2463484:2463523 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 6[85000] via P2P/IPC/read -gpua056:1152035:1152076 [3] NCCL INFO Connected all trees -gpua056:1152035:1152076 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua056:1152035:1152076 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua056:1152035:1152076 [3] NCCL INFO comm 0xe5d430d0 rank 43 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua005:2463484:2463523 [3] NCCL INFO Connected all trees -gpua005:2463484:2463523 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua005:2463484:2463523 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua005:2463484:2463523 [3] NCCL INFO comm 0x306c2520 rank 7 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua057:497541:497541 [0] NCCL INFO cudaDriverVersion 12020 -gpua057:497541:497541 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> -gpua057:497541:497541 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua057:497541:497584 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> -gpua057:497541:497584 [0] NCCL INFO Using network IB -gpua057:497541:497584 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua057:497541:497584 [0] NCCL INFO Trees [0] 45/-1/-1->44->40 [1] 45/36/-1->44->29 -gpua057:497541:497584 [0] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 -gpua057:497541:497584 [0] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 -gpua057:497541:497584 [0] NCCL INFO Channel 00/0 : 44[7000] -> 45[46000] via P2P/IPC/read -gpua057:497541:497584 [0] NCCL INFO Channel 01/0 : 44[7000] -> 45[46000] via P2P/IPC/read -gpua057:497541:497584 [0] NCCL INFO Connected all rings -gpua030:977736:977736 [0] NCCL INFO cudaDriverVersion 12020 -gpua030:977736:977736 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> -gpua030:977736:977736 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua030:977736:977790 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> -gpua030:977736:977790 [0] NCCL INFO Using network IB -gpua030:977736:977790 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua030:977736:977790 [0] NCCL INFO Trees [0] 25/28/-1->24->16 [1] 25/-1/-1->24->21 -gpua030:977736:977790 [0] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 -gpua030:977736:977790 [0] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 -gpua030:977736:977790 [0] NCCL INFO Channel 00/0 : 24[7000] -> 25[46000] via P2P/IPC/read -gpua030:977736:977790 [0] NCCL INFO Channel 01/0 : 24[7000] -> 25[46000] via P2P/IPC/read -gpua030:977736:977790 [0] NCCL INFO Connected all rings -gpua057:497541:497584 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [receive] via NET/IB/0 -gpua057:497541:497584 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [receive] via NET/IB/0 -gpua057:497541:497584 [0] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [receive] via NET/IB/0 -gpua057:497541:497584 [0] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [send] via NET/IB/0 -gpua057:497541:497584 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [send] via NET/IB/0 -gpua057:497541:497584 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [send] via NET/IB/0 -gpua057:497541:497584 [0] NCCL INFO Connected all trees -gpua057:497541:497584 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua057:497541:497584 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua057:497541:497584 [0] NCCL INFO comm 0xed906c20 rank 44 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua030:977736:977790 [0] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [receive] via NET/IB/0 -gpua030:977736:977790 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [send] via NET/IB/0 -gpua030:977736:977790 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [receive] via NET/IB/0 -gpua030:977736:977790 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [send] via NET/IB/0 -gpua030:977736:977790 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [receive] via NET/IB/0 -gpua030:977736:977790 [0] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [send] via NET/IB/0 -gpua030:977736:977790 [0] NCCL INFO Connected all trees -gpua030:977736:977790 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua030:977736:977790 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua030:977736:977790 [0] NCCL INFO comm 0xc1745d0 rank 24 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua031:762751:762751 [1] NCCL INFO cudaDriverVersion 12020 -gpua031:762751:762751 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> -gpua031:762751:762751 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua031:762751:762794 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> -gpua031:762751:762794 [1] NCCL INFO Using network IB -gpua031:762751:762794 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua031:762751:762794 [1] NCCL INFO Trees [0] 30/-1/-1->29->28 [1] 30/44/-1->29->28 -gpua031:762751:762794 [1] NCCL INFO Channel 00/0 : 29[46000] -> 30[85000] via P2P/IPC/read -gpua031:762751:762794 [1] NCCL INFO Channel 01/0 : 29[46000] -> 30[85000] via P2P/IPC/read -gpua031:762751:762794 [1] NCCL INFO Connected all rings -gpua031:762751:762794 [1] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [send] via NET/IB/0 -gpua031:762751:762794 [1] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [receive] via NET/IB/0 -gpua031:762751:762794 [1] NCCL INFO Channel 00/0 : 29[46000] -> 28[7000] via P2P/IPC/read -gpua031:762751:762794 [1] NCCL INFO Channel 01/0 : 29[46000] -> 28[7000] via P2P/IPC/read -gpua031:762751:762794 [1] NCCL INFO Connected all trees -gpua031:762751:762794 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua031:762751:762794 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua031:762751:762794 [1] NCCL INFO comm 0xbd364b0 rank 29 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua030:977739:977739 [3] NCCL INFO cudaDriverVersion 12020 -gpua030:977739:977739 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> -gpua030:977739:977739 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua030:977739:977791 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> -gpua030:977739:977791 [3] NCCL INFO Using network IB -gpua030:977739:977791 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua030:977739:977791 [3] NCCL INFO Trees [0] -1/-1/-1->27->26 [1] -1/-1/-1->27->26 -gpua030:977739:977791 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 -gpua030:977739:977791 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 -gpua030:977739:977791 [3] NCCL INFO Connected all rings -gpua030:977739:977791 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 26[85000] via P2P/IPC/read -gpua030:977739:977791 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 26[85000] via P2P/IPC/read -gpua030:977739:977791 [3] NCCL INFO Connected all trees -gpua030:977739:977791 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua030:977739:977791 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua030:977739:977791 [3] NCCL INFO comm 0xe5134e20 rank 27 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua057:497544:497544 [3] NCCL INFO cudaDriverVersion 12020 -gpua057:497544:497544 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> -gpua057:497544:497544 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua057:497544:497582 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> -gpua057:497544:497582 [3] NCCL INFO Using network IB -gpua057:497544:497582 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua057:497544:497582 [3] NCCL INFO Trees [0] -1/-1/-1->47->46 [1] -1/-1/-1->47->46 -gpua057:497544:497582 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 -gpua057:497544:497582 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 -gpua057:497544:497582 [3] NCCL INFO Connected all rings -gpua057:497544:497582 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 46[85000] via P2P/IPC/read -gpua057:497544:497582 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 46[85000] via P2P/IPC/read -gpua057:497544:497582 [3] NCCL INFO Connected all trees -gpua057:497544:497582 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua057:497544:497582 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua057:497544:497582 [3] NCCL INFO comm 0xa59cde0 rank 47 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua054:408241:408241 [2] NCCL INFO cudaDriverVersion 12020 -gpua054:408241:408241 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> -gpua054:408241:408241 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua054:408241:408284 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> -gpua054:408241:408284 [2] NCCL INFO Using network IB -gpua054:408241:408284 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua054:408241:408284 [2] NCCL INFO Trees [0] 35/-1/-1->34->33 [1] 35/-1/-1->34->33 -gpua054:408241:408284 [2] NCCL INFO Channel 00/0 : 34[85000] -> 35[c7000] via P2P/IPC/read -gpua054:408241:408284 [2] NCCL INFO Channel 01/0 : 34[85000] -> 35[c7000] via P2P/IPC/read -gpua054:408241:408284 [2] NCCL INFO Connected all rings -gpua054:408241:408284 [2] NCCL INFO Channel 00/0 : 34[85000] -> 33[46000] via P2P/IPC/read -gpua054:408241:408284 [2] NCCL INFO Channel 01/0 : 34[85000] -> 33[46000] via P2P/IPC/read -gpua054:408241:408284 [2] NCCL INFO Connected all trees -gpua054:408241:408284 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua054:408241:408284 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua054:408241:408284 [2] NCCL INFO comm 0xde9fd20 rank 34 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua082:601001:601001 [1] NCCL INFO cudaDriverVersion 12020 -gpua082:601001:601001 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> -gpua082:601001:601001 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua082:601001:601047 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> -gpua082:601001:601047 [1] NCCL INFO Using network IB -gpua082:601001:601047 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua082:601001:601047 [1] NCCL INFO Trees [0] 50/40/-1->49->48 [1] 50/-1/-1->49->48 -gpua082:601001:601047 [1] NCCL INFO Channel 00/0 : 49[46000] -> 50[85000] via P2P/IPC/read -gpua082:601001:601047 [1] NCCL INFO Channel 01/0 : 49[46000] -> 50[85000] via P2P/IPC/read -gpua082:601001:601047 [1] NCCL INFO Connected all rings -gpua082:601001:601047 [1] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [receive] via NET/IB/0 -gpua082:601001:601047 [1] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [send] via NET/IB/0 -gpua054:408239:408239 [0] NCCL INFO cudaDriverVersion 12020 -gpua054:408239:408239 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> -gpua054:408239:408239 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua054:408239:408285 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> -gpua054:408239:408285 [0] NCCL INFO Using network IB -gpua054:408239:408285 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua054:408239:408285 [0] NCCL INFO Trees [0] 33/48/-1->32->0 [1] 33/-1/-1->32->36 -gpua054:408239:408285 [0] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 -gpua054:408239:408285 [0] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 -gpua054:408239:408285 [0] NCCL INFO Channel 00/0 : 32[7000] -> 33[46000] via P2P/IPC/read -gpua054:408239:408285 [0] NCCL INFO Channel 01/0 : 32[7000] -> 33[46000] via P2P/IPC/read -gpua054:408239:408285 [0] NCCL INFO Connected all rings -gpua082:601001:601047 [1] NCCL INFO Channel 00/0 : 49[46000] -> 48[7000] via P2P/IPC/read -gpua082:601001:601047 [1] NCCL INFO Channel 01/0 : 49[46000] -> 48[7000] via P2P/IPC/read -gpua082:601001:601047 [1] NCCL INFO Connected all trees -gpua082:601001:601047 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua082:601001:601047 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua082:601001:601047 [1] NCCL INFO comm 0x1313f460 rank 49 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua054:408239:408285 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [send] via NET/IB/0 -gpua054:408239:408285 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [send] via NET/IB/0 -gpua054:408239:408285 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [receive] via NET/IB/0 -gpua054:408239:408285 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [send] via NET/IB/0 -gpua054:408239:408285 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [receive] via NET/IB/0 -gpua054:408239:408285 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [receive] via NET/IB/0 -gpua054:408239:408285 [0] NCCL INFO Connected all trees -gpua054:408239:408285 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua054:408239:408285 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua054:408239:408285 [0] NCCL INFO comm 0xe2bb40d0 rank 32 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua082:601003:601003 [3] NCCL INFO cudaDriverVersion 12020 -gpua082:601003:601003 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> -gpua082:601003:601003 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua082:601003:601049 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> -gpua082:601003:601049 [3] NCCL INFO Using network IB -gpua082:601003:601049 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua082:601003:601049 [3] NCCL INFO Trees [0] -1/-1/-1->51->50 [1] -1/-1/-1->51->50 -gpua082:601003:601049 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 -gpua082:601003:601049 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 -gpua082:601003:601049 [3] NCCL INFO Connected all rings -gpua082:601003:601049 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 50[85000] via P2P/IPC/read -gpua082:601003:601049 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 50[85000] via P2P/IPC/read -gpua082:601003:601049 [3] NCCL INFO Connected all trees -gpua082:601003:601049 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua082:601003:601049 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua082:601003:601049 [3] NCCL INFO comm 0x1bf0a000 rank 51 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua086:757538:757538 [0] NCCL INFO cudaDriverVersion 12020 -gpua086:757538:757538 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> -gpua086:757538:757538 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua086:757538:757583 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> -gpua086:757538:757583 [0] NCCL INFO Using network IB -gpua086:757538:757583 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua086:757538:757583 [0] NCCL INFO Trees [0] 61/-1/-1->60->56 [1] 61/28/-1->60->-1 -gpua086:757538:757583 [0] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 -gpua086:757538:757583 [0] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 -gpua086:757538:757583 [0] NCCL INFO Channel 00/0 : 60[7000] -> 61[46000] via P2P/IPC/read -gpua086:757538:757583 [0] NCCL INFO Channel 01/0 : 60[7000] -> 61[46000] via P2P/IPC/read -gpua086:757538:757583 [0] NCCL INFO Connected all rings -gpua086:757538:757583 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [receive] via NET/IB/0 -gpua086:757538:757583 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [receive] via NET/IB/0 -gpua086:757538:757583 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [send] via NET/IB/0 -gpua086:757538:757583 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [send] via NET/IB/0 -gpua086:757538:757583 [0] NCCL INFO Connected all trees -gpua086:757538:757583 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua086:757538:757583 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua086:757538:757583 [0] NCCL INFO comm 0xaf49910 rank 60 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua056:1152032:1152032 [0] NCCL INFO cudaDriverVersion 12020 -gpua056:1152032:1152032 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> -gpua056:1152032:1152032 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua056:1152032:1152078 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> -gpua056:1152032:1152078 [0] NCCL INFO Using network IB -gpua056:1152032:1152078 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua056:1152032:1152078 [0] NCCL INFO Trees [0] 41/44/-1->40->49 [1] 41/-1/-1->40->37 -gpua056:1152032:1152078 [0] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 -gpua056:1152032:1152078 [0] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 -gpua056:1152032:1152078 [0] NCCL INFO Channel 00/0 : 40[7000] -> 41[46000] via P2P/IPC/read -gpua056:1152032:1152078 [0] NCCL INFO Channel 01/0 : 40[7000] -> 41[46000] via P2P/IPC/read -gpua056:1152032:1152078 [0] NCCL INFO Connected all rings -gpua086:757540:757540 [2] NCCL INFO cudaDriverVersion 12020 -gpua086:757540:757540 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> -gpua086:757540:757540 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua086:757540:757586 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> -gpua086:757540:757586 [2] NCCL INFO Using network IB -gpua086:757540:757586 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua086:757540:757586 [2] NCCL INFO Trees [0] 63/-1/-1->62->61 [1] 63/-1/-1->62->61 -gpua086:757540:757586 [2] NCCL INFO Channel 00/0 : 62[85000] -> 63[c7000] via P2P/IPC/read -gpua086:757540:757586 [2] NCCL INFO Channel 01/0 : 62[85000] -> 63[c7000] via P2P/IPC/read -gpua086:757540:757586 [2] NCCL INFO Connected all rings -gpua086:757540:757586 [2] NCCL INFO Channel 00/0 : 62[85000] -> 61[46000] via P2P/IPC/read -gpua086:757540:757586 [2] NCCL INFO Channel 01/0 : 62[85000] -> 61[46000] via P2P/IPC/read -gpua007:384564:384564 [0] NCCL INFO cudaDriverVersion 12020 -gpua007:384564:384564 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> -gpua007:384564:384564 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua007:384564:384613 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> -gpua007:384564:384613 [0] NCCL INFO Using network IB -gpua007:384564:384613 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua007:384564:384613 [0] NCCL INFO Trees [0] 13/-1/-1->12->8 [1] 13/4/-1->12->28 -gpua007:384564:384613 [0] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 -gpua007:384564:384613 [0] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 -gpua007:384564:384613 [0] NCCL INFO Channel 00/0 : 12[7000] -> 13[46000] via P2P/IPC/read -gpua007:384564:384613 [0] NCCL INFO Channel 01/0 : 12[7000] -> 13[46000] via P2P/IPC/read -gpua007:384564:384613 [0] NCCL INFO Connected all rings -gpua056:1152032:1152078 [0] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [receive] via NET/IB/0 -gpua056:1152032:1152078 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [send] via NET/IB/0 -gpua056:1152032:1152078 [0] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [send] via NET/IB/0 -gpua056:1152032:1152078 [0] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [receive] via NET/IB/0 -gpua056:1152032:1152078 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [receive] via NET/IB/0 -gpua056:1152032:1152078 [0] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [send] via NET/IB/0 -gpua056:1152032:1152078 [0] NCCL INFO Connected all trees -gpua056:1152032:1152078 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua056:1152032:1152078 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua056:1152032:1152078 [0] NCCL INFO comm 0x9d52c690 rank 40 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua086:757540:757586 [2] NCCL INFO Connected all trees -gpua086:757540:757586 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua086:757540:757586 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua086:757540:757586 [2] NCCL INFO comm 0x944e32b0 rank 62 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua007:384564:384613 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [receive] via NET/IB/0 -gpua007:384564:384613 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [receive] via NET/IB/0 -gpua007:384564:384613 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [send] via NET/IB/0 -gpua007:384564:384613 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [receive] via NET/IB/0 -gpua007:384564:384613 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [send] via NET/IB/0 -gpua007:384564:384613 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [send] via NET/IB/0 -gpua007:384564:384613 [0] NCCL INFO Connected all trees -gpua007:384564:384613 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua007:384564:384613 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua007:384564:384613 [0] NCCL INFO comm 0xaeb49f0 rank 12 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua056:1152033:1152033 [1] NCCL INFO cudaDriverVersion 12020 -gpua056:1152033:1152033 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> -gpua056:1152033:1152033 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua056:1152033:1152077 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> -gpua056:1152033:1152077 [1] NCCL INFO Using network IB -gpua056:1152033:1152077 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua056:1152033:1152077 [1] NCCL INFO Trees [0] 42/36/-1->41->40 [1] 42/-1/-1->41->40 -gpua056:1152033:1152077 [1] NCCL INFO Channel 00/0 : 41[46000] -> 42[85000] via P2P/IPC/read -gpua056:1152033:1152077 [1] NCCL INFO Channel 01/0 : 41[46000] -> 42[85000] via P2P/IPC/read -gpua056:1152033:1152077 [1] NCCL INFO Connected all rings -gpua056:1152033:1152077 [1] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [receive] via NET/IB/0 -gpua056:1152033:1152077 [1] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [send] via NET/IB/0 -gpua056:1152033:1152077 [1] NCCL INFO Channel 00/0 : 41[46000] -> 40[7000] via P2P/IPC/read -gpua056:1152033:1152077 [1] NCCL INFO Channel 01/0 : 41[46000] -> 40[7000] via P2P/IPC/read -gpua056:1152033:1152077 [1] NCCL INFO Connected all trees -gpua056:1152033:1152077 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua056:1152033:1152077 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua056:1152033:1152077 [1] NCCL INFO comm 0xf2800a0 rank 41 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua006:2780425:2780425 [1] NCCL INFO cudaDriverVersion 12020 -gpua006:2780425:2780425 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> -gpua006:2780425:2780425 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua006:2780425:2780471 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> -gpua006:2780425:2780471 [1] NCCL INFO Using network IB -gpua006:2780425:2780471 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua006:2780425:2780471 [1] NCCL INFO Trees [0] 10/4/-1->9->8 [1] 10/-1/-1->9->8 -gpua006:2780425:2780471 [1] NCCL INFO Channel 00/0 : 9[46000] -> 10[85000] via P2P/IPC/read -gpua006:2780425:2780471 [1] NCCL INFO Channel 01/0 : 9[46000] -> 10[85000] via P2P/IPC/read -gpua006:2780425:2780471 [1] NCCL INFO Connected all rings -gpua006:2780425:2780471 [1] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [receive] via NET/IB/0 -gpua006:2780425:2780471 [1] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [send] via NET/IB/0 -gpua006:2780425:2780471 [1] NCCL INFO Channel 00/0 : 9[46000] -> 8[7000] via P2P/IPC/read -gpua006:2780425:2780471 [1] NCCL INFO Channel 01/0 : 9[46000] -> 8[7000] via P2P/IPC/read -gpua006:2780425:2780471 [1] NCCL INFO Connected all trees -gpua006:2780425:2780471 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua006:2780425:2780471 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua006:2780425:2780471 [1] NCCL INFO comm 0xca2ea10 rank 9 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua006:2780426:2780426 [2] NCCL INFO cudaDriverVersion 12020 -gpua006:2780426:2780426 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> -gpua006:2780426:2780426 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua006:2780426:2780473 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> -gpua006:2780426:2780473 [2] NCCL INFO Using network IB -gpua006:2780426:2780473 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua006:2780426:2780473 [2] NCCL INFO Trees [0] 11/-1/-1->10->9 [1] 11/-1/-1->10->9 -gpua006:2780426:2780473 [2] NCCL INFO Channel 00/0 : 10[85000] -> 11[c7000] via P2P/IPC/read -gpua006:2780426:2780473 [2] NCCL INFO Channel 01/0 : 10[85000] -> 11[c7000] via P2P/IPC/read -gpua006:2780426:2780473 [2] NCCL INFO Connected all rings -gpua006:2780426:2780473 [2] NCCL INFO Channel 00/0 : 10[85000] -> 9[46000] via P2P/IPC/read -gpua006:2780426:2780473 [2] NCCL INFO Channel 01/0 : 10[85000] -> 9[46000] via P2P/IPC/read -gpua006:2780426:2780473 [2] NCCL INFO Connected all trees -gpua006:2780426:2780473 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua006:2780426:2780473 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua006:2780426:2780473 [2] NCCL INFO comm 0xe5bf7d0 rank 10 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua055:595806:595806 [3] NCCL INFO cudaDriverVersion 12020 -gpua055:595806:595806 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> -gpua055:595806:595806 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua055:595806:595843 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> -gpua055:595806:595843 [3] NCCL INFO Using network IB -gpua055:595806:595843 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua055:595806:595843 [3] NCCL INFO Trees [0] -1/-1/-1->39->38 [1] -1/-1/-1->39->38 -gpua055:595806:595843 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 -gpua055:595806:595843 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 -gpua055:595806:595843 [3] NCCL INFO Connected all rings -gpua055:595806:595843 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 38[85000] via P2P/IPC/read -gpua055:595806:595843 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 38[85000] via P2P/IPC/read -gpua055:595806:595843 [3] NCCL INFO Connected all trees -gpua055:595806:595843 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua055:595806:595843 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua055:595806:595843 [3] NCCL INFO comm 0x33945650 rank 39 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua002:872567:872567 [3] NCCL INFO cudaDriverVersion 12020 -gpua002:872567:872567 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.2<0> -gpua002:872567:872567 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua002:872567:872611 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.2<0> -gpua002:872567:872611 [3] NCCL INFO Using network IB -gpua002:872567:872611 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua002:872567:872611 [3] NCCL INFO Trees [0] -1/-1/-1->3->2 [1] -1/-1/-1->3->2 -gpua002:872567:872611 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 -gpua002:872567:872611 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 -gpua002:872567:872611 [3] NCCL INFO Connected all rings -gpua002:872567:872611 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 2[85000] via P2P/IPC/read -gpua002:872567:872611 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 2[85000] via P2P/IPC/read -gpua002:872567:872611 [3] NCCL INFO Connected all trees -gpua002:872567:872611 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua002:872567:872611 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua002:872567:872611 [3] NCCL INFO comm 0xd1964a0 rank 3 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -[gpua002:0/64] 2023-12-07 08:55:59,864 (distributed:1027) INFO: Reducer buckets have been rebuilt in this iteration. -[gpua002:0/64] 2023-12-07 09:00:23,940 (trainer:737) INFO: 16epoch:train:1-100batch: iter_time=3.456, forward_time=0.237, loss_ctc=64.351, loss_att=51.178, acc=0.706, loss=55.130, backward_time=0.551, grad_norm=48.839, clip=100.000, loss_scale=1.298e+33, optim_step_time=0.134, optim0_lr0=1.033e-04, train_time=8.126 -[gpua002:0/64] 2023-12-07 09:02:28,334 (trainer:737) INFO: 16epoch:train:101-200batch: iter_time=8.929e-05, forward_time=0.143, loss_ctc=85.846, loss_att=69.875, acc=0.652, loss=74.666, backward_time=0.281, grad_norm=71.916, clip=100.000, loss_scale=1.298e+33, optim_step_time=0.133, optim0_lr0=1.032e-04, train_time=1.244 -[gpua002:0/64] 2023-12-07 09:05:10,269 (trainer:737) INFO: 16epoch:train:201-300batch: iter_time=9.443e-05, forward_time=0.144, loss_ctc=85.635, loss_att=67.128, acc=0.679, loss=72.680, backward_time=0.304, grad_norm=59.313, clip=100.000, loss_scale=1.298e+33, optim_step_time=0.133, optim0_lr0=1.032e-04, train_time=1.619 -[gpua002:0/64] 2023-12-07 09:08:18,118 (trainer:737) INFO: 16epoch:train:301-400batch: iter_time=9.340e-05, forward_time=0.149, loss_ctc=79.974, loss_att=67.198, acc=0.677, loss=71.031, backward_time=0.327, grad_norm=59.980, clip=100.000, loss_scale=1.298e+33, optim_step_time=0.133, optim0_lr0=1.032e-04, train_time=1.878 -[gpua002:0/64] 2023-12-07 09:09:15,586 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-07 09:11:17,368 (trainer:737) INFO: 16epoch:train:401-500batch: iter_time=9.031e-05, forward_time=0.266, loss_ctc=77.158, loss_att=67.042, acc=0.690, loss=70.077, backward_time=0.359, grad_norm=47.559, clip=100.000, loss_scale=8.260e+32, optim_step_time=0.137, optim0_lr0=1.032e-04, train_time=1.792 -[gpua002:0/64] 2023-12-07 09:13:37,303 (trainer:737) INFO: 16epoch:train:501-600batch: iter_time=8.527e-05, forward_time=0.144, loss_ctc=74.737, loss_att=63.055, acc=0.697, loss=66.560, backward_time=0.301, grad_norm=47.884, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.133, optim0_lr0=1.032e-04, train_time=1.399 -[gpua002:0/64] 2023-12-07 09:16:14,717 (trainer:737) INFO: 16epoch:train:601-700batch: iter_time=8.693e-05, forward_time=0.144, loss_ctc=76.454, loss_att=63.812, acc=0.681, loss=67.605, backward_time=0.299, grad_norm=57.100, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.133, optim0_lr0=1.031e-04, train_time=1.574 -[gpua002:0/64] 2023-12-07 09:19:07,316 (trainer:737) INFO: 16epoch:train:701-800batch: iter_time=9.081e-05, forward_time=0.143, loss_ctc=77.701, loss_att=61.699, acc=0.687, loss=66.500, backward_time=0.315, grad_norm=53.309, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.133, optim0_lr0=1.031e-04, train_time=1.726 -[gpua002:0/64] 2023-12-07 09:22:14,412 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-07 09:22:56,408 (trainer:737) INFO: 16epoch:train:801-900batch: iter_time=8.731e-05, forward_time=0.144, loss_ctc=74.953, loss_att=62.354, acc=0.688, loss=66.134, backward_time=0.367, grad_norm=54.622, clip=100.000, loss_scale=5.376e+32, optim_step_time=0.133, optim0_lr0=1.031e-04, train_time=2.291 -[gpua002:0/64] 2023-12-07 09:25:26,108 (trainer:737) INFO: 16epoch:train:901-1000batch: iter_time=8.390e-05, forward_time=0.146, loss_ctc=73.727, loss_att=63.926, acc=0.671, loss=66.866, backward_time=0.290, grad_norm=53.013, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.031e-04, train_time=1.497 -[gpua002:0/64] 2023-12-07 09:28:56,160 (trainer:737) INFO: 16epoch:train:1001-1100batch: iter_time=8.718e-05, forward_time=0.243, loss_ctc=67.555, loss_att=44.115, acc=0.716, loss=51.147, backward_time=0.363, grad_norm=51.799, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.030e-04, train_time=2.100 -[gpua002:0/64] 2023-12-07 09:32:15,599 (trainer:737) INFO: 16epoch:train:1101-1200batch: iter_time=8.139e-05, forward_time=0.247, loss_ctc=75.032, loss_att=59.551, acc=0.692, loss=64.195, backward_time=0.388, grad_norm=51.853, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.158, optim0_lr0=1.030e-04, train_time=1.994 -[gpua002:0/64] 2023-12-07 09:34:09,368 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua002:0/64] 2023-12-07 09:34:29,165 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 09:34:32,793 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 09:34:32,793 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua002:0/64] 2023-12-07 09:34:33,056 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 09:47:54,901 (trainer:737) INFO: 16epoch:train:1201-1300batch: iter_time=5.403, forward_time=0.236, loss_ctc=70.616, loss_att=58.579, acc=0.694, loss=62.190, backward_time=0.319, grad_norm=50.216, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.030e-04, train_time=9.393 -[gpua002:0/64] 2023-12-07 09:50:52,823 (trainer:737) INFO: 16epoch:train:1301-1400batch: iter_time=8.777e-05, forward_time=0.147, loss_ctc=75.388, loss_att=60.539, acc=0.684, loss=64.994, backward_time=0.397, grad_norm=64.957, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.030e-04, train_time=1.779 -[gpua002:0/64] 2023-12-07 09:54:17,239 (trainer:737) INFO: 16epoch:train:1401-1500batch: iter_time=8.391e-05, forward_time=0.149, loss_ctc=69.097, loss_att=58.742, acc=0.688, loss=61.848, backward_time=0.385, grad_norm=50.739, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.030e-04, train_time=2.044 -[gpua002:0/64] 2023-12-07 09:58:06,961 (trainer:737) INFO: 16epoch:train:1501-1600batch: iter_time=8.715e-05, forward_time=0.240, loss_ctc=92.122, loss_att=74.445, acc=0.674, loss=79.748, backward_time=0.377, grad_norm=74.977, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.143, optim0_lr0=1.029e-04, train_time=2.297 -[gpua002:0/64] 2023-12-07 10:01:32,167 (trainer:737) INFO: 16epoch:train:1601-1700batch: iter_time=8.611e-05, forward_time=0.147, loss_ctc=79.922, loss_att=68.344, acc=0.694, loss=71.817, backward_time=0.379, grad_norm=47.223, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.029e-04, train_time=2.052 -[gpua002:0/64] 2023-12-07 10:04:46,258 (trainer:737) INFO: 16epoch:train:1701-1800batch: iter_time=8.742e-05, forward_time=0.147, loss_ctc=70.966, loss_att=58.324, acc=0.713, loss=62.117, backward_time=0.317, grad_norm=44.753, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.029e-04, train_time=1.941 -[gpua002:0/64] 2023-12-07 10:08:09,063 (trainer:737) INFO: 16epoch:train:1801-1900batch: iter_time=8.860e-05, forward_time=0.147, loss_ctc=73.846, loss_att=65.865, acc=0.696, loss=68.259, backward_time=0.336, grad_norm=49.161, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.029e-04, train_time=2.028 -[gpua002:0/64] 2023-12-07 10:12:14,278 (trainer:737) INFO: 16epoch:train:1901-2000batch: iter_time=8.507e-05, forward_time=0.249, loss_ctc=76.169, loss_att=67.921, acc=0.691, loss=70.396, backward_time=0.419, grad_norm=52.170, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=1.028e-04, train_time=2.451 -[gpua002:0/64] 2023-12-07 10:15:34,249 (trainer:737) INFO: 16epoch:train:2001-2100batch: iter_time=8.750e-05, forward_time=0.147, loss_ctc=78.638, loss_att=62.486, acc=0.696, loss=67.332, backward_time=0.343, grad_norm=48.503, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.028e-04, train_time=2.000 -[gpua002:0/64] 2023-12-07 10:19:22,836 (trainer:737) INFO: 16epoch:train:2101-2200batch: iter_time=8.743e-05, forward_time=0.147, loss_ctc=65.936, loss_att=61.930, acc=0.680, loss=63.132, backward_time=0.406, grad_norm=45.687, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.028e-04, train_time=2.286 -[gpua002:0/64] 2023-12-07 10:22:39,190 (trainer:737) INFO: 16epoch:train:2201-2300batch: iter_time=8.907e-05, forward_time=0.148, loss_ctc=72.978, loss_att=55.436, acc=0.704, loss=60.699, backward_time=0.358, grad_norm=51.584, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.028e-04, train_time=1.963 -[gpua002:0/64] 2023-12-07 10:26:34,133 (trainer:737) INFO: 16epoch:train:2301-2400batch: iter_time=9.635e-05, forward_time=0.166, loss_ctc=73.519, loss_att=53.595, acc=0.706, loss=59.572, backward_time=0.381, grad_norm=51.498, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.027e-04, train_time=2.349 -[gpua002:0/64] 2023-12-07 10:30:12,884 (trainer:737) INFO: 16epoch:train:2401-2500batch: iter_time=8.575e-05, forward_time=0.149, loss_ctc=71.324, loss_att=58.050, acc=0.700, loss=62.032, backward_time=0.331, grad_norm=50.011, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.027e-04, train_time=2.188 -[gpua002:0/64] 2023-12-07 10:30:33,032 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua002:0/64] 2023-12-07 10:30:52,234 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 10:30:55,892 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 10:30:55,892 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua002:0/64] 2023-12-07 10:30:55,895 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 10:41:14,859 (trainer:737) INFO: 16epoch:train:2501-2600batch: iter_time=2.728, forward_time=0.147, loss_ctc=62.702, loss_att=50.562, acc=0.719, loss=54.204, backward_time=0.458, grad_norm=44.214, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.027e-04, train_time=6.620 -[gpua002:0/64] 2023-12-07 10:44:38,389 (trainer:737) INFO: 16epoch:train:2601-2700batch: iter_time=9.072e-05, forward_time=0.146, loss_ctc=82.014, loss_att=67.902, acc=0.659, loss=72.135, backward_time=0.393, grad_norm=65.485, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.027e-04, train_time=2.035 -[gpua002:0/64] 2023-12-07 10:52:58,536 (trainer:737) INFO: 16epoch:train:2701-2800batch: iter_time=9.364e-05, forward_time=0.147, loss_ctc=83.064, loss_att=66.650, acc=0.683, loss=71.574, backward_time=0.698, grad_norm=63.306, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.027e-04, train_time=5.001 -[gpua002:0/64] 2023-12-07 10:56:51,930 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-07 10:57:28,298 (trainer:737) INFO: 16epoch:train:2801-2900batch: iter_time=8.864e-05, forward_time=0.149, loss_ctc=77.121, loss_att=65.541, acc=0.684, loss=69.015, backward_time=0.460, grad_norm=57.138, clip=100.000, loss_scale=3.835e+32, optim_step_time=0.133, optim0_lr0=1.026e-04, train_time=2.697 -[gpua002:0/64] 2023-12-07 11:02:02,653 (trainer:737) INFO: 16epoch:train:2901-3000batch: iter_time=8.967e-05, forward_time=0.147, loss_ctc=75.915, loss_att=65.467, acc=0.694, loss=68.601, backward_time=0.479, grad_norm=49.677, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.026e-04, train_time=2.743 -[gpua002:0/64] 2023-12-07 11:07:07,649 (trainer:737) INFO: 16epoch:train:3001-3100batch: iter_time=9.026e-05, forward_time=0.211, loss_ctc=73.858, loss_att=62.047, acc=0.702, loss=65.590, backward_time=0.453, grad_norm=49.387, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.026e-04, train_time=3.050 -[gpua002:0/64] 2023-12-07 11:11:51,419 (trainer:737) INFO: 16epoch:train:3101-3200batch: iter_time=9.253e-05, forward_time=0.147, loss_ctc=72.130, loss_att=61.852, acc=0.688, loss=64.935, backward_time=0.467, grad_norm=50.336, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.026e-04, train_time=2.837 -[gpua002:0/64] 2023-12-07 11:15:01,222 (trainer:737) INFO: 16epoch:train:3201-3300batch: iter_time=8.984e-05, forward_time=0.146, loss_ctc=76.936, loss_att=61.014, acc=0.692, loss=65.791, backward_time=0.339, grad_norm=45.288, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.025e-04, train_time=1.898 -[gpua002:0/64] 2023-12-07 11:18:01,986 (trainer:737) INFO: 16epoch:train:3301-3400batch: iter_time=9.302e-05, forward_time=0.146, loss_ctc=74.185, loss_att=61.078, acc=0.695, loss=65.010, backward_time=0.327, grad_norm=47.759, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.025e-04, train_time=1.808 -[gpua002:0/64] 2023-12-07 11:21:01,821 (trainer:737) INFO: 16epoch:train:3401-3500batch: iter_time=8.794e-05, forward_time=0.149, loss_ctc=72.646, loss_att=63.910, acc=0.673, loss=66.531, backward_time=0.332, grad_norm=47.024, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.025e-04, train_time=1.798 -[gpua002:0/64] 2023-12-07 11:24:11,488 (trainer:737) INFO: 16epoch:train:3501-3600batch: iter_time=9.078e-05, forward_time=0.147, loss_ctc=65.863, loss_att=42.790, acc=0.722, loss=49.712, backward_time=0.333, grad_norm=45.904, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.025e-04, train_time=1.896 -[gpua002:0/64] 2023-12-07 11:27:32,073 (trainer:737) INFO: 16epoch:train:3601-3700batch: iter_time=9.048e-05, forward_time=0.147, loss_ctc=73.757, loss_att=58.412, acc=0.698, loss=63.016, backward_time=0.384, grad_norm=49.517, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.025e-04, train_time=2.006 -[gpua002:0/64] 2023-12-07 11:29:26,968 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua002:0/64] 2023-12-07 11:29:46,048 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 11:29:49,762 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 11:29:49,762 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua002:0/64] 2023-12-07 11:29:49,793 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 11:38:13,738 (trainer:737) INFO: 16epoch:train:3701-3800batch: iter_time=2.984, forward_time=0.147, loss_ctc=69.090, loss_att=57.274, acc=0.702, loss=60.819, backward_time=0.327, grad_norm=46.104, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.024e-04, train_time=6.416 -[gpua002:0/64] 2023-12-07 11:39:14,036 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-07 11:40:33,674 (trainer:737) INFO: 16epoch:train:3801-3900batch: iter_time=8.351e-05, forward_time=0.312, loss_ctc=74.438, loss_att=59.274, acc=0.690, loss=63.823, backward_time=0.303, grad_norm=59.467, clip=100.000, loss_scale=2.426e+32, optim_step_time=0.136, optim0_lr0=1.024e-04, train_time=1.399 -[gpua002:0/64] 2023-12-07 11:43:33,046 (trainer:737) INFO: 16epoch:train:3901-4000batch: iter_time=8.151e-05, forward_time=0.151, loss_ctc=67.551, loss_att=57.280, acc=0.694, loss=60.361, backward_time=0.308, grad_norm=45.610, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.132, optim0_lr0=1.024e-04, train_time=1.794 -[gpua002:0/64] 2023-12-07 11:46:13,523 (trainer:737) INFO: 16epoch:train:4001-4100batch: iter_time=8.643e-05, forward_time=0.148, loss_ctc=89.435, loss_att=72.198, acc=0.682, loss=77.369, backward_time=0.339, grad_norm=68.482, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.024e-04, train_time=1.605 -[gpua002:0/64] 2023-12-07 11:49:04,075 (trainer:737) INFO: 16epoch:train:4101-4200batch: iter_time=8.529e-05, forward_time=0.147, loss_ctc=78.572, loss_att=67.509, acc=0.701, loss=70.828, backward_time=0.303, grad_norm=46.611, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.023e-04, train_time=1.705 -[gpua002:0/64] 2023-12-07 11:51:36,370 (trainer:737) INFO: 16epoch:train:4201-4300batch: iter_time=8.417e-05, forward_time=0.148, loss_ctc=69.672, loss_att=57.532, acc=0.717, loss=61.174, backward_time=0.338, grad_norm=44.128, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.023e-04, train_time=1.523 -[gpua002:0/64] 2023-12-07 11:53:45,107 (trainer:737) INFO: 16epoch:train:4301-4400batch: iter_time=8.442e-05, forward_time=0.148, loss_ctc=72.196, loss_att=63.646, acc=0.701, loss=66.211, backward_time=0.278, grad_norm=46.259, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.132, optim0_lr0=1.023e-04, train_time=1.287 -[gpua002:0/64] 2023-12-07 11:56:45,251 (trainer:737) INFO: 16epoch:train:4401-4500batch: iter_time=8.680e-05, forward_time=0.148, loss_ctc=74.673, loss_att=67.079, acc=0.695, loss=69.357, backward_time=0.356, grad_norm=50.867, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.023e-04, train_time=1.802 -[gpua002:0/64] 2023-12-07 11:59:37,398 (trainer:737) INFO: 16epoch:train:4501-4600batch: iter_time=8.784e-05, forward_time=0.147, loss_ctc=77.228, loss_att=61.593, acc=0.701, loss=66.284, backward_time=0.347, grad_norm=49.018, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.023e-04, train_time=1.721 -[gpua002:0/64] 2023-12-07 12:02:03,756 (trainer:737) INFO: 16epoch:train:4601-4700batch: iter_time=8.865e-05, forward_time=0.148, loss_ctc=65.968, loss_att=61.468, acc=0.684, loss=62.818, backward_time=0.298, grad_norm=45.514, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.022e-04, train_time=1.463 -[gpua002:0/64] 2023-12-07 12:04:40,366 (trainer:737) INFO: 16epoch:train:4701-4800batch: iter_time=8.611e-05, forward_time=0.149, loss_ctc=72.232, loss_att=54.642, acc=0.709, loss=59.919, backward_time=0.330, grad_norm=48.751, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.022e-04, train_time=1.566 -[gpua002:0/64] 2023-12-07 12:06:54,682 (trainer:737) INFO: 16epoch:train:4801-4900batch: iter_time=8.623e-05, forward_time=0.148, loss_ctc=72.593, loss_att=52.876, acc=0.711, loss=58.791, backward_time=0.291, grad_norm=50.118, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.022e-04, train_time=1.343 -[gpua002:0/64] 2023-12-07 12:09:10,131 (trainer:737) INFO: 16epoch:train:4901-5000batch: iter_time=8.052e-05, forward_time=0.152, loss_ctc=70.977, loss_att=57.881, acc=0.702, loss=61.810, backward_time=0.286, grad_norm=49.472, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.022e-04, train_time=1.354 -[gpua002:0/64] 2023-12-07 12:09:30,192 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua002:0/64] 2023-12-07 12:09:49,417 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 12:09:53,106 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 12:09:53,106 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua002:0/64] 2023-12-07 12:09:53,109 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 12:19:38,036 (trainer:737) INFO: 16epoch:train:5001-5100batch: iter_time=3.046, forward_time=0.215, loss_ctc=62.418, loss_att=50.344, acc=0.721, loss=53.966, backward_time=0.288, grad_norm=45.457, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=1.021e-04, train_time=6.278 -[gpua002:0/64] 2023-12-07 12:21:59,289 (trainer:737) INFO: 16epoch:train:5101-5200batch: iter_time=8.836e-05, forward_time=0.147, loss_ctc=80.712, loss_att=67.849, acc=0.663, loss=71.708, backward_time=0.285, grad_norm=65.998, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.021e-04, train_time=1.413 -[gpua002:0/64] 2023-12-07 12:25:06,697 (trainer:737) INFO: 16epoch:train:5201-5300batch: iter_time=8.859e-05, forward_time=0.147, loss_ctc=80.855, loss_att=65.657, acc=0.687, loss=70.216, backward_time=0.323, grad_norm=58.275, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.021e-04, train_time=1.874 -[gpua002:0/64] 2023-12-07 12:27:50,653 (trainer:737) INFO: 16epoch:train:5301-5400batch: iter_time=8.582e-05, forward_time=0.167, loss_ctc=76.606, loss_att=64.910, acc=0.687, loss=68.418, backward_time=0.313, grad_norm=59.279, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.021e-04, train_time=1.639 -[gpua002:0/64] 2023-12-07 12:30:25,910 (trainer:737) INFO: 16epoch:train:5401-5500batch: iter_time=8.157e-05, forward_time=0.148, loss_ctc=75.160, loss_att=64.938, acc=0.698, loss=68.005, backward_time=0.299, grad_norm=45.569, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.021e-04, train_time=1.552 -[gpua002:0/64] 2023-12-07 12:33:01,853 (trainer:737) INFO: 16epoch:train:5501-5600batch: iter_time=8.349e-05, forward_time=0.246, loss_ctc=73.387, loss_att=61.746, acc=0.703, loss=65.238, backward_time=0.304, grad_norm=47.664, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=1.020e-04, train_time=1.559 -[gpua002:0/64] 2023-12-07 12:35:47,198 (trainer:737) INFO: 16epoch:train:5601-5700batch: iter_time=8.327e-05, forward_time=0.148, loss_ctc=71.952, loss_att=61.024, acc=0.692, loss=64.302, backward_time=0.304, grad_norm=50.080, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.020e-04, train_time=1.653 -[gpua002:0/64] 2023-12-07 12:38:23,257 (trainer:737) INFO: 16epoch:train:5701-5800batch: iter_time=8.175e-05, forward_time=0.146, loss_ctc=75.882, loss_att=60.414, acc=0.695, loss=65.054, backward_time=0.318, grad_norm=43.953, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.020e-04, train_time=1.561 -[gpua002:0/64] 2023-12-07 12:40:24,016 (trainer:737) INFO: 16epoch:train:5801-5900batch: iter_time=7.967e-05, forward_time=0.146, loss_ctc=72.666, loss_att=59.936, acc=0.698, loss=63.755, backward_time=0.277, grad_norm=48.301, clip=100.000, loss_scale=2.434e+32, optim_step_time=0.133, optim0_lr0=1.020e-04, train_time=1.207 -[gpua002:0/64] 2023-12-07 12:42:36,573 (trainer:737) INFO: 16epoch:train:5901-6000batch: iter_time=7.746e-05, forward_time=0.149, loss_ctc=71.360, loss_att=62.739, acc=0.677, loss=65.325, backward_time=0.281, grad_norm=49.578, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.019e-04, train_time=1.325 -[gpua002:0/64] 2023-12-07 12:45:13,754 (trainer:737) INFO: 16epoch:train:6001-6100batch: iter_time=8.247e-05, forward_time=0.155, loss_ctc=64.751, loss_att=42.182, acc=0.727, loss=48.953, backward_time=0.312, grad_norm=46.440, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.019e-04, train_time=1.572 -[gpua002:0/64] 2023-12-07 12:47:47,635 (trainer:737) INFO: 16epoch:train:6101-6200batch: iter_time=9.645e-05, forward_time=0.168, loss_ctc=73.500, loss_att=58.310, acc=0.700, loss=62.867, backward_time=0.321, grad_norm=49.933, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.019e-04, train_time=1.539 -[gpua002:0/64] 2023-12-07 12:49:49,895 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua002:0/64] 2023-12-07 12:50:09,521 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 12:50:13,218 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 12:50:13,218 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua002:0/64] 2023-12-07 12:50:13,221 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 13:00:38,856 (trainer:737) INFO: 16epoch:train:6201-6300batch: iter_time=3.259, forward_time=0.185, loss_ctc=69.101, loss_att=57.068, acc=0.703, loss=60.678, backward_time=0.324, grad_norm=48.564, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=1.019e-04, train_time=7.712 -[gpua002:0/64] 2023-12-07 13:03:17,824 (trainer:737) INFO: 16epoch:train:6301-6400batch: iter_time=9.028e-05, forward_time=0.147, loss_ctc=72.321, loss_att=58.985, acc=0.695, loss=62.986, backward_time=0.288, grad_norm=60.382, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.019e-04, train_time=1.590 -[gpua002:0/64] 2023-12-07 13:06:15,699 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-07 13:06:41,857 (trainer:737) INFO: 16epoch:train:6401-6500batch: iter_time=9.070e-05, forward_time=0.147, loss_ctc=67.474, loss_att=56.963, acc=0.695, loss=60.116, backward_time=0.320, grad_norm=47.425, clip=100.000, loss_scale=3.049e+32, optim_step_time=0.133, optim0_lr0=1.018e-04, train_time=2.040 -[gpua002:0/64] 2023-12-07 13:09:57,066 (trainer:737) INFO: 16epoch:train:6501-6600batch: iter_time=9.045e-05, forward_time=0.147, loss_ctc=88.088, loss_att=72.295, acc=0.684, loss=77.032, backward_time=0.403, grad_norm=66.611, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.018e-04, train_time=1.952 -[gpua002:0/64] 2023-12-07 13:13:24,164 (trainer:737) INFO: 16epoch:train:6601-6700batch: iter_time=9.027e-05, forward_time=0.158, loss_ctc=77.993, loss_att=66.579, acc=0.701, loss=70.003, backward_time=0.438, grad_norm=50.408, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.018e-04, train_time=2.071 -[gpua002:0/64] 2023-12-07 13:16:23,089 (trainer:737) INFO: 16epoch:train:6701-6800batch: iter_time=8.878e-05, forward_time=0.147, loss_ctc=69.296, loss_att=57.344, acc=0.720, loss=60.929, backward_time=0.293, grad_norm=46.017, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.018e-04, train_time=1.789 -[gpua002:0/64] 2023-12-07 13:19:30,273 (trainer:737) INFO: 16epoch:train:6801-6900batch: iter_time=8.761e-05, forward_time=0.146, loss_ctc=72.153, loss_att=63.991, acc=0.701, loss=66.440, backward_time=0.317, grad_norm=50.220, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.017e-04, train_time=1.872 -[gpua002:0/64] 2023-12-07 13:22:24,246 (trainer:737) INFO: 16epoch:train:6901-7000batch: iter_time=8.889e-05, forward_time=0.196, loss_ctc=73.871, loss_att=65.627, acc=0.699, loss=68.100, backward_time=0.356, grad_norm=47.168, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=1.017e-04, train_time=1.739 -[gpua002:0/64] 2023-12-07 13:25:34,065 (trainer:737) INFO: 16epoch:train:7001-7100batch: iter_time=9.067e-05, forward_time=0.146, loss_ctc=77.232, loss_att=61.372, acc=0.702, loss=66.130, backward_time=0.314, grad_norm=45.447, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.017e-04, train_time=1.898 -[gpua002:0/64] 2023-12-07 13:28:48,912 (trainer:737) INFO: 16epoch:train:7101-7200batch: iter_time=9.169e-05, forward_time=0.171, loss_ctc=65.775, loss_att=61.600, acc=0.685, loss=62.853, backward_time=0.359, grad_norm=43.494, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.017e-04, train_time=1.948 -[gpua002:0/64] 2023-12-07 13:31:34,240 (trainer:737) INFO: 16epoch:train:7201-7300batch: iter_time=8.733e-05, forward_time=0.168, loss_ctc=71.272, loss_att=54.124, acc=0.712, loss=59.268, backward_time=0.329, grad_norm=50.889, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.017e-04, train_time=1.653 -[gpua002:0/64] 2023-12-07 13:34:49,334 (trainer:737) INFO: 16epoch:train:7301-7400batch: iter_time=8.766e-05, forward_time=0.147, loss_ctc=72.396, loss_att=52.280, acc=0.714, loss=58.315, backward_time=0.319, grad_norm=49.702, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.016e-04, train_time=1.951 -[gpua002:0/64] 2023-12-07 13:37:25,880 (trainer:737) INFO: 16epoch:train:7401-7500batch: iter_time=8.435e-05, forward_time=0.147, loss_ctc=70.283, loss_att=56.961, acc=0.703, loss=60.957, backward_time=0.297, grad_norm=48.905, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.016e-04, train_time=1.565 -[gpua002:0/64] 2023-12-07 13:37:45,909 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua002:0/64] 2023-12-07 13:38:05,249 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 13:38:08,864 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 13:38:08,864 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua002:0/64] 2023-12-07 13:38:08,867 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 13:51:30,562 (trainer:737) INFO: 16epoch:train:7501-7600batch: iter_time=3.006, forward_time=0.158, loss_ctc=62.229, loss_att=51.174, acc=0.717, loss=54.490, backward_time=0.304, grad_norm=43.312, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.016e-04, train_time=8.447 -[gpua002:0/64] 2023-12-07 13:53:50,150 (trainer:737) INFO: 16epoch:train:7601-7700batch: iter_time=8.755e-05, forward_time=0.148, loss_ctc=79.236, loss_att=65.959, acc=0.676, loss=69.942, backward_time=0.283, grad_norm=62.456, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.016e-04, train_time=1.396 -[gpua002:0/64] 2023-12-07 13:56:51,035 (trainer:737) INFO: 16epoch:train:7701-7800batch: iter_time=8.657e-05, forward_time=0.157, loss_ctc=81.318, loss_att=65.158, acc=0.702, loss=70.006, backward_time=0.314, grad_norm=57.375, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.015e-04, train_time=1.809 -[gpua002:0/64] 2023-12-07 13:59:59,842 (trainer:737) INFO: 16epoch:train:7801-7900batch: iter_time=8.878e-05, forward_time=0.187, loss_ctc=75.653, loss_att=64.405, acc=0.694, loss=67.780, backward_time=0.370, grad_norm=52.795, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=1.015e-04, train_time=1.888 -[gpua002:0/64] 2023-12-07 14:02:20,871 (trainer:737) INFO: 16epoch:train:7901-8000batch: iter_time=8.698e-05, forward_time=0.155, loss_ctc=74.183, loss_att=64.573, acc=0.706, loss=67.456, backward_time=0.287, grad_norm=46.823, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.015e-04, train_time=1.410 -[gpua002:0/64] 2023-12-07 14:05:05,618 (trainer:737) INFO: 16epoch:train:8001-8100batch: iter_time=8.754e-05, forward_time=0.166, loss_ctc=73.290, loss_att=61.033, acc=0.716, loss=64.710, backward_time=0.306, grad_norm=45.813, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.015e-04, train_time=1.647 -[gpua002:0/64] 2023-12-07 14:07:32,979 (trainer:737) INFO: 16epoch:train:8101-8200batch: iter_time=8.518e-05, forward_time=0.148, loss_ctc=70.909, loss_att=61.546, acc=0.701, loss=64.355, backward_time=0.293, grad_norm=49.553, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.015e-04, train_time=1.474 -[gpua002:0/64] 2023-12-07 14:10:21,686 (trainer:737) INFO: 16epoch:train:8201-8300batch: iter_time=8.784e-05, forward_time=0.155, loss_ctc=75.405, loss_att=61.898, acc=0.702, loss=65.950, backward_time=0.321, grad_norm=47.258, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.014e-04, train_time=1.687 -[gpua002:0/64] 2023-12-07 14:13:13,137 (trainer:737) INFO: 16epoch:train:8301-8400batch: iter_time=8.605e-05, forward_time=0.151, loss_ctc=73.547, loss_att=63.385, acc=0.697, loss=66.433, backward_time=0.326, grad_norm=50.079, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.014e-04, train_time=1.714 -[gpua002:0/64] 2023-12-07 14:15:56,961 (trainer:737) INFO: 16epoch:train:8401-8500batch: iter_time=8.685e-05, forward_time=0.147, loss_ctc=71.337, loss_att=63.097, acc=0.688, loss=65.569, backward_time=0.318, grad_norm=47.227, clip=100.000, loss_scale=1.817e+32, optim_step_time=0.133, optim0_lr0=1.014e-04, train_time=1.638 -[gpua002:0/64] 2023-12-07 14:18:43,745 (trainer:737) INFO: 16epoch:train:8501-8600batch: iter_time=8.980e-05, forward_time=0.172, loss_ctc=64.143, loss_att=42.550, acc=0.725, loss=49.028, backward_time=0.373, grad_norm=48.439, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.136, optim0_lr0=1.014e-04, train_time=1.668 -[gpua002:0/64] 2023-12-07 14:21:31,346 (trainer:737) INFO: 16epoch:train:8601-8700batch: iter_time=8.834e-05, forward_time=0.157, loss_ctc=72.647, loss_att=58.017, acc=0.710, loss=62.406, backward_time=0.372, grad_norm=48.721, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.014e-04, train_time=1.676 -[gpua002:0/64] 2023-12-07 14:23:07,056 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua002:0/64] 2023-12-07 14:23:27,407 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 14:23:31,208 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 14:23:31,208 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua002:0/64] 2023-12-07 14:23:31,211 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 14:35:44,064 (trainer:737) INFO: 16epoch:train:8701-8800batch: iter_time=3.127, forward_time=0.246, loss_ctc=68.174, loss_att=56.411, acc=0.709, loss=59.940, backward_time=0.315, grad_norm=46.713, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.137, optim0_lr0=1.013e-04, train_time=8.527 -[gpua002:0/64] 2023-12-07 14:38:49,675 (trainer:737) INFO: 16epoch:train:8801-8900batch: iter_time=4.404e-04, forward_time=0.330, loss_ctc=72.598, loss_att=58.548, acc=0.690, loss=62.763, backward_time=0.368, grad_norm=61.984, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.149, optim0_lr0=1.013e-04, train_time=1.855 -[gpua002:0/64] 2023-12-07 14:41:59,176 (trainer:737) INFO: 16epoch:train:8901-9000batch: iter_time=1.188e-04, forward_time=0.410, loss_ctc=66.513, loss_att=55.876, acc=0.691, loss=59.067, backward_time=0.404, grad_norm=48.559, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.156, optim0_lr0=1.013e-04, train_time=1.895 -[gpua002:0/64] 2023-12-07 14:44:53,916 (trainer:737) INFO: 16epoch:train:9001-9100batch: iter_time=5.944e-04, forward_time=0.373, loss_ctc=86.480, loss_att=71.141, acc=0.682, loss=75.743, backward_time=0.377, grad_norm=64.336, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.142, optim0_lr0=1.013e-04, train_time=1.747 -[gpua002:0/64] 2023-12-07 14:48:10,833 (trainer:737) INFO: 16epoch:train:9101-9200batch: iter_time=3.573e-04, forward_time=0.347, loss_ctc=77.939, loss_att=66.597, acc=0.699, loss=69.999, backward_time=0.401, grad_norm=48.525, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.139, optim0_lr0=1.012e-04, train_time=1.969 -[gpua002:0/64] 2023-12-07 14:50:39,443 (trainer:737) INFO: 16epoch:train:9201-9300batch: iter_time=2.812e-04, forward_time=0.252, loss_ctc=68.781, loss_att=56.590, acc=0.713, loss=60.247, backward_time=0.302, grad_norm=43.653, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.136, optim0_lr0=1.012e-04, train_time=1.486 -[gpua002:0/64] 2023-12-07 14:51:29,302 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-07 14:53:10,721 (trainer:737) INFO: 16epoch:train:9301-9400batch: iter_time=3.571e-04, forward_time=0.229, loss_ctc=71.696, loss_att=64.027, acc=0.697, loss=66.328, backward_time=0.309, grad_norm=48.611, clip=100.000, loss_scale=2.131e+32, optim_step_time=0.138, optim0_lr0=1.012e-04, train_time=1.512 -[gpua002:0/64] 2023-12-07 14:53:49,786 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-07 14:56:08,803 (trainer:737) INFO: 16epoch:train:9401-9500batch: iter_time=2.315e-04, forward_time=0.207, loss_ctc=73.636, loss_att=63.407, acc=0.703, loss=66.476, backward_time=0.326, grad_norm=48.258, clip=100.000, loss_scale=9.916e+31, optim_step_time=0.142, optim0_lr0=1.012e-04, train_time=1.781 -[gpua002:0/64] 2023-12-07 14:58:50,095 (trainer:737) INFO: 16epoch:train:9501-9600batch: iter_time=5.041e-04, forward_time=0.234, loss_ctc=76.716, loss_att=58.713, acc=0.696, loss=64.114, backward_time=0.328, grad_norm=48.758, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=1.012e-04, train_time=1.613 -[gpua002:0/64] 2023-12-07 15:01:41,647 (trainer:737) INFO: 16epoch:train:9601-9700batch: iter_time=9.430e-05, forward_time=0.197, loss_ctc=64.685, loss_att=59.633, acc=0.681, loss=61.149, backward_time=0.324, grad_norm=44.655, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=1.011e-04, train_time=1.715 -[gpua002:0/64] 2023-12-07 15:04:33,847 (trainer:737) INFO: 16epoch:train:9701-9800batch: iter_time=9.074e-05, forward_time=0.166, loss_ctc=70.994, loss_att=53.363, acc=0.710, loss=58.652, backward_time=0.368, grad_norm=50.480, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=1.011e-04, train_time=1.721 -[gpua002:0/64] 2023-12-07 15:07:17,520 (trainer:737) INFO: 16epoch:train:9801-9900batch: iter_time=2.112e-04, forward_time=0.242, loss_ctc=71.843, loss_att=51.536, acc=0.717, loss=57.628, backward_time=0.319, grad_norm=47.506, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=1.011e-04, train_time=1.636 -[gpua002:0/64] 2023-12-07 15:10:06,478 (trainer:737) INFO: 16epoch:train:9901-10000batch: iter_time=8.928e-05, forward_time=0.184, loss_ctc=69.746, loss_att=56.019, acc=0.700, loss=60.137, backward_time=0.354, grad_norm=48.171, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=1.011e-04, train_time=1.690 -[gpua002:0/64] 2023-12-07 15:10:26,550 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua002:0/64] 2023-12-07 15:10:46,682 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 15:10:50,378 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 15:10:50,378 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua002:0/64] 2023-12-07 15:10:50,381 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 15:21:38,540 (trainer:737) INFO: 16epoch:train:10001-10100batch: iter_time=5.096, forward_time=0.235, loss_ctc=62.008, loss_att=51.373, acc=0.718, loss=54.564, backward_time=0.384, grad_norm=44.495, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=1.011e-04, train_time=6.920 -[gpua002:0/64] 2023-12-07 15:26:36,595 (trainer:737) INFO: 16epoch:train:10101-10200batch: iter_time=8.677e-05, forward_time=0.170, loss_ctc=78.044, loss_att=66.237, acc=0.676, loss=69.779, backward_time=0.534, grad_norm=61.682, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=1.010e-04, train_time=2.981 -[gpua002:0/64] 2023-12-07 15:30:25,580 (trainer:737) INFO: 16epoch:train:10201-10300batch: iter_time=8.891e-05, forward_time=0.228, loss_ctc=78.574, loss_att=65.364, acc=0.703, loss=69.327, backward_time=0.428, grad_norm=57.647, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=1.010e-04, train_time=2.289 -[gpua002:0/64] 2023-12-07 15:33:33,063 (trainer:737) INFO: 16epoch:train:10301-10400batch: iter_time=8.625e-05, forward_time=0.216, loss_ctc=74.876, loss_att=64.300, acc=0.695, loss=67.473, backward_time=0.337, grad_norm=54.897, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=1.010e-04, train_time=1.875 -[gpua002:0/64] 2023-12-07 15:37:48,756 (trainer:737) INFO: 16epoch:train:10401-10500batch: iter_time=8.495e-05, forward_time=0.223, loss_ctc=74.707, loss_att=64.565, acc=0.706, loss=67.608, backward_time=0.434, grad_norm=45.698, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=1.010e-04, train_time=2.556 -[gpua002:0/64] 2023-12-07 15:42:46,672 (trainer:737) INFO: 16epoch:train:10501-10600batch: iter_time=9.331e-05, forward_time=0.149, loss_ctc=72.634, loss_att=60.653, acc=0.718, loss=64.247, backward_time=0.611, grad_norm=46.119, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.009e-04, train_time=2.979 -[gpua002:0/64] 2023-12-07 15:46:30,226 (trainer:737) INFO: 16epoch:train:10601-10700batch: iter_time=2.268e-04, forward_time=0.177, loss_ctc=70.597, loss_att=61.522, acc=0.701, loss=64.245, backward_time=0.383, grad_norm=47.761, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=1.009e-04, train_time=2.235 -[gpua002:0/64] 2023-12-07 15:50:17,985 (trainer:737) INFO: 16epoch:train:10701-10800batch: iter_time=8.501e-05, forward_time=0.178, loss_ctc=74.981, loss_att=61.534, acc=0.702, loss=65.568, backward_time=0.458, grad_norm=47.916, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.009e-04, train_time=2.278 -[gpua002:0/64] 2023-12-07 15:53:25,250 (trainer:737) INFO: 16epoch:train:10801-10900batch: iter_time=4.015e-04, forward_time=0.185, loss_ctc=72.832, loss_att=63.266, acc=0.699, loss=66.136, backward_time=0.359, grad_norm=45.064, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.009e-04, train_time=1.872 -[gpua002:0/64] 2023-12-07 15:56:35,462 (trainer:737) INFO: 16epoch:train:10901-11000batch: iter_time=8.700e-05, forward_time=0.220, loss_ctc=71.357, loss_att=63.222, acc=0.690, loss=65.663, backward_time=0.412, grad_norm=47.421, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=1.009e-04, train_time=1.902 -[gpua002:0/64] 2023-12-07 16:00:06,768 (trainer:737) INFO: 16epoch:train:11001-11100batch: iter_time=1.575e-04, forward_time=0.217, loss_ctc=64.216, loss_att=42.423, acc=0.725, loss=48.961, backward_time=0.402, grad_norm=47.640, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=1.008e-04, train_time=2.111 -[gpua002:0/64] 2023-12-07 16:03:17,153 (trainer:737) INFO: 16epoch:train:11101-11200batch: iter_time=3.088e-04, forward_time=0.255, loss_ctc=72.817, loss_att=58.282, acc=0.709, loss=62.642, backward_time=0.394, grad_norm=47.732, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=1.008e-04, train_time=1.905 -[gpua002:0/64] 2023-12-07 16:05:10,846 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua002:0/64] 2023-12-07 16:05:30,353 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 16:05:34,043 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 16:05:34,043 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua002:0/64] 2023-12-07 16:05:34,047 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 16:11:18,196 (trainer:737) INFO: 16epoch:train:11201-11300batch: iter_time=3.174, forward_time=0.185, loss_ctc=67.677, loss_att=56.451, acc=0.707, loss=59.819, backward_time=0.324, grad_norm=47.139, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.008e-04, train_time=4.810 -[gpua002:0/64] 2023-12-07 16:13:51,541 (trainer:737) INFO: 16epoch:train:11301-11400batch: iter_time=2.656e-04, forward_time=0.248, loss_ctc=70.524, loss_att=57.537, acc=0.698, loss=61.433, backward_time=0.326, grad_norm=66.022, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.143, optim0_lr0=1.008e-04, train_time=1.533 -[gpua002:0/64] 2023-12-07 16:16:14,890 (trainer:737) INFO: 16epoch:train:11401-11500batch: iter_time=8.599e-05, forward_time=0.162, loss_ctc=66.693, loss_att=55.314, acc=0.700, loss=58.727, backward_time=0.282, grad_norm=47.500, clip=100.000, loss_scale=1.436e+32, optim_step_time=0.133, optim0_lr0=1.008e-04, train_time=1.433 -[gpua002:0/64] 2023-12-07 16:18:51,619 (trainer:737) INFO: 16epoch:train:11501-11600batch: iter_time=4.642e-04, forward_time=0.271, loss_ctc=86.854, loss_att=70.152, acc=0.691, loss=75.162, backward_time=0.320, grad_norm=61.360, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=1.007e-04, train_time=1.566 -[gpua002:0/64] 2023-12-07 16:21:13,919 (trainer:737) INFO: 16epoch:train:11601-11700batch: iter_time=9.324e-05, forward_time=0.148, loss_ctc=77.310, loss_att=65.996, acc=0.704, loss=69.390, backward_time=0.320, grad_norm=46.586, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.007e-04, train_time=1.424 -[gpua002:0/64] 2023-12-07 16:23:34,656 (trainer:737) INFO: 16epoch:train:11701-11800batch: iter_time=9.019e-05, forward_time=0.149, loss_ctc=69.067, loss_att=56.211, acc=0.722, loss=60.068, backward_time=0.300, grad_norm=47.843, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.007e-04, train_time=1.407 -[gpua002:0/64] 2023-12-07 16:25:18,421 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-07 16:26:21,377 (trainer:737) INFO: 16epoch:train:11801-11900batch: iter_time=8.980e-05, forward_time=0.273, loss_ctc=71.108, loss_att=63.121, acc=0.705, loss=65.517, backward_time=0.324, grad_norm=46.807, clip=100.000, loss_scale=1.287e+32, optim_step_time=0.136, optim0_lr0=1.007e-04, train_time=1.666 -[gpua002:0/64] 2023-12-07 16:29:12,825 (trainer:737) INFO: 16epoch:train:11901-12000batch: iter_time=3.526e-04, forward_time=0.214, loss_ctc=73.346, loss_att=64.707, acc=0.705, loss=67.299, backward_time=0.388, grad_norm=48.948, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=1.006e-04, train_time=1.715 -[gpua002:0/64] 2023-12-07 16:31:42,098 (trainer:737) INFO: 16epoch:train:12001-12100batch: iter_time=8.813e-05, forward_time=0.155, loss_ctc=77.007, loss_att=61.414, acc=0.703, loss=66.092, backward_time=0.287, grad_norm=47.549, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.006e-04, train_time=1.493 -[gpua002:0/64] 2023-12-07 16:34:15,339 (trainer:737) INFO: 16epoch:train:12101-12200batch: iter_time=8.847e-05, forward_time=0.191, loss_ctc=64.618, loss_att=60.415, acc=0.688, loss=61.676, backward_time=0.329, grad_norm=45.008, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=1.006e-04, train_time=1.532 -[gpua002:0/64] 2023-12-07 16:37:04,430 (trainer:737) INFO: 16epoch:train:12201-12300batch: iter_time=3.114e-04, forward_time=0.195, loss_ctc=70.855, loss_att=53.559, acc=0.714, loss=58.748, backward_time=0.329, grad_norm=49.105, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.006e-04, train_time=1.691 -[gpua002:0/64] 2023-12-07 16:39:41,419 (trainer:737) INFO: 16epoch:train:12301-12400batch: iter_time=1.061e-04, forward_time=0.233, loss_ctc=71.511, loss_att=51.883, acc=0.716, loss=57.772, backward_time=0.336, grad_norm=49.858, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=1.006e-04, train_time=1.569 -[gpua002:0/64] 2023-12-07 16:42:20,809 (trainer:737) INFO: 16epoch:train:12401-12500batch: iter_time=8.903e-05, forward_time=0.152, loss_ctc=69.642, loss_att=56.210, acc=0.707, loss=60.240, backward_time=0.319, grad_norm=47.218, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.005e-04, train_time=1.595 -[gpua002:0/64] 2023-12-07 16:42:40,996 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua002:0/64] 2023-12-07 16:43:00,577 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 16:43:04,342 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 16:43:04,342 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua002:0/64] 2023-12-07 16:43:04,345 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 16:49:58,871 (trainer:737) INFO: 16epoch:train:12501-12600batch: iter_time=3.153, forward_time=0.209, loss_ctc=61.499, loss_att=50.482, acc=0.725, loss=53.787, backward_time=0.377, grad_norm=45.959, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=1.005e-04, train_time=4.578 -[gpua002:0/64] 2023-12-07 16:52:27,408 (trainer:737) INFO: 16epoch:train:12601-12700batch: iter_time=8.735e-05, forward_time=0.162, loss_ctc=77.125, loss_att=65.828, acc=0.672, loss=69.217, backward_time=0.305, grad_norm=62.146, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=1.005e-04, train_time=1.487 -[gpua002:0/64] 2023-12-07 16:54:39,617 (trainer:737) INFO: 16epoch:train:12701-12800batch: iter_time=8.919e-05, forward_time=0.222, loss_ctc=80.019, loss_att=65.464, acc=0.691, loss=69.831, backward_time=0.302, grad_norm=59.027, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=1.005e-04, train_time=1.322 -[gpua002:0/64] 2023-12-07 16:57:21,295 (trainer:737) INFO: 16epoch:train:12801-12900batch: iter_time=9.396e-05, forward_time=0.234, loss_ctc=75.299, loss_att=64.465, acc=0.693, loss=67.715, backward_time=0.332, grad_norm=55.874, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=1.005e-04, train_time=1.617 -[gpua002:0/64] 2023-12-07 16:59:56,051 (trainer:737) INFO: 16epoch:train:12901-13000batch: iter_time=9.322e-05, forward_time=0.179, loss_ctc=73.750, loss_att=64.646, acc=0.700, loss=67.377, backward_time=0.317, grad_norm=46.276, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=1.004e-04, train_time=1.547 -[gpua002:0/64] 2023-12-07 17:02:32,525 (trainer:737) INFO: 16epoch:train:13001-13100batch: iter_time=9.545e-05, forward_time=0.240, loss_ctc=72.810, loss_att=61.642, acc=0.707, loss=64.993, backward_time=0.321, grad_norm=52.469, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=1.004e-04, train_time=1.564 -[gpua002:0/64] 2023-12-07 17:05:18,784 (trainer:737) INFO: 16epoch:train:13101-13200batch: iter_time=9.067e-05, forward_time=0.165, loss_ctc=70.790, loss_att=60.571, acc=0.698, loss=63.636, backward_time=0.321, grad_norm=48.585, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.004e-04, train_time=1.663 -[gpua002:0/64] 2023-12-07 17:07:53,731 (trainer:737) INFO: 16epoch:train:13201-13300batch: iter_time=9.036e-05, forward_time=0.184, loss_ctc=74.498, loss_att=59.652, acc=0.697, loss=64.106, backward_time=0.331, grad_norm=46.682, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=1.004e-04, train_time=1.548 -[gpua002:0/64] 2023-12-07 17:10:30,054 (trainer:737) INFO: 16epoch:train:13301-13400batch: iter_time=8.848e-05, forward_time=0.202, loss_ctc=72.134, loss_att=60.494, acc=0.698, loss=63.986, backward_time=0.319, grad_norm=49.769, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=1.003e-04, train_time=1.564 -[gpua002:0/64] 2023-12-07 17:12:51,637 (trainer:737) INFO: 16epoch:train:13401-13500batch: iter_time=8.632e-05, forward_time=0.176, loss_ctc=71.405, loss_att=61.759, acc=0.683, loss=64.653, backward_time=0.310, grad_norm=48.710, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=1.003e-04, train_time=1.416 -[gpua002:0/64] 2023-12-07 17:15:02,561 (trainer:737) INFO: 16epoch:train:13501-13600batch: iter_time=9.221e-05, forward_time=0.184, loss_ctc=63.674, loss_att=41.501, acc=0.729, loss=48.153, backward_time=0.302, grad_norm=46.844, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=1.003e-04, train_time=1.309 -[gpua002:0/64] 2023-12-07 17:17:16,121 (trainer:737) INFO: 16epoch:train:13601-13700batch: iter_time=4.314e-04, forward_time=0.170, loss_ctc=71.629, loss_att=57.213, acc=0.704, loss=61.538, backward_time=0.294, grad_norm=51.019, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=1.003e-04, train_time=1.334 -[gpua002:0/64] 2023-12-07 17:18:53,033 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua002:0/64] 2023-12-07 17:19:13,110 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 17:19:16,892 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 17:19:16,892 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua002:0/64] 2023-12-07 17:19:16,896 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 17:27:38,803 (trainer:737) INFO: 16epoch:train:13701-13800batch: iter_time=4.761, forward_time=0.234, loss_ctc=67.500, loss_att=55.177, acc=0.712, loss=58.874, backward_time=0.340, grad_norm=46.963, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=1.003e-04, train_time=6.228 -[gpua002:0/64] 2023-12-07 17:30:37,055 (trainer:737) INFO: 16epoch:train:13801-13900batch: iter_time=9.241e-05, forward_time=0.260, loss_ctc=70.047, loss_att=56.296, acc=0.696, loss=60.422, backward_time=0.325, grad_norm=59.277, clip=100.000, loss_scale=1.144e+32, optim_step_time=0.137, optim0_lr0=1.002e-04, train_time=1.782 -[gpua002:0/64] 2023-12-07 17:33:11,589 (trainer:737) INFO: 16epoch:train:13901-14000batch: iter_time=7.952e-05, forward_time=0.249, loss_ctc=66.401, loss_att=55.051, acc=0.694, loss=58.456, backward_time=0.309, grad_norm=49.540, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.142, optim0_lr0=1.002e-04, train_time=1.545 -[gpua002:0/64] 2023-12-07 17:36:21,305 (trainer:737) INFO: 16epoch:train:14001-14100batch: iter_time=8.436e-05, forward_time=0.345, loss_ctc=86.504, loss_att=70.254, acc=0.685, loss=75.129, backward_time=0.362, grad_norm=77.450, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.147, optim0_lr0=1.002e-04, train_time=1.897 -[gpua002:0/64] 2023-12-07 17:39:17,855 (trainer:737) INFO: 16epoch:train:14101-14200batch: iter_time=1.856e-04, forward_time=0.263, loss_ctc=77.314, loss_att=65.894, acc=0.699, loss=69.320, backward_time=0.364, grad_norm=48.241, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=1.002e-04, train_time=1.764 -[gpua002:0/64] 2023-12-07 17:42:14,108 (trainer:737) INFO: 16epoch:train:14201-14300batch: iter_time=0.001, forward_time=0.194, loss_ctc=68.622, loss_att=55.670, acc=0.714, loss=59.555, backward_time=0.399, grad_norm=45.150, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.140, optim0_lr0=1.002e-04, train_time=1.763 -[gpua002:0/64] 2023-12-07 17:45:22,076 (trainer:737) INFO: 16epoch:train:14301-14400batch: iter_time=2.859e-04, forward_time=0.256, loss_ctc=70.434, loss_att=62.794, acc=0.699, loss=65.086, backward_time=0.391, grad_norm=49.644, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.138, optim0_lr0=1.001e-04, train_time=1.880 -[gpua002:0/64] 2023-12-07 17:48:25,988 (trainer:737) INFO: 16epoch:train:14401-14500batch: iter_time=3.105e-04, forward_time=0.211, loss_ctc=72.969, loss_att=62.416, acc=0.706, loss=65.582, backward_time=0.382, grad_norm=52.233, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=1.001e-04, train_time=1.838 -[gpua002:0/64] 2023-12-07 17:51:39,184 (trainer:737) INFO: 16epoch:train:14501-14600batch: iter_time=2.632e-04, forward_time=0.246, loss_ctc=76.871, loss_att=58.554, acc=0.698, loss=64.049, backward_time=0.331, grad_norm=47.176, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.139, optim0_lr0=1.001e-04, train_time=1.931 -[gpua002:0/64] 2023-12-07 17:54:34,840 (trainer:737) INFO: 16epoch:train:14601-14700batch: iter_time=3.484e-04, forward_time=0.282, loss_ctc=64.682, loss_att=59.757, acc=0.679, loss=61.235, backward_time=0.342, grad_norm=51.407, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=1.001e-04, train_time=1.757 -[gpua002:0/64] 2023-12-07 17:57:38,055 (trainer:737) INFO: 16epoch:train:14701-14800batch: iter_time=2.849e-04, forward_time=0.285, loss_ctc=71.277, loss_att=53.033, acc=0.711, loss=58.506, backward_time=0.331, grad_norm=53.879, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.140, optim0_lr0=1.001e-04, train_time=1.831 -[gpua002:0/64] 2023-12-07 18:00:23,102 (trainer:737) INFO: 16epoch:train:14801-14900batch: iter_time=2.013e-04, forward_time=0.253, loss_ctc=71.169, loss_att=51.130, acc=0.719, loss=57.142, backward_time=0.342, grad_norm=51.170, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=1.000e-04, train_time=1.652 -[gpua002:0/64] 2023-12-07 18:03:17,652 (trainer:737) INFO: 16epoch:train:14901-15000batch: iter_time=8.559e-05, forward_time=0.147, loss_ctc=69.062, loss_att=55.736, acc=0.701, loss=59.734, backward_time=0.301, grad_norm=49.392, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.000e-04, train_time=1.745 -[gpua002:0/64] 2023-12-07 18:29:53,529 (trainer:343) INFO: 16epoch results: [train] iter_time=0.288, forward_time=0.188, loss_ctc=73.133, loss_att=60.225, acc=0.698, loss=64.097, backward_time=0.348, grad_norm=51.065, clip=100.000, loss_scale=2.358e+32, optim_step_time=0.135, optim0_lr0=1.016e-04, train_time=2.226, time=9 hours, 16 minutes and 50.4 seconds, total_count=240000, gpu_max_cached_mem_GB=35.221, [valid] loss_ctc=41.839, cer_ctc=0.218, loss_att=38.538, acc=0.681, cer=0.341, wer=0.991, loss=39.528, time=26 minutes and 11.67 seconds, total_count=74736, gpu_max_cached_mem_GB=35.221 -[gpua002:0/64] 2023-12-07 18:30:19,930 (trainer:391) INFO: The best model has been updated: valid.acc, valid.total_count -[gpua002:0/64] 2023-12-07 18:30:19,992 (trainer:272) INFO: 17/40epoch started. Estimated time to finish: 1 week, 2 days and 17 hours -[gpua002:0/64] 2023-12-07 18:30:20,005 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua002:0/64] 2023-12-07 18:30:38,612 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 18:30:42,041 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 18:30:42,041 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua002:0/64] 2023-12-07 18:30:42,045 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 18:37:20,466 (trainer:737) INFO: 17epoch:train:1-100batch: iter_time=2.532, forward_time=0.184, loss_ctc=64.020, loss_att=50.097, acc=0.700, loss=54.273, backward_time=0.291, grad_norm=49.739, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=9.999e-05, train_time=4.204 -[gpua002:0/64] 2023-12-07 18:39:26,420 (trainer:737) INFO: 17epoch:train:101-200batch: iter_time=8.541e-05, forward_time=0.152, loss_ctc=61.489, loss_att=47.060, acc=0.706, loss=51.388, backward_time=0.283, grad_norm=51.789, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.997e-05, train_time=1.259 -[gpua002:0/64] 2023-12-07 18:41:41,811 (trainer:737) INFO: 17epoch:train:201-300batch: iter_time=8.333e-05, forward_time=0.148, loss_ctc=61.556, loss_att=48.828, acc=0.686, loss=52.646, backward_time=0.282, grad_norm=50.118, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.995e-05, train_time=1.354 -[gpua002:0/64] 2023-12-07 18:44:01,157 (trainer:737) INFO: 17epoch:train:301-400batch: iter_time=8.321e-05, forward_time=0.148, loss_ctc=80.706, loss_att=65.757, acc=0.686, loss=70.242, backward_time=0.284, grad_norm=57.493, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.993e-05, train_time=1.393 -[gpua002:0/64] 2023-12-07 18:46:12,830 (trainer:737) INFO: 17epoch:train:401-500batch: iter_time=8.480e-05, forward_time=0.157, loss_ctc=69.308, loss_att=52.256, acc=0.693, loss=57.371, backward_time=0.289, grad_norm=53.794, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.144, optim0_lr0=9.991e-05, train_time=1.316 -[gpua002:0/64] 2023-12-07 18:48:37,034 (trainer:737) INFO: 17epoch:train:501-600batch: iter_time=8.267e-05, forward_time=0.149, loss_ctc=70.675, loss_att=56.083, acc=0.689, loss=60.461, backward_time=0.302, grad_norm=61.600, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.989e-05, train_time=1.442 -[gpua002:0/64] 2023-12-07 18:51:01,107 (trainer:737) INFO: 17epoch:train:601-700batch: iter_time=8.529e-05, forward_time=0.148, loss_ctc=88.423, loss_att=71.275, acc=0.660, loss=76.420, backward_time=0.301, grad_norm=71.871, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.987e-05, train_time=1.441 -[gpua002:0/64] 2023-12-07 18:53:38,276 (trainer:737) INFO: 17epoch:train:701-800batch: iter_time=8.903e-05, forward_time=0.147, loss_ctc=64.777, loss_att=51.089, acc=0.703, loss=55.195, backward_time=0.299, grad_norm=47.233, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.985e-05, train_time=1.571 -[gpua002:0/64] 2023-12-07 18:56:01,363 (trainer:737) INFO: 17epoch:train:801-900batch: iter_time=8.195e-05, forward_time=0.150, loss_ctc=81.928, loss_att=66.526, acc=0.683, loss=71.147, backward_time=0.295, grad_norm=55.036, clip=100.000, loss_scale=2.288e+32, optim_step_time=0.137, optim0_lr0=9.983e-05, train_time=1.430 -[gpua002:0/64] 2023-12-07 18:58:27,050 (trainer:737) INFO: 17epoch:train:901-1000batch: iter_time=8.341e-05, forward_time=0.150, loss_ctc=78.351, loss_att=60.353, acc=0.701, loss=65.752, backward_time=0.302, grad_norm=52.757, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.136, optim0_lr0=9.981e-05, train_time=1.458 -[gpua002:0/64] 2023-12-07 19:01:09,938 (trainer:737) INFO: 17epoch:train:1001-1100batch: iter_time=3.900e-04, forward_time=0.204, loss_ctc=86.618, loss_att=67.376, acc=0.696, loss=73.149, backward_time=0.325, grad_norm=69.626, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.146, optim0_lr0=9.979e-05, train_time=1.627 -[gpua002:0/64] 2023-12-07 19:03:32,389 (trainer:737) INFO: 17epoch:train:1101-1200batch: iter_time=8.560e-05, forward_time=0.149, loss_ctc=66.664, loss_att=50.366, acc=0.698, loss=55.255, backward_time=0.289, grad_norm=47.561, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.977e-05, train_time=1.426 -[gpua002:0/64] 2023-12-07 19:04:59,317 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua002:0/64] 2023-12-07 19:05:18,595 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 19:05:22,118 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 19:05:22,118 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua002:0/64] 2023-12-07 19:05:22,123 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 19:12:58,601 (trainer:737) INFO: 17epoch:train:1201-1300batch: iter_time=2.595, forward_time=0.166, loss_ctc=74.676, loss_att=57.254, acc=0.705, loss=62.480, backward_time=0.291, grad_norm=48.869, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.136, optim0_lr0=9.974e-05, train_time=5.662 -[gpua002:0/64] 2023-12-07 19:15:08,568 (trainer:737) INFO: 17epoch:train:1301-1400batch: iter_time=8.045e-05, forward_time=0.151, loss_ctc=59.937, loss_att=46.056, acc=0.709, loss=50.220, backward_time=0.283, grad_norm=46.788, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.136, optim0_lr0=9.972e-05, train_time=1.299 -[gpua002:0/64] 2023-12-07 19:17:49,121 (trainer:737) INFO: 17epoch:train:1401-1500batch: iter_time=7.932e-05, forward_time=0.149, loss_ctc=60.404, loss_att=44.681, acc=0.716, loss=49.398, backward_time=0.323, grad_norm=45.666, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.136, optim0_lr0=9.970e-05, train_time=1.605 -[gpua002:0/64] 2023-12-07 19:20:40,395 (trainer:737) INFO: 17epoch:train:1501-1600batch: iter_time=8.044e-05, forward_time=0.148, loss_ctc=69.214, loss_att=57.580, acc=0.676, loss=61.070, backward_time=0.317, grad_norm=52.504, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.968e-05, train_time=1.712 -[gpua002:0/64] 2023-12-07 19:23:18,237 (trainer:737) INFO: 17epoch:train:1601-1700batch: iter_time=8.042e-05, forward_time=0.150, loss_ctc=72.452, loss_att=58.016, acc=0.703, loss=62.346, backward_time=0.302, grad_norm=48.254, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.966e-05, train_time=1.579 -[gpua002:0/64] 2023-12-07 19:25:44,334 (trainer:737) INFO: 17epoch:train:1701-1800batch: iter_time=8.354e-05, forward_time=0.185, loss_ctc=75.208, loss_att=59.249, acc=0.687, loss=64.037, backward_time=0.305, grad_norm=60.457, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.136, optim0_lr0=9.964e-05, train_time=1.461 -[gpua002:0/64] 2023-12-07 19:28:28,418 (trainer:737) INFO: 17epoch:train:1801-1900batch: iter_time=8.388e-05, forward_time=0.168, loss_ctc=78.224, loss_att=62.231, acc=0.681, loss=67.029, backward_time=0.341, grad_norm=61.095, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.136, optim0_lr0=9.962e-05, train_time=1.639 -[gpua002:0/64] 2023-12-07 19:28:39,381 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-07 19:31:21,561 (trainer:737) INFO: 17epoch:train:1901-2000batch: iter_time=8.267e-05, forward_time=0.152, loss_ctc=70.939, loss_att=55.416, acc=0.688, loss=60.073, backward_time=0.318, grad_norm=57.573, clip=100.000, loss_scale=1.721e+32, optim_step_time=0.135, optim0_lr0=9.960e-05, train_time=1.733 -[gpua002:0/64] 2023-12-07 19:33:51,086 (trainer:737) INFO: 17epoch:train:2001-2100batch: iter_time=8.380e-05, forward_time=0.151, loss_ctc=67.781, loss_att=55.786, acc=0.697, loss=59.385, backward_time=0.288, grad_norm=49.344, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.958e-05, train_time=1.495 -[gpua002:0/64] 2023-12-07 19:36:24,216 (trainer:737) INFO: 17epoch:train:2101-2200batch: iter_time=7.827e-05, forward_time=0.148, loss_ctc=85.772, loss_att=69.509, acc=0.683, loss=74.388, backward_time=0.340, grad_norm=52.785, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.956e-05, train_time=1.531 -[gpua002:0/64] 2023-12-07 19:39:06,018 (trainer:737) INFO: 17epoch:train:2201-2300batch: iter_time=8.177e-05, forward_time=0.148, loss_ctc=75.340, loss_att=59.034, acc=0.701, loss=63.926, backward_time=0.340, grad_norm=50.916, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.954e-05, train_time=1.618 -[gpua002:0/64] 2023-12-07 19:41:34,751 (trainer:737) INFO: 17epoch:train:2301-2400batch: iter_time=8.132e-05, forward_time=0.159, loss_ctc=81.809, loss_att=62.241, acc=0.695, loss=68.111, backward_time=0.339, grad_norm=56.087, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.138, optim0_lr0=9.952e-05, train_time=1.487 -[gpua002:0/64] 2023-12-07 19:44:42,463 (trainer:737) INFO: 17epoch:train:2401-2500batch: iter_time=8.143e-05, forward_time=0.150, loss_ctc=71.793, loss_att=52.914, acc=0.715, loss=58.578, backward_time=0.310, grad_norm=51.972, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.950e-05, train_time=1.877 -[gpua002:0/64] 2023-12-07 19:45:02,491 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua002:0/64] 2023-12-07 19:45:21,599 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 19:45:25,062 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 19:45:25,062 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua002:0/64] 2023-12-07 19:45:25,065 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 19:52:16,590 (trainer:737) INFO: 17epoch:train:2501-2600batch: iter_time=2.455, forward_time=0.174, loss_ctc=63.533, loss_att=49.238, acc=0.709, loss=53.527, backward_time=0.285, grad_norm=46.389, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.948e-05, train_time=4.541 -[gpua002:0/64] 2023-12-07 19:54:22,891 (trainer:737) INFO: 17epoch:train:2601-2700batch: iter_time=8.256e-05, forward_time=0.147, loss_ctc=59.536, loss_att=46.034, acc=0.711, loss=50.085, backward_time=0.279, grad_norm=46.750, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.946e-05, train_time=1.263 -[gpua002:0/64] 2023-12-07 19:56:46,469 (trainer:737) INFO: 17epoch:train:2701-2800batch: iter_time=7.480e-05, forward_time=0.151, loss_ctc=59.908, loss_att=47.155, acc=0.697, loss=50.981, backward_time=0.298, grad_norm=45.664, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=9.944e-05, train_time=1.435 -[gpua002:0/64] 2023-12-07 19:59:26,906 (trainer:737) INFO: 17epoch:train:2801-2900batch: iter_time=7.634e-05, forward_time=0.153, loss_ctc=79.197, loss_att=64.477, acc=0.692, loss=68.893, backward_time=0.301, grad_norm=52.147, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.942e-05, train_time=1.604 -[gpua002:0/64] 2023-12-07 20:02:36,257 (trainer:737) INFO: 17epoch:train:2901-3000batch: iter_time=7.679e-05, forward_time=0.170, loss_ctc=67.276, loss_att=51.189, acc=0.698, loss=56.015, backward_time=0.373, grad_norm=49.483, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.940e-05, train_time=1.893 -[gpua002:0/64] 2023-12-07 20:05:14,769 (trainer:737) INFO: 17epoch:train:3001-3100batch: iter_time=7.969e-05, forward_time=0.153, loss_ctc=70.054, loss_att=53.868, acc=0.698, loss=58.724, backward_time=0.309, grad_norm=57.229, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.937e-05, train_time=1.585 -[gpua002:0/64] 2023-12-07 20:07:25,386 (trainer:737) INFO: 17epoch:train:3101-3200batch: iter_time=8.260e-05, forward_time=0.147, loss_ctc=82.866, loss_att=70.540, acc=0.666, loss=74.237, backward_time=0.288, grad_norm=65.099, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.935e-05, train_time=1.306 -[gpua002:0/64] 2023-12-07 20:09:55,255 (trainer:737) INFO: 17epoch:train:3201-3300batch: iter_time=7.716e-05, forward_time=0.146, loss_ctc=64.187, loss_att=50.064, acc=0.709, loss=54.301, backward_time=0.313, grad_norm=43.948, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.933e-05, train_time=1.498 -[gpua002:0/64] 2023-12-07 20:12:20,640 (trainer:737) INFO: 17epoch:train:3301-3400batch: iter_time=7.830e-05, forward_time=0.147, loss_ctc=80.056, loss_att=65.652, acc=0.687, loss=69.973, backward_time=0.297, grad_norm=52.662, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.931e-05, train_time=1.454 -[gpua002:0/64] 2023-12-07 20:14:46,782 (trainer:737) INFO: 17epoch:train:3401-3500batch: iter_time=8.267e-05, forward_time=0.165, loss_ctc=76.826, loss_att=58.688, acc=0.709, loss=64.129, backward_time=0.283, grad_norm=47.787, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.929e-05, train_time=1.461 -[gpua002:0/64] 2023-12-07 20:17:14,364 (trainer:737) INFO: 17epoch:train:3501-3600batch: iter_time=7.534e-05, forward_time=0.150, loss_ctc=82.319, loss_att=66.354, acc=0.702, loss=71.144, backward_time=0.283, grad_norm=63.906, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.927e-05, train_time=1.476 -[gpua002:0/64] 2023-12-07 20:19:51,176 (trainer:737) INFO: 17epoch:train:3601-3700batch: iter_time=7.673e-05, forward_time=0.174, loss_ctc=65.504, loss_att=49.043, acc=0.704, loss=53.982, backward_time=0.298, grad_norm=45.870, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.141, optim0_lr0=9.925e-05, train_time=1.568 -[gpua002:0/64] 2023-12-07 20:21:24,354 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua002:0/64] 2023-12-07 20:21:43,600 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 20:21:47,340 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 20:21:47,340 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua002:0/64] 2023-12-07 20:21:47,344 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 20:27:06,588 (trainer:737) INFO: 17epoch:train:3701-3800batch: iter_time=2.648, forward_time=0.171, loss_ctc=73.739, loss_att=56.720, acc=0.710, loss=61.826, backward_time=0.292, grad_norm=47.177, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.923e-05, train_time=4.354 -[gpua002:0/64] 2023-12-07 20:29:16,851 (trainer:737) INFO: 17epoch:train:3801-3900batch: iter_time=8.118e-05, forward_time=0.147, loss_ctc=59.515, loss_att=45.153, acc=0.715, loss=49.461, backward_time=0.293, grad_norm=48.656, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.921e-05, train_time=1.302 -[gpua002:0/64] 2023-12-07 20:31:24,110 (trainer:737) INFO: 17epoch:train:3901-4000batch: iter_time=7.971e-05, forward_time=0.147, loss_ctc=58.858, loss_att=43.637, acc=0.722, loss=48.203, backward_time=0.280, grad_norm=44.049, clip=100.000, loss_scale=3.132e+32, optim_step_time=0.135, optim0_lr0=9.919e-05, train_time=1.272 -[gpua002:0/64] 2023-12-07 20:33:41,709 (trainer:737) INFO: 17epoch:train:4001-4100batch: iter_time=8.228e-05, forward_time=0.147, loss_ctc=69.082, loss_att=57.170, acc=0.679, loss=60.744, backward_time=0.283, grad_norm=50.803, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.917e-05, train_time=1.376 -[gpua002:0/64] 2023-12-07 20:35:53,135 (trainer:737) INFO: 17epoch:train:4101-4200batch: iter_time=8.490e-05, forward_time=0.161, loss_ctc=71.872, loss_att=57.238, acc=0.707, loss=61.628, backward_time=0.283, grad_norm=46.210, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.138, optim0_lr0=9.915e-05, train_time=1.314 -[gpua002:0/64] 2023-12-07 20:38:23,396 (trainer:737) INFO: 17epoch:train:4201-4300batch: iter_time=8.269e-05, forward_time=0.147, loss_ctc=74.728, loss_att=58.632, acc=0.692, loss=63.461, backward_time=0.283, grad_norm=59.832, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.913e-05, train_time=1.502 -[gpua002:0/64] 2023-12-07 20:40:48,270 (trainer:737) INFO: 17epoch:train:4301-4400batch: iter_time=8.399e-05, forward_time=0.190, loss_ctc=77.134, loss_att=62.696, acc=0.681, loss=67.027, backward_time=0.287, grad_norm=62.044, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.139, optim0_lr0=9.911e-05, train_time=1.448 -[gpua002:0/64] 2023-12-07 20:43:12,909 (trainer:737) INFO: 17epoch:train:4401-4500batch: iter_time=8.509e-05, forward_time=0.148, loss_ctc=70.140, loss_att=54.366, acc=0.696, loss=59.098, backward_time=0.281, grad_norm=48.596, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.909e-05, train_time=1.446 -[gpua002:0/64] 2023-12-07 20:45:45,838 (trainer:737) INFO: 17epoch:train:4501-4600batch: iter_time=8.372e-05, forward_time=0.147, loss_ctc=67.439, loss_att=54.878, acc=0.705, loss=58.646, backward_time=0.302, grad_norm=47.558, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.907e-05, train_time=1.529 -[gpua002:0/64] 2023-12-07 20:48:04,074 (trainer:737) INFO: 17epoch:train:4601-4700batch: iter_time=8.020e-05, forward_time=0.147, loss_ctc=85.146, loss_att=68.353, acc=0.692, loss=73.391, backward_time=0.289, grad_norm=52.091, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.905e-05, train_time=1.382 -[gpua002:0/64] 2023-12-07 20:50:21,389 (trainer:737) INFO: 17epoch:train:4701-4800batch: iter_time=8.174e-05, forward_time=0.149, loss_ctc=75.251, loss_att=58.399, acc=0.707, loss=63.455, backward_time=0.291, grad_norm=55.405, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.903e-05, train_time=1.373 -[gpua002:0/64] 2023-12-07 20:50:32,416 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-07 20:52:57,652 (trainer:737) INFO: 17epoch:train:4801-4900batch: iter_time=8.334e-05, forward_time=0.198, loss_ctc=78.376, loss_att=61.844, acc=0.698, loss=66.804, backward_time=0.318, grad_norm=58.188, clip=100.000, loss_scale=1.754e+32, optim_step_time=0.136, optim0_lr0=9.901e-05, train_time=1.561 -[gpua002:0/64] 2023-12-07 20:55:40,174 (trainer:737) INFO: 17epoch:train:4901-5000batch: iter_time=8.095e-05, forward_time=0.147, loss_ctc=71.436, loss_att=52.499, acc=0.716, loss=58.180, backward_time=0.293, grad_norm=50.628, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.899e-05, train_time=1.626 -[gpua002:0/64] 2023-12-07 20:56:00,203 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua002:0/64] 2023-12-07 20:56:19,404 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 20:56:22,883 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 20:56:22,883 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua002:0/64] 2023-12-07 20:56:22,888 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 21:03:04,885 (trainer:737) INFO: 17epoch:train:5001-5100batch: iter_time=2.763, forward_time=0.179, loss_ctc=63.349, loss_att=51.614, acc=0.717, loss=55.135, backward_time=0.320, grad_norm=44.552, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.897e-05, train_time=4.447 -[gpua002:0/64] 2023-12-07 21:05:21,172 (trainer:737) INFO: 17epoch:train:5101-5200batch: iter_time=8.136e-05, forward_time=0.149, loss_ctc=59.299, loss_att=46.792, acc=0.717, loss=50.544, backward_time=0.320, grad_norm=45.702, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.895e-05, train_time=1.363 -[gpua002:0/64] 2023-12-07 21:07:49,130 (trainer:737) INFO: 17epoch:train:5201-5300batch: iter_time=8.500e-05, forward_time=0.148, loss_ctc=59.455, loss_att=49.121, acc=0.714, loss=52.221, backward_time=0.301, grad_norm=46.596, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.893e-05, train_time=1.479 -[gpua002:0/64] 2023-12-07 21:09:56,686 (trainer:737) INFO: 17epoch:train:5301-5400batch: iter_time=8.039e-05, forward_time=0.149, loss_ctc=77.816, loss_att=64.955, acc=0.701, loss=68.813, backward_time=0.281, grad_norm=52.381, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.891e-05, train_time=1.275 -[gpua002:0/64] 2023-12-07 21:12:26,088 (trainer:737) INFO: 17epoch:train:5401-5500batch: iter_time=8.244e-05, forward_time=0.149, loss_ctc=66.905, loss_att=51.064, acc=0.713, loss=55.816, backward_time=0.299, grad_norm=49.823, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.889e-05, train_time=1.494 -[gpua002:0/64] 2023-12-07 21:14:36,995 (trainer:737) INFO: 17epoch:train:5501-5600batch: iter_time=7.906e-05, forward_time=0.149, loss_ctc=69.133, loss_att=54.985, acc=0.712, loss=59.230, backward_time=0.285, grad_norm=53.675, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.887e-05, train_time=1.309 -[gpua002:0/64] 2023-12-07 21:17:20,584 (trainer:737) INFO: 17epoch:train:5601-5700batch: iter_time=8.388e-05, forward_time=0.211, loss_ctc=81.856, loss_att=70.324, acc=0.669, loss=73.783, backward_time=0.319, grad_norm=65.091, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=9.885e-05, train_time=1.636 -[gpua002:0/64] 2023-12-07 21:19:42,659 (trainer:737) INFO: 17epoch:train:5701-5800batch: iter_time=8.086e-05, forward_time=0.152, loss_ctc=63.350, loss_att=51.133, acc=0.720, loss=54.798, backward_time=0.307, grad_norm=44.074, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.883e-05, train_time=1.420 -[gpua002:0/64] 2023-12-07 21:22:21,982 (trainer:737) INFO: 17epoch:train:5801-5900batch: iter_time=8.224e-05, forward_time=0.180, loss_ctc=78.860, loss_att=66.173, acc=0.692, loss=69.979, backward_time=0.337, grad_norm=50.124, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.138, optim0_lr0=9.881e-05, train_time=1.594 -[gpua002:0/64] 2023-12-07 21:23:41,935 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-07 21:25:38,502 (trainer:737) INFO: 17epoch:train:5901-6000batch: iter_time=8.349e-05, forward_time=0.157, loss_ctc=75.967, loss_att=58.937, acc=0.715, loss=64.046, backward_time=0.324, grad_norm=52.560, clip=100.000, loss_scale=1.115e+32, optim_step_time=0.136, optim0_lr0=9.879e-05, train_time=1.965 -[gpua002:0/64] 2023-12-07 21:28:07,623 (trainer:737) INFO: 17epoch:train:6001-6100batch: iter_time=7.806e-05, forward_time=0.149, loss_ctc=83.563, loss_att=67.092, acc=0.710, loss=72.033, backward_time=0.290, grad_norm=64.003, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.877e-05, train_time=1.491 -[gpua002:0/64] 2023-12-07 21:30:35,856 (trainer:737) INFO: 17epoch:train:6101-6200batch: iter_time=7.795e-05, forward_time=0.149, loss_ctc=64.828, loss_att=49.553, acc=0.709, loss=54.136, backward_time=0.316, grad_norm=45.806, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.875e-05, train_time=1.482 -[gpua002:0/64] 2023-12-07 21:31:57,058 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua002:0/64] 2023-12-07 21:32:16,402 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 21:32:20,324 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 21:32:20,324 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua002:0/64] 2023-12-07 21:32:20,327 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 21:37:49,873 (trainer:737) INFO: 17epoch:train:6201-6300batch: iter_time=2.948, forward_time=0.151, loss_ctc=72.857, loss_att=57.651, acc=0.713, loss=62.213, backward_time=0.282, grad_norm=46.561, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.873e-05, train_time=4.340 -[gpua002:0/64] 2023-12-07 21:39:53,911 (trainer:737) INFO: 17epoch:train:6301-6400batch: iter_time=8.351e-05, forward_time=0.148, loss_ctc=59.162, loss_att=45.950, acc=0.715, loss=49.913, backward_time=0.279, grad_norm=45.351, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.871e-05, train_time=1.240 -[gpua002:0/64] 2023-12-07 21:41:57,702 (trainer:737) INFO: 17epoch:train:6401-6500batch: iter_time=8.982e-04, forward_time=0.153, loss_ctc=58.903, loss_att=44.023, acc=0.722, loss=48.487, backward_time=0.278, grad_norm=46.886, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.869e-05, train_time=1.238 -[gpua002:0/64] 2023-12-07 21:44:07,565 (trainer:737) INFO: 17epoch:train:6501-6600batch: iter_time=7.683e-05, forward_time=0.185, loss_ctc=68.954, loss_att=57.532, acc=0.680, loss=60.959, backward_time=0.296, grad_norm=53.051, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=9.867e-05, train_time=1.298 -[gpua002:0/64] 2023-12-07 21:47:09,043 (trainer:737) INFO: 17epoch:train:6601-6700batch: iter_time=0.002, forward_time=0.176, loss_ctc=71.664, loss_att=56.971, acc=0.709, loss=61.379, backward_time=0.317, grad_norm=48.349, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.865e-05, train_time=1.815 -[gpua002:0/64] 2023-12-07 21:49:20,391 (trainer:737) INFO: 17epoch:train:6701-6800batch: iter_time=8.235e-05, forward_time=0.153, loss_ctc=75.178, loss_att=59.475, acc=0.692, loss=64.186, backward_time=0.283, grad_norm=62.585, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.863e-05, train_time=1.313 -[gpua002:0/64] 2023-12-07 21:51:43,051 (trainer:737) INFO: 17epoch:train:6801-6900batch: iter_time=8.351e-05, forward_time=0.163, loss_ctc=75.779, loss_att=61.201, acc=0.685, loss=65.574, backward_time=0.281, grad_norm=72.016, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.861e-05, train_time=1.426 -[gpua002:0/64] 2023-12-07 21:54:25,886 (trainer:737) INFO: 17epoch:train:6901-7000batch: iter_time=8.420e-05, forward_time=0.147, loss_ctc=69.706, loss_att=54.343, acc=0.697, loss=58.952, backward_time=0.290, grad_norm=50.153, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.859e-05, train_time=1.628 -[gpua002:0/64] 2023-12-07 21:56:55,470 (trainer:737) INFO: 17epoch:train:7001-7100batch: iter_time=8.431e-05, forward_time=0.147, loss_ctc=66.634, loss_att=54.924, acc=0.706, loss=58.437, backward_time=0.291, grad_norm=63.104, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.857e-05, train_time=1.496 -[gpua002:0/64] 2023-12-07 21:59:21,312 (trainer:737) INFO: 17epoch:train:7101-7200batch: iter_time=8.666e-05, forward_time=0.150, loss_ctc=84.578, loss_att=68.231, acc=0.694, loss=73.135, backward_time=0.302, grad_norm=55.070, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.855e-05, train_time=1.458 -[gpua002:0/64] 2023-12-07 22:01:57,463 (trainer:737) INFO: 17epoch:train:7201-7300batch: iter_time=8.144e-05, forward_time=0.147, loss_ctc=74.241, loss_att=57.708, acc=0.711, loss=62.668, backward_time=0.311, grad_norm=59.251, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.853e-05, train_time=1.562 -[gpua002:0/64] 2023-12-07 22:04:12,349 (trainer:737) INFO: 17epoch:train:7301-7400batch: iter_time=8.155e-05, forward_time=0.151, loss_ctc=76.816, loss_att=60.729, acc=0.701, loss=65.555, backward_time=0.289, grad_norm=54.520, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.851e-05, train_time=1.349 -[gpua002:0/64] 2023-12-07 22:06:46,023 (trainer:737) INFO: 17epoch:train:7401-7500batch: iter_time=7.734e-05, forward_time=0.171, loss_ctc=70.824, loss_att=52.290, acc=0.719, loss=57.850, backward_time=0.297, grad_norm=49.719, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=9.849e-05, train_time=1.536 -[gpua002:0/64] 2023-12-07 22:07:06,068 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua002:0/64] 2023-12-07 22:07:25,155 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 22:07:28,932 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 22:07:28,932 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua002:0/64] 2023-12-07 22:07:28,935 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 22:15:27,159 (trainer:737) INFO: 17epoch:train:7501-7600batch: iter_time=2.928, forward_time=0.176, loss_ctc=63.185, loss_att=50.469, acc=0.720, loss=54.284, backward_time=0.288, grad_norm=47.784, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.847e-05, train_time=5.211 -[gpua002:0/64] 2023-12-07 22:17:51,509 (trainer:737) INFO: 17epoch:train:7601-7700batch: iter_time=8.326e-05, forward_time=0.149, loss_ctc=58.771, loss_att=46.124, acc=0.719, loss=49.918, backward_time=0.308, grad_norm=45.377, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.845e-05, train_time=1.443 -[gpua002:0/64] 2023-12-07 22:20:20,522 (trainer:737) INFO: 17epoch:train:7701-7800batch: iter_time=8.241e-05, forward_time=0.148, loss_ctc=59.456, loss_att=48.347, acc=0.716, loss=51.680, backward_time=0.294, grad_norm=46.296, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.843e-05, train_time=1.490 -[gpua002:0/64] 2023-12-07 22:22:28,433 (trainer:737) INFO: 17epoch:train:7801-7900batch: iter_time=8.493e-05, forward_time=0.148, loss_ctc=77.737, loss_att=64.306, acc=0.703, loss=68.335, backward_time=0.289, grad_norm=49.755, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.841e-05, train_time=1.279 -[gpua002:0/64] 2023-12-07 22:25:22,687 (trainer:737) INFO: 17epoch:train:7901-8000batch: iter_time=8.046e-05, forward_time=0.148, loss_ctc=65.805, loss_att=50.351, acc=0.714, loss=54.987, backward_time=0.315, grad_norm=47.194, clip=100.000, loss_scale=1.314e+32, optim_step_time=0.134, optim0_lr0=9.839e-05, train_time=1.742 -[gpua002:0/64] 2023-12-07 22:27:27,136 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-07 22:28:03,132 (trainer:737) INFO: 17epoch:train:8001-8100batch: iter_time=7.533e-05, forward_time=0.151, loss_ctc=68.771, loss_att=54.159, acc=0.714, loss=58.543, backward_time=0.337, grad_norm=57.833, clip=100.000, loss_scale=1.434e+32, optim_step_time=0.135, optim0_lr0=9.837e-05, train_time=1.604 -[gpua002:0/64] 2023-12-07 22:31:13,794 (trainer:737) INFO: 17epoch:train:8101-8200batch: iter_time=8.353e-05, forward_time=0.148, loss_ctc=81.149, loss_att=70.465, acc=0.673, loss=73.670, backward_time=0.307, grad_norm=72.099, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.835e-05, train_time=1.906 -[gpua002:0/64] 2023-12-07 22:33:50,658 (trainer:737) INFO: 17epoch:train:8201-8300batch: iter_time=8.087e-05, forward_time=0.156, loss_ctc=63.043, loss_att=50.586, acc=0.721, loss=54.323, backward_time=0.322, grad_norm=44.222, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.833e-05, train_time=1.568 -[gpua002:0/64] 2023-12-07 22:36:15,598 (trainer:737) INFO: 17epoch:train:8301-8400batch: iter_time=7.969e-05, forward_time=0.175, loss_ctc=79.579, loss_att=66.571, acc=0.694, loss=70.473, backward_time=0.299, grad_norm=51.576, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.831e-05, train_time=1.449 -[gpua002:0/64] 2023-12-07 22:38:40,534 (trainer:737) INFO: 17epoch:train:8401-8500batch: iter_time=8.203e-05, forward_time=0.179, loss_ctc=76.127, loss_att=59.222, acc=0.717, loss=64.293, backward_time=0.310, grad_norm=47.253, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.829e-05, train_time=1.449 -[gpua002:0/64] 2023-12-07 22:41:19,551 (trainer:737) INFO: 17epoch:train:8501-8600batch: iter_time=9.147e-05, forward_time=0.175, loss_ctc=83.287, loss_att=67.159, acc=0.712, loss=71.997, backward_time=0.316, grad_norm=69.745, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=9.827e-05, train_time=1.590 -[gpua002:0/64] 2023-12-07 22:44:08,976 (trainer:737) INFO: 17epoch:train:8601-8700batch: iter_time=8.548e-05, forward_time=0.147, loss_ctc=63.876, loss_att=49.071, acc=0.712, loss=53.512, backward_time=0.307, grad_norm=47.291, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.825e-05, train_time=1.694 -[gpua002:0/64] 2023-12-07 22:46:06,365 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua002:0/64] 2023-12-07 22:46:26,323 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 22:46:29,906 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 22:46:29,906 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua002:0/64] 2023-12-07 22:46:29,909 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 22:52:21,567 (trainer:737) INFO: 17epoch:train:8701-8800batch: iter_time=3.078, forward_time=0.153, loss_ctc=73.070, loss_att=56.543, acc=0.722, loss=61.501, backward_time=0.377, grad_norm=47.660, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.823e-05, train_time=4.926 -[gpua002:0/64] 2023-12-07 22:54:36,495 (trainer:737) INFO: 17epoch:train:8801-8900batch: iter_time=8.655e-05, forward_time=0.148, loss_ctc=58.597, loss_att=45.716, acc=0.722, loss=49.580, backward_time=0.295, grad_norm=46.426, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.821e-05, train_time=1.349 -[gpua002:0/64] 2023-12-07 22:57:33,147 (trainer:737) INFO: 17epoch:train:8901-9000batch: iter_time=8.657e-05, forward_time=0.150, loss_ctc=58.879, loss_att=44.420, acc=0.726, loss=48.757, backward_time=0.299, grad_norm=54.451, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.819e-05, train_time=1.766 -[gpua002:0/64] 2023-12-07 23:00:16,966 (trainer:737) INFO: 17epoch:train:9001-9100batch: iter_time=8.833e-05, forward_time=0.147, loss_ctc=68.111, loss_att=57.537, acc=0.704, loss=60.709, backward_time=0.322, grad_norm=55.109, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.817e-05, train_time=1.638 -[gpua002:0/64] 2023-12-07 23:02:53,940 (trainer:737) INFO: 17epoch:train:9101-9200batch: iter_time=8.177e-05, forward_time=0.175, loss_ctc=71.732, loss_att=57.087, acc=0.715, loss=61.480, backward_time=0.332, grad_norm=48.014, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=9.815e-05, train_time=1.569 -[gpua002:0/64] 2023-12-07 23:05:27,662 (trainer:737) INFO: 17epoch:train:9201-9300batch: iter_time=8.551e-05, forward_time=0.155, loss_ctc=72.315, loss_att=59.561, acc=0.712, loss=63.387, backward_time=0.335, grad_norm=57.279, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.813e-05, train_time=1.537 -[gpua002:0/64] 2023-12-07 23:08:24,663 (trainer:737) INFO: 17epoch:train:9301-9400batch: iter_time=8.680e-05, forward_time=0.208, loss_ctc=75.107, loss_att=61.079, acc=0.689, loss=65.288, backward_time=0.372, grad_norm=69.241, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=9.811e-05, train_time=1.770 -[gpua002:0/64] 2023-12-07 23:10:50,735 (trainer:737) INFO: 17epoch:train:9401-9500batch: iter_time=9.149e-05, forward_time=0.148, loss_ctc=69.073, loss_att=54.628, acc=0.708, loss=58.962, backward_time=0.306, grad_norm=48.558, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.809e-05, train_time=1.460 -[gpua002:0/64] 2023-12-07 23:13:28,812 (trainer:737) INFO: 17epoch:train:9501-9600batch: iter_time=8.654e-05, forward_time=0.148, loss_ctc=66.694, loss_att=55.486, acc=0.712, loss=58.848, backward_time=0.287, grad_norm=45.166, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.807e-05, train_time=1.581 -[gpua002:0/64] 2023-12-07 23:15:59,560 (trainer:737) INFO: 17epoch:train:9601-9700batch: iter_time=8.346e-05, forward_time=0.148, loss_ctc=84.730, loss_att=68.705, acc=0.698, loss=73.513, backward_time=0.288, grad_norm=52.640, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.805e-05, train_time=1.507 -[gpua002:0/64] 2023-12-07 23:18:49,476 (trainer:737) INFO: 17epoch:train:9701-9800batch: iter_time=8.093e-05, forward_time=0.152, loss_ctc=74.207, loss_att=58.705, acc=0.716, loss=63.356, backward_time=0.337, grad_norm=52.123, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.803e-05, train_time=1.699 -[gpua002:0/64] 2023-12-07 23:21:10,427 (trainer:737) INFO: 17epoch:train:9801-9900batch: iter_time=8.415e-05, forward_time=0.148, loss_ctc=80.772, loss_att=62.320, acc=0.707, loss=67.855, backward_time=0.283, grad_norm=58.795, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.801e-05, train_time=1.409 -[gpua002:0/64] 2023-12-07 23:23:59,320 (trainer:737) INFO: 17epoch:train:9901-10000batch: iter_time=8.997e-05, forward_time=0.151, loss_ctc=70.806, loss_att=52.810, acc=0.723, loss=58.209, backward_time=0.360, grad_norm=50.590, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.799e-05, train_time=1.689 -[gpua002:0/64] 2023-12-07 23:24:19,349 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua002:0/64] 2023-12-07 23:24:38,617 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 23:24:42,205 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 23:24:42,205 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua002:0/64] 2023-12-07 23:24:42,208 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 23:32:55,929 (trainer:737) INFO: 17epoch:train:10001-10100batch: iter_time=3.019, forward_time=0.183, loss_ctc=63.055, loss_att=49.131, acc=0.724, loss=53.308, backward_time=0.283, grad_norm=45.077, clip=100.000, loss_scale=9.979e+31, optim_step_time=0.136, optim0_lr0=9.797e-05, train_time=5.366 -[gpua002:0/64] 2023-12-07 23:34:56,793 (trainer:737) INFO: 17epoch:train:10101-10200batch: iter_time=8.352e-05, forward_time=0.147, loss_ctc=58.344, loss_att=45.188, acc=0.722, loss=49.135, backward_time=0.279, grad_norm=47.663, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.796e-05, train_time=1.208 -[gpua002:0/64] 2023-12-07 23:37:25,545 (trainer:737) INFO: 17epoch:train:10201-10300batch: iter_time=8.435e-05, forward_time=0.148, loss_ctc=59.177, loss_att=47.053, acc=0.721, loss=50.690, backward_time=0.292, grad_norm=44.560, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.794e-05, train_time=1.487 -[gpua002:0/64] 2023-12-07 23:40:12,671 (trainer:737) INFO: 17epoch:train:10301-10400batch: iter_time=8.689e-05, forward_time=0.148, loss_ctc=77.377, loss_att=63.495, acc=0.706, loss=67.660, backward_time=0.294, grad_norm=50.057, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.792e-05, train_time=1.671 -[gpua002:0/64] 2023-12-07 23:41:03,898 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-07 23:43:55,945 (trainer:737) INFO: 17epoch:train:10401-10500batch: iter_time=8.856e-05, forward_time=0.155, loss_ctc=65.506, loss_att=49.820, acc=0.717, loss=54.526, backward_time=0.331, grad_norm=47.810, clip=100.000, loss_scale=1.082e+32, optim_step_time=0.134, optim0_lr0=9.790e-05, train_time=2.233 -[gpua002:0/64] 2023-12-07 23:47:06,570 (trainer:737) INFO: 17epoch:train:10501-10600batch: iter_time=8.284e-05, forward_time=0.148, loss_ctc=69.013, loss_att=53.878, acc=0.716, loss=58.419, backward_time=0.332, grad_norm=52.997, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.788e-05, train_time=1.906 -[gpua002:0/64] 2023-12-07 23:50:12,732 (trainer:737) INFO: 17epoch:train:10601-10700batch: iter_time=8.116e-05, forward_time=0.150, loss_ctc=80.687, loss_att=70.028, acc=0.674, loss=73.225, backward_time=0.371, grad_norm=66.647, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.786e-05, train_time=1.861 -[gpua002:0/64] 2023-12-07 23:53:26,190 (trainer:737) INFO: 17epoch:train:10701-10800batch: iter_time=8.557e-05, forward_time=0.154, loss_ctc=63.126, loss_att=50.475, acc=0.721, loss=54.271, backward_time=0.389, grad_norm=45.018, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.784e-05, train_time=1.934 -[gpua002:0/64] 2023-12-07 23:56:00,718 (trainer:737) INFO: 17epoch:train:10801-10900batch: iter_time=4.844e-04, forward_time=0.224, loss_ctc=78.431, loss_att=65.638, acc=0.697, loss=69.476, backward_time=0.316, grad_norm=50.789, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=9.782e-05, train_time=1.545 -[gpua002:0/64] 2023-12-07 23:59:41,985 (trainer:737) INFO: 17epoch:train:10901-11000batch: iter_time=8.956e-05, forward_time=0.254, loss_ctc=76.056, loss_att=58.635, acc=0.718, loss=63.861, backward_time=0.327, grad_norm=49.113, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=9.780e-05, train_time=2.212 -[gpua002:0/64] 2023-12-08 00:02:45,225 (trainer:737) INFO: 17epoch:train:11001-11100batch: iter_time=8.733e-05, forward_time=0.148, loss_ctc=82.576, loss_att=66.090, acc=0.714, loss=71.036, backward_time=0.384, grad_norm=61.057, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.778e-05, train_time=1.832 -[gpua002:0/64] 2023-12-08 00:05:05,043 (trainer:737) INFO: 17epoch:train:11101-11200batch: iter_time=8.322e-05, forward_time=0.151, loss_ctc=64.140, loss_att=48.738, acc=0.713, loss=53.358, backward_time=0.297, grad_norm=47.219, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.776e-05, train_time=1.398 -[gpua002:0/64] 2023-12-08 00:06:37,272 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua002:0/64] 2023-12-08 00:06:56,824 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 00:07:00,453 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 00:07:00,453 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua002:0/64] 2023-12-08 00:07:00,456 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 00:16:58,133 (trainer:737) INFO: 17epoch:train:11201-11300batch: iter_time=4.046, forward_time=0.157, loss_ctc=72.629, loss_att=56.153, acc=0.723, loss=61.096, backward_time=0.287, grad_norm=45.578, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.774e-05, train_time=7.131 -[gpua002:0/64] 2023-12-08 00:21:07,694 (trainer:737) INFO: 17epoch:train:11301-11400batch: iter_time=8.807e-05, forward_time=0.149, loss_ctc=58.392, loss_att=45.469, acc=0.725, loss=49.346, backward_time=0.488, grad_norm=46.484, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.772e-05, train_time=2.495 -[gpua002:0/64] 2023-12-08 00:25:41,587 (trainer:737) INFO: 17epoch:train:11401-11500batch: iter_time=8.179e-05, forward_time=0.149, loss_ctc=58.158, loss_att=43.668, acc=0.728, loss=48.015, backward_time=0.496, grad_norm=43.120, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.770e-05, train_time=2.739 -[gpua002:0/64] 2023-12-08 00:29:36,608 (trainer:737) INFO: 17epoch:train:11501-11600batch: iter_time=8.274e-05, forward_time=0.153, loss_ctc=67.987, loss_att=56.626, acc=0.707, loss=60.034, backward_time=0.402, grad_norm=49.723, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=9.768e-05, train_time=2.350 -[gpua002:0/64] 2023-12-08 00:33:40,420 (trainer:737) INFO: 17epoch:train:11601-11700batch: iter_time=8.081e-05, forward_time=0.279, loss_ctc=71.089, loss_att=56.616, acc=0.716, loss=60.958, backward_time=0.529, grad_norm=46.986, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.149, optim0_lr0=9.766e-05, train_time=2.438 -[gpua002:0/64] 2023-12-08 00:37:22,343 (trainer:737) INFO: 17epoch:train:11701-11800batch: iter_time=8.099e-05, forward_time=0.149, loss_ctc=71.783, loss_att=58.630, acc=0.712, loss=62.576, backward_time=0.387, grad_norm=57.314, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.764e-05, train_time=2.219 -[gpua002:0/64] 2023-12-08 00:42:01,617 (trainer:737) INFO: 17epoch:train:11801-11900batch: iter_time=9.016e-05, forward_time=0.148, loss_ctc=75.528, loss_att=60.822, acc=0.692, loss=65.234, backward_time=0.564, grad_norm=75.756, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.762e-05, train_time=2.793 -[gpua002:0/64] 2023-12-08 00:45:41,927 (trainer:737) INFO: 17epoch:train:11901-12000batch: iter_time=8.576e-05, forward_time=0.148, loss_ctc=68.665, loss_att=53.991, acc=0.710, loss=58.393, backward_time=0.352, grad_norm=48.065, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.760e-05, train_time=2.203 -[gpua002:0/64] 2023-12-08 00:50:06,791 (trainer:737) INFO: 17epoch:train:12001-12100batch: iter_time=8.870e-05, forward_time=0.156, loss_ctc=65.989, loss_att=54.895, acc=0.715, loss=58.223, backward_time=0.492, grad_norm=45.058, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.759e-05, train_time=2.648 -[gpua002:0/64] 2023-12-08 00:50:20,161 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-08 00:54:10,217 (trainer:737) INFO: 17epoch:train:12101-12200batch: iter_time=8.574e-05, forward_time=0.157, loss_ctc=83.781, loss_att=68.039, acc=0.700, loss=72.762, backward_time=0.342, grad_norm=53.207, clip=100.000, loss_scale=4.220e+31, optim_step_time=0.134, optim0_lr0=9.757e-05, train_time=2.433 -[gpua002:0/64] 2023-12-08 00:57:39,585 (trainer:737) INFO: 17epoch:train:12201-12300batch: iter_time=8.607e-05, forward_time=0.149, loss_ctc=73.602, loss_att=58.010, acc=0.715, loss=62.688, backward_time=0.336, grad_norm=52.770, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.755e-05, train_time=2.094 -[gpua002:0/64] 2023-12-08 01:02:03,968 (trainer:737) INFO: 17epoch:train:12301-12400batch: iter_time=8.245e-05, forward_time=0.149, loss_ctc=78.361, loss_att=61.568, acc=0.709, loss=66.606, backward_time=0.529, grad_norm=58.740, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.753e-05, train_time=2.644 -[gpua002:0/64] 2023-12-08 01:05:46,084 (trainer:737) INFO: 17epoch:train:12401-12500batch: iter_time=8.724e-05, forward_time=0.210, loss_ctc=70.389, loss_att=52.356, acc=0.726, loss=57.766, backward_time=0.577, grad_norm=48.014, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.142, optim0_lr0=9.751e-05, train_time=2.221 -[gpua002:0/64] 2023-12-08 01:06:06,113 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua002:0/64] 2023-12-08 01:06:25,598 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 01:06:29,098 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 01:06:29,099 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua002:0/64] 2023-12-08 01:06:29,102 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 01:16:34,482 (trainer:737) INFO: 17epoch:train:12501-12600batch: iter_time=4.231, forward_time=0.183, loss_ctc=62.572, loss_att=48.605, acc=0.725, loss=52.795, backward_time=0.502, grad_norm=43.975, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.749e-05, train_time=6.484 -[gpua002:0/64] 2023-12-08 01:21:40,962 (trainer:737) INFO: 17epoch:train:12601-12700batch: iter_time=8.862e-05, forward_time=0.149, loss_ctc=58.831, loss_att=45.615, acc=0.722, loss=49.580, backward_time=0.612, grad_norm=50.573, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.747e-05, train_time=3.065 -[gpua002:0/64] 2023-12-08 01:26:44,990 (trainer:737) INFO: 17epoch:train:12701-12800batch: iter_time=8.356e-05, forward_time=0.154, loss_ctc=58.779, loss_att=46.554, acc=0.722, loss=50.222, backward_time=0.420, grad_norm=45.202, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.745e-05, train_time=3.040 -[gpua002:0/64] 2023-12-08 01:31:17,949 (trainer:737) INFO: 17epoch:train:12801-12900batch: iter_time=8.523e-05, forward_time=0.149, loss_ctc=77.663, loss_att=63.773, acc=0.707, loss=67.940, backward_time=0.491, grad_norm=50.460, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=9.743e-05, train_time=2.730 -[gpua002:0/64] 2023-12-08 01:35:46,711 (trainer:737) INFO: 17epoch:train:12901-13000batch: iter_time=8.327e-05, forward_time=0.215, loss_ctc=65.188, loss_att=49.621, acc=0.719, loss=54.291, backward_time=0.531, grad_norm=45.396, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.161, optim0_lr0=9.741e-05, train_time=2.687 -[gpua002:0/64] 2023-12-08 01:40:13,280 (trainer:737) INFO: 17epoch:train:13001-13100batch: iter_time=8.352e-05, forward_time=0.166, loss_ctc=69.294, loss_att=54.226, acc=0.715, loss=58.747, backward_time=0.420, grad_norm=52.247, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=9.739e-05, train_time=2.665 -[gpua002:0/64] 2023-12-08 01:44:42,546 (trainer:737) INFO: 17epoch:train:13101-13200batch: iter_time=8.407e-05, forward_time=0.184, loss_ctc=80.366, loss_att=68.573, acc=0.678, loss=72.111, backward_time=0.532, grad_norm=65.935, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=9.737e-05, train_time=2.692 -[gpua002:0/64] 2023-12-08 01:48:26,902 (trainer:737) INFO: 17epoch:train:13201-13300batch: iter_time=8.185e-05, forward_time=0.150, loss_ctc=62.257, loss_att=48.698, acc=0.730, loss=52.765, backward_time=0.402, grad_norm=41.433, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=9.735e-05, train_time=2.243 -[gpua002:0/64] 2023-12-08 01:52:40,209 (trainer:737) INFO: 17epoch:train:13301-13400batch: iter_time=8.273e-05, forward_time=0.158, loss_ctc=78.425, loss_att=66.055, acc=0.697, loss=69.766, backward_time=0.396, grad_norm=51.092, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=9.733e-05, train_time=2.533 -[gpua002:0/64] 2023-12-08 01:57:28,753 (trainer:737) INFO: 17epoch:train:13401-13500batch: iter_time=8.287e-05, forward_time=0.194, loss_ctc=75.434, loss_att=58.306, acc=0.720, loss=63.445, backward_time=0.531, grad_norm=49.253, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=9.732e-05, train_time=2.886 -[gpua002:0/64] 2023-12-08 02:01:41,182 (trainer:737) INFO: 17epoch:train:13501-13600batch: iter_time=8.920e-05, forward_time=0.185, loss_ctc=80.612, loss_att=65.232, acc=0.715, loss=69.846, backward_time=0.476, grad_norm=63.941, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=9.730e-05, train_time=2.524 -[gpua002:0/64] 2023-12-08 02:05:09,426 (trainer:737) INFO: 17epoch:train:13601-13700batch: iter_time=9.217e-05, forward_time=0.176, loss_ctc=64.142, loss_att=48.326, acc=0.714, loss=53.071, backward_time=0.361, grad_norm=48.183, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.728e-05, train_time=2.082 -[gpua002:0/64] 2023-12-08 02:07:04,163 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua002:0/64] 2023-12-08 02:07:23,693 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 02:07:27,322 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 02:07:27,322 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua002:0/64] 2023-12-08 02:07:27,325 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 02:14:56,991 (trainer:737) INFO: 17epoch:train:13701-13800batch: iter_time=3.910, forward_time=0.249, loss_ctc=72.764, loss_att=57.933, acc=0.716, loss=62.382, backward_time=0.331, grad_norm=49.204, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=9.726e-05, train_time=5.875 -[gpua002:0/64] 2023-12-08 02:17:11,509 (trainer:737) INFO: 17epoch:train:13801-13900batch: iter_time=7.948e-05, forward_time=0.148, loss_ctc=57.971, loss_att=46.756, acc=0.714, loss=50.121, backward_time=0.284, grad_norm=45.456, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.724e-05, train_time=1.345 -[gpua002:0/64] 2023-12-08 02:20:12,752 (trainer:737) INFO: 17epoch:train:13901-14000batch: iter_time=8.363e-05, forward_time=0.147, loss_ctc=58.717, loss_att=44.483, acc=0.722, loss=48.753, backward_time=0.313, grad_norm=45.903, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.722e-05, train_time=1.812 -[gpua002:0/64] 2023-12-08 02:23:55,088 (trainer:737) INFO: 17epoch:train:14001-14100batch: iter_time=5.726e-04, forward_time=0.196, loss_ctc=67.497, loss_att=58.612, acc=0.680, loss=61.277, backward_time=0.487, grad_norm=51.155, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.156, optim0_lr0=9.720e-05, train_time=2.223 -[gpua002:0/64] 2023-12-08 02:27:01,600 (trainer:737) INFO: 17epoch:train:14101-14200batch: iter_time=8.648e-05, forward_time=0.146, loss_ctc=70.903, loss_att=57.173, acc=0.710, loss=61.292, backward_time=0.317, grad_norm=48.654, clip=100.000, loss_scale=7.910e+31, optim_step_time=0.134, optim0_lr0=9.718e-05, train_time=1.865 -[gpua002:0/64] 2023-12-08 02:29:34,637 (trainer:737) INFO: 17epoch:train:14201-14300batch: iter_time=8.657e-05, forward_time=0.146, loss_ctc=72.523, loss_att=59.744, acc=0.694, loss=63.578, backward_time=0.308, grad_norm=59.075, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.716e-05, train_time=1.530 -[gpua002:0/64] 2023-12-08 02:32:45,970 (trainer:737) INFO: 17epoch:train:14301-14400batch: iter_time=4.614e-04, forward_time=0.311, loss_ctc=73.827, loss_att=60.423, acc=0.690, loss=64.444, backward_time=0.348, grad_norm=73.713, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.143, optim0_lr0=9.714e-05, train_time=1.911 -[gpua002:0/64] 2023-12-08 02:36:28,490 (trainer:737) INFO: 17epoch:train:14401-14500batch: iter_time=7.931e-05, forward_time=0.177, loss_ctc=67.858, loss_att=54.071, acc=0.699, loss=58.207, backward_time=0.341, grad_norm=48.884, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.712e-05, train_time=2.227 -[gpua002:0/64] 2023-12-08 02:40:03,894 (trainer:737) INFO: 17epoch:train:14501-14600batch: iter_time=7.568e-05, forward_time=0.147, loss_ctc=65.275, loss_att=54.256, acc=0.710, loss=57.562, backward_time=0.394, grad_norm=45.575, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.711e-05, train_time=2.154 -[gpua002:0/64] 2023-12-08 02:43:37,874 (trainer:737) INFO: 17epoch:train:14601-14700batch: iter_time=8.338e-05, forward_time=0.298, loss_ctc=83.410, loss_att=68.033, acc=0.694, loss=72.646, backward_time=0.332, grad_norm=49.959, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.154, optim0_lr0=9.709e-05, train_time=2.139 -[gpua002:0/64] 2023-12-08 02:46:26,111 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-08 02:46:29,773 (trainer:737) INFO: 17epoch:train:14701-14800batch: iter_time=8.867e-05, forward_time=0.147, loss_ctc=73.926, loss_att=57.581, acc=0.714, loss=62.484, backward_time=0.288, grad_norm=54.222, clip=100.000, loss_scale=7.990e+31, optim_step_time=0.134, optim0_lr0=9.707e-05, train_time=1.719 -[gpua002:0/64] 2023-12-08 02:50:05,250 (trainer:737) INFO: 17epoch:train:14801-14900batch: iter_time=7.427e-04, forward_time=0.298, loss_ctc=78.850, loss_att=61.419, acc=0.702, loss=66.648, backward_time=0.434, grad_norm=61.057, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.166, optim0_lr0=9.705e-05, train_time=2.154 -[gpua002:0/64] 2023-12-08 02:53:14,874 (trainer:737) INFO: 17epoch:train:14901-15000batch: iter_time=1.137e-04, forward_time=0.187, loss_ctc=70.509, loss_att=52.181, acc=0.720, loss=57.680, backward_time=0.369, grad_norm=46.781, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.703e-05, train_time=1.897 -[gpua002:0/64] 2023-12-08 03:22:57,104 (trainer:343) INFO: 17epoch results: [train] iter_time=0.248, forward_time=0.164, loss_ctc=70.920, loss_att=56.309, acc=0.705, loss=60.692, backward_time=0.335, grad_norm=52.257, clip=100.000, loss_scale=1.310e+32, optim_step_time=0.136, optim0_lr0=9.849e-05, train_time=2.011, time=8 hours, 23 minutes and 18.88 seconds, total_count=255000, gpu_max_cached_mem_GB=35.939, [valid] loss_ctc=40.267, cer_ctc=0.212, loss_att=37.501, acc=0.687, cer=0.280, wer=0.990, loss=38.331, time=29 minutes and 17.96 seconds, total_count=79407, gpu_max_cached_mem_GB=35.939 -[gpua002:0/64] 2023-12-08 03:23:18,365 (trainer:391) INFO: The best model has been updated: valid.acc, valid.total_count -[gpua002:0/64] 2023-12-08 03:23:18,549 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/12epoch.pth -[gpua002:0/64] 2023-12-08 03:23:18,549 (trainer:272) INFO: 18/40epoch started. Estimated time to finish: 1 week, 1 day and 21 hours -[gpua002:0/64] 2023-12-08 03:23:18,562 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua002:0/64] 2023-12-08 03:23:37,110 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 03:23:40,532 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 03:23:40,532 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua002:0/64] 2023-12-08 03:23:40,535 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 03:36:26,341 (trainer:737) INFO: 18epoch:train:1-100batch: iter_time=3.393, forward_time=0.209, loss_ctc=63.455, loss_att=50.980, acc=0.709, loss=54.722, backward_time=0.328, grad_norm=49.067, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=9.701e-05, train_time=7.877 -[gpua002:0/64] 2023-12-08 03:38:28,313 (trainer:737) INFO: 18epoch:train:101-200batch: iter_time=8.365e-05, forward_time=0.146, loss_ctc=63.578, loss_att=52.500, acc=0.696, loss=55.824, backward_time=0.280, grad_norm=47.325, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.699e-05, train_time=1.220 -[gpua002:0/64] 2023-12-08 03:40:36,123 (trainer:737) INFO: 18epoch:train:201-300batch: iter_time=8.522e-05, forward_time=0.146, loss_ctc=76.557, loss_att=65.280, acc=0.699, loss=68.663, backward_time=0.288, grad_norm=58.359, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.697e-05, train_time=1.278 -[gpua002:0/64] 2023-12-08 03:43:44,014 (trainer:737) INFO: 18epoch:train:301-400batch: iter_time=8.781e-05, forward_time=0.148, loss_ctc=65.942, loss_att=53.493, acc=0.673, loss=57.228, backward_time=0.325, grad_norm=51.203, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.695e-05, train_time=1.879 -[gpua002:0/64] 2023-12-08 03:46:33,932 (trainer:737) INFO: 18epoch:train:401-500batch: iter_time=8.532e-05, forward_time=0.147, loss_ctc=71.353, loss_att=60.771, acc=0.698, loss=63.945, backward_time=0.326, grad_norm=50.104, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.693e-05, train_time=1.699 -[gpua002:0/64] 2023-12-08 03:49:43,843 (trainer:737) INFO: 18epoch:train:501-600batch: iter_time=9.123e-05, forward_time=0.148, loss_ctc=87.467, loss_att=71.212, acc=0.685, loss=76.089, backward_time=0.377, grad_norm=59.645, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.692e-05, train_time=1.899 -[gpua002:0/64] 2023-12-08 03:52:42,067 (trainer:737) INFO: 18epoch:train:601-700batch: iter_time=8.136e-05, forward_time=0.158, loss_ctc=76.591, loss_att=54.728, acc=0.705, loss=61.287, backward_time=0.367, grad_norm=53.943, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.690e-05, train_time=1.782 -[gpua002:0/64] 2023-12-08 03:55:52,821 (trainer:737) INFO: 18epoch:train:701-800batch: iter_time=7.982e-05, forward_time=0.239, loss_ctc=76.045, loss_att=61.213, acc=0.712, loss=65.663, backward_time=0.395, grad_norm=49.489, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=9.688e-05, train_time=1.907 -[gpua002:0/64] 2023-12-08 03:58:24,930 (trainer:737) INFO: 18epoch:train:801-900batch: iter_time=8.419e-05, forward_time=0.161, loss_ctc=76.797, loss_att=66.094, acc=0.688, loss=69.305, backward_time=0.293, grad_norm=57.873, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=9.686e-05, train_time=1.521 -[gpua002:0/64] 2023-12-08 04:01:00,140 (trainer:737) INFO: 18epoch:train:901-1000batch: iter_time=8.834e-05, forward_time=0.147, loss_ctc=73.483, loss_att=59.342, acc=0.683, loss=63.585, backward_time=0.346, grad_norm=51.130, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.684e-05, train_time=1.552 -[gpua002:0/64] 2023-12-08 04:03:55,134 (trainer:737) INFO: 18epoch:train:1001-1100batch: iter_time=7.983e-05, forward_time=0.146, loss_ctc=72.028, loss_att=54.355, acc=0.694, loss=59.657, backward_time=0.303, grad_norm=55.872, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.682e-05, train_time=1.750 -[gpua002:0/64] 2023-12-08 04:06:56,620 (trainer:737) INFO: 18epoch:train:1101-1200batch: iter_time=7.726e-05, forward_time=0.151, loss_ctc=76.143, loss_att=54.305, acc=0.715, loss=60.856, backward_time=0.327, grad_norm=51.250, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.680e-05, train_time=1.815 -[gpua002:0/64] 2023-12-08 04:08:25,260 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua002:0/64] 2023-12-08 04:08:44,892 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 04:08:48,473 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 04:08:48,473 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua002:0/64] 2023-12-08 04:08:48,476 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 04:18:42,835 (trainer:737) INFO: 18epoch:train:1201-1300batch: iter_time=2.996, forward_time=0.158, loss_ctc=76.259, loss_att=57.227, acc=0.709, loss=62.937, backward_time=0.285, grad_norm=53.358, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=9.678e-05, train_time=7.062 -[gpua002:0/64] 2023-12-08 04:21:08,900 (trainer:737) INFO: 18epoch:train:1301-1400batch: iter_time=7.661e-05, forward_time=0.147, loss_ctc=62.403, loss_att=51.700, acc=0.721, loss=54.911, backward_time=0.286, grad_norm=43.593, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.676e-05, train_time=1.460 -[gpua002:0/64] 2023-12-08 04:23:51,023 (trainer:737) INFO: 18epoch:train:1401-1500batch: iter_time=7.942e-05, forward_time=0.230, loss_ctc=71.985, loss_att=66.329, acc=0.696, loss=68.026, backward_time=0.328, grad_norm=53.430, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.143, optim0_lr0=9.674e-05, train_time=1.621 -[gpua002:0/64] 2023-12-08 04:26:09,340 (trainer:737) INFO: 18epoch:train:1501-1600batch: iter_time=7.683e-05, forward_time=0.182, loss_ctc=67.502, loss_att=52.598, acc=0.717, loss=57.069, backward_time=0.288, grad_norm=50.956, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=9.673e-05, train_time=1.383 -[gpua002:0/64] 2023-12-08 04:29:15,243 (trainer:737) INFO: 18epoch:train:1601-1700batch: iter_time=7.542e-05, forward_time=0.146, loss_ctc=70.277, loss_att=60.526, acc=0.690, loss=63.451, backward_time=0.335, grad_norm=50.508, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.671e-05, train_time=1.859 -[gpua002:0/64] 2023-12-08 04:31:54,649 (trainer:737) INFO: 18epoch:train:1701-1800batch: iter_time=8.032e-05, forward_time=0.146, loss_ctc=77.796, loss_att=66.933, acc=0.694, loss=70.192, backward_time=0.305, grad_norm=53.880, clip=100.000, loss_scale=4.178e+31, optim_step_time=0.135, optim0_lr0=9.669e-05, train_time=1.594 -[gpua002:0/64] 2023-12-08 04:34:50,176 (trainer:737) INFO: 18epoch:train:1801-1900batch: iter_time=8.090e-05, forward_time=0.147, loss_ctc=79.094, loss_att=59.490, acc=0.711, loss=65.371, backward_time=0.332, grad_norm=51.626, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.667e-05, train_time=1.755 -[gpua002:0/64] 2023-12-08 04:38:36,682 (trainer:737) INFO: 18epoch:train:1901-2000batch: iter_time=8.136e-05, forward_time=0.154, loss_ctc=78.691, loss_att=62.365, acc=0.714, loss=67.263, backward_time=0.387, grad_norm=55.215, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.665e-05, train_time=2.265 -[gpua002:0/64] 2023-12-08 04:41:05,237 (trainer:737) INFO: 18epoch:train:2001-2100batch: iter_time=8.128e-05, forward_time=0.152, loss_ctc=72.334, loss_att=61.616, acc=0.708, loss=64.832, backward_time=0.298, grad_norm=56.761, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.663e-05, train_time=1.485 -[gpua002:0/64] 2023-12-08 04:43:43,545 (trainer:737) INFO: 18epoch:train:2101-2200batch: iter_time=7.642e-05, forward_time=0.148, loss_ctc=72.317, loss_att=61.041, acc=0.699, loss=64.424, backward_time=0.308, grad_norm=48.701, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.661e-05, train_time=1.583 -[gpua002:0/64] 2023-12-08 04:46:37,328 (trainer:737) INFO: 18epoch:train:2201-2300batch: iter_time=7.857e-05, forward_time=0.147, loss_ctc=68.436, loss_att=54.001, acc=0.697, loss=58.332, backward_time=0.328, grad_norm=46.750, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.659e-05, train_time=1.738 -[gpua002:0/64] 2023-12-08 04:49:54,093 (trainer:737) INFO: 18epoch:train:2301-2400batch: iter_time=8.301e-05, forward_time=0.206, loss_ctc=78.896, loss_att=56.595, acc=0.707, loss=63.285, backward_time=0.419, grad_norm=57.761, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.658e-05, train_time=1.967 -[gpua002:0/64] 2023-12-08 04:52:27,651 (trainer:737) INFO: 18epoch:train:2401-2500batch: iter_time=8.083e-05, forward_time=0.165, loss_ctc=79.964, loss_att=59.971, acc=0.722, loss=65.969, backward_time=0.321, grad_norm=49.423, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.656e-05, train_time=1.535 -[gpua002:0/64] 2023-12-08 04:52:47,879 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua002:0/64] 2023-12-08 04:53:07,179 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 04:53:10,805 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 04:53:10,805 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua002:0/64] 2023-12-08 04:53:10,808 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 05:00:42,544 (trainer:737) INFO: 18epoch:train:2501-2600batch: iter_time=3.627, forward_time=0.210, loss_ctc=64.387, loss_att=50.397, acc=0.720, loss=54.594, backward_time=0.294, grad_norm=45.554, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=9.654e-05, train_time=4.949 -[gpua002:0/64] 2023-12-08 05:02:41,941 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-08 05:03:03,880 (trainer:737) INFO: 18epoch:train:2601-2700batch: iter_time=8.189e-05, forward_time=0.147, loss_ctc=62.910, loss_att=52.144, acc=0.715, loss=55.374, backward_time=0.299, grad_norm=44.081, clip=100.000, loss_scale=7.375e+31, optim_step_time=0.135, optim0_lr0=9.652e-05, train_time=1.413 -[gpua002:0/64] 2023-12-08 05:06:13,191 (trainer:737) INFO: 18epoch:train:2701-2800batch: iter_time=8.172e-05, forward_time=0.147, loss_ctc=74.780, loss_att=63.476, acc=0.715, loss=66.867, backward_time=0.312, grad_norm=51.877, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.650e-05, train_time=1.893 -[gpua002:0/64] 2023-12-08 05:09:06,996 (trainer:737) INFO: 18epoch:train:2801-2900batch: iter_time=8.147e-05, forward_time=0.335, loss_ctc=64.938, loss_att=52.481, acc=0.695, loss=56.218, backward_time=0.363, grad_norm=46.847, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.142, optim0_lr0=9.648e-05, train_time=1.738 -[gpua002:0/64] 2023-12-08 05:11:22,120 (trainer:737) INFO: 18epoch:train:2901-3000batch: iter_time=8.488e-05, forward_time=0.150, loss_ctc=70.847, loss_att=60.282, acc=0.707, loss=63.452, backward_time=0.292, grad_norm=47.658, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.646e-05, train_time=1.350 -[gpua002:0/64] 2023-12-08 05:13:59,141 (trainer:737) INFO: 18epoch:train:3001-3100batch: iter_time=8.047e-05, forward_time=0.148, loss_ctc=83.154, loss_att=69.440, acc=0.700, loss=73.554, backward_time=0.295, grad_norm=60.304, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.644e-05, train_time=1.571 -[gpua002:0/64] 2023-12-08 05:16:08,695 (trainer:737) INFO: 18epoch:train:3101-3200batch: iter_time=7.853e-05, forward_time=0.150, loss_ctc=73.798, loss_att=54.650, acc=0.716, loss=60.394, backward_time=0.284, grad_norm=54.403, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.643e-05, train_time=1.295 -[gpua002:0/64] 2023-12-08 05:18:50,092 (trainer:737) INFO: 18epoch:train:3201-3300batch: iter_time=7.934e-05, forward_time=0.149, loss_ctc=74.812, loss_att=60.063, acc=0.723, loss=64.488, backward_time=0.335, grad_norm=45.629, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.641e-05, train_time=1.614 -[gpua002:0/64] 2023-12-08 05:21:58,711 (trainer:737) INFO: 18epoch:train:3301-3400batch: iter_time=3.967e-04, forward_time=0.193, loss_ctc=74.022, loss_att=65.094, acc=0.701, loss=67.773, backward_time=0.458, grad_norm=54.504, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=9.639e-05, train_time=1.885 -[gpua002:0/64] 2023-12-08 05:24:30,957 (trainer:737) INFO: 18epoch:train:3401-3500batch: iter_time=8.361e-05, forward_time=0.147, loss_ctc=72.086, loss_att=58.850, acc=0.690, loss=62.821, backward_time=0.315, grad_norm=49.857, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.637e-05, train_time=1.523 -[gpua002:0/64] 2023-12-08 05:27:04,844 (trainer:737) INFO: 18epoch:train:3501-3600batch: iter_time=8.468e-05, forward_time=0.147, loss_ctc=71.244, loss_att=53.161, acc=0.706, loss=58.586, backward_time=0.315, grad_norm=50.796, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.635e-05, train_time=1.539 -[gpua002:0/64] 2023-12-08 05:29:52,413 (trainer:737) INFO: 18epoch:train:3601-3700batch: iter_time=8.543e-05, forward_time=0.147, loss_ctc=75.059, loss_att=53.195, acc=0.730, loss=59.754, backward_time=0.332, grad_norm=45.377, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.633e-05, train_time=1.675 -[gpua002:0/64] 2023-12-08 05:31:44,328 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua002:0/64] 2023-12-08 05:32:04,192 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 05:32:07,738 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 05:32:07,739 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua002:0/64] 2023-12-08 05:32:07,742 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 05:38:21,315 (trainer:737) INFO: 18epoch:train:3701-3800batch: iter_time=3.024, forward_time=0.281, loss_ctc=75.027, loss_att=56.063, acc=0.719, loss=61.753, backward_time=0.362, grad_norm=55.090, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=9.631e-05, train_time=5.089 -[gpua002:0/64] 2023-12-08 05:40:27,115 (trainer:737) INFO: 18epoch:train:3801-3900batch: iter_time=7.991e-05, forward_time=0.147, loss_ctc=61.780, loss_att=49.493, acc=0.729, loss=53.179, backward_time=0.281, grad_norm=43.139, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.630e-05, train_time=1.258 -[gpua002:0/64] 2023-12-08 05:42:28,573 (trainer:737) INFO: 18epoch:train:3901-4000batch: iter_time=8.478e-05, forward_time=0.147, loss_ctc=70.621, loss_att=64.699, acc=0.702, loss=66.476, backward_time=0.281, grad_norm=52.341, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.628e-05, train_time=1.214 -[gpua002:0/64] 2023-12-08 05:45:15,380 (trainer:737) INFO: 18epoch:train:4001-4100batch: iter_time=8.409e-05, forward_time=0.147, loss_ctc=66.691, loss_att=51.637, acc=0.722, loss=56.153, backward_time=0.300, grad_norm=47.694, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.626e-05, train_time=1.668 -[gpua002:0/64] 2023-12-08 05:47:32,625 (trainer:737) INFO: 18epoch:train:4101-4200batch: iter_time=7.776e-05, forward_time=0.150, loss_ctc=69.574, loss_att=59.976, acc=0.696, loss=62.855, backward_time=0.288, grad_norm=48.510, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.624e-05, train_time=1.372 -[gpua002:0/64] 2023-12-08 05:49:45,333 (trainer:737) INFO: 18epoch:train:4201-4300batch: iter_time=8.390e-05, forward_time=0.147, loss_ctc=75.560, loss_att=64.846, acc=0.699, loss=68.061, backward_time=0.292, grad_norm=59.233, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.622e-05, train_time=1.327 -[gpua002:0/64] 2023-12-08 05:52:34,928 (trainer:737) INFO: 18epoch:train:4301-4400batch: iter_time=8.000e-05, forward_time=0.147, loss_ctc=78.306, loss_att=58.962, acc=0.714, loss=64.765, backward_time=0.319, grad_norm=53.765, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.620e-05, train_time=1.696 -[gpua002:0/64] 2023-12-08 05:56:01,401 (trainer:737) INFO: 18epoch:train:4401-4500batch: iter_time=0.011, forward_time=0.280, loss_ctc=77.572, loss_att=61.743, acc=0.717, loss=66.492, backward_time=0.337, grad_norm=54.029, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.143, optim0_lr0=9.618e-05, train_time=2.061 -[gpua002:0/64] 2023-12-08 05:58:43,463 (trainer:737) INFO: 18epoch:train:4501-4600batch: iter_time=8.307e-05, forward_time=0.148, loss_ctc=70.926, loss_att=60.581, acc=0.711, loss=63.685, backward_time=0.290, grad_norm=47.121, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.617e-05, train_time=1.620 -[gpua002:0/64] 2023-12-08 06:01:27,993 (trainer:737) INFO: 18epoch:train:4601-4700batch: iter_time=8.113e-05, forward_time=0.148, loss_ctc=71.712, loss_att=60.171, acc=0.703, loss=63.633, backward_time=0.297, grad_norm=53.250, clip=100.000, loss_scale=4.787e+31, optim_step_time=0.135, optim0_lr0=9.615e-05, train_time=1.645 -[gpua002:0/64] 2023-12-08 06:03:54,458 (trainer:737) INFO: 18epoch:train:4701-4800batch: iter_time=8.284e-05, forward_time=0.147, loss_ctc=68.041, loss_att=53.463, acc=0.700, loss=57.836, backward_time=0.293, grad_norm=51.443, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.613e-05, train_time=1.464 -[gpua002:0/64] 2023-12-08 06:06:34,045 (trainer:737) INFO: 18epoch:train:4801-4900batch: iter_time=7.965e-05, forward_time=0.147, loss_ctc=76.025, loss_att=55.099, acc=0.713, loss=61.377, backward_time=0.338, grad_norm=57.378, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.611e-05, train_time=1.596 -[gpua002:0/64] 2023-12-08 06:08:35,248 (trainer:737) INFO: 18epoch:train:4901-5000batch: iter_time=8.141e-05, forward_time=0.147, loss_ctc=79.455, loss_att=58.701, acc=0.725, loss=64.927, backward_time=0.280, grad_norm=51.958, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.609e-05, train_time=1.212 -[gpua002:0/64] 2023-12-08 06:08:55,300 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua002:0/64] 2023-12-08 06:09:14,554 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 06:09:18,156 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 06:09:18,156 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua002:0/64] 2023-12-08 06:09:18,159 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 06:15:59,002 (trainer:737) INFO: 18epoch:train:5001-5100batch: iter_time=3.105, forward_time=0.179, loss_ctc=64.041, loss_att=50.237, acc=0.720, loss=54.378, backward_time=0.285, grad_norm=50.949, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.607e-05, train_time=4.437 -[gpua002:0/64] 2023-12-08 06:18:33,543 (trainer:737) INFO: 18epoch:train:5101-5200batch: iter_time=7.855e-05, forward_time=0.148, loss_ctc=62.566, loss_att=51.601, acc=0.720, loss=54.891, backward_time=0.299, grad_norm=43.239, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.605e-05, train_time=1.545 -[gpua002:0/64] 2023-12-08 06:20:43,040 (trainer:737) INFO: 18epoch:train:5201-5300batch: iter_time=8.214e-05, forward_time=0.164, loss_ctc=73.545, loss_att=62.865, acc=0.716, loss=66.069, backward_time=0.280, grad_norm=54.149, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.604e-05, train_time=1.295 -[gpua002:0/64] 2023-12-08 06:22:50,681 (trainer:737) INFO: 18epoch:train:5301-5400batch: iter_time=7.912e-05, forward_time=0.148, loss_ctc=64.665, loss_att=51.942, acc=0.697, loss=55.759, backward_time=0.292, grad_norm=46.349, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.602e-05, train_time=1.276 -[gpua002:0/64] 2023-12-08 06:25:01,885 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-08 06:25:04,301 (trainer:737) INFO: 18epoch:train:5401-5500batch: iter_time=8.288e-05, forward_time=0.148, loss_ctc=69.960, loss_att=59.620, acc=0.713, loss=62.722, backward_time=0.287, grad_norm=47.115, clip=100.000, loss_scale=8.031e+31, optim_step_time=0.135, optim0_lr0=9.600e-05, train_time=1.336 -[gpua002:0/64] 2023-12-08 06:28:04,995 (trainer:737) INFO: 18epoch:train:5501-5600batch: iter_time=8.582e-05, forward_time=0.147, loss_ctc=81.985, loss_att=68.310, acc=0.702, loss=72.412, backward_time=0.315, grad_norm=61.247, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.598e-05, train_time=1.807 -[gpua002:0/64] 2023-12-08 06:30:21,635 (trainer:737) INFO: 18epoch:train:5601-5700batch: iter_time=8.620e-05, forward_time=0.147, loss_ctc=74.195, loss_att=54.521, acc=0.720, loss=60.423, backward_time=0.297, grad_norm=51.859, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.596e-05, train_time=1.366 -[gpua002:0/64] 2023-12-08 06:32:57,945 (trainer:737) INFO: 18epoch:train:5701-5800batch: iter_time=8.814e-05, forward_time=0.148, loss_ctc=73.990, loss_att=59.820, acc=0.727, loss=64.071, backward_time=0.290, grad_norm=45.867, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.594e-05, train_time=1.563 -[gpua002:0/64] 2023-12-08 06:35:15,320 (trainer:737) INFO: 18epoch:train:5801-5900batch: iter_time=8.308e-05, forward_time=0.163, loss_ctc=72.852, loss_att=63.757, acc=0.704, loss=66.486, backward_time=0.295, grad_norm=53.991, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.593e-05, train_time=1.374 -[gpua002:0/64] 2023-12-08 06:38:16,884 (trainer:737) INFO: 18epoch:train:5901-6000batch: iter_time=8.144e-05, forward_time=0.194, loss_ctc=71.333, loss_att=58.590, acc=0.691, loss=62.413, backward_time=0.345, grad_norm=49.728, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=9.591e-05, train_time=1.815 -[gpua002:0/64] 2023-12-08 06:40:46,322 (trainer:737) INFO: 18epoch:train:6001-6100batch: iter_time=8.385e-05, forward_time=0.148, loss_ctc=69.820, loss_att=53.024, acc=0.705, loss=58.063, backward_time=0.291, grad_norm=64.957, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.589e-05, train_time=1.494 -[gpua002:0/64] 2023-12-08 06:42:55,647 (trainer:737) INFO: 18epoch:train:6101-6200batch: iter_time=8.487e-05, forward_time=0.148, loss_ctc=74.493, loss_att=52.963, acc=0.731, loss=59.422, backward_time=0.279, grad_norm=49.391, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.587e-05, train_time=1.293 -[gpua002:0/64] 2023-12-08 06:44:44,436 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua002:0/64] 2023-12-08 06:45:03,885 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 06:45:07,458 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 06:45:07,458 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua002:0/64] 2023-12-08 06:45:07,461 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 06:50:52,383 (trainer:737) INFO: 18epoch:train:6201-6300batch: iter_time=3.155, forward_time=0.148, loss_ctc=73.691, loss_att=56.902, acc=0.715, loss=61.938, backward_time=0.289, grad_norm=49.385, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.585e-05, train_time=4.767 -[gpua002:0/64] 2023-12-08 06:53:14,074 (trainer:737) INFO: 18epoch:train:6301-6400batch: iter_time=7.835e-05, forward_time=0.150, loss_ctc=62.050, loss_att=51.827, acc=0.714, loss=54.894, backward_time=0.288, grad_norm=44.720, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=9.583e-05, train_time=1.417 -[gpua002:0/64] 2023-12-08 06:55:17,770 (trainer:737) INFO: 18epoch:train:6401-6500batch: iter_time=8.120e-05, forward_time=0.148, loss_ctc=70.836, loss_att=65.334, acc=0.690, loss=66.985, backward_time=0.280, grad_norm=50.156, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=9.582e-05, train_time=1.237 -[gpua002:0/64] 2023-12-08 06:57:39,401 (trainer:737) INFO: 18epoch:train:6501-6600batch: iter_time=8.081e-05, forward_time=0.147, loss_ctc=67.039, loss_att=52.388, acc=0.708, loss=56.783, backward_time=0.293, grad_norm=56.439, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.580e-05, train_time=1.416 -[gpua002:0/64] 2023-12-08 07:00:01,392 (trainer:737) INFO: 18epoch:train:6601-6700batch: iter_time=7.918e-05, forward_time=0.147, loss_ctc=69.366, loss_att=59.332, acc=0.687, loss=62.342, backward_time=0.291, grad_norm=49.129, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.578e-05, train_time=1.420 -[gpua002:0/64] 2023-12-08 07:02:29,389 (trainer:737) INFO: 18epoch:train:6701-6800batch: iter_time=8.098e-05, forward_time=0.148, loss_ctc=74.690, loss_att=65.230, acc=0.693, loss=68.068, backward_time=0.294, grad_norm=53.452, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.576e-05, train_time=1.480 -[gpua002:0/64] 2023-12-08 07:04:54,517 (trainer:737) INFO: 18epoch:train:6801-6900batch: iter_time=8.108e-05, forward_time=0.247, loss_ctc=77.367, loss_att=58.425, acc=0.708, loss=64.108, backward_time=0.311, grad_norm=49.609, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=9.574e-05, train_time=1.451 -[gpua002:0/64] 2023-12-08 07:07:46,796 (trainer:737) INFO: 18epoch:train:6901-7000batch: iter_time=8.424e-05, forward_time=0.152, loss_ctc=78.142, loss_att=60.113, acc=0.714, loss=65.522, backward_time=0.296, grad_norm=55.860, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.572e-05, train_time=1.722 -[gpua002:0/64] 2023-12-08 07:10:28,541 (trainer:737) INFO: 18epoch:train:7001-7100batch: iter_time=7.588e-05, forward_time=0.151, loss_ctc=69.870, loss_att=60.333, acc=0.702, loss=63.194, backward_time=0.320, grad_norm=51.446, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.571e-05, train_time=1.617 -[gpua002:0/64] 2023-12-08 07:13:00,215 (trainer:737) INFO: 18epoch:train:7101-7200batch: iter_time=8.113e-05, forward_time=0.148, loss_ctc=71.547, loss_att=60.227, acc=0.704, loss=63.623, backward_time=0.329, grad_norm=51.934, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.569e-05, train_time=1.517 -[gpua002:0/64] 2023-12-08 07:15:36,693 (trainer:737) INFO: 18epoch:train:7201-7300batch: iter_time=8.264e-05, forward_time=0.147, loss_ctc=67.845, loss_att=52.786, acc=0.701, loss=57.304, backward_time=0.309, grad_norm=47.641, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.567e-05, train_time=1.565 -[gpua002:0/64] 2023-12-08 07:18:09,392 (trainer:737) INFO: 18epoch:train:7301-7400batch: iter_time=8.353e-05, forward_time=0.151, loss_ctc=76.255, loss_att=55.393, acc=0.704, loss=61.651, backward_time=0.289, grad_norm=54.767, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.565e-05, train_time=1.527 -[gpua002:0/64] 2023-12-08 07:20:20,586 (trainer:737) INFO: 18epoch:train:7401-7500batch: iter_time=7.743e-05, forward_time=0.147, loss_ctc=77.938, loss_att=57.816, acc=0.720, loss=63.853, backward_time=0.296, grad_norm=55.635, clip=100.000, loss_scale=4.138e+31, optim_step_time=0.134, optim0_lr0=9.563e-05, train_time=1.312 -[gpua002:0/64] 2023-12-08 07:20:40,615 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua002:0/64] 2023-12-08 07:21:00,149 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 07:21:03,771 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 07:21:03,771 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua002:0/64] 2023-12-08 07:21:03,774 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 07:29:45,622 (trainer:737) INFO: 18epoch:train:7501-7600batch: iter_time=2.990, forward_time=0.176, loss_ctc=63.106, loss_att=49.761, acc=0.716, loss=53.764, backward_time=0.285, grad_norm=48.911, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.561e-05, train_time=5.650 -[gpua002:0/64] 2023-12-08 07:32:06,895 (trainer:737) INFO: 18epoch:train:7601-7700batch: iter_time=8.675e-05, forward_time=0.147, loss_ctc=62.092, loss_att=51.208, acc=0.708, loss=54.473, backward_time=0.288, grad_norm=43.299, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.560e-05, train_time=1.413 -[gpua002:0/64] 2023-12-08 07:34:59,173 (trainer:737) INFO: 18epoch:train:7701-7800batch: iter_time=8.600e-05, forward_time=0.148, loss_ctc=73.268, loss_att=63.340, acc=0.710, loss=66.319, backward_time=0.347, grad_norm=56.008, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.558e-05, train_time=1.722 -[gpua002:0/64] 2023-12-08 07:37:12,190 (trainer:737) INFO: 18epoch:train:7801-7900batch: iter_time=9.031e-05, forward_time=0.148, loss_ctc=64.258, loss_att=51.677, acc=0.687, loss=55.451, backward_time=0.285, grad_norm=48.415, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.556e-05, train_time=1.330 -[gpua002:0/64] 2023-12-08 07:40:02,894 (trainer:737) INFO: 18epoch:train:7901-8000batch: iter_time=8.798e-05, forward_time=0.148, loss_ctc=69.744, loss_att=58.802, acc=0.708, loss=62.085, backward_time=0.312, grad_norm=49.712, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.554e-05, train_time=1.707 -[gpua002:0/64] 2023-12-08 07:42:38,783 (trainer:737) INFO: 18epoch:train:8001-8100batch: iter_time=9.198e-05, forward_time=0.148, loss_ctc=81.686, loss_att=68.177, acc=0.695, loss=72.230, backward_time=0.314, grad_norm=57.123, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.552e-05, train_time=1.559 -[gpua002:0/64] 2023-12-08 07:45:01,800 (trainer:737) INFO: 18epoch:train:8101-8200batch: iter_time=8.930e-05, forward_time=0.147, loss_ctc=73.578, loss_att=52.619, acc=0.716, loss=58.906, backward_time=0.284, grad_norm=53.330, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.551e-05, train_time=1.430 -[gpua002:0/64] 2023-12-08 07:47:29,893 (trainer:737) INFO: 18epoch:train:8201-8300batch: iter_time=8.373e-05, forward_time=0.148, loss_ctc=73.666, loss_att=59.692, acc=0.719, loss=63.884, backward_time=0.288, grad_norm=47.893, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.549e-05, train_time=1.481 -[gpua002:0/64] 2023-12-08 07:50:20,318 (trainer:737) INFO: 18epoch:train:8301-8400batch: iter_time=8.397e-05, forward_time=0.196, loss_ctc=72.700, loss_att=63.705, acc=0.696, loss=66.403, backward_time=0.365, grad_norm=52.766, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=9.547e-05, train_time=1.704 -[gpua002:0/64] 2023-12-08 07:52:53,527 (trainer:737) INFO: 18epoch:train:8401-8500batch: iter_time=8.252e-05, forward_time=0.150, loss_ctc=71.498, loss_att=57.907, acc=0.693, loss=61.985, backward_time=0.315, grad_norm=51.659, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.545e-05, train_time=1.532 -[gpua002:0/64] 2023-12-08 07:55:24,925 (trainer:737) INFO: 18epoch:train:8501-8600batch: iter_time=8.824e-05, forward_time=0.147, loss_ctc=68.511, loss_att=52.807, acc=0.704, loss=57.518, backward_time=0.291, grad_norm=49.322, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.543e-05, train_time=1.514 -[gpua002:0/64] 2023-12-08 07:57:35,088 (trainer:737) INFO: 18epoch:train:8601-8700batch: iter_time=8.318e-05, forward_time=0.148, loss_ctc=74.217, loss_att=52.569, acc=0.724, loss=59.063, backward_time=0.293, grad_norm=47.414, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.541e-05, train_time=1.301 -[gpua002:0/64] 2023-12-08 07:59:12,521 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua002:0/64] 2023-12-08 07:59:32,276 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 07:59:35,917 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 07:59:35,917 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua002:0/64] 2023-12-08 07:59:35,921 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 08:05:02,363 (trainer:737) INFO: 18epoch:train:8701-8800batch: iter_time=3.000, forward_time=0.173, loss_ctc=72.824, loss_att=54.737, acc=0.717, loss=60.163, backward_time=0.296, grad_norm=50.904, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.540e-05, train_time=4.473 -[gpua002:0/64] 2023-12-08 08:07:22,646 (trainer:737) INFO: 18epoch:train:8801-8900batch: iter_time=8.410e-05, forward_time=0.148, loss_ctc=61.991, loss_att=49.265, acc=0.718, loss=53.083, backward_time=0.285, grad_norm=45.430, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.538e-05, train_time=1.403 -[gpua002:0/64] 2023-12-08 08:09:26,349 (trainer:737) INFO: 18epoch:train:8901-9000batch: iter_time=8.797e-05, forward_time=0.147, loss_ctc=71.264, loss_att=63.746, acc=0.699, loss=66.001, backward_time=0.281, grad_norm=49.907, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.536e-05, train_time=1.237 -[gpua002:0/64] 2023-12-08 08:11:38,958 (trainer:737) INFO: 18epoch:train:9001-9100batch: iter_time=8.453e-05, forward_time=0.154, loss_ctc=65.492, loss_att=51.623, acc=0.713, loss=55.783, backward_time=0.281, grad_norm=55.155, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.534e-05, train_time=1.326 -[gpua002:0/64] 2023-12-08 08:14:12,640 (trainer:737) INFO: 18epoch:train:9101-9200batch: iter_time=8.683e-05, forward_time=0.148, loss_ctc=69.271, loss_att=59.178, acc=0.688, loss=62.206, backward_time=0.328, grad_norm=49.420, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.532e-05, train_time=1.536 -[gpua002:0/64] 2023-12-08 08:16:38,500 (trainer:737) INFO: 18epoch:train:9201-9300batch: iter_time=8.237e-05, forward_time=0.147, loss_ctc=74.000, loss_att=64.049, acc=0.695, loss=67.034, backward_time=0.302, grad_norm=54.496, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.531e-05, train_time=1.459 -[gpua002:0/64] 2023-12-08 08:19:12,678 (trainer:737) INFO: 18epoch:train:9301-9400batch: iter_time=8.219e-05, forward_time=0.147, loss_ctc=76.452, loss_att=57.441, acc=0.711, loss=63.144, backward_time=0.318, grad_norm=51.835, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.529e-05, train_time=1.541 -[gpua002:0/64] 2023-12-08 08:21:49,443 (trainer:737) INFO: 18epoch:train:9401-9500batch: iter_time=8.244e-05, forward_time=0.147, loss_ctc=77.304, loss_att=59.323, acc=0.716, loss=64.718, backward_time=0.311, grad_norm=53.397, clip=100.000, loss_scale=8.275e+31, optim_step_time=0.134, optim0_lr0=9.527e-05, train_time=1.567 -[gpua002:0/64] 2023-12-08 08:24:48,256 (trainer:737) INFO: 18epoch:train:9501-9600batch: iter_time=7.808e-05, forward_time=0.204, loss_ctc=70.373, loss_att=59.973, acc=0.705, loss=63.093, backward_time=0.309, grad_norm=50.731, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=9.525e-05, train_time=1.788 -[gpua002:0/64] 2023-12-08 08:27:21,292 (trainer:737) INFO: 18epoch:train:9601-9700batch: iter_time=6.837e-04, forward_time=0.190, loss_ctc=70.650, loss_att=59.465, acc=0.706, loss=62.820, backward_time=0.310, grad_norm=47.069, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.138, optim0_lr0=9.523e-05, train_time=1.530 -[gpua002:0/64] 2023-12-08 08:29:45,522 (trainer:737) INFO: 18epoch:train:9701-9800batch: iter_time=7.721e-05, forward_time=0.148, loss_ctc=66.331, loss_att=51.496, acc=0.706, loss=55.946, backward_time=0.306, grad_norm=49.174, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.522e-05, train_time=1.442 -[gpua002:0/64] 2023-12-08 08:32:04,576 (trainer:737) INFO: 18epoch:train:9801-9900batch: iter_time=7.722e-05, forward_time=0.147, loss_ctc=75.486, loss_att=54.607, acc=0.710, loss=60.871, backward_time=0.284, grad_norm=56.496, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.520e-05, train_time=1.390 -[gpua002:0/64] 2023-12-08 08:34:39,603 (trainer:737) INFO: 18epoch:train:9901-10000batch: iter_time=7.799e-05, forward_time=0.149, loss_ctc=77.970, loss_att=57.568, acc=0.722, loss=63.689, backward_time=0.326, grad_norm=51.282, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.518e-05, train_time=1.550 -[gpua002:0/64] 2023-12-08 08:34:59,632 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua002:0/64] 2023-12-08 08:35:19,303 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 08:35:22,987 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 08:35:22,987 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua002:0/64] 2023-12-08 08:35:22,992 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 08:45:06,776 (trainer:737) INFO: 18epoch:train:10001-10100batch: iter_time=3.018, forward_time=0.150, loss_ctc=63.286, loss_att=49.532, acc=0.718, loss=53.658, backward_time=0.282, grad_norm=46.955, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.516e-05, train_time=6.271 -[gpua002:0/64] 2023-12-08 08:47:36,482 (trainer:737) INFO: 18epoch:train:10101-10200batch: iter_time=8.537e-05, forward_time=0.148, loss_ctc=62.156, loss_att=50.898, acc=0.709, loss=54.276, backward_time=0.349, grad_norm=42.654, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.514e-05, train_time=1.497 -[gpua002:0/64] 2023-12-08 08:49:58,453 (trainer:737) INFO: 18epoch:train:10201-10300batch: iter_time=7.831e-05, forward_time=0.148, loss_ctc=72.546, loss_att=62.660, acc=0.711, loss=65.626, backward_time=0.338, grad_norm=61.338, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.513e-05, train_time=1.420 -[gpua002:0/64] 2023-12-08 08:52:05,635 (trainer:737) INFO: 18epoch:train:10301-10400batch: iter_time=8.425e-05, forward_time=0.167, loss_ctc=64.062, loss_att=51.083, acc=0.689, loss=54.977, backward_time=0.285, grad_norm=55.305, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.511e-05, train_time=1.272 -[gpua002:0/64] 2023-12-08 08:55:01,287 (trainer:737) INFO: 18epoch:train:10401-10500batch: iter_time=0.002, forward_time=0.213, loss_ctc=69.817, loss_att=58.592, acc=0.710, loss=61.959, backward_time=0.321, grad_norm=47.724, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=9.509e-05, train_time=1.756 -[gpua002:0/64] 2023-12-08 08:57:36,357 (trainer:737) INFO: 18epoch:train:10501-10600batch: iter_time=8.724e-05, forward_time=0.180, loss_ctc=80.859, loss_att=67.430, acc=0.698, loss=71.459, backward_time=0.313, grad_norm=59.113, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=9.507e-05, train_time=1.549 -[gpua002:0/64] 2023-12-08 09:00:24,253 (trainer:737) INFO: 18epoch:train:10601-10700batch: iter_time=8.182e-05, forward_time=0.148, loss_ctc=74.673, loss_att=52.169, acc=0.719, loss=58.920, backward_time=0.326, grad_norm=50.814, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.505e-05, train_time=1.679 -[gpua002:0/64] 2023-12-08 09:03:10,485 (trainer:737) INFO: 18epoch:train:10701-10800batch: iter_time=7.713e-05, forward_time=0.161, loss_ctc=73.847, loss_att=59.285, acc=0.723, loss=63.653, backward_time=0.299, grad_norm=48.947, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.504e-05, train_time=1.662 -[gpua002:0/64] 2023-12-08 09:05:54,087 (trainer:737) INFO: 18epoch:train:10801-10900batch: iter_time=8.574e-05, forward_time=0.147, loss_ctc=71.316, loss_att=62.868, acc=0.699, loss=65.402, backward_time=0.326, grad_norm=56.693, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.502e-05, train_time=1.636 -[gpua002:0/64] 2023-12-08 09:08:08,797 (trainer:737) INFO: 18epoch:train:10901-11000batch: iter_time=8.497e-05, forward_time=0.147, loss_ctc=71.006, loss_att=57.499, acc=0.695, loss=61.551, backward_time=0.302, grad_norm=47.572, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.500e-05, train_time=1.347 -[gpua002:0/64] 2023-12-08 09:10:56,551 (trainer:737) INFO: 18epoch:train:11001-11100batch: iter_time=8.048e-05, forward_time=0.148, loss_ctc=68.833, loss_att=52.341, acc=0.705, loss=57.289, backward_time=0.298, grad_norm=50.816, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.498e-05, train_time=1.677 -[gpua002:0/64] 2023-12-08 09:13:26,784 (trainer:737) INFO: 18epoch:train:11101-11200batch: iter_time=8.081e-05, forward_time=0.147, loss_ctc=74.258, loss_att=52.321, acc=0.726, loss=58.902, backward_time=0.297, grad_norm=47.427, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.497e-05, train_time=1.502 -[gpua002:0/64] 2023-12-08 09:14:56,836 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua002:0/64] 2023-12-08 09:15:16,102 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 09:15:19,727 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 09:15:19,727 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua002:0/64] 2023-12-08 09:15:19,734 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 09:21:30,672 (trainer:737) INFO: 18epoch:train:11201-11300batch: iter_time=3.211, forward_time=0.186, loss_ctc=72.627, loss_att=55.707, acc=0.719, loss=60.783, backward_time=0.286, grad_norm=48.876, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=9.495e-05, train_time=4.838 -[gpua002:0/64] 2023-12-08 09:23:34,764 (trainer:737) INFO: 18epoch:train:11301-11400batch: iter_time=7.818e-05, forward_time=0.148, loss_ctc=61.678, loss_att=50.984, acc=0.729, loss=54.192, backward_time=0.279, grad_norm=43.739, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.493e-05, train_time=1.241 -[gpua002:0/64] 2023-12-08 09:26:00,820 (trainer:737) INFO: 18epoch:train:11401-11500batch: iter_time=7.892e-05, forward_time=0.148, loss_ctc=70.130, loss_att=63.909, acc=0.708, loss=65.775, backward_time=0.291, grad_norm=47.894, clip=100.000, loss_scale=1.655e+32, optim_step_time=0.135, optim0_lr0=9.491e-05, train_time=1.460 -[gpua002:0/64] 2023-12-08 09:28:30,953 (trainer:737) INFO: 18epoch:train:11501-11600batch: iter_time=0.003, forward_time=0.295, loss_ctc=66.403, loss_att=51.662, acc=0.723, loss=56.084, backward_time=0.314, grad_norm=51.905, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.138, optim0_lr0=9.489e-05, train_time=1.498 -[gpua002:0/64] 2023-12-08 09:30:58,178 (trainer:737) INFO: 18epoch:train:11601-11700batch: iter_time=8.172e-05, forward_time=0.147, loss_ctc=68.007, loss_att=58.518, acc=0.701, loss=61.364, backward_time=0.355, grad_norm=46.466, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.488e-05, train_time=1.473 -[gpua002:0/64] 2023-12-08 09:33:18,035 (trainer:737) INFO: 18epoch:train:11701-11800batch: iter_time=7.903e-05, forward_time=0.149, loss_ctc=74.479, loss_att=65.714, acc=0.702, loss=68.344, backward_time=0.299, grad_norm=54.877, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.486e-05, train_time=1.399 -[gpua002:0/64] 2023-12-08 09:36:27,106 (trainer:737) INFO: 18epoch:train:11801-11900batch: iter_time=8.548e-05, forward_time=0.148, loss_ctc=76.526, loss_att=58.285, acc=0.716, loss=63.758, backward_time=0.315, grad_norm=48.936, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.484e-05, train_time=1.890 -[gpua002:0/64] 2023-12-08 09:39:27,790 (trainer:737) INFO: 18epoch:train:11901-12000batch: iter_time=7.999e-05, forward_time=0.148, loss_ctc=77.066, loss_att=61.172, acc=0.720, loss=65.940, backward_time=0.319, grad_norm=50.817, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.482e-05, train_time=1.807 -[gpua002:0/64] 2023-12-08 09:42:33,259 (trainer:737) INFO: 18epoch:train:12001-12100batch: iter_time=0.003, forward_time=0.264, loss_ctc=69.755, loss_att=59.861, acc=0.715, loss=62.829, backward_time=0.341, grad_norm=49.502, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.481e-05, train_time=1.850 -[gpua002:0/64] 2023-12-08 09:45:19,063 (trainer:737) INFO: 18epoch:train:12101-12200batch: iter_time=8.425e-05, forward_time=0.148, loss_ctc=70.370, loss_att=59.794, acc=0.708, loss=62.967, backward_time=0.337, grad_norm=47.134, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.479e-05, train_time=1.658 -[gpua002:0/64] 2023-12-08 09:47:27,295 (trainer:737) INFO: 18epoch:train:12201-12300batch: iter_time=7.731e-05, forward_time=0.148, loss_ctc=66.293, loss_att=52.018, acc=0.709, loss=56.300, backward_time=0.290, grad_norm=44.949, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.477e-05, train_time=1.282 -[gpua002:0/64] 2023-12-08 09:49:30,743 (trainer:737) INFO: 18epoch:train:12301-12400batch: iter_time=7.878e-05, forward_time=0.147, loss_ctc=74.917, loss_att=53.995, acc=0.718, loss=60.272, backward_time=0.288, grad_norm=52.852, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.475e-05, train_time=1.234 -[gpua002:0/64] 2023-12-08 09:54:00,621 (trainer:737) INFO: 18epoch:train:12401-12500batch: iter_time=0.017, forward_time=0.385, loss_ctc=76.828, loss_att=57.700, acc=0.732, loss=63.438, backward_time=0.477, grad_norm=49.206, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.146, optim0_lr0=9.473e-05, train_time=2.673 -[gpua002:0/64] 2023-12-08 09:54:20,650 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua002:0/64] 2023-12-08 09:54:40,264 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 09:54:43,945 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 09:54:43,945 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua002:0/64] 2023-12-08 09:54:43,948 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 10:05:27,884 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-08 10:06:05,677 (trainer:737) INFO: 18epoch:train:12501-12600batch: iter_time=5.755, forward_time=0.150, loss_ctc=62.910, loss_att=49.630, acc=0.728, loss=53.614, backward_time=0.292, grad_norm=50.452, clip=100.000, loss_scale=2.770e+32, optim_step_time=0.136, optim0_lr0=9.472e-05, train_time=7.250 -[gpua002:0/64] 2023-12-08 10:08:17,830 (trainer:737) INFO: 18epoch:train:12601-12700batch: iter_time=7.496e-05, forward_time=0.149, loss_ctc=62.056, loss_att=51.154, acc=0.723, loss=54.424, backward_time=0.281, grad_norm=43.500, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.470e-05, train_time=1.321 -[gpua002:0/64] 2023-12-08 10:11:37,849 (trainer:737) INFO: 18epoch:train:12701-12800batch: iter_time=7.796e-05, forward_time=0.149, loss_ctc=72.392, loss_att=62.113, acc=0.722, loss=65.197, backward_time=0.410, grad_norm=52.398, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.468e-05, train_time=2.000 -[gpua002:0/64] 2023-12-08 10:14:18,809 (trainer:737) INFO: 18epoch:train:12801-12900batch: iter_time=7.803e-05, forward_time=0.149, loss_ctc=64.556, loss_att=52.291, acc=0.698, loss=55.970, backward_time=0.391, grad_norm=51.832, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.466e-05, train_time=1.609 -[gpua002:0/64] 2023-12-08 10:17:15,717 (trainer:737) INFO: 18epoch:train:12901-13000batch: iter_time=8.118e-05, forward_time=0.148, loss_ctc=69.148, loss_att=59.161, acc=0.714, loss=62.157, backward_time=0.305, grad_norm=45.833, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.465e-05, train_time=1.769 -[gpua002:0/64] 2023-12-08 10:20:25,851 (trainer:737) INFO: 18epoch:train:13001-13100batch: iter_time=8.419e-05, forward_time=0.148, loss_ctc=80.767, loss_att=67.779, acc=0.705, loss=71.675, backward_time=0.348, grad_norm=55.806, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.463e-05, train_time=1.901 -[gpua002:0/64] 2023-12-08 10:25:38,651 (trainer:737) INFO: 18epoch:train:13101-13200batch: iter_time=8.586e-05, forward_time=0.148, loss_ctc=72.895, loss_att=53.483, acc=0.724, loss=59.307, backward_time=0.444, grad_norm=52.478, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.461e-05, train_time=3.128 -[gpua002:0/64] 2023-12-08 10:29:42,184 (trainer:737) INFO: 18epoch:train:13201-13300batch: iter_time=8.339e-05, forward_time=0.340, loss_ctc=73.530, loss_att=59.394, acc=0.729, loss=63.635, backward_time=0.429, grad_norm=44.817, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.159, optim0_lr0=9.459e-05, train_time=2.435 -[gpua002:0/64] 2023-12-08 10:34:17,535 (trainer:737) INFO: 18epoch:train:13301-13400batch: iter_time=8.015e-05, forward_time=0.148, loss_ctc=71.365, loss_att=63.714, acc=0.707, loss=66.010, backward_time=0.438, grad_norm=55.826, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.458e-05, train_time=2.753 -[gpua002:0/64] 2023-12-08 10:36:25,233 (trainer:737) INFO: 18epoch:train:13401-13500batch: iter_time=8.273e-05, forward_time=0.148, loss_ctc=71.001, loss_att=58.190, acc=0.697, loss=62.034, backward_time=0.282, grad_norm=51.279, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.456e-05, train_time=1.276 -[gpua002:0/64] 2023-12-08 10:38:47,923 (trainer:737) INFO: 18epoch:train:13501-13600batch: iter_time=7.796e-05, forward_time=0.149, loss_ctc=68.895, loss_att=51.760, acc=0.712, loss=56.900, backward_time=0.285, grad_norm=51.322, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.454e-05, train_time=1.427 -[gpua002:0/64] 2023-12-08 10:41:31,946 (trainer:737) INFO: 18epoch:train:13601-13700batch: iter_time=8.663e-05, forward_time=0.147, loss_ctc=73.432, loss_att=51.999, acc=0.737, loss=58.429, backward_time=0.299, grad_norm=44.071, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.452e-05, train_time=1.640 -[gpua002:0/64] 2023-12-08 10:42:58,880 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua002:0/64] 2023-12-08 10:43:18,436 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 10:43:22,011 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 10:43:22,012 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua002:0/64] 2023-12-08 10:43:22,015 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 10:49:24,072 (trainer:737) INFO: 18epoch:train:13701-13800batch: iter_time=3.361, forward_time=0.188, loss_ctc=73.001, loss_att=55.159, acc=0.723, loss=60.512, backward_time=0.304, grad_norm=51.061, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.139, optim0_lr0=9.451e-05, train_time=4.721 -[gpua002:0/64] 2023-12-08 10:51:24,647 (trainer:737) INFO: 18epoch:train:13801-13900batch: iter_time=7.919e-05, forward_time=0.148, loss_ctc=61.193, loss_att=50.582, acc=0.718, loss=53.765, backward_time=0.279, grad_norm=44.711, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.449e-05, train_time=1.206 -[gpua002:0/64] 2023-12-08 10:53:40,820 (trainer:737) INFO: 18epoch:train:13901-14000batch: iter_time=8.834e-05, forward_time=0.150, loss_ctc=70.614, loss_att=63.920, acc=0.698, loss=65.928, backward_time=0.304, grad_norm=50.429, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.447e-05, train_time=1.361 -[gpua002:0/64] 2023-12-08 10:56:07,425 (trainer:737) INFO: 18epoch:train:14001-14100batch: iter_time=8.579e-05, forward_time=0.147, loss_ctc=65.323, loss_att=51.313, acc=0.715, loss=55.516, backward_time=0.302, grad_norm=53.542, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.445e-05, train_time=1.466 -[gpua002:0/64] 2023-12-08 10:59:00,727 (trainer:737) INFO: 18epoch:train:14101-14200batch: iter_time=8.086e-05, forward_time=0.148, loss_ctc=68.335, loss_att=58.625, acc=0.690, loss=61.538, backward_time=0.303, grad_norm=48.485, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.444e-05, train_time=1.732 -[gpua002:0/64] 2023-12-08 11:01:31,279 (trainer:737) INFO: 18epoch:train:14201-14300batch: iter_time=8.443e-05, forward_time=0.148, loss_ctc=73.904, loss_att=64.854, acc=0.694, loss=67.569, backward_time=0.313, grad_norm=56.745, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.442e-05, train_time=1.506 -[gpua002:0/64] 2023-12-08 11:04:22,155 (trainer:737) INFO: 18epoch:train:14301-14400batch: iter_time=8.785e-05, forward_time=0.148, loss_ctc=76.445, loss_att=57.375, acc=0.711, loss=63.096, backward_time=0.335, grad_norm=50.056, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.440e-05, train_time=1.708 -[gpua002:0/64] 2023-12-08 11:07:19,564 (trainer:737) INFO: 18epoch:train:14401-14500batch: iter_time=8.678e-05, forward_time=0.147, loss_ctc=76.888, loss_att=59.164, acc=0.718, loss=64.481, backward_time=0.341, grad_norm=55.182, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.438e-05, train_time=1.774 -[gpua002:0/64] 2023-12-08 11:09:36,719 (trainer:737) INFO: 18epoch:train:14501-14600batch: iter_time=7.671e-05, forward_time=0.225, loss_ctc=70.186, loss_att=59.831, acc=0.705, loss=62.938, backward_time=0.320, grad_norm=52.970, clip=100.000, loss_scale=2.093e+32, optim_step_time=0.139, optim0_lr0=9.436e-05, train_time=1.371 -[gpua002:0/64] 2023-12-08 11:12:36,045 (trainer:737) INFO: 18epoch:train:14601-14700batch: iter_time=8.192e-05, forward_time=0.166, loss_ctc=69.617, loss_att=58.931, acc=0.707, loss=62.137, backward_time=0.403, grad_norm=49.313, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.137, optim0_lr0=9.435e-05, train_time=1.793 -[gpua002:0/64] 2023-12-08 11:15:06,213 (trainer:737) INFO: 18epoch:train:14701-14800batch: iter_time=8.118e-05, forward_time=0.147, loss_ctc=66.253, loss_att=51.198, acc=0.708, loss=55.714, backward_time=0.312, grad_norm=48.114, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.433e-05, train_time=1.501 -[gpua002:0/64] 2023-12-08 11:17:50,603 (trainer:737) INFO: 18epoch:train:14801-14900batch: iter_time=7.374e-05, forward_time=0.148, loss_ctc=74.492, loss_att=54.341, acc=0.711, loss=60.387, backward_time=0.307, grad_norm=52.996, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.431e-05, train_time=1.644 -[gpua002:0/64] 2023-12-08 11:20:33,707 (trainer:737) INFO: 18epoch:train:14901-15000batch: iter_time=8.300e-05, forward_time=0.147, loss_ctc=77.752, loss_att=57.412, acc=0.723, loss=63.514, backward_time=0.291, grad_norm=54.937, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.429e-05, train_time=1.631 -[gpua002:0/64] 2023-12-08 11:47:36,246 (trainer:343) INFO: 18epoch results: [train] iter_time=0.271, forward_time=0.164, loss_ctc=71.635, loss_att=57.605, acc=0.709, loss=61.814, backward_time=0.315, grad_norm=51.067, clip=100.000, loss_scale=1.114e+32, optim_step_time=0.135, optim0_lr0=9.563e-05, train_time=1.909, time=7 hours, 57 minutes and 39.5 seconds, total_count=270000, gpu_max_cached_mem_GB=35.939, [valid] loss_ctc=38.972, cer_ctc=0.205, loss_att=34.720, acc=0.714, cer=0.264, wer=0.968, loss=35.995, time=26 minutes and 38.05 seconds, total_count=84078, gpu_max_cached_mem_GB=35.939 -[gpua002:0/64] 2023-12-08 11:47:57,927 (trainer:391) INFO: The best model has been updated: valid.acc, valid.total_count -[gpua002:0/64] 2023-12-08 11:47:57,933 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/13epoch.pth -[gpua002:0/64] 2023-12-08 11:47:57,933 (trainer:272) INFO: 19/40epoch started. Estimated time to finish: 1 week, 1 day and 6 hours -[gpua002:0/64] 2023-12-08 11:47:57,945 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua002:0/64] 2023-12-08 11:48:16,528 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 11:48:19,948 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 11:48:19,948 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua002:0/64] 2023-12-08 11:48:19,951 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 11:56:40,723 (trainer:737) INFO: 19epoch:train:1-100batch: iter_time=3.430, forward_time=0.190, loss_ctc=72.528, loss_att=58.467, acc=0.700, loss=62.685, backward_time=0.285, grad_norm=66.770, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.428e-05, train_time=5.227 -[gpua002:0/64] 2023-12-08 11:58:44,006 (trainer:737) INFO: 19epoch:train:101-200batch: iter_time=8.302e-05, forward_time=0.146, loss_ctc=67.349, loss_att=55.991, acc=0.692, loss=59.399, backward_time=0.277, grad_norm=60.024, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.426e-05, train_time=1.233 -[gpua002:0/64] 2023-12-08 12:00:50,452 (trainer:737) INFO: 19epoch:train:201-300batch: iter_time=8.603e-05, forward_time=0.146, loss_ctc=67.091, loss_att=53.371, acc=0.699, loss=57.487, backward_time=0.281, grad_norm=50.389, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.424e-05, train_time=1.264 -[gpua002:0/64] 2023-12-08 12:04:27,529 (trainer:737) INFO: 19epoch:train:301-400batch: iter_time=8.164e-05, forward_time=0.382, loss_ctc=68.134, loss_att=59.239, acc=0.695, loss=61.908, backward_time=0.358, grad_norm=53.437, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.143, optim0_lr0=9.423e-05, train_time=2.171 -[gpua002:0/64] 2023-12-08 12:07:55,013 (trainer:737) INFO: 19epoch:train:401-500batch: iter_time=8.178e-05, forward_time=0.149, loss_ctc=76.300, loss_att=61.305, acc=0.695, loss=65.803, backward_time=0.340, grad_norm=55.379, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.421e-05, train_time=2.075 -[gpua002:0/64] 2023-12-08 12:10:55,873 (trainer:737) INFO: 19epoch:train:501-600batch: iter_time=8.069e-05, forward_time=0.146, loss_ctc=72.622, loss_att=54.577, acc=0.710, loss=59.990, backward_time=0.296, grad_norm=50.889, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.419e-05, train_time=1.808 -[gpua002:0/64] 2023-12-08 12:11:16,104 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-08 12:13:34,780 (trainer:737) INFO: 19epoch:train:601-700batch: iter_time=8.317e-05, forward_time=0.146, loss_ctc=77.525, loss_att=64.530, acc=0.683, loss=68.428, backward_time=0.298, grad_norm=56.906, clip=100.000, loss_scale=1.770e+32, optim_step_time=0.134, optim0_lr0=9.417e-05, train_time=1.589 -[gpua002:0/64] 2023-12-08 12:15:51,081 (trainer:737) INFO: 19epoch:train:701-800batch: iter_time=8.459e-05, forward_time=0.146, loss_ctc=71.437, loss_att=55.692, acc=0.708, loss=60.416, backward_time=0.290, grad_norm=49.097, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.416e-05, train_time=1.363 -[gpua002:0/64] 2023-12-08 12:18:19,752 (trainer:737) INFO: 19epoch:train:801-900batch: iter_time=8.242e-05, forward_time=0.146, loss_ctc=78.941, loss_att=61.776, acc=0.699, loss=66.925, backward_time=0.300, grad_norm=52.134, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.414e-05, train_time=1.486 -[gpua002:0/64] 2023-12-08 12:20:57,591 (trainer:737) INFO: 19epoch:train:901-1000batch: iter_time=2.793e-04, forward_time=0.277, loss_ctc=69.712, loss_att=54.355, acc=0.698, loss=58.962, backward_time=0.332, grad_norm=52.605, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.140, optim0_lr0=9.412e-05, train_time=1.577 -[gpua002:0/64] 2023-12-08 12:25:17,573 (trainer:737) INFO: 19epoch:train:1001-1100batch: iter_time=8.016e-05, forward_time=0.147, loss_ctc=69.311, loss_att=58.901, acc=0.683, loss=62.024, backward_time=0.471, grad_norm=52.288, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.410e-05, train_time=2.601 -[gpua002:0/64] 2023-12-08 12:28:57,003 (trainer:737) INFO: 19epoch:train:1101-1200batch: iter_time=8.105e-05, forward_time=0.147, loss_ctc=56.980, loss_att=43.369, acc=0.703, loss=47.452, backward_time=0.357, grad_norm=47.730, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.409e-05, train_time=2.194 -[gpua002:0/64] 2023-12-08 12:30:38,318 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua002:0/64] 2023-12-08 12:30:57,993 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 12:31:01,590 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 12:31:01,590 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua002:0/64] 2023-12-08 12:31:01,593 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 12:40:35,593 (trainer:737) INFO: 19epoch:train:1201-1300batch: iter_time=3.333, forward_time=0.149, loss_ctc=68.525, loss_att=49.586, acc=0.721, loss=55.268, backward_time=0.313, grad_norm=50.466, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.407e-05, train_time=6.986 -[gpua002:0/64] 2023-12-08 12:42:47,781 (trainer:737) INFO: 19epoch:train:1301-1400batch: iter_time=7.546e-05, forward_time=0.148, loss_ctc=70.581, loss_att=60.088, acc=0.701, loss=63.236, backward_time=0.281, grad_norm=64.216, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.405e-05, train_time=1.322 -[gpua002:0/64] 2023-12-08 12:45:23,087 (trainer:737) INFO: 19epoch:train:1401-1500batch: iter_time=7.611e-05, forward_time=0.148, loss_ctc=70.444, loss_att=62.304, acc=0.686, loss=64.746, backward_time=0.289, grad_norm=55.153, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.403e-05, train_time=1.553 -[gpua002:0/64] 2023-12-08 12:47:38,784 (trainer:737) INFO: 19epoch:train:1501-1600batch: iter_time=7.840e-05, forward_time=0.147, loss_ctc=55.398, loss_att=45.608, acc=0.709, loss=48.545, backward_time=0.286, grad_norm=44.228, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.402e-05, train_time=1.357 -[gpua002:0/64] 2023-12-08 12:50:14,658 (trainer:737) INFO: 19epoch:train:1601-1700batch: iter_time=0.002, forward_time=0.250, loss_ctc=77.655, loss_att=63.827, acc=0.699, loss=67.975, backward_time=0.336, grad_norm=54.670, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.146, optim0_lr0=9.400e-05, train_time=1.557 -[gpua002:0/64] 2023-12-08 12:53:00,082 (trainer:737) INFO: 19epoch:train:1701-1800batch: iter_time=7.753e-05, forward_time=0.149, loss_ctc=73.949, loss_att=59.311, acc=0.701, loss=63.702, backward_time=0.322, grad_norm=51.307, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.398e-05, train_time=1.656 -[gpua002:0/64] 2023-12-08 12:55:29,371 (trainer:737) INFO: 19epoch:train:1801-1900batch: iter_time=7.715e-05, forward_time=0.166, loss_ctc=72.547, loss_att=55.649, acc=0.711, loss=60.719, backward_time=0.287, grad_norm=50.664, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.396e-05, train_time=1.493 -[gpua002:0/64] 2023-12-08 12:57:57,052 (trainer:737) INFO: 19epoch:train:1901-2000batch: iter_time=7.811e-05, forward_time=0.148, loss_ctc=71.692, loss_att=55.107, acc=0.704, loss=60.082, backward_time=0.297, grad_norm=55.109, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.395e-05, train_time=1.477 -[gpua002:0/64] 2023-12-08 13:00:35,671 (trainer:737) INFO: 19epoch:train:2001-2100batch: iter_time=7.770e-05, forward_time=0.148, loss_ctc=76.668, loss_att=60.069, acc=0.712, loss=65.049, backward_time=0.299, grad_norm=51.851, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.393e-05, train_time=1.586 -[gpua002:0/64] 2023-12-08 13:03:59,169 (trainer:737) INFO: 19epoch:train:2101-2200batch: iter_time=8.320e-05, forward_time=0.147, loss_ctc=75.199, loss_att=59.484, acc=0.694, loss=64.199, backward_time=0.399, grad_norm=52.655, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.391e-05, train_time=2.035 -[gpua002:0/64] 2023-12-08 13:06:13,007 (trainer:737) INFO: 19epoch:train:2201-2300batch: iter_time=8.269e-05, forward_time=0.147, loss_ctc=64.793, loss_att=54.603, acc=0.691, loss=57.660, backward_time=0.298, grad_norm=55.199, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.390e-05, train_time=1.338 -[gpua002:0/64] 2023-12-08 13:08:37,550 (trainer:737) INFO: 19epoch:train:2301-2400batch: iter_time=8.050e-05, forward_time=0.147, loss_ctc=61.970, loss_att=48.088, acc=0.696, loss=52.252, backward_time=0.289, grad_norm=56.095, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.388e-05, train_time=1.445 -[gpua002:0/64] 2023-12-08 13:10:54,283 (trainer:737) INFO: 19epoch:train:2401-2500batch: iter_time=7.546e-05, forward_time=0.150, loss_ctc=65.125, loss_att=51.444, acc=0.715, loss=55.548, backward_time=0.287, grad_norm=47.497, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.386e-05, train_time=1.367 -[gpua002:0/64] 2023-12-08 13:11:14,312 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua002:0/64] 2023-12-08 13:11:33,403 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 13:11:36,989 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 13:11:36,989 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua002:0/64] 2023-12-08 13:11:36,992 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 13:15:40,579 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-08 13:17:53,006 (trainer:737) INFO: 19epoch:train:2501-2600batch: iter_time=2.672, forward_time=0.187, loss_ctc=71.067, loss_att=59.364, acc=0.711, loss=62.875, backward_time=0.295, grad_norm=60.477, clip=100.000, loss_scale=8.605e+31, optim_step_time=0.135, optim0_lr0=9.384e-05, train_time=4.187 -[gpua002:0/64] 2023-12-08 13:19:58,374 (trainer:737) INFO: 19epoch:train:2601-2700batch: iter_time=8.865e-05, forward_time=0.147, loss_ctc=64.078, loss_att=54.317, acc=0.707, loss=57.245, backward_time=0.278, grad_norm=50.200, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.383e-05, train_time=1.253 -[gpua002:0/64] 2023-12-08 13:22:19,335 (trainer:737) INFO: 19epoch:train:2701-2800batch: iter_time=9.543e-05, forward_time=0.147, loss_ctc=65.809, loss_att=53.172, acc=0.715, loss=56.963, backward_time=0.298, grad_norm=47.075, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.381e-05, train_time=1.409 -[gpua002:0/64] 2023-12-08 13:24:39,717 (trainer:737) INFO: 19epoch:train:2801-2900batch: iter_time=8.821e-05, forward_time=0.147, loss_ctc=67.196, loss_att=59.672, acc=0.709, loss=61.929, backward_time=0.293, grad_norm=51.191, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.379e-05, train_time=1.403 -[gpua002:0/64] 2023-12-08 13:27:03,442 (trainer:737) INFO: 19epoch:train:2901-3000batch: iter_time=8.760e-05, forward_time=0.148, loss_ctc=74.435, loss_att=64.914, acc=0.702, loss=67.771, backward_time=0.286, grad_norm=51.574, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.378e-05, train_time=1.437 -[gpua002:0/64] 2023-12-08 13:29:27,613 (trainer:737) INFO: 19epoch:train:3001-3100batch: iter_time=8.680e-05, forward_time=0.147, loss_ctc=71.440, loss_att=54.401, acc=0.718, loss=59.513, backward_time=0.291, grad_norm=51.347, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.376e-05, train_time=1.441 -[gpua002:0/64] 2023-12-08 13:32:13,659 (trainer:737) INFO: 19epoch:train:3101-3200batch: iter_time=8.869e-05, forward_time=0.149, loss_ctc=76.188, loss_att=62.494, acc=0.705, loss=66.602, backward_time=0.305, grad_norm=51.996, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.374e-05, train_time=1.660 -[gpua002:0/64] 2023-12-08 13:34:39,010 (trainer:737) INFO: 19epoch:train:3201-3300batch: iter_time=8.304e-05, forward_time=0.147, loss_ctc=70.275, loss_att=56.307, acc=0.718, loss=60.497, backward_time=0.298, grad_norm=48.116, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.372e-05, train_time=1.453 -[gpua002:0/64] 2023-12-08 13:37:15,969 (trainer:737) INFO: 19epoch:train:3301-3400batch: iter_time=8.814e-05, forward_time=0.147, loss_ctc=77.038, loss_att=61.522, acc=0.712, loss=66.177, backward_time=0.295, grad_norm=51.784, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.371e-05, train_time=1.569 -[gpua002:0/64] 2023-12-08 13:39:52,047 (trainer:737) INFO: 19epoch:train:3401-3500batch: iter_time=8.019e-05, forward_time=0.148, loss_ctc=68.320, loss_att=53.334, acc=0.709, loss=57.830, backward_time=0.298, grad_norm=49.728, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.369e-05, train_time=1.561 -[gpua002:0/64] 2023-12-08 13:42:36,362 (trainer:737) INFO: 19epoch:train:3501-3600batch: iter_time=8.136e-05, forward_time=0.215, loss_ctc=68.479, loss_att=59.793, acc=0.690, loss=62.399, backward_time=0.341, grad_norm=48.766, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=9.367e-05, train_time=1.643 -[gpua002:0/64] 2023-12-08 13:45:02,756 (trainer:737) INFO: 19epoch:train:3601-3700batch: iter_time=8.505e-05, forward_time=0.147, loss_ctc=56.738, loss_att=43.254, acc=0.711, loss=47.299, backward_time=0.282, grad_norm=51.232, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.366e-05, train_time=1.464 -[gpua002:0/64] 2023-12-08 13:46:24,689 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua002:0/64] 2023-12-08 13:46:43,921 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 13:46:47,457 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 13:46:47,457 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua002:0/64] 2023-12-08 13:46:47,460 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 13:52:17,678 (trainer:737) INFO: 19epoch:train:3701-3800batch: iter_time=2.555, forward_time=0.149, loss_ctc=67.300, loss_att=50.466, acc=0.725, loss=55.516, backward_time=0.287, grad_norm=46.767, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.364e-05, train_time=4.349 -[gpua002:0/64] 2023-12-08 13:54:28,486 (trainer:737) INFO: 19epoch:train:3801-3900batch: iter_time=8.446e-05, forward_time=0.149, loss_ctc=70.614, loss_att=59.754, acc=0.704, loss=63.012, backward_time=0.292, grad_norm=58.813, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.362e-05, train_time=1.308 -[gpua002:0/64] 2023-12-08 13:56:47,603 (trainer:737) INFO: 19epoch:train:3901-4000batch: iter_time=7.993e-05, forward_time=0.147, loss_ctc=69.673, loss_att=62.736, acc=0.686, loss=64.817, backward_time=0.294, grad_norm=55.452, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.360e-05, train_time=1.391 -[gpua002:0/64] 2023-12-08 13:58:54,393 (trainer:737) INFO: 19epoch:train:4001-4100batch: iter_time=8.441e-05, forward_time=0.147, loss_ctc=54.407, loss_att=45.405, acc=0.709, loss=48.106, backward_time=0.295, grad_norm=46.205, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.359e-05, train_time=1.268 -[gpua002:0/64] 2023-12-08 14:01:24,366 (trainer:737) INFO: 19epoch:train:4101-4200batch: iter_time=7.965e-05, forward_time=0.147, loss_ctc=77.507, loss_att=63.604, acc=0.703, loss=67.775, backward_time=0.313, grad_norm=53.992, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.357e-05, train_time=1.499 -[gpua002:0/64] 2023-12-08 14:03:48,914 (trainer:737) INFO: 19epoch:train:4201-4300batch: iter_time=8.573e-05, forward_time=0.147, loss_ctc=73.458, loss_att=59.447, acc=0.701, loss=63.650, backward_time=0.300, grad_norm=52.515, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.355e-05, train_time=1.445 -[gpua002:0/64] 2023-12-08 14:06:49,301 (trainer:737) INFO: 19epoch:train:4301-4400batch: iter_time=8.374e-05, forward_time=0.148, loss_ctc=71.881, loss_att=55.864, acc=0.712, loss=60.669, backward_time=0.323, grad_norm=49.374, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.354e-05, train_time=1.804 -[gpua002:0/64] 2023-12-08 14:09:48,597 (trainer:737) INFO: 19epoch:train:4401-4500batch: iter_time=8.795e-05, forward_time=0.147, loss_ctc=71.254, loss_att=54.608, acc=0.707, loss=59.602, backward_time=0.324, grad_norm=52.904, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.352e-05, train_time=1.793 -[gpua002:0/64] 2023-12-08 14:11:55,481 (trainer:737) INFO: 19epoch:train:4501-4600batch: iter_time=8.032e-05, forward_time=0.147, loss_ctc=75.573, loss_att=59.737, acc=0.713, loss=64.488, backward_time=0.279, grad_norm=50.238, clip=100.000, loss_scale=1.566e+32, optim_step_time=0.134, optim0_lr0=9.350e-05, train_time=1.269 -[gpua002:0/64] 2023-12-08 14:14:21,423 (trainer:737) INFO: 19epoch:train:4601-4700batch: iter_time=8.298e-05, forward_time=0.250, loss_ctc=73.953, loss_att=58.310, acc=0.698, loss=63.003, backward_time=0.314, grad_norm=51.875, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.139, optim0_lr0=9.348e-05, train_time=1.459 -[gpua002:0/64] 2023-12-08 14:16:55,767 (trainer:737) INFO: 19epoch:train:4701-4800batch: iter_time=7.964e-05, forward_time=0.148, loss_ctc=64.195, loss_att=54.057, acc=0.690, loss=57.099, backward_time=0.297, grad_norm=50.008, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.347e-05, train_time=1.543 -[gpua002:0/64] 2023-12-08 14:19:22,023 (trainer:737) INFO: 19epoch:train:4801-4900batch: iter_time=7.844e-05, forward_time=0.147, loss_ctc=60.704, loss_att=46.973, acc=0.703, loss=51.092, backward_time=0.292, grad_norm=45.757, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.345e-05, train_time=1.462 -[gpua002:0/64] 2023-12-08 14:21:49,890 (trainer:737) INFO: 19epoch:train:4901-5000batch: iter_time=7.907e-05, forward_time=0.147, loss_ctc=64.445, loss_att=50.467, acc=0.721, loss=54.660, backward_time=0.290, grad_norm=49.544, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.343e-05, train_time=1.478 -[gpua002:0/64] 2023-12-08 14:22:10,072 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua002:0/64] 2023-12-08 14:22:29,011 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 14:22:32,640 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 14:22:32,640 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua002:0/64] 2023-12-08 14:22:32,643 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 14:32:37,631 (trainer:737) INFO: 19epoch:train:5001-5100batch: iter_time=2.747, forward_time=0.186, loss_ctc=70.001, loss_att=58.722, acc=0.713, loss=62.106, backward_time=0.298, grad_norm=58.862, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.342e-05, train_time=6.477 -[gpua002:0/64] 2023-12-08 14:35:00,005 (trainer:737) INFO: 19epoch:train:5101-5200batch: iter_time=7.844e-05, forward_time=0.147, loss_ctc=63.855, loss_att=53.681, acc=0.710, loss=56.733, backward_time=0.314, grad_norm=52.032, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.340e-05, train_time=1.424 -[gpua002:0/64] 2023-12-08 14:37:28,892 (trainer:737) INFO: 19epoch:train:5201-5300batch: iter_time=7.848e-05, forward_time=0.148, loss_ctc=65.173, loss_att=53.275, acc=0.715, loss=56.844, backward_time=0.295, grad_norm=50.855, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.338e-05, train_time=1.489 -[gpua002:0/64] 2023-12-08 14:40:27,104 (trainer:737) INFO: 19epoch:train:5301-5400batch: iter_time=3.742e-04, forward_time=0.210, loss_ctc=66.118, loss_att=58.949, acc=0.710, loss=61.100, backward_time=0.375, grad_norm=48.569, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.141, optim0_lr0=9.337e-05, train_time=1.782 -[gpua002:0/64] 2023-12-08 14:42:51,616 (trainer:737) INFO: 19epoch:train:5401-5500batch: iter_time=7.708e-05, forward_time=0.149, loss_ctc=74.373, loss_att=64.257, acc=0.704, loss=67.292, backward_time=0.303, grad_norm=56.894, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.335e-05, train_time=1.445 -[gpua002:0/64] 2023-12-08 14:45:11,570 (trainer:737) INFO: 19epoch:train:5501-5600batch: iter_time=7.956e-05, forward_time=0.149, loss_ctc=71.170, loss_att=54.046, acc=0.722, loss=59.183, backward_time=0.286, grad_norm=47.521, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.333e-05, train_time=1.399 -[gpua002:0/64] 2023-12-08 14:47:36,374 (trainer:737) INFO: 19epoch:train:5601-5700batch: iter_time=8.106e-05, forward_time=0.151, loss_ctc=75.861, loss_att=62.918, acc=0.704, loss=66.801, backward_time=0.283, grad_norm=68.294, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.332e-05, train_time=1.448 -[gpua002:0/64] 2023-12-08 14:50:32,575 (trainer:737) INFO: 19epoch:train:5701-5800batch: iter_time=7.496e-05, forward_time=0.149, loss_ctc=70.891, loss_att=56.117, acc=0.720, loss=60.549, backward_time=0.339, grad_norm=51.969, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.330e-05, train_time=1.762 -[gpua002:0/64] 2023-12-08 14:53:08,814 (trainer:737) INFO: 19epoch:train:5801-5900batch: iter_time=7.839e-05, forward_time=0.149, loss_ctc=75.693, loss_att=60.390, acc=0.713, loss=64.981, backward_time=0.302, grad_norm=52.871, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.328e-05, train_time=1.562 -[gpua002:0/64] 2023-12-08 14:55:48,399 (trainer:737) INFO: 19epoch:train:5901-6000batch: iter_time=7.762e-05, forward_time=0.248, loss_ctc=68.404, loss_att=53.377, acc=0.707, loss=57.885, backward_time=0.325, grad_norm=47.459, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.138, optim0_lr0=9.326e-05, train_time=1.594 -[gpua002:0/64] 2023-12-08 14:58:16,899 (trainer:737) INFO: 19epoch:train:6001-6100batch: iter_time=8.147e-05, forward_time=0.150, loss_ctc=68.206, loss_att=59.174, acc=0.693, loss=61.883, backward_time=0.317, grad_norm=60.089, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.325e-05, train_time=1.486 -[gpua002:0/64] 2023-12-08 15:00:23,510 (trainer:737) INFO: 19epoch:train:6101-6200batch: iter_time=7.485e-05, forward_time=0.149, loss_ctc=56.102, loss_att=42.285, acc=0.718, loss=46.430, backward_time=0.287, grad_norm=43.920, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.323e-05, train_time=1.266 -[gpua002:0/64] 2023-12-08 15:01:45,856 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua002:0/64] 2023-12-08 15:02:05,231 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 15:02:08,703 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 15:02:08,704 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua002:0/64] 2023-12-08 15:02:08,707 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 15:07:52,903 (trainer:737) INFO: 19epoch:train:6201-6300batch: iter_time=2.960, forward_time=0.148, loss_ctc=67.045, loss_att=50.313, acc=0.724, loss=55.333, backward_time=0.282, grad_norm=53.035, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.321e-05, train_time=4.494 -[gpua002:0/64] 2023-12-08 15:10:16,032 (trainer:737) INFO: 19epoch:train:6301-6400batch: iter_time=8.288e-05, forward_time=0.148, loss_ctc=70.707, loss_att=60.151, acc=0.705, loss=63.318, backward_time=0.284, grad_norm=60.830, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.320e-05, train_time=1.431 -[gpua002:0/64] 2023-12-08 15:12:19,772 (trainer:737) INFO: 19epoch:train:6401-6500batch: iter_time=8.349e-05, forward_time=0.148, loss_ctc=68.807, loss_att=61.642, acc=0.691, loss=63.792, backward_time=0.279, grad_norm=55.558, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.318e-05, train_time=1.237 -[gpua002:0/64] 2023-12-08 15:12:46,760 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-08 15:14:42,031 (trainer:737) INFO: 19epoch:train:6501-6600batch: iter_time=8.225e-05, forward_time=0.148, loss_ctc=54.105, loss_att=45.363, acc=0.712, loss=47.986, backward_time=0.286, grad_norm=47.567, clip=100.000, loss_scale=1.803e+32, optim_step_time=0.134, optim0_lr0=9.316e-05, train_time=1.422 -[gpua002:0/64] 2023-12-08 15:18:04,704 (trainer:737) INFO: 19epoch:train:6601-6700batch: iter_time=8.647e-05, forward_time=0.207, loss_ctc=76.140, loss_att=62.315, acc=0.706, loss=66.463, backward_time=0.461, grad_norm=49.681, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.140, optim0_lr0=9.315e-05, train_time=2.026 -[gpua002:0/64] 2023-12-08 15:20:54,583 (trainer:737) INFO: 19epoch:train:6701-6800batch: iter_time=7.875e-05, forward_time=0.149, loss_ctc=72.253, loss_att=58.849, acc=0.703, loss=62.870, backward_time=0.324, grad_norm=48.985, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.313e-05, train_time=1.699 -[gpua002:0/64] 2023-12-08 15:23:31,569 (trainer:737) INFO: 19epoch:train:6801-6900batch: iter_time=7.661e-05, forward_time=0.148, loss_ctc=71.341, loss_att=55.665, acc=0.712, loss=60.368, backward_time=0.291, grad_norm=49.361, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.311e-05, train_time=1.570 -[gpua002:0/64] 2023-12-08 15:26:00,434 (trainer:737) INFO: 19epoch:train:6901-7000batch: iter_time=7.931e-05, forward_time=0.148, loss_ctc=69.991, loss_att=53.740, acc=0.711, loss=58.616, backward_time=0.284, grad_norm=53.125, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.310e-05, train_time=1.488 -[gpua002:0/64] 2023-12-08 15:28:33,186 (trainer:737) INFO: 19epoch:train:7001-7100batch: iter_time=7.528e-05, forward_time=0.148, loss_ctc=75.679, loss_att=59.833, acc=0.715, loss=64.586, backward_time=0.399, grad_norm=52.842, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.308e-05, train_time=1.527 -[gpua002:0/64] 2023-12-08 15:31:12,948 (trainer:737) INFO: 19epoch:train:7101-7200batch: iter_time=7.506e-05, forward_time=0.148, loss_ctc=74.467, loss_att=58.600, acc=0.700, loss=63.360, backward_time=0.314, grad_norm=51.418, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.306e-05, train_time=1.597 -[gpua002:0/64] 2023-12-08 15:33:37,663 (trainer:737) INFO: 19epoch:train:7201-7300batch: iter_time=7.985e-05, forward_time=0.148, loss_ctc=64.207, loss_att=53.774, acc=0.693, loss=56.904, backward_time=0.295, grad_norm=48.467, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.305e-05, train_time=1.447 -[gpua002:0/64] 2023-12-08 15:36:05,144 (trainer:737) INFO: 19epoch:train:7301-7400batch: iter_time=7.831e-05, forward_time=0.147, loss_ctc=59.790, loss_att=46.566, acc=0.705, loss=50.533, backward_time=0.299, grad_norm=47.512, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.303e-05, train_time=1.475 -[gpua002:0/64] 2023-12-08 15:38:59,145 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-08 15:39:01,548 (trainer:737) INFO: 19epoch:train:7401-7500batch: iter_time=1.109e-04, forward_time=0.158, loss_ctc=64.558, loss_att=50.454, acc=0.721, loss=54.685, backward_time=0.338, grad_norm=46.484, clip=100.000, loss_scale=1.606e+32, optim_step_time=0.135, optim0_lr0=9.301e-05, train_time=1.764 -[gpua002:0/64] 2023-12-08 15:39:21,578 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua002:0/64] 2023-12-08 15:39:40,654 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 15:39:44,479 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 15:39:44,479 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua002:0/64] 2023-12-08 15:39:44,482 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 15:45:50,613 (trainer:737) INFO: 19epoch:train:7501-7600batch: iter_time=2.759, forward_time=0.178, loss_ctc=69.286, loss_att=58.381, acc=0.717, loss=61.652, backward_time=0.284, grad_norm=64.099, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.300e-05, train_time=4.090 -[gpua002:0/64] 2023-12-08 15:47:53,843 (trainer:737) INFO: 19epoch:train:7601-7700batch: iter_time=8.221e-05, forward_time=0.148, loss_ctc=63.318, loss_att=53.563, acc=0.712, loss=56.489, backward_time=0.280, grad_norm=52.775, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.298e-05, train_time=1.232 -[gpua002:0/64] 2023-12-08 15:50:22,860 (trainer:737) INFO: 19epoch:train:7701-7800batch: iter_time=7.972e-05, forward_time=0.149, loss_ctc=64.638, loss_att=52.629, acc=0.719, loss=56.232, backward_time=0.294, grad_norm=46.129, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.296e-05, train_time=1.490 -[gpua002:0/64] 2023-12-08 15:53:32,406 (trainer:737) INFO: 19epoch:train:7801-7900batch: iter_time=8.324e-05, forward_time=0.148, loss_ctc=65.795, loss_att=58.637, acc=0.713, loss=60.785, backward_time=0.321, grad_norm=48.909, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.295e-05, train_time=1.895 -[gpua002:0/64] 2023-12-08 15:55:57,492 (trainer:737) INFO: 19epoch:train:7901-8000batch: iter_time=8.469e-05, forward_time=0.148, loss_ctc=74.415, loss_att=63.845, acc=0.706, loss=67.016, backward_time=0.297, grad_norm=50.323, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.293e-05, train_time=1.451 -[gpua002:0/64] 2023-12-08 15:58:38,110 (trainer:737) INFO: 19epoch:train:8001-8100batch: iter_time=8.457e-05, forward_time=0.151, loss_ctc=69.902, loss_att=53.219, acc=0.721, loss=58.224, backward_time=0.327, grad_norm=50.910, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.291e-05, train_time=1.606 -[gpua002:0/64] 2023-12-08 15:59:35,133 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-08 16:00:44,809 (trainer:737) INFO: 19epoch:train:8101-8200batch: iter_time=8.165e-05, forward_time=0.149, loss_ctc=75.298, loss_att=62.618, acc=0.704, loss=66.422, backward_time=0.284, grad_norm=57.027, clip=100.000, loss_scale=5.777e+31, optim_step_time=0.135, optim0_lr0=9.290e-05, train_time=1.267 -[gpua002:0/64] 2023-12-08 16:03:36,511 (trainer:737) INFO: 19epoch:train:8201-8300batch: iter_time=8.266e-05, forward_time=0.224, loss_ctc=69.778, loss_att=55.093, acc=0.723, loss=59.498, backward_time=0.340, grad_norm=49.357, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.143, optim0_lr0=9.288e-05, train_time=1.716 -[gpua002:0/64] 2023-12-08 16:06:48,260 (trainer:737) INFO: 19epoch:train:8301-8400batch: iter_time=8.140e-05, forward_time=0.155, loss_ctc=75.960, loss_att=60.662, acc=0.715, loss=65.252, backward_time=0.392, grad_norm=51.598, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=9.286e-05, train_time=1.918 -[gpua002:0/64] 2023-12-08 16:09:14,130 (trainer:737) INFO: 19epoch:train:8401-8500batch: iter_time=7.888e-05, forward_time=0.148, loss_ctc=67.419, loss_att=52.827, acc=0.711, loss=57.204, backward_time=0.315, grad_norm=48.136, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.285e-05, train_time=1.459 -[gpua002:0/64] 2023-12-08 16:11:30,679 (trainer:737) INFO: 19epoch:train:8501-8600batch: iter_time=7.909e-05, forward_time=0.147, loss_ctc=67.657, loss_att=58.868, acc=0.694, loss=61.504, backward_time=0.281, grad_norm=50.904, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.283e-05, train_time=1.365 -[gpua002:0/64] 2023-12-08 16:13:59,685 (trainer:737) INFO: 19epoch:train:8601-8700batch: iter_time=8.083e-05, forward_time=0.147, loss_ctc=55.631, loss_att=41.872, acc=0.719, loss=46.000, backward_time=0.295, grad_norm=45.806, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.281e-05, train_time=1.490 -[gpua002:0/64] 2023-12-08 16:15:26,111 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua002:0/64] 2023-12-08 16:15:45,388 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 16:15:49,247 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 16:15:49,247 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua002:0/64] 2023-12-08 16:15:49,250 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 16:21:29,963 (trainer:737) INFO: 19epoch:train:8701-8800batch: iter_time=3.129, forward_time=0.191, loss_ctc=66.549, loss_att=49.737, acc=0.728, loss=54.781, backward_time=0.291, grad_norm=50.337, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=9.280e-05, train_time=4.502 -[gpua002:0/64] 2023-12-08 16:23:46,094 (trainer:737) INFO: 19epoch:train:8801-8900batch: iter_time=8.174e-05, forward_time=0.148, loss_ctc=69.291, loss_att=59.057, acc=0.708, loss=62.127, backward_time=0.284, grad_norm=60.599, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.278e-05, train_time=1.362 -[gpua002:0/64] 2023-12-08 16:26:26,731 (trainer:737) INFO: 19epoch:train:8901-9000batch: iter_time=7.858e-05, forward_time=0.147, loss_ctc=68.143, loss_att=61.118, acc=0.695, loss=63.226, backward_time=0.287, grad_norm=53.006, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.276e-05, train_time=1.606 -[gpua002:0/64] 2023-12-08 16:28:59,943 (trainer:737) INFO: 19epoch:train:9001-9100batch: iter_time=8.419e-05, forward_time=0.147, loss_ctc=54.449, loss_att=44.792, acc=0.716, loss=47.689, backward_time=0.294, grad_norm=44.084, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.275e-05, train_time=1.532 -[gpua002:0/64] 2023-12-08 16:31:55,540 (trainer:737) INFO: 19epoch:train:9101-9200batch: iter_time=8.357e-05, forward_time=0.147, loss_ctc=76.801, loss_att=63.415, acc=0.704, loss=67.431, backward_time=0.337, grad_norm=53.406, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.273e-05, train_time=1.756 -[gpua002:0/64] 2023-12-08 16:34:45,959 (trainer:737) INFO: 19epoch:train:9201-9300batch: iter_time=8.474e-05, forward_time=0.235, loss_ctc=73.220, loss_att=58.945, acc=0.704, loss=63.227, backward_time=0.334, grad_norm=69.404, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=9.271e-05, train_time=1.704 -[gpua002:0/64] 2023-12-08 16:37:08,970 (trainer:737) INFO: 19epoch:train:9301-9400batch: iter_time=7.723e-05, forward_time=0.150, loss_ctc=71.117, loss_att=55.031, acc=0.714, loss=59.857, backward_time=0.285, grad_norm=48.018, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.270e-05, train_time=1.430 -[gpua002:0/64] 2023-12-08 16:39:34,965 (trainer:737) INFO: 19epoch:train:9401-9500batch: iter_time=8.351e-05, forward_time=0.148, loss_ctc=70.016, loss_att=53.782, acc=0.712, loss=58.652, backward_time=0.312, grad_norm=49.412, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.268e-05, train_time=1.460 -[gpua002:0/64] 2023-12-08 16:41:46,514 (trainer:737) INFO: 19epoch:train:9501-9600batch: iter_time=7.748e-05, forward_time=0.148, loss_ctc=75.482, loss_att=59.869, acc=0.715, loss=64.553, backward_time=0.286, grad_norm=53.172, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.266e-05, train_time=1.315 -[gpua002:0/64] 2023-12-08 16:44:51,160 (trainer:737) INFO: 19epoch:train:9601-9700batch: iter_time=7.550e-05, forward_time=0.148, loss_ctc=73.731, loss_att=58.561, acc=0.700, loss=63.112, backward_time=0.309, grad_norm=55.721, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.265e-05, train_time=1.846 -[gpua002:0/64] 2023-12-08 16:47:36,350 (trainer:737) INFO: 19epoch:train:9701-9800batch: iter_time=8.109e-05, forward_time=0.167, loss_ctc=63.755, loss_att=54.115, acc=0.694, loss=57.007, backward_time=0.297, grad_norm=50.053, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.263e-05, train_time=1.651 -[gpua002:0/64] 2023-12-08 16:50:27,404 (trainer:737) INFO: 19epoch:train:9801-9900batch: iter_time=3.054e-04, forward_time=0.255, loss_ctc=60.097, loss_att=47.261, acc=0.703, loss=51.112, backward_time=0.337, grad_norm=45.624, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=9.261e-05, train_time=1.711 -[gpua002:0/64] 2023-12-08 16:52:59,961 (trainer:737) INFO: 19epoch:train:9901-10000batch: iter_time=7.437e-05, forward_time=0.147, loss_ctc=63.726, loss_att=50.908, acc=0.718, loss=54.754, backward_time=0.318, grad_norm=55.494, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.260e-05, train_time=1.525 -[gpua002:0/64] 2023-12-08 16:53:20,157 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua002:0/64] 2023-12-08 16:53:39,581 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 16:53:43,444 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 16:53:43,444 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua002:0/64] 2023-12-08 16:53:43,447 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 17:00:13,031 (trainer:737) INFO: 19epoch:train:10001-10100batch: iter_time=2.985, forward_time=0.149, loss_ctc=69.744, loss_att=59.036, acc=0.716, loss=62.249, backward_time=0.282, grad_norm=69.385, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.258e-05, train_time=4.330 -[gpua002:0/64] 2023-12-08 17:02:15,904 (trainer:737) INFO: 19epoch:train:10101-10200batch: iter_time=8.041e-05, forward_time=0.148, loss_ctc=63.013, loss_att=53.719, acc=0.713, loss=56.507, backward_time=0.279, grad_norm=57.287, clip=100.000, loss_scale=6.369e+31, optim_step_time=0.135, optim0_lr0=9.256e-05, train_time=1.228 -[gpua002:0/64] 2023-12-08 17:04:25,492 (trainer:737) INFO: 19epoch:train:10201-10300batch: iter_time=7.958e-05, forward_time=0.148, loss_ctc=64.633, loss_att=52.347, acc=0.720, loss=56.033, backward_time=0.281, grad_norm=61.858, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.255e-05, train_time=1.296 -[gpua002:0/64] 2023-12-08 17:07:25,202 (trainer:737) INFO: 19epoch:train:10301-10400batch: iter_time=8.472e-05, forward_time=0.149, loss_ctc=65.597, loss_att=58.469, acc=0.713, loss=60.608, backward_time=0.323, grad_norm=51.905, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.253e-05, train_time=1.797 -[gpua002:0/64] 2023-12-08 17:10:04,692 (trainer:737) INFO: 19epoch:train:10401-10500batch: iter_time=7.766e-05, forward_time=0.214, loss_ctc=74.034, loss_att=63.955, acc=0.707, loss=66.979, backward_time=0.352, grad_norm=53.866, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=9.251e-05, train_time=1.594 -[gpua002:0/64] 2023-12-08 17:12:36,477 (trainer:737) INFO: 19epoch:train:10501-10600batch: iter_time=7.906e-05, forward_time=0.148, loss_ctc=69.683, loss_att=53.037, acc=0.723, loss=58.030, backward_time=0.300, grad_norm=49.923, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.250e-05, train_time=1.518 -[gpua002:0/64] 2023-12-08 17:15:08,871 (trainer:737) INFO: 19epoch:train:10601-10700batch: iter_time=7.908e-05, forward_time=0.149, loss_ctc=75.122, loss_att=61.818, acc=0.710, loss=65.809, backward_time=0.307, grad_norm=53.014, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.248e-05, train_time=1.524 -[gpua002:0/64] 2023-12-08 17:17:34,244 (trainer:737) INFO: 19epoch:train:10701-10800batch: iter_time=8.146e-05, forward_time=0.149, loss_ctc=69.831, loss_att=55.658, acc=0.720, loss=59.910, backward_time=0.288, grad_norm=49.104, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.246e-05, train_time=1.453 -[gpua002:0/64] 2023-12-08 17:20:39,245 (trainer:737) INFO: 19epoch:train:10801-10900batch: iter_time=7.854e-05, forward_time=0.149, loss_ctc=74.555, loss_att=60.085, acc=0.716, loss=64.426, backward_time=0.334, grad_norm=51.156, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.245e-05, train_time=1.850 -[gpua002:0/64] 2023-12-08 17:23:15,157 (trainer:737) INFO: 19epoch:train:10901-11000batch: iter_time=8.120e-05, forward_time=0.148, loss_ctc=67.364, loss_att=52.378, acc=0.713, loss=56.874, backward_time=0.294, grad_norm=47.151, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.243e-05, train_time=1.559 -[gpua002:0/64] 2023-12-08 17:25:17,146 (trainer:737) INFO: 19epoch:train:11001-11100batch: iter_time=8.080e-05, forward_time=0.148, loss_ctc=68.080, loss_att=59.709, acc=0.693, loss=62.221, backward_time=0.279, grad_norm=123.466, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.241e-05, train_time=1.220 -[gpua002:0/64] 2023-12-08 17:27:39,807 (trainer:737) INFO: 19epoch:train:11101-11200batch: iter_time=7.934e-05, forward_time=0.163, loss_ctc=55.112, loss_att=42.397, acc=0.718, loss=46.211, backward_time=0.290, grad_norm=41.369, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.240e-05, train_time=1.426 -[gpua002:0/64] 2023-12-08 17:29:21,295 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua002:0/64] 2023-12-08 17:29:40,771 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 17:29:44,700 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 17:29:44,700 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua002:0/64] 2023-12-08 17:29:44,703 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 17:35:26,382 (trainer:737) INFO: 19epoch:train:11201-11300batch: iter_time=2.957, forward_time=0.229, loss_ctc=65.756, loss_att=49.222, acc=0.730, loss=54.182, backward_time=0.327, grad_norm=50.056, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=9.238e-05, train_time=4.666 -[gpua002:0/64] 2023-12-08 17:37:28,388 (trainer:737) INFO: 19epoch:train:11301-11400batch: iter_time=7.882e-05, forward_time=0.148, loss_ctc=68.792, loss_att=58.916, acc=0.709, loss=61.879, backward_time=0.278, grad_norm=58.784, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.237e-05, train_time=1.220 -[gpua002:0/64] 2023-12-08 17:39:53,999 (trainer:737) INFO: 19epoch:train:11401-11500batch: iter_time=7.868e-05, forward_time=0.147, loss_ctc=68.085, loss_att=60.893, acc=0.697, loss=63.051, backward_time=0.286, grad_norm=58.918, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.235e-05, train_time=1.456 -[gpua002:0/64] 2023-12-08 17:42:16,110 (trainer:737) INFO: 19epoch:train:11501-11600batch: iter_time=7.907e-05, forward_time=0.147, loss_ctc=54.105, loss_att=44.606, acc=0.719, loss=47.456, backward_time=0.288, grad_norm=45.355, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.233e-05, train_time=1.421 -[gpua002:0/64] 2023-12-08 17:44:40,177 (trainer:737) INFO: 19epoch:train:11601-11700batch: iter_time=7.722e-05, forward_time=0.148, loss_ctc=75.574, loss_att=62.597, acc=0.707, loss=66.490, backward_time=0.308, grad_norm=51.887, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.232e-05, train_time=1.440 -[gpua002:0/64] 2023-12-08 17:44:42,658 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-08 17:47:14,149 (trainer:737) INFO: 19epoch:train:11701-11800batch: iter_time=8.005e-05, forward_time=0.235, loss_ctc=72.473, loss_att=58.391, acc=0.705, loss=62.616, backward_time=0.337, grad_norm=53.417, clip=100.000, loss_scale=4.097e+31, optim_step_time=0.138, optim0_lr0=9.230e-05, train_time=1.539 -[gpua002:0/64] 2023-12-08 17:49:26,984 (trainer:737) INFO: 19epoch:train:11801-11900batch: iter_time=7.662e-05, forward_time=0.152, loss_ctc=71.108, loss_att=54.726, acc=0.717, loss=59.641, backward_time=0.290, grad_norm=46.231, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.228e-05, train_time=1.328 -[gpua002:0/64] 2023-12-08 17:52:10,299 (trainer:737) INFO: 19epoch:train:11901-12000batch: iter_time=8.062e-05, forward_time=0.166, loss_ctc=69.599, loss_att=53.715, acc=0.713, loss=58.480, backward_time=0.294, grad_norm=52.775, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=9.227e-05, train_time=1.632 -[gpua002:0/64] 2023-12-08 17:55:00,796 (trainer:737) INFO: 19epoch:train:12001-12100batch: iter_time=8.250e-05, forward_time=0.148, loss_ctc=74.474, loss_att=59.079, acc=0.716, loss=63.698, backward_time=0.324, grad_norm=49.793, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.225e-05, train_time=1.705 -[gpua002:0/64] 2023-12-08 17:57:21,905 (trainer:737) INFO: 19epoch:train:12101-12200batch: iter_time=8.298e-05, forward_time=0.148, loss_ctc=73.470, loss_att=58.251, acc=0.701, loss=62.816, backward_time=0.285, grad_norm=58.315, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.223e-05, train_time=1.411 -[gpua002:0/64] 2023-12-08 18:00:33,893 (trainer:737) INFO: 19epoch:train:12201-12300batch: iter_time=7.994e-05, forward_time=0.147, loss_ctc=63.745, loss_att=53.800, acc=0.696, loss=56.784, backward_time=0.364, grad_norm=49.057, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.222e-05, train_time=1.920 -[gpua002:0/64] 2023-12-08 18:02:40,821 (trainer:737) INFO: 19epoch:train:12301-12400batch: iter_time=8.659e-05, forward_time=0.147, loss_ctc=59.826, loss_att=46.935, acc=0.704, loss=50.802, backward_time=0.282, grad_norm=47.816, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.220e-05, train_time=1.269 -[gpua002:0/64] 2023-12-08 18:05:00,050 (trainer:737) INFO: 19epoch:train:12401-12500batch: iter_time=7.855e-05, forward_time=0.147, loss_ctc=64.017, loss_att=50.690, acc=0.719, loss=54.688, backward_time=0.301, grad_norm=48.556, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.219e-05, train_time=1.392 -[gpua002:0/64] 2023-12-08 18:05:20,080 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua002:0/64] 2023-12-08 18:05:39,253 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 18:05:42,839 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 18:05:42,839 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua002:0/64] 2023-12-08 18:05:42,842 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 18:13:16,155 (trainer:737) INFO: 19epoch:train:12501-12600batch: iter_time=3.325, forward_time=0.188, loss_ctc=68.815, loss_att=57.534, acc=0.717, loss=60.919, backward_time=0.288, grad_norm=56.947, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=9.217e-05, train_time=4.961 -[gpua002:0/64] 2023-12-08 18:15:19,753 (trainer:737) INFO: 19epoch:train:12601-12700batch: iter_time=8.708e-05, forward_time=0.148, loss_ctc=62.821, loss_att=53.121, acc=0.710, loss=56.031, backward_time=0.280, grad_norm=53.799, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.215e-05, train_time=1.236 -[gpua002:0/64] 2023-12-08 18:17:44,908 (trainer:737) INFO: 19epoch:train:12701-12800batch: iter_time=8.224e-05, forward_time=0.148, loss_ctc=64.249, loss_att=52.297, acc=0.721, loss=55.882, backward_time=0.284, grad_norm=51.253, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.214e-05, train_time=1.451 -[gpua002:0/64] 2023-12-08 18:21:00,098 (trainer:737) INFO: 19epoch:train:12801-12900batch: iter_time=8.532e-05, forward_time=0.148, loss_ctc=65.799, loss_att=58.561, acc=0.714, loss=60.733, backward_time=0.324, grad_norm=53.409, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.212e-05, train_time=1.952 -[gpua002:0/64] 2023-12-08 18:23:28,598 (trainer:737) INFO: 19epoch:train:12901-13000batch: iter_time=8.267e-05, forward_time=0.149, loss_ctc=73.939, loss_att=63.312, acc=0.706, loss=66.501, backward_time=0.303, grad_norm=59.697, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.210e-05, train_time=1.485 -[gpua002:0/64] 2023-12-08 18:25:55,057 (trainer:737) INFO: 19epoch:train:13001-13100batch: iter_time=8.557e-05, forward_time=0.148, loss_ctc=69.836, loss_att=53.085, acc=0.724, loss=58.110, backward_time=0.296, grad_norm=50.323, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.209e-05, train_time=1.464 -[gpua002:0/64] 2023-12-08 18:28:26,289 (trainer:737) INFO: 19epoch:train:13101-13200batch: iter_time=8.481e-05, forward_time=0.155, loss_ctc=75.411, loss_att=62.813, acc=0.706, loss=66.593, backward_time=0.312, grad_norm=68.799, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.207e-05, train_time=1.512 -[gpua002:0/64] 2023-12-08 18:31:09,386 (trainer:737) INFO: 19epoch:train:13201-13300batch: iter_time=1.913e-04, forward_time=0.217, loss_ctc=69.614, loss_att=55.218, acc=0.722, loss=59.537, backward_time=0.340, grad_norm=58.061, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=9.206e-05, train_time=1.631 -[gpua002:0/64] 2023-12-08 18:34:00,167 (trainer:737) INFO: 19epoch:train:13301-13400batch: iter_time=8.524e-05, forward_time=0.186, loss_ctc=74.706, loss_att=59.665, acc=0.718, loss=64.177, backward_time=0.301, grad_norm=86.811, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=9.204e-05, train_time=1.707 -[gpua002:0/64] 2023-12-08 18:36:24,767 (trainer:737) INFO: 19epoch:train:13401-13500batch: iter_time=8.550e-05, forward_time=0.148, loss_ctc=67.388, loss_att=52.864, acc=0.707, loss=57.221, backward_time=0.290, grad_norm=50.009, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.202e-05, train_time=1.446 -[gpua002:0/64] 2023-12-08 18:38:43,184 (trainer:737) INFO: 19epoch:train:13501-13600batch: iter_time=8.684e-05, forward_time=0.148, loss_ctc=67.798, loss_att=58.971, acc=0.691, loss=61.619, backward_time=0.292, grad_norm=58.142, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.201e-05, train_time=1.384 -[gpua002:0/64] 2023-12-08 18:41:44,656 (trainer:737) INFO: 19epoch:train:13601-13700batch: iter_time=8.100e-05, forward_time=0.149, loss_ctc=54.849, loss_att=41.446, acc=0.720, loss=45.467, backward_time=0.322, grad_norm=46.785, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.199e-05, train_time=1.814 -[gpua002:0/64] 2023-12-08 18:43:19,362 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua002:0/64] 2023-12-08 18:43:38,654 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 18:43:42,289 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 18:43:42,289 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua002:0/64] 2023-12-08 18:43:42,293 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 18:49:23,279 (trainer:737) INFO: 19epoch:train:13701-13800batch: iter_time=3.153, forward_time=0.182, loss_ctc=66.473, loss_att=49.634, acc=0.725, loss=54.685, backward_time=0.309, grad_norm=56.099, clip=100.000, loss_scale=8.032e+31, optim_step_time=0.136, optim0_lr0=9.197e-05, train_time=4.586 -[gpua002:0/64] 2023-12-08 18:51:35,142 (trainer:737) INFO: 19epoch:train:13801-13900batch: iter_time=8.466e-05, forward_time=0.150, loss_ctc=69.359, loss_att=58.662, acc=0.711, loss=61.871, backward_time=0.288, grad_norm=60.314, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.196e-05, train_time=1.318 -[gpua002:0/64] 2023-12-08 18:54:05,337 (trainer:737) INFO: 19epoch:train:13901-14000batch: iter_time=8.548e-05, forward_time=0.148, loss_ctc=67.845, loss_att=62.008, acc=0.697, loss=63.759, backward_time=0.307, grad_norm=56.305, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.194e-05, train_time=1.502 -[gpua002:0/64] 2023-12-08 18:56:11,273 (trainer:737) INFO: 19epoch:train:14001-14100batch: iter_time=8.357e-05, forward_time=0.149, loss_ctc=53.814, loss_att=46.031, acc=0.719, loss=48.366, backward_time=0.291, grad_norm=44.772, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.193e-05, train_time=1.259 -[gpua002:0/64] 2023-12-08 18:59:16,196 (trainer:737) INFO: 19epoch:train:14101-14200batch: iter_time=9.200e-05, forward_time=0.148, loss_ctc=76.020, loss_att=63.946, acc=0.714, loss=67.568, backward_time=0.353, grad_norm=53.696, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.191e-05, train_time=1.849 -[gpua002:0/64] 2023-12-08 19:02:14,118 (trainer:737) INFO: 19epoch:train:14201-14300batch: iter_time=8.008e-05, forward_time=0.149, loss_ctc=71.534, loss_att=61.689, acc=0.703, loss=64.643, backward_time=0.361, grad_norm=55.553, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.189e-05, train_time=1.779 -[gpua002:0/64] 2023-12-08 19:05:05,232 (trainer:737) INFO: 19epoch:train:14301-14400batch: iter_time=7.972e-05, forward_time=0.148, loss_ctc=71.074, loss_att=55.734, acc=0.715, loss=60.336, backward_time=0.359, grad_norm=61.082, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.188e-05, train_time=1.711 -[gpua002:0/64] 2023-12-08 19:08:02,657 (trainer:737) INFO: 19epoch:train:14401-14500batch: iter_time=8.807e-05, forward_time=0.149, loss_ctc=69.596, loss_att=53.063, acc=0.721, loss=58.023, backward_time=0.307, grad_norm=53.627, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.186e-05, train_time=1.774 -[gpua002:0/64] 2023-12-08 19:10:55,265 (trainer:737) INFO: 19epoch:train:14501-14600batch: iter_time=8.676e-05, forward_time=0.228, loss_ctc=74.579, loss_att=60.092, acc=0.721, loss=64.438, backward_time=0.348, grad_norm=48.514, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=9.184e-05, train_time=1.726 -[gpua002:0/64] 2023-12-08 19:13:22,909 (trainer:737) INFO: 19epoch:train:14601-14700batch: iter_time=8.062e-05, forward_time=0.148, loss_ctc=73.678, loss_att=58.166, acc=0.709, loss=62.819, backward_time=0.317, grad_norm=52.550, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.183e-05, train_time=1.476 -[gpua002:0/64] 2023-12-08 19:15:55,313 (trainer:737) INFO: 19epoch:train:14701-14800batch: iter_time=7.754e-05, forward_time=0.148, loss_ctc=64.018, loss_att=54.033, acc=0.695, loss=57.029, backward_time=0.308, grad_norm=57.781, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.181e-05, train_time=1.524 -[gpua002:0/64] 2023-12-08 19:18:27,033 (trainer:737) INFO: 19epoch:train:14801-14900batch: iter_time=8.777e-05, forward_time=0.148, loss_ctc=59.994, loss_att=48.064, acc=0.706, loss=51.643, backward_time=0.299, grad_norm=57.806, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.180e-05, train_time=1.517 -[gpua002:0/64] 2023-12-08 19:20:36,242 (trainer:737) INFO: 19epoch:train:14901-15000batch: iter_time=7.783e-05, forward_time=0.148, loss_ctc=64.457, loss_att=51.722, acc=0.719, loss=55.542, backward_time=0.289, grad_norm=54.728, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.178e-05, train_time=1.292 -[gpua002:0/64] 2023-12-08 19:46:58,040 (trainer:343) INFO: 19epoch results: [train] iter_time=0.240, forward_time=0.161, loss_ctc=68.629, loss_att=55.801, acc=0.709, loss=59.649, backward_time=0.308, grad_norm=53.397, clip=100.000, loss_scale=1.067e+32, optim_step_time=0.135, optim0_lr0=9.301e-05, train_time=1.810, time=7 hours, 33 minutes and 2.28 seconds, total_count=285000, gpu_max_cached_mem_GB=36.262, [valid] loss_ctc=39.024, cer_ctc=0.203, loss_att=34.416, acc=0.725, cer=0.247, wer=0.946, loss=35.798, time=25 minutes and 57.66 seconds, total_count=88749, gpu_max_cached_mem_GB=36.262 -[gpua002:0/64] 2023-12-08 19:47:17,204 (trainer:391) INFO: The best model has been updated: valid.acc, valid.total_count -[gpua002:0/64] 2023-12-08 19:47:17,212 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/11epoch.pth -[gpua002:0/64] 2023-12-08 19:47:17,212 (trainer:272) INFO: 20/40epoch started. Estimated time to finish: 1 week, 15 hours and 47 minutes -[gpua002:0/64] 2023-12-08 19:47:17,224 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua002:0/64] 2023-12-08 19:47:35,720 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 19:47:39,160 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 19:47:39,160 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua002:0/64] 2023-12-08 19:47:39,163 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 19:54:12,246 (trainer:737) INFO: 20epoch:train:1-100batch: iter_time=2.640, forward_time=0.199, loss_ctc=74.825, loss_att=58.610, acc=0.695, loss=63.474, backward_time=0.290, grad_norm=65.073, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.176e-05, train_time=4.150 -[gpua002:0/64] 2023-12-08 19:56:37,276 (trainer:737) INFO: 20epoch:train:101-200batch: iter_time=7.700e-05, forward_time=0.149, loss_ctc=70.424, loss_att=60.605, acc=0.692, loss=63.551, backward_time=0.313, grad_norm=56.414, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.175e-05, train_time=1.450 -[gpua002:0/64] 2023-12-08 19:58:50,776 (trainer:737) INFO: 20epoch:train:201-300batch: iter_time=8.575e-05, forward_time=0.147, loss_ctc=75.907, loss_att=61.540, acc=0.699, loss=65.850, backward_time=0.283, grad_norm=61.490, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.173e-05, train_time=1.335 -[gpua002:0/64] 2023-12-08 20:01:16,134 (trainer:737) INFO: 20epoch:train:301-400batch: iter_time=8.270e-05, forward_time=0.146, loss_ctc=63.165, loss_att=59.295, acc=0.700, loss=60.456, backward_time=0.320, grad_norm=51.451, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.172e-05, train_time=1.453 -[gpua002:0/64] 2023-12-08 20:03:58,464 (trainer:737) INFO: 20epoch:train:401-500batch: iter_time=8.187e-05, forward_time=0.290, loss_ctc=69.506, loss_att=56.415, acc=0.676, loss=60.342, backward_time=0.345, grad_norm=64.057, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.142, optim0_lr0=9.170e-05, train_time=1.623 -[gpua002:0/64] 2023-12-08 20:06:33,865 (trainer:737) INFO: 20epoch:train:501-600batch: iter_time=8.129e-05, forward_time=0.148, loss_ctc=75.820, loss_att=60.329, acc=0.688, loss=64.977, backward_time=0.306, grad_norm=62.940, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.168e-05, train_time=1.554 -[gpua002:0/64] 2023-12-08 20:09:05,747 (trainer:737) INFO: 20epoch:train:601-700batch: iter_time=8.135e-05, forward_time=0.147, loss_ctc=77.264, loss_att=58.526, acc=0.708, loss=64.148, backward_time=0.300, grad_norm=60.563, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.167e-05, train_time=1.519 -[gpua002:0/64] 2023-12-08 20:11:32,998 (trainer:737) INFO: 20epoch:train:701-800batch: iter_time=7.947e-05, forward_time=0.149, loss_ctc=63.325, loss_att=46.631, acc=0.713, loss=51.640, backward_time=0.320, grad_norm=53.275, clip=100.000, loss_scale=1.606e+32, optim_step_time=0.135, optim0_lr0=9.165e-05, train_time=1.472 -[gpua002:0/64] 2023-12-08 20:14:01,991 (trainer:737) INFO: 20epoch:train:801-900batch: iter_time=8.325e-05, forward_time=0.147, loss_ctc=71.696, loss_att=58.058, acc=0.712, loss=62.149, backward_time=0.295, grad_norm=49.296, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.164e-05, train_time=1.490 -[gpua002:0/64] 2023-12-08 20:16:40,188 (trainer:737) INFO: 20epoch:train:901-1000batch: iter_time=8.033e-05, forward_time=0.149, loss_ctc=71.441, loss_att=61.665, acc=0.692, loss=64.598, backward_time=0.305, grad_norm=57.631, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.162e-05, train_time=1.582 -[gpua002:0/64] 2023-12-08 20:19:43,114 (trainer:737) INFO: 20epoch:train:1001-1100batch: iter_time=8.406e-05, forward_time=0.210, loss_ctc=77.164, loss_att=60.777, acc=0.702, loss=65.693, backward_time=0.360, grad_norm=67.187, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.138, optim0_lr0=9.160e-05, train_time=1.829 -[gpua002:0/64] 2023-12-08 20:22:20,784 (trainer:737) INFO: 20epoch:train:1101-1200batch: iter_time=8.815e-05, forward_time=0.152, loss_ctc=64.588, loss_att=52.498, acc=0.709, loss=56.125, backward_time=0.293, grad_norm=66.936, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.159e-05, train_time=1.576 -[gpua002:0/64] 2023-12-08 20:24:02,234 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua002:0/64] 2023-12-08 20:24:21,177 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 20:24:24,919 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 20:24:24,919 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua002:0/64] 2023-12-08 20:24:24,922 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 20:29:39,878 (trainer:737) INFO: 20epoch:train:1201-1300batch: iter_time=2.474, forward_time=0.148, loss_ctc=68.312, loss_att=57.896, acc=0.712, loss=61.020, backward_time=0.285, grad_norm=64.108, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.157e-05, train_time=4.391 -[gpua002:0/64] 2023-12-08 20:31:40,377 (trainer:737) INFO: 20epoch:train:1301-1400batch: iter_time=7.694e-05, forward_time=0.148, loss_ctc=68.728, loss_att=55.742, acc=0.705, loss=59.638, backward_time=0.279, grad_norm=60.874, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.156e-05, train_time=1.205 -[gpua002:0/64] 2023-12-08 20:34:00,350 (trainer:737) INFO: 20epoch:train:1401-1500batch: iter_time=7.939e-05, forward_time=0.149, loss_ctc=79.942, loss_att=68.750, acc=0.699, loss=72.108, backward_time=0.289, grad_norm=57.585, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.154e-05, train_time=1.400 -[gpua002:0/64] 2023-12-08 20:36:16,204 (trainer:737) INFO: 20epoch:train:1501-1600batch: iter_time=7.925e-05, forward_time=0.148, loss_ctc=66.098, loss_att=51.265, acc=0.721, loss=55.715, backward_time=0.284, grad_norm=56.840, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.152e-05, train_time=1.358 -[gpua002:0/64] 2023-12-08 20:38:26,993 (trainer:737) INFO: 20epoch:train:1601-1700batch: iter_time=2.950e-04, forward_time=0.159, loss_ctc=60.980, loss_att=57.456, acc=0.689, loss=58.513, backward_time=0.281, grad_norm=59.031, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.140, optim0_lr0=9.151e-05, train_time=1.308 -[gpua002:0/64] 2023-12-08 20:41:06,977 (trainer:737) INFO: 20epoch:train:1701-1800batch: iter_time=8.136e-05, forward_time=0.217, loss_ctc=75.107, loss_att=65.426, acc=0.685, loss=68.330, backward_time=0.334, grad_norm=57.549, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.138, optim0_lr0=9.149e-05, train_time=1.600 -[gpua002:0/64] 2023-12-08 20:43:59,939 (trainer:737) INFO: 20epoch:train:1801-1900batch: iter_time=7.707e-05, forward_time=0.149, loss_ctc=79.613, loss_att=61.398, acc=0.703, loss=66.863, backward_time=0.302, grad_norm=61.408, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.148e-05, train_time=1.729 -[gpua002:0/64] 2023-12-08 20:46:28,557 (trainer:737) INFO: 20epoch:train:1901-2000batch: iter_time=7.509e-05, forward_time=0.148, loss_ctc=63.963, loss_att=48.925, acc=0.721, loss=53.436, backward_time=0.291, grad_norm=62.762, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.146e-05, train_time=1.486 -[gpua002:0/64] 2023-12-08 20:49:20,367 (trainer:737) INFO: 20epoch:train:2001-2100batch: iter_time=7.662e-05, forward_time=0.148, loss_ctc=66.201, loss_att=48.551, acc=0.738, loss=53.846, backward_time=0.331, grad_norm=50.571, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.144e-05, train_time=1.718 -[gpua002:0/64] 2023-12-08 20:52:05,533 (trainer:737) INFO: 20epoch:train:2101-2200batch: iter_time=7.726e-05, forward_time=0.148, loss_ctc=66.113, loss_att=56.740, acc=0.711, loss=59.552, backward_time=0.320, grad_norm=56.765, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.143e-05, train_time=1.651 -[gpua002:0/64] 2023-12-08 20:54:29,572 (trainer:737) INFO: 20epoch:train:2201-2300batch: iter_time=7.522e-05, forward_time=0.150, loss_ctc=76.645, loss_att=67.280, acc=0.710, loss=70.090, backward_time=0.310, grad_norm=51.326, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.141e-05, train_time=1.440 -[gpua002:0/64] 2023-12-08 20:56:48,651 (trainer:737) INFO: 20epoch:train:2301-2400batch: iter_time=7.648e-05, forward_time=0.147, loss_ctc=73.401, loss_att=53.321, acc=0.715, loss=59.345, backward_time=0.306, grad_norm=58.535, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.140e-05, train_time=1.391 -[gpua002:0/64] 2023-12-08 20:58:55,142 (trainer:737) INFO: 20epoch:train:2401-2500batch: iter_time=7.690e-05, forward_time=0.147, loss_ctc=65.011, loss_att=55.747, acc=0.724, loss=58.526, backward_time=0.287, grad_norm=47.473, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.138e-05, train_time=1.265 -[gpua002:0/64] 2023-12-08 20:59:15,172 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua002:0/64] 2023-12-08 20:59:34,336 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 20:59:37,895 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 20:59:37,895 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua002:0/64] 2023-12-08 20:59:37,973 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 21:06:03,591 (trainer:737) INFO: 20epoch:train:2501-2600batch: iter_time=2.990, forward_time=0.192, loss_ctc=70.431, loss_att=55.310, acc=0.706, loss=59.847, backward_time=0.292, grad_norm=66.553, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.136e-05, train_time=4.284 -[gpua002:0/64] 2023-12-08 21:08:18,601 (trainer:737) INFO: 20epoch:train:2601-2700batch: iter_time=7.913e-05, forward_time=0.147, loss_ctc=68.480, loss_att=59.015, acc=0.696, loss=61.854, backward_time=0.294, grad_norm=54.710, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.135e-05, train_time=1.350 -[gpua002:0/64] 2023-12-08 21:10:30,886 (trainer:737) INFO: 20epoch:train:2701-2800batch: iter_time=7.747e-05, forward_time=0.149, loss_ctc=73.848, loss_att=60.356, acc=0.704, loss=64.404, backward_time=0.286, grad_norm=59.307, clip=100.000, loss_scale=3.213e+32, optim_step_time=0.134, optim0_lr0=9.133e-05, train_time=1.323 -[gpua002:0/64] 2023-12-08 21:12:52,525 (trainer:737) INFO: 20epoch:train:2801-2900batch: iter_time=8.407e-05, forward_time=0.148, loss_ctc=61.767, loss_att=58.454, acc=0.704, loss=59.448, backward_time=0.292, grad_norm=54.311, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.132e-05, train_time=1.416 -[gpua002:0/64] 2023-12-08 21:13:32,854 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-08 21:15:59,412 (trainer:737) INFO: 20epoch:train:2901-3000batch: iter_time=9.144e-05, forward_time=0.148, loss_ctc=67.146, loss_att=56.506, acc=0.678, loss=59.698, backward_time=0.320, grad_norm=70.520, clip=100.000, loss_scale=1.950e+32, optim_step_time=0.134, optim0_lr0=9.130e-05, train_time=1.869 -[gpua002:0/64] 2023-12-08 21:19:21,704 (trainer:737) INFO: 20epoch:train:3001-3100batch: iter_time=8.329e-05, forward_time=0.148, loss_ctc=74.599, loss_att=59.385, acc=0.692, loss=63.949, backward_time=0.315, grad_norm=61.822, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.129e-05, train_time=2.023 -[gpua002:0/64] 2023-12-08 21:21:35,806 (trainer:737) INFO: 20epoch:train:3101-3200batch: iter_time=8.521e-05, forward_time=0.147, loss_ctc=74.581, loss_att=57.523, acc=0.710, loss=62.641, backward_time=0.285, grad_norm=53.696, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.127e-05, train_time=1.341 -[gpua002:0/64] 2023-12-08 21:23:38,513 (trainer:737) INFO: 20epoch:train:3201-3300batch: iter_time=8.036e-05, forward_time=0.147, loss_ctc=62.506, loss_att=46.474, acc=0.713, loss=51.284, backward_time=0.280, grad_norm=51.742, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.125e-05, train_time=1.227 -[gpua002:0/64] 2023-12-08 21:26:34,621 (trainer:737) INFO: 20epoch:train:3301-3400batch: iter_time=8.383e-05, forward_time=0.148, loss_ctc=70.418, loss_att=56.726, acc=0.717, loss=60.834, backward_time=0.300, grad_norm=55.992, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.124e-05, train_time=1.761 -[gpua002:0/64] 2023-12-08 21:29:04,441 (trainer:737) INFO: 20epoch:train:3401-3500batch: iter_time=8.261e-05, forward_time=0.185, loss_ctc=69.478, loss_att=60.357, acc=0.698, loss=63.094, backward_time=0.341, grad_norm=59.692, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.139, optim0_lr0=9.122e-05, train_time=1.498 -[gpua002:0/64] 2023-12-08 21:31:38,915 (trainer:737) INFO: 20epoch:train:3501-3600batch: iter_time=0.001, forward_time=0.206, loss_ctc=75.601, loss_att=58.324, acc=0.714, loss=63.508, backward_time=0.309, grad_norm=57.461, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=9.121e-05, train_time=1.545 -[gpua002:0/64] 2023-12-08 21:34:17,895 (trainer:737) INFO: 20epoch:train:3601-3700batch: iter_time=7.775e-05, forward_time=0.146, loss_ctc=62.697, loss_att=51.175, acc=0.715, loss=54.631, backward_time=0.345, grad_norm=53.489, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.119e-05, train_time=1.589 -[gpua002:0/64] 2023-12-08 21:35:59,726 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua002:0/64] 2023-12-08 21:36:18,784 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 21:36:22,326 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 21:36:22,326 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua002:0/64] 2023-12-08 21:36:22,329 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 21:42:09,345 (trainer:737) INFO: 20epoch:train:3701-3800batch: iter_time=3.219, forward_time=0.147, loss_ctc=67.273, loss_att=57.885, acc=0.713, loss=60.701, backward_time=0.295, grad_norm=60.275, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.117e-05, train_time=4.714 -[gpua002:0/64] 2023-12-08 21:44:12,419 (trainer:737) INFO: 20epoch:train:3801-3900batch: iter_time=7.422e-05, forward_time=0.149, loss_ctc=67.500, loss_att=55.018, acc=0.712, loss=58.763, backward_time=0.281, grad_norm=57.611, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.116e-05, train_time=1.231 -[gpua002:0/64] 2023-12-08 21:46:15,701 (trainer:737) INFO: 20epoch:train:3901-4000batch: iter_time=8.452e-05, forward_time=0.148, loss_ctc=79.711, loss_att=67.471, acc=0.706, loss=71.143, backward_time=0.281, grad_norm=58.803, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.114e-05, train_time=1.233 -[gpua002:0/64] 2023-12-08 21:49:17,198 (trainer:737) INFO: 20epoch:train:4001-4100batch: iter_time=8.516e-05, forward_time=0.147, loss_ctc=64.844, loss_att=50.306, acc=0.725, loss=54.667, backward_time=0.317, grad_norm=57.149, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.113e-05, train_time=1.815 -[gpua002:0/64] 2023-12-08 21:51:27,000 (trainer:737) INFO: 20epoch:train:4101-4200batch: iter_time=8.269e-05, forward_time=0.147, loss_ctc=60.427, loss_att=56.771, acc=0.693, loss=57.868, backward_time=0.287, grad_norm=57.431, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.111e-05, train_time=1.298 -[gpua002:0/64] 2023-12-08 21:54:11,435 (trainer:737) INFO: 20epoch:train:4201-4300batch: iter_time=8.606e-05, forward_time=0.276, loss_ctc=74.153, loss_att=65.127, acc=0.687, loss=67.835, backward_time=0.332, grad_norm=57.619, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.140, optim0_lr0=9.110e-05, train_time=1.644 -[gpua002:0/64] 2023-12-08 21:56:19,404 (trainer:737) INFO: 20epoch:train:4301-4400batch: iter_time=7.759e-05, forward_time=0.148, loss_ctc=77.977, loss_att=60.849, acc=0.706, loss=65.988, backward_time=0.280, grad_norm=60.297, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.108e-05, train_time=1.279 -[gpua002:0/64] 2023-12-08 21:58:42,152 (trainer:737) INFO: 20epoch:train:4401-4500batch: iter_time=7.851e-05, forward_time=0.150, loss_ctc=63.371, loss_att=48.221, acc=0.725, loss=52.766, backward_time=0.291, grad_norm=52.906, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.106e-05, train_time=1.427 -[gpua002:0/64] 2023-12-08 22:01:43,327 (trainer:737) INFO: 20epoch:train:4501-4600batch: iter_time=7.780e-05, forward_time=0.148, loss_ctc=65.615, loss_att=48.155, acc=0.741, loss=53.393, backward_time=0.303, grad_norm=49.820, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.105e-05, train_time=1.812 -[gpua002:0/64] 2023-12-08 22:03:55,661 (trainer:737) INFO: 20epoch:train:4601-4700batch: iter_time=7.966e-05, forward_time=0.149, loss_ctc=65.374, loss_att=56.234, acc=0.712, loss=58.976, backward_time=0.292, grad_norm=59.705, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.103e-05, train_time=1.323 -[gpua002:0/64] 2023-12-08 22:06:54,919 (trainer:737) INFO: 20epoch:train:4701-4800batch: iter_time=8.144e-05, forward_time=0.148, loss_ctc=76.877, loss_att=67.124, acc=0.714, loss=70.050, backward_time=0.327, grad_norm=53.779, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.102e-05, train_time=1.793 -[gpua002:0/64] 2023-12-08 22:10:15,929 (trainer:737) INFO: 20epoch:train:4801-4900batch: iter_time=7.728e-05, forward_time=0.149, loss_ctc=72.071, loss_att=51.662, acc=0.722, loss=57.785, backward_time=0.449, grad_norm=56.051, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.100e-05, train_time=2.010 -[gpua002:0/64] 2023-12-08 22:12:43,469 (trainer:737) INFO: 20epoch:train:4901-5000batch: iter_time=8.035e-05, forward_time=0.148, loss_ctc=65.870, loss_att=56.192, acc=0.725, loss=59.096, backward_time=0.290, grad_norm=46.812, clip=100.000, loss_scale=2.904e+32, optim_step_time=0.136, optim0_lr0=9.099e-05, train_time=1.475 -[gpua002:0/64] 2023-12-08 22:13:03,497 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua002:0/64] 2023-12-08 22:13:22,634 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 22:13:26,409 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 22:13:26,410 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua002:0/64] 2023-12-08 22:13:26,413 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 22:19:45,800 (trainer:737) INFO: 20epoch:train:5001-5100batch: iter_time=2.935, forward_time=0.192, loss_ctc=70.265, loss_att=54.946, acc=0.716, loss=59.541, backward_time=0.287, grad_norm=68.045, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.136, optim0_lr0=9.097e-05, train_time=4.223 -[gpua002:0/64] 2023-12-08 22:21:47,183 (trainer:737) INFO: 20epoch:train:5101-5200batch: iter_time=8.310e-05, forward_time=0.148, loss_ctc=68.190, loss_att=57.754, acc=0.708, loss=60.884, backward_time=0.279, grad_norm=54.629, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.095e-05, train_time=1.214 -[gpua002:0/64] 2023-12-08 22:23:58,985 (trainer:737) INFO: 20epoch:train:5201-5300batch: iter_time=8.002e-05, forward_time=0.148, loss_ctc=73.419, loss_att=59.579, acc=0.715, loss=63.731, backward_time=0.305, grad_norm=60.594, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.094e-05, train_time=1.317 -[gpua002:0/64] 2023-12-08 22:24:50,318 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-08 22:26:10,488 (trainer:737) INFO: 20epoch:train:5301-5400batch: iter_time=7.942e-05, forward_time=0.148, loss_ctc=61.943, loss_att=57.312, acc=0.716, loss=58.701, backward_time=0.280, grad_norm=50.787, clip=100.000, loss_scale=2.262e+32, optim_step_time=0.135, optim0_lr0=9.092e-05, train_time=1.315 -[gpua002:0/64] 2023-12-08 22:30:39,171 (trainer:737) INFO: 20epoch:train:5401-5500batch: iter_time=7.954e-05, forward_time=0.148, loss_ctc=66.564, loss_att=56.276, acc=0.684, loss=59.362, backward_time=0.534, grad_norm=63.426, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.091e-05, train_time=2.687 -[gpua002:0/64] 2023-12-08 22:34:23,954 (trainer:737) INFO: 20epoch:train:5501-5600batch: iter_time=7.944e-05, forward_time=0.148, loss_ctc=74.201, loss_att=58.911, acc=0.706, loss=63.498, backward_time=0.466, grad_norm=52.624, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.089e-05, train_time=2.248 -[gpua002:0/64] 2023-12-08 22:37:19,870 (trainer:737) INFO: 20epoch:train:5601-5700batch: iter_time=8.001e-05, forward_time=0.149, loss_ctc=74.645, loss_att=58.971, acc=0.717, loss=63.673, backward_time=0.301, grad_norm=59.320, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.088e-05, train_time=1.759 -[gpua002:0/64] 2023-12-08 22:38:03,012 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-08 22:39:31,454 (trainer:737) INFO: 20epoch:train:5701-5800batch: iter_time=6.283e-04, forward_time=0.159, loss_ctc=61.783, loss_att=45.714, acc=0.732, loss=50.535, backward_time=0.290, grad_norm=55.231, clip=100.000, loss_scale=1.074e+32, optim_step_time=0.135, optim0_lr0=9.086e-05, train_time=1.316 -[gpua002:0/64] 2023-12-08 22:42:05,450 (trainer:737) INFO: 20epoch:train:5801-5900batch: iter_time=2.362e-04, forward_time=0.266, loss_ctc=69.779, loss_att=56.214, acc=0.729, loss=60.283, backward_time=0.323, grad_norm=52.531, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=9.084e-05, train_time=1.538 -[gpua002:0/64] 2023-12-08 22:44:47,310 (trainer:737) INFO: 20epoch:train:5901-6000batch: iter_time=8.086e-05, forward_time=0.148, loss_ctc=69.127, loss_att=59.684, acc=0.714, loss=62.517, backward_time=0.294, grad_norm=66.242, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.083e-05, train_time=1.620 -[gpua002:0/64] 2023-12-08 22:47:00,499 (trainer:737) INFO: 20epoch:train:6001-6100batch: iter_time=8.182e-05, forward_time=0.147, loss_ctc=75.216, loss_att=58.113, acc=0.726, loss=63.244, backward_time=0.282, grad_norm=56.380, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.081e-05, train_time=1.332 -[gpua002:0/64] 2023-12-08 22:49:29,866 (trainer:737) INFO: 20epoch:train:6101-6200batch: iter_time=8.190e-05, forward_time=0.148, loss_ctc=62.967, loss_att=50.636, acc=0.723, loss=54.335, backward_time=0.314, grad_norm=53.082, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.080e-05, train_time=1.493 -[gpua002:0/64] 2023-12-08 22:51:10,872 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua002:0/64] 2023-12-08 22:51:30,441 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 22:51:34,014 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 22:51:34,014 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua002:0/64] 2023-12-08 22:51:34,017 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 22:57:28,322 (trainer:737) INFO: 20epoch:train:6201-6300batch: iter_time=3.132, forward_time=0.154, loss_ctc=66.451, loss_att=56.722, acc=0.722, loss=59.641, backward_time=0.282, grad_norm=52.681, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.078e-05, train_time=4.784 -[gpua002:0/64] 2023-12-08 22:59:47,912 (trainer:737) INFO: 20epoch:train:6301-6400batch: iter_time=7.582e-05, forward_time=0.148, loss_ctc=66.491, loss_att=54.246, acc=0.710, loss=57.920, backward_time=0.290, grad_norm=64.013, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.077e-05, train_time=1.396 -[gpua002:0/64] 2023-12-08 23:02:13,061 (trainer:737) INFO: 20epoch:train:6401-6500batch: iter_time=7.924e-05, forward_time=0.148, loss_ctc=78.577, loss_att=67.320, acc=0.699, loss=70.697, backward_time=0.334, grad_norm=65.802, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.075e-05, train_time=1.451 -[gpua002:0/64] 2023-12-08 23:04:27,049 (trainer:737) INFO: 20epoch:train:6501-6600batch: iter_time=8.647e-05, forward_time=0.157, loss_ctc=64.257, loss_att=50.477, acc=0.720, loss=54.611, backward_time=0.286, grad_norm=52.134, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.074e-05, train_time=1.340 -[gpua002:0/64] 2023-12-08 23:06:59,852 (trainer:737) INFO: 20epoch:train:6601-6700batch: iter_time=7.372e-05, forward_time=0.208, loss_ctc=59.536, loss_att=56.917, acc=0.692, loss=57.703, backward_time=0.319, grad_norm=65.325, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=9.072e-05, train_time=1.528 -[gpua002:0/64] 2023-12-08 23:09:36,834 (trainer:737) INFO: 20epoch:train:6701-6800batch: iter_time=8.317e-05, forward_time=0.193, loss_ctc=74.273, loss_att=64.739, acc=0.675, loss=67.599, backward_time=0.300, grad_norm=57.594, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.070e-05, train_time=1.569 -[gpua002:0/64] 2023-12-08 23:12:39,618 (trainer:737) INFO: 20epoch:train:6801-6900batch: iter_time=8.385e-05, forward_time=0.148, loss_ctc=77.940, loss_att=59.901, acc=0.702, loss=65.313, backward_time=0.321, grad_norm=65.123, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.069e-05, train_time=1.828 -[gpua002:0/64] 2023-12-08 23:15:07,346 (trainer:737) INFO: 20epoch:train:6901-7000batch: iter_time=8.193e-05, forward_time=0.148, loss_ctc=62.969, loss_att=46.225, acc=0.723, loss=51.248, backward_time=0.305, grad_norm=50.653, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.067e-05, train_time=1.477 -[gpua002:0/64] 2023-12-08 23:17:40,293 (trainer:737) INFO: 20epoch:train:7001-7100batch: iter_time=7.838e-05, forward_time=0.150, loss_ctc=65.325, loss_att=48.241, acc=0.733, loss=53.366, backward_time=0.337, grad_norm=50.316, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.066e-05, train_time=1.529 -[gpua002:0/64] 2023-12-08 23:20:12,848 (trainer:737) INFO: 20epoch:train:7101-7200batch: iter_time=7.931e-05, forward_time=0.153, loss_ctc=65.117, loss_att=56.500, acc=0.701, loss=59.085, backward_time=0.285, grad_norm=62.924, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.064e-05, train_time=1.526 -[gpua002:0/64] 2023-12-08 23:22:31,912 (trainer:737) INFO: 20epoch:train:7201-7300batch: iter_time=7.795e-05, forward_time=0.148, loss_ctc=75.522, loss_att=65.765, acc=0.708, loss=68.692, backward_time=0.282, grad_norm=50.186, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.063e-05, train_time=1.390 -[gpua002:0/64] 2023-12-08 23:25:10,990 (trainer:737) INFO: 20epoch:train:7301-7400batch: iter_time=7.685e-05, forward_time=0.148, loss_ctc=72.350, loss_att=52.021, acc=0.718, loss=58.120, backward_time=0.298, grad_norm=56.939, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.061e-05, train_time=1.591 -[gpua002:0/64] 2023-12-08 23:28:01,923 (trainer:737) INFO: 20epoch:train:7401-7500batch: iter_time=8.071e-05, forward_time=0.187, loss_ctc=64.908, loss_att=55.339, acc=0.722, loss=58.210, backward_time=0.395, grad_norm=53.800, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.060e-05, train_time=1.709 -[gpua002:0/64] 2023-12-08 23:28:21,959 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua002:0/64] 2023-12-08 23:28:40,889 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-08 23:28:44,400 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-08 23:28:44,400 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua002:0/64] 2023-12-08 23:28:44,435 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-08 23:35:58,732 (trainer:737) INFO: 20epoch:train:7501-7600batch: iter_time=3.300, forward_time=0.174, loss_ctc=68.514, loss_att=54.860, acc=0.717, loss=58.956, backward_time=0.295, grad_norm=65.688, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=9.058e-05, train_time=4.768 -[gpua002:0/64] 2023-12-08 23:38:22,303 (trainer:737) INFO: 20epoch:train:7601-7700batch: iter_time=8.549e-05, forward_time=0.148, loss_ctc=67.293, loss_att=56.923, acc=0.710, loss=60.034, backward_time=0.286, grad_norm=58.140, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.057e-05, train_time=1.436 -[gpua002:0/64] 2023-12-08 23:40:47,420 (trainer:737) INFO: 20epoch:train:7701-7800batch: iter_time=8.429e-05, forward_time=0.149, loss_ctc=72.615, loss_att=59.408, acc=0.717, loss=63.370, backward_time=0.297, grad_norm=54.084, clip=100.000, loss_scale=1.355e+32, optim_step_time=0.135, optim0_lr0=9.055e-05, train_time=1.451 -[gpua002:0/64] 2023-12-08 23:43:24,917 (trainer:737) INFO: 20epoch:train:7801-7900batch: iter_time=8.231e-05, forward_time=0.153, loss_ctc=61.199, loss_att=56.746, acc=0.718, loss=58.082, backward_time=0.309, grad_norm=46.516, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.053e-05, train_time=1.575 -[gpua002:0/64] 2023-12-08 23:46:26,361 (trainer:737) INFO: 20epoch:train:7901-8000batch: iter_time=8.347e-05, forward_time=0.149, loss_ctc=66.061, loss_att=56.261, acc=0.684, loss=59.201, backward_time=0.361, grad_norm=63.251, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.052e-05, train_time=1.814 -[gpua002:0/64] 2023-12-08 23:48:35,421 (trainer:737) INFO: 20epoch:train:8001-8100batch: iter_time=8.061e-05, forward_time=0.149, loss_ctc=73.840, loss_att=58.645, acc=0.710, loss=63.204, backward_time=0.281, grad_norm=53.248, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.050e-05, train_time=1.291 -[gpua002:0/64] 2023-12-08 23:50:43,855 (trainer:737) INFO: 20epoch:train:8101-8200batch: iter_time=8.209e-05, forward_time=0.149, loss_ctc=74.413, loss_att=58.550, acc=0.720, loss=63.309, backward_time=0.283, grad_norm=54.244, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.049e-05, train_time=1.284 -[gpua002:0/64] 2023-12-08 23:53:28,169 (trainer:737) INFO: 20epoch:train:8201-8300batch: iter_time=8.239e-05, forward_time=0.159, loss_ctc=61.773, loss_att=46.103, acc=0.727, loss=50.804, backward_time=0.308, grad_norm=58.035, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.140, optim0_lr0=9.047e-05, train_time=1.643 -[gpua002:0/64] 2023-12-08 23:56:25,346 (trainer:737) INFO: 20epoch:train:8301-8400batch: iter_time=8.079e-05, forward_time=0.197, loss_ctc=69.802, loss_att=56.807, acc=0.730, loss=60.705, backward_time=0.355, grad_norm=49.898, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.139, optim0_lr0=9.046e-05, train_time=1.771 -[gpua002:0/64] 2023-12-08 23:59:43,336 (trainer:737) INFO: 20epoch:train:8401-8500batch: iter_time=7.492e-05, forward_time=0.164, loss_ctc=68.856, loss_att=59.216, acc=0.714, loss=62.108, backward_time=0.343, grad_norm=58.423, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.044e-05, train_time=1.980 -[gpua002:0/64] 2023-12-09 00:02:27,878 (trainer:737) INFO: 20epoch:train:8501-8600batch: iter_time=7.604e-05, forward_time=0.147, loss_ctc=74.098, loss_att=57.482, acc=0.727, loss=62.467, backward_time=0.347, grad_norm=51.290, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.043e-05, train_time=1.645 -[gpua002:0/64] 2023-12-09 00:04:43,960 (trainer:737) INFO: 20epoch:train:8601-8700batch: iter_time=7.817e-05, forward_time=0.147, loss_ctc=62.372, loss_att=50.298, acc=0.721, loss=53.920, backward_time=0.299, grad_norm=55.318, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.041e-05, train_time=1.361 -[gpua002:0/64] 2023-12-09 00:06:26,304 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua002:0/64] 2023-12-09 00:06:45,714 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 00:06:49,300 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 00:06:49,300 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua002:0/64] 2023-12-09 00:06:49,303 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-09 00:12:26,167 (trainer:737) INFO: 20epoch:train:8701-8800batch: iter_time=3.111, forward_time=0.179, loss_ctc=65.585, loss_att=56.159, acc=0.724, loss=58.987, backward_time=0.288, grad_norm=50.595, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.040e-05, train_time=4.622 -[gpua002:0/64] 2023-12-09 00:14:26,851 (trainer:737) INFO: 20epoch:train:8801-8900batch: iter_time=7.535e-05, forward_time=0.147, loss_ctc=65.306, loss_att=54.121, acc=0.711, loss=57.476, backward_time=0.279, grad_norm=61.178, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.038e-05, train_time=1.207 -[gpua002:0/64] 2023-12-09 00:16:51,820 (trainer:737) INFO: 20epoch:train:8901-9000batch: iter_time=8.229e-05, forward_time=0.170, loss_ctc=78.997, loss_att=67.920, acc=0.697, loss=71.243, backward_time=0.346, grad_norm=57.416, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.036e-05, train_time=1.449 -[gpua002:0/64] 2023-12-09 00:19:06,953 (trainer:737) INFO: 20epoch:train:9001-9100batch: iter_time=7.797e-05, forward_time=0.149, loss_ctc=64.094, loss_att=49.518, acc=0.722, loss=53.891, backward_time=0.292, grad_norm=51.576, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.035e-05, train_time=1.351 -[gpua002:0/64] 2023-12-09 00:21:40,267 (trainer:737) INFO: 20epoch:train:9101-9200batch: iter_time=8.369e-05, forward_time=0.146, loss_ctc=59.810, loss_att=57.459, acc=0.689, loss=58.164, backward_time=0.306, grad_norm=63.526, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.033e-05, train_time=1.533 -[gpua002:0/64] 2023-12-09 00:24:31,310 (trainer:737) INFO: 20epoch:train:9201-9300batch: iter_time=8.856e-05, forward_time=0.147, loss_ctc=73.257, loss_att=63.565, acc=0.678, loss=66.472, backward_time=0.338, grad_norm=60.423, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.032e-05, train_time=1.710 -[gpua002:0/64] 2023-12-09 00:27:10,978 (trainer:737) INFO: 20epoch:train:9301-9400batch: iter_time=8.201e-05, forward_time=0.152, loss_ctc=76.922, loss_att=60.198, acc=0.702, loss=65.215, backward_time=0.291, grad_norm=56.466, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.030e-05, train_time=1.596 -[gpua002:0/64] 2023-12-09 00:29:46,780 (trainer:737) INFO: 20epoch:train:9401-9500batch: iter_time=0.002, forward_time=0.195, loss_ctc=62.398, loss_att=46.452, acc=0.723, loss=51.236, backward_time=0.317, grad_norm=52.318, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.029e-05, train_time=1.558 -[gpua002:0/64] 2023-12-09 00:32:44,311 (trainer:737) INFO: 20epoch:train:9501-9600batch: iter_time=8.589e-05, forward_time=0.154, loss_ctc=64.907, loss_att=47.881, acc=0.734, loss=52.988, backward_time=0.336, grad_norm=55.169, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.027e-05, train_time=1.775 -[gpua002:0/64] 2023-12-09 00:35:00,133 (trainer:737) INFO: 20epoch:train:9601-9700batch: iter_time=7.944e-05, forward_time=0.147, loss_ctc=64.427, loss_att=55.242, acc=0.706, loss=57.997, backward_time=0.287, grad_norm=56.039, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.026e-05, train_time=1.358 -[gpua002:0/64] 2023-12-09 00:37:07,762 (trainer:737) INFO: 20epoch:train:9701-9800batch: iter_time=7.961e-05, forward_time=0.156, loss_ctc=75.322, loss_att=65.543, acc=0.708, loss=68.477, backward_time=0.283, grad_norm=56.352, clip=100.000, loss_scale=2.710e+32, optim_step_time=0.135, optim0_lr0=9.024e-05, train_time=1.276 -[gpua002:0/64] 2023-12-09 00:39:53,469 (trainer:737) INFO: 20epoch:train:9801-9900batch: iter_time=8.523e-05, forward_time=0.150, loss_ctc=72.128, loss_att=52.137, acc=0.716, loss=58.134, backward_time=0.344, grad_norm=60.665, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.023e-05, train_time=1.657 -[gpua002:0/64] 2023-12-09 00:42:02,246 (trainer:737) INFO: 20epoch:train:9901-10000batch: iter_time=8.085e-05, forward_time=0.150, loss_ctc=65.364, loss_att=55.696, acc=0.724, loss=58.596, backward_time=0.289, grad_norm=47.967, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.021e-05, train_time=1.287 -[gpua002:0/64] 2023-12-09 00:42:22,293 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua002:0/64] 2023-12-09 00:42:41,847 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 00:42:45,452 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 00:42:45,452 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua002:0/64] 2023-12-09 00:42:45,455 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-09 00:49:07,943 (trainer:737) INFO: 20epoch:train:10001-10100batch: iter_time=2.980, forward_time=0.177, loss_ctc=69.221, loss_att=53.491, acc=0.714, loss=58.210, backward_time=0.283, grad_norm=62.894, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.020e-05, train_time=4.257 -[gpua002:0/64] 2023-12-09 00:51:08,699 (trainer:737) INFO: 20epoch:train:10101-10200batch: iter_time=8.382e-05, forward_time=0.148, loss_ctc=67.423, loss_att=57.285, acc=0.702, loss=60.326, backward_time=0.280, grad_norm=54.981, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.018e-05, train_time=1.207 -[gpua002:0/64] 2023-12-09 00:53:36,097 (trainer:737) INFO: 20epoch:train:10201-10300batch: iter_time=8.132e-05, forward_time=0.150, loss_ctc=72.254, loss_att=58.810, acc=0.712, loss=62.843, backward_time=0.335, grad_norm=71.301, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.017e-05, train_time=1.474 -[gpua002:0/64] 2023-12-09 00:55:51,112 (trainer:737) INFO: 20epoch:train:10301-10400batch: iter_time=8.526e-05, forward_time=0.157, loss_ctc=60.906, loss_att=57.553, acc=0.711, loss=58.559, backward_time=0.288, grad_norm=47.659, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.015e-05, train_time=1.350 -[gpua002:0/64] 2023-12-09 00:58:54,920 (trainer:737) INFO: 20epoch:train:10401-10500batch: iter_time=8.337e-05, forward_time=0.166, loss_ctc=65.792, loss_att=55.751, acc=0.682, loss=58.763, backward_time=0.385, grad_norm=64.303, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.136, optim0_lr0=9.013e-05, train_time=1.838 -[gpua002:0/64] 2023-12-09 01:02:05,731 (trainer:737) INFO: 20epoch:train:10501-10600batch: iter_time=8.522e-05, forward_time=0.148, loss_ctc=73.586, loss_att=57.554, acc=0.701, loss=62.364, backward_time=0.351, grad_norm=58.799, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.012e-05, train_time=1.907 -[gpua002:0/64] 2023-12-09 01:04:01,819 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-09 01:04:31,354 (trainer:737) INFO: 20epoch:train:10601-10700batch: iter_time=8.294e-05, forward_time=0.148, loss_ctc=73.775, loss_att=56.137, acc=0.716, loss=61.428, backward_time=0.286, grad_norm=58.096, clip=100.000, loss_scale=2.868e+32, optim_step_time=0.135, optim0_lr0=9.010e-05, train_time=1.457 -[gpua002:0/64] 2023-12-09 01:06:45,479 (trainer:737) INFO: 20epoch:train:10701-10800batch: iter_time=8.141e-05, forward_time=0.181, loss_ctc=61.558, loss_att=45.412, acc=0.720, loss=50.256, backward_time=0.308, grad_norm=52.165, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.139, optim0_lr0=9.009e-05, train_time=1.341 -[gpua002:0/64] 2023-12-09 01:09:01,765 (trainer:737) INFO: 20epoch:train:10801-10900batch: iter_time=8.440e-05, forward_time=0.149, loss_ctc=68.952, loss_att=55.874, acc=0.723, loss=59.797, backward_time=0.287, grad_norm=62.580, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.007e-05, train_time=1.363 -[gpua002:0/64] 2023-12-09 01:11:48,136 (trainer:737) INFO: 20epoch:train:10901-11000batch: iter_time=8.469e-05, forward_time=0.152, loss_ctc=68.610, loss_att=59.351, acc=0.705, loss=62.129, backward_time=0.300, grad_norm=56.398, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.006e-05, train_time=1.664 -[gpua002:0/64] 2023-12-09 01:12:21,335 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-09 01:14:29,549 (trainer:737) INFO: 20epoch:train:11001-11100batch: iter_time=8.366e-05, forward_time=0.148, loss_ctc=73.784, loss_att=56.953, acc=0.720, loss=62.002, backward_time=0.298, grad_norm=54.703, clip=100.000, loss_scale=9.998e+31, optim_step_time=0.134, optim0_lr0=9.004e-05, train_time=1.614 -[gpua002:0/64] 2023-12-09 01:17:17,884 (trainer:737) INFO: 20epoch:train:11101-11200batch: iter_time=8.576e-05, forward_time=0.158, loss_ctc=62.035, loss_att=50.468, acc=0.719, loss=53.938, backward_time=0.311, grad_norm=50.679, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.003e-05, train_time=1.683 -[gpua002:0/64] 2023-12-09 01:18:57,948 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua002:0/64] 2023-12-09 01:19:17,403 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 01:19:21,018 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 01:19:21,019 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua002:0/64] 2023-12-09 01:19:21,022 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-09 01:24:59,674 (trainer:737) INFO: 20epoch:train:11201-11300batch: iter_time=3.149, forward_time=0.178, loss_ctc=66.406, loss_att=55.498, acc=0.720, loss=58.770, backward_time=0.290, grad_norm=60.618, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.001e-05, train_time=4.618 -[gpua002:0/64] 2023-12-09 01:27:00,533 (trainer:737) INFO: 20epoch:train:11301-11400batch: iter_time=7.977e-05, forward_time=0.147, loss_ctc=65.524, loss_att=52.973, acc=0.715, loss=56.738, backward_time=0.281, grad_norm=61.302, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.000e-05, train_time=1.208 -[gpua002:0/64] 2023-12-09 01:29:08,979 (trainer:737) INFO: 20epoch:train:11401-11500batch: iter_time=8.353e-05, forward_time=0.163, loss_ctc=78.406, loss_att=65.902, acc=0.705, loss=69.653, backward_time=0.286, grad_norm=62.352, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=8.998e-05, train_time=1.284 -[gpua002:0/64] 2023-12-09 01:31:55,106 (trainer:737) INFO: 20epoch:train:11501-11600batch: iter_time=7.862e-05, forward_time=0.147, loss_ctc=63.778, loss_att=49.626, acc=0.726, loss=53.872, backward_time=0.307, grad_norm=53.072, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.997e-05, train_time=1.661 -[gpua002:0/64] 2023-12-09 01:34:20,538 (trainer:737) INFO: 20epoch:train:11601-11700batch: iter_time=8.460e-05, forward_time=0.147, loss_ctc=59.457, loss_att=56.505, acc=0.694, loss=57.390, backward_time=0.317, grad_norm=57.836, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.995e-05, train_time=1.454 -[gpua002:0/64] 2023-12-09 01:37:09,835 (trainer:737) INFO: 20epoch:train:11701-11800batch: iter_time=8.323e-05, forward_time=0.147, loss_ctc=72.793, loss_att=62.771, acc=0.681, loss=65.778, backward_time=0.307, grad_norm=57.292, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.994e-05, train_time=1.693 -[gpua002:0/64] 2023-12-09 01:39:34,839 (trainer:737) INFO: 20epoch:train:11801-11900batch: iter_time=8.640e-05, forward_time=0.150, loss_ctc=77.357, loss_att=59.336, acc=0.707, loss=64.742, backward_time=0.287, grad_norm=63.729, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.992e-05, train_time=1.450 -[gpua002:0/64] 2023-12-09 01:42:20,383 (trainer:737) INFO: 20epoch:train:11901-12000batch: iter_time=8.262e-05, forward_time=0.204, loss_ctc=62.454, loss_att=45.655, acc=0.726, loss=50.695, backward_time=0.330, grad_norm=52.117, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.991e-05, train_time=1.655 -[gpua002:0/64] 2023-12-09 01:44:36,867 (trainer:737) INFO: 20epoch:train:12001-12100batch: iter_time=8.289e-05, forward_time=0.158, loss_ctc=64.945, loss_att=47.666, acc=0.735, loss=52.850, backward_time=0.294, grad_norm=53.014, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.989e-05, train_time=1.365 -[gpua002:0/64] 2023-12-09 01:47:15,472 (trainer:737) INFO: 20epoch:train:12101-12200batch: iter_time=8.383e-05, forward_time=0.168, loss_ctc=64.426, loss_att=55.539, acc=0.706, loss=58.205, backward_time=0.311, grad_norm=57.154, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.142, optim0_lr0=8.988e-05, train_time=1.586 -[gpua002:0/64] 2023-12-09 01:50:01,588 (trainer:737) INFO: 20epoch:train:12201-12300batch: iter_time=8.052e-05, forward_time=0.148, loss_ctc=75.416, loss_att=65.062, acc=0.711, loss=68.168, backward_time=0.302, grad_norm=57.690, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.986e-05, train_time=1.661 -[gpua002:0/64] 2023-12-09 01:52:09,870 (trainer:737) INFO: 20epoch:train:12301-12400batch: iter_time=8.406e-05, forward_time=0.147, loss_ctc=71.091, loss_att=51.233, acc=0.721, loss=57.190, backward_time=0.281, grad_norm=64.005, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=8.985e-05, train_time=1.283 -[gpua002:0/64] 2023-12-09 01:54:44,513 (trainer:737) INFO: 20epoch:train:12401-12500batch: iter_time=8.136e-05, forward_time=0.148, loss_ctc=64.559, loss_att=54.644, acc=0.726, loss=57.618, backward_time=0.297, grad_norm=52.997, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.983e-05, train_time=1.546 -[gpua002:0/64] 2023-12-09 01:55:04,670 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua002:0/64] 2023-12-09 01:55:23,899 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 01:55:27,495 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 01:55:27,495 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua002:0/64] 2023-12-09 01:55:27,498 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-09 02:01:53,186 (trainer:737) INFO: 20epoch:train:12501-12600batch: iter_time=3.014, forward_time=0.192, loss_ctc=69.501, loss_att=55.551, acc=0.718, loss=59.736, backward_time=0.287, grad_norm=73.590, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.982e-05, train_time=4.287 -[gpua002:0/64] 2023-12-09 02:03:56,585 (trainer:737) INFO: 20epoch:train:12601-12700batch: iter_time=8.343e-05, forward_time=0.148, loss_ctc=66.683, loss_att=56.900, acc=0.712, loss=59.835, backward_time=0.282, grad_norm=52.859, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=8.980e-05, train_time=1.234 -[gpua002:0/64] 2023-12-09 02:06:42,256 (trainer:737) INFO: 20epoch:train:12701-12800batch: iter_time=7.997e-05, forward_time=0.161, loss_ctc=72.075, loss_att=59.211, acc=0.718, loss=63.070, backward_time=0.317, grad_norm=58.329, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.979e-05, train_time=1.656 -[gpua002:0/64] 2023-12-09 02:08:56,594 (trainer:737) INFO: 20epoch:train:12801-12900batch: iter_time=7.926e-05, forward_time=0.151, loss_ctc=60.753, loss_att=57.057, acc=0.719, loss=58.166, backward_time=0.284, grad_norm=47.513, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.977e-05, train_time=1.343 -[gpua002:0/64] 2023-12-09 02:11:16,080 (trainer:737) INFO: 20epoch:train:12901-13000batch: iter_time=8.317e-05, forward_time=0.156, loss_ctc=65.686, loss_att=55.816, acc=0.689, loss=58.777, backward_time=0.299, grad_norm=61.802, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=8.976e-05, train_time=1.395 -[gpua002:0/64] 2023-12-09 02:13:59,313 (trainer:737) INFO: 20epoch:train:13001-13100batch: iter_time=8.139e-05, forward_time=0.153, loss_ctc=73.105, loss_att=58.720, acc=0.712, loss=63.036, backward_time=0.294, grad_norm=61.090, clip=100.000, loss_scale=1.428e+32, optim_step_time=0.135, optim0_lr0=8.974e-05, train_time=1.632 -[gpua002:0/64] 2023-12-09 02:16:55,644 (trainer:737) INFO: 20epoch:train:13101-13200batch: iter_time=7.899e-05, forward_time=0.149, loss_ctc=73.528, loss_att=58.421, acc=0.721, loss=62.953, backward_time=0.313, grad_norm=58.048, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=8.973e-05, train_time=1.763 -[gpua002:0/64] 2023-12-09 02:19:24,138 (trainer:737) INFO: 20epoch:train:13201-13300batch: iter_time=7.884e-05, forward_time=0.148, loss_ctc=61.952, loss_att=46.020, acc=0.731, loss=50.800, backward_time=0.341, grad_norm=51.921, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=8.971e-05, train_time=1.485 -[gpua002:0/64] 2023-12-09 02:23:01,659 (trainer:737) INFO: 20epoch:train:13301-13400batch: iter_time=8.210e-05, forward_time=0.199, loss_ctc=69.111, loss_att=55.854, acc=0.732, loss=59.831, backward_time=0.333, grad_norm=50.337, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.143, optim0_lr0=8.970e-05, train_time=2.175 -[gpua002:0/64] 2023-12-09 02:25:59,071 (trainer:737) INFO: 20epoch:train:13401-13500batch: iter_time=8.212e-05, forward_time=0.167, loss_ctc=68.614, loss_att=59.704, acc=0.715, loss=62.377, backward_time=0.308, grad_norm=59.515, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=8.968e-05, train_time=1.774 -[gpua002:0/64] 2023-12-09 02:28:02,714 (trainer:737) INFO: 20epoch:train:13501-13600batch: iter_time=7.814e-05, forward_time=0.149, loss_ctc=73.654, loss_att=57.249, acc=0.727, loss=62.170, backward_time=0.289, grad_norm=58.682, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=8.967e-05, train_time=1.236 -[gpua002:0/64] 2023-12-09 02:30:08,732 (trainer:737) INFO: 20epoch:train:13601-13700batch: iter_time=7.327e-05, forward_time=0.157, loss_ctc=61.457, loss_att=49.932, acc=0.724, loss=53.390, backward_time=0.286, grad_norm=51.572, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=8.965e-05, train_time=1.260 -[gpua002:0/64] 2023-12-09 02:31:39,941 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua002:0/64] 2023-12-09 02:31:59,621 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 02:32:03,084 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 02:32:03,084 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua002:0/64] 2023-12-09 02:32:03,087 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-09 02:37:35,001 (trainer:737) INFO: 20epoch:train:13701-13800batch: iter_time=3.041, forward_time=0.203, loss_ctc=66.619, loss_att=56.439, acc=0.724, loss=59.493, backward_time=0.304, grad_norm=69.111, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=8.964e-05, train_time=4.462 -[gpua002:0/64] 2023-12-09 02:39:36,778 (trainer:737) INFO: 20epoch:train:13801-13900batch: iter_time=7.837e-05, forward_time=0.148, loss_ctc=65.428, loss_att=53.637, acc=0.719, loss=57.174, backward_time=0.282, grad_norm=57.121, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=8.962e-05, train_time=1.218 -[gpua002:0/64] 2023-12-09 02:41:42,400 (trainer:737) INFO: 20epoch:train:13901-14000batch: iter_time=7.595e-05, forward_time=0.153, loss_ctc=77.489, loss_att=66.070, acc=0.712, loss=69.496, backward_time=0.283, grad_norm=57.898, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=8.961e-05, train_time=1.256 -[gpua002:0/64] 2023-12-09 02:42:11,232 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-09 02:44:31,395 (trainer:737) INFO: 20epoch:train:14001-14100batch: iter_time=7.726e-05, forward_time=0.147, loss_ctc=64.099, loss_att=49.978, acc=0.731, loss=54.214, backward_time=0.296, grad_norm=54.834, clip=100.000, loss_scale=9.916e+31, optim_step_time=0.135, optim0_lr0=8.959e-05, train_time=1.690 -[gpua002:0/64] 2023-12-09 02:47:09,310 (trainer:737) INFO: 20epoch:train:14101-14200batch: iter_time=7.681e-05, forward_time=0.158, loss_ctc=58.936, loss_att=55.888, acc=0.698, loss=56.803, backward_time=0.301, grad_norm=59.768, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.958e-05, train_time=1.579 -[gpua002:0/64] 2023-12-09 02:49:38,887 (trainer:737) INFO: 20epoch:train:14201-14300batch: iter_time=3.258e-04, forward_time=0.160, loss_ctc=72.754, loss_att=64.410, acc=0.691, loss=66.913, backward_time=0.305, grad_norm=56.509, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.956e-05, train_time=1.496 -[gpua002:0/64] 2023-12-09 02:52:22,544 (trainer:737) INFO: 20epoch:train:14301-14400batch: iter_time=7.582e-05, forward_time=0.146, loss_ctc=76.016, loss_att=59.312, acc=0.714, loss=64.323, backward_time=0.312, grad_norm=57.225, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.955e-05, train_time=1.636 -[gpua002:0/64] 2023-12-09 02:55:05,007 (trainer:737) INFO: 20epoch:train:14401-14500batch: iter_time=7.750e-05, forward_time=0.177, loss_ctc=61.933, loss_att=46.948, acc=0.731, loss=51.443, backward_time=0.321, grad_norm=51.742, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.953e-05, train_time=1.624 -[gpua002:0/64] 2023-12-09 02:57:40,574 (trainer:737) INFO: 20epoch:train:14501-14600batch: iter_time=7.930e-05, forward_time=0.165, loss_ctc=64.636, loss_att=47.339, acc=0.747, loss=52.528, backward_time=0.315, grad_norm=50.724, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.952e-05, train_time=1.555 -[gpua002:0/64] 2023-12-09 03:00:19,305 (trainer:737) INFO: 20epoch:train:14601-14700batch: iter_time=8.894e-05, forward_time=0.149, loss_ctc=64.484, loss_att=55.438, acc=0.717, loss=58.151, backward_time=0.333, grad_norm=53.902, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=8.950e-05, train_time=1.587 -[gpua002:0/64] 2023-12-09 03:02:49,953 (trainer:737) INFO: 20epoch:train:14701-14800batch: iter_time=8.215e-05, forward_time=0.149, loss_ctc=75.318, loss_att=65.235, acc=0.721, loss=68.260, backward_time=0.293, grad_norm=51.957, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=8.949e-05, train_time=1.506 -[gpua002:0/64] 2023-12-09 03:05:45,602 (trainer:737) INFO: 20epoch:train:14801-14900batch: iter_time=8.132e-05, forward_time=0.150, loss_ctc=71.175, loss_att=50.871, acc=0.728, loss=56.962, backward_time=0.327, grad_norm=59.268, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=8.947e-05, train_time=1.756 -[gpua002:0/64] 2023-12-09 03:08:49,066 (trainer:737) INFO: 20epoch:train:14901-15000batch: iter_time=8.085e-05, forward_time=0.150, loss_ctc=64.403, loss_att=55.157, acc=0.729, loss=57.931, backward_time=0.299, grad_norm=55.321, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=8.946e-05, train_time=1.834 -[gpua002:0/64] 2023-12-09 03:35:39,133 (trainer:343) INFO: 20epoch results: [train] iter_time=0.240, forward_time=0.159, loss_ctc=68.886, loss_att=56.400, acc=0.712, loss=60.146, backward_time=0.308, grad_norm=57.302, clip=100.000, loss_scale=1.486e+32, optim_step_time=0.135, optim0_lr0=9.060e-05, train_time=1.766, time=7 hours, 21 minutes and 55.83 seconds, total_count=300000, gpu_max_cached_mem_GB=36.262, [valid] loss_ctc=39.538, cer_ctc=0.205, loss_att=37.110, acc=0.718, cer=0.259, wer=0.945, loss=37.838, time=26 minutes and 25.94 seconds, total_count=93420, gpu_max_cached_mem_GB=36.262 -[gpua002:0/64] 2023-12-09 03:35:59,059 (trainer:391) INFO: The best model has been updated: valid.total_count -[gpua002:0/64] 2023-12-09 03:35:59,099 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/14epoch.pth, exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/15epoch.pth -[gpua002:0/64] 2023-12-09 03:35:59,099 (trainer:272) INFO: 21/40epoch started. Estimated time to finish: 1 week, 3 hours and 16 minutes -[gpua002:0/64] 2023-12-09 03:35:59,195 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua002:0/64] 2023-12-09 03:36:17,733 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 03:36:21,149 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 03:36:21,150 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua002:0/64] 2023-12-09 03:36:21,154 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-09 03:44:48,228 (trainer:737) INFO: 21epoch:train:1-100batch: iter_time=2.409, forward_time=0.184, loss_ctc=62.901, loss_att=51.826, acc=0.691, loss=55.149, backward_time=0.289, grad_norm=58.580, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.944e-05, train_time=5.290 -[gpua002:0/64] 2023-12-09 03:47:05,451 (trainer:737) INFO: 21epoch:train:101-200batch: iter_time=7.922e-05, forward_time=0.148, loss_ctc=72.650, loss_att=56.485, acc=0.677, loss=61.335, backward_time=0.293, grad_norm=67.572, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.943e-05, train_time=1.372 -[gpua002:0/64] 2023-12-09 03:49:22,093 (trainer:737) INFO: 21epoch:train:201-300batch: iter_time=7.711e-05, forward_time=0.148, loss_ctc=76.882, loss_att=60.964, acc=0.700, loss=65.740, backward_time=0.297, grad_norm=82.290, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.941e-05, train_time=1.366 -[gpua002:0/64] 2023-12-09 03:51:40,284 (trainer:737) INFO: 21epoch:train:301-400batch: iter_time=8.289e-05, forward_time=0.147, loss_ctc=69.915, loss_att=55.637, acc=0.701, loss=59.920, backward_time=0.294, grad_norm=73.166, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.940e-05, train_time=1.382 -[gpua002:0/64] 2023-12-09 03:54:11,796 (trainer:737) INFO: 21epoch:train:401-500batch: iter_time=7.818e-05, forward_time=0.149, loss_ctc=71.592, loss_att=57.626, acc=0.688, loss=61.816, backward_time=0.302, grad_norm=75.450, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.938e-05, train_time=1.514 -[gpua002:0/64] 2023-12-09 03:56:28,320 (trainer:737) INFO: 21epoch:train:501-600batch: iter_time=8.054e-05, forward_time=0.150, loss_ctc=70.713, loss_att=50.215, acc=0.731, loss=56.365, backward_time=0.294, grad_norm=52.920, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.937e-05, train_time=1.365 -[gpua002:0/64] 2023-12-09 03:59:12,959 (trainer:737) INFO: 21epoch:train:601-700batch: iter_time=7.824e-05, forward_time=0.148, loss_ctc=63.827, loss_att=49.052, acc=0.708, loss=53.485, backward_time=0.306, grad_norm=65.863, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.935e-05, train_time=1.646 -[gpua002:0/64] 2023-12-09 04:02:03,072 (trainer:737) INFO: 21epoch:train:701-800batch: iter_time=8.122e-05, forward_time=0.180, loss_ctc=61.325, loss_att=48.880, acc=0.708, loss=52.614, backward_time=0.327, grad_norm=52.677, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.934e-05, train_time=1.701 -[gpua002:0/64] 2023-12-09 04:04:40,166 (trainer:737) INFO: 21epoch:train:801-900batch: iter_time=7.986e-05, forward_time=0.201, loss_ctc=80.930, loss_att=71.868, acc=0.680, loss=74.587, backward_time=0.346, grad_norm=62.184, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.932e-05, train_time=1.571 -[gpua002:0/64] 2023-12-09 04:07:25,555 (trainer:737) INFO: 21epoch:train:901-1000batch: iter_time=8.258e-05, forward_time=0.148, loss_ctc=72.653, loss_att=49.572, acc=0.715, loss=56.496, backward_time=0.332, grad_norm=63.321, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.931e-05, train_time=1.654 -[gpua002:0/64] 2023-12-09 04:09:06,144 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-09 04:09:34,670 (trainer:737) INFO: 21epoch:train:1001-1100batch: iter_time=9.070e-05, forward_time=0.148, loss_ctc=66.116, loss_att=53.191, acc=0.711, loss=57.068, backward_time=0.281, grad_norm=52.337, clip=100.000, loss_scale=1.262e+32, optim_step_time=0.134, optim0_lr0=8.929e-05, train_time=1.291 -[gpua002:0/64] 2023-12-09 04:12:22,389 (trainer:737) INFO: 21epoch:train:1101-1200batch: iter_time=8.519e-05, forward_time=0.148, loss_ctc=66.737, loss_att=50.392, acc=0.718, loss=55.295, backward_time=0.337, grad_norm=54.725, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=8.928e-05, train_time=1.677 -[gpua002:0/64] 2023-12-09 04:13:47,300 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua002:0/64] 2023-12-09 04:14:06,542 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 04:14:10,154 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 04:14:10,155 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua002:0/64] 2023-12-09 04:14:10,159 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-09 04:23:13,133 (trainer:737) INFO: 21epoch:train:1201-1300batch: iter_time=2.968, forward_time=0.182, loss_ctc=60.533, loss_att=50.381, acc=0.698, loss=53.427, backward_time=0.287, grad_norm=58.880, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.926e-05, train_time=6.507 -[gpua002:0/64] 2023-12-09 04:25:33,613 (trainer:737) INFO: 21epoch:train:1301-1400batch: iter_time=8.065e-05, forward_time=0.147, loss_ctc=63.754, loss_att=54.649, acc=0.694, loss=57.380, backward_time=0.284, grad_norm=77.092, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.925e-05, train_time=1.405 -[gpua002:0/64] 2023-12-09 04:27:13,199 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-09 04:27:55,986 (trainer:737) INFO: 21epoch:train:1401-1500batch: iter_time=8.500e-05, forward_time=0.147, loss_ctc=69.227, loss_att=52.798, acc=0.714, loss=57.727, backward_time=0.286, grad_norm=64.022, clip=100.000, loss_scale=6.761e+31, optim_step_time=0.134, optim0_lr0=8.923e-05, train_time=1.423 -[gpua002:0/64] 2023-12-09 04:30:05,011 (trainer:737) INFO: 21epoch:train:1501-1600batch: iter_time=7.713e-05, forward_time=0.151, loss_ctc=68.338, loss_att=53.535, acc=0.717, loss=57.976, backward_time=0.289, grad_norm=69.140, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.922e-05, train_time=1.290 -[gpua002:0/64] 2023-12-09 04:32:52,103 (trainer:737) INFO: 21epoch:train:1601-1700batch: iter_time=7.873e-05, forward_time=0.148, loss_ctc=69.435, loss_att=59.032, acc=0.707, loss=62.153, backward_time=0.354, grad_norm=105.469, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.920e-05, train_time=1.671 -[gpua002:0/64] 2023-12-09 04:35:29,959 (trainer:737) INFO: 21epoch:train:1701-1800batch: iter_time=7.889e-05, forward_time=0.149, loss_ctc=71.649, loss_att=56.547, acc=0.703, loss=61.078, backward_time=0.291, grad_norm=57.225, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.919e-05, train_time=1.578 -[gpua002:0/64] 2023-12-09 04:37:51,852 (trainer:737) INFO: 21epoch:train:1801-1900batch: iter_time=8.257e-05, forward_time=0.204, loss_ctc=68.589, loss_att=52.553, acc=0.728, loss=57.364, backward_time=0.318, grad_norm=64.620, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.141, optim0_lr0=8.917e-05, train_time=1.419 -[gpua002:0/64] 2023-12-09 04:40:18,143 (trainer:737) INFO: 21epoch:train:1901-2000batch: iter_time=7.794e-05, forward_time=0.185, loss_ctc=61.241, loss_att=49.341, acc=0.721, loss=52.911, backward_time=0.290, grad_norm=63.930, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=8.916e-05, train_time=1.463 -[gpua002:0/64] 2023-12-09 04:43:21,610 (trainer:737) INFO: 21epoch:train:2001-2100batch: iter_time=7.741e-05, forward_time=0.148, loss_ctc=72.771, loss_att=58.490, acc=0.708, loss=62.774, backward_time=0.317, grad_norm=56.305, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.915e-05, train_time=1.834 -[gpua002:0/64] 2023-12-09 04:46:00,826 (trainer:737) INFO: 21epoch:train:2101-2200batch: iter_time=7.488e-05, forward_time=0.150, loss_ctc=69.752, loss_att=63.394, acc=0.697, loss=65.301, backward_time=0.286, grad_norm=77.359, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.913e-05, train_time=1.592 -[gpua002:0/64] 2023-12-09 04:48:18,037 (trainer:737) INFO: 21epoch:train:2201-2300batch: iter_time=7.608e-05, forward_time=0.149, loss_ctc=72.159, loss_att=47.535, acc=0.726, loss=54.922, backward_time=0.291, grad_norm=61.498, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.912e-05, train_time=1.372 -[gpua002:0/64] 2023-12-09 04:50:29,507 (trainer:737) INFO: 21epoch:train:2301-2400batch: iter_time=7.677e-05, forward_time=0.151, loss_ctc=63.059, loss_att=50.699, acc=0.725, loss=54.407, backward_time=0.291, grad_norm=61.894, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.910e-05, train_time=1.314 -[gpua002:0/64] 2023-12-09 04:53:11,151 (trainer:737) INFO: 21epoch:train:2401-2500batch: iter_time=7.495e-05, forward_time=0.174, loss_ctc=64.454, loss_att=52.968, acc=0.723, loss=56.414, backward_time=0.356, grad_norm=54.651, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.909e-05, train_time=1.616 -[gpua002:0/64] 2023-12-09 04:53:27,323 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua002:0/64] 2023-12-09 04:53:46,571 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 04:53:50,171 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 04:53:50,171 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua002:0/64] 2023-12-09 04:53:50,176 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-09 04:59:55,336 (trainer:737) INFO: 21epoch:train:2501-2600batch: iter_time=2.764, forward_time=0.176, loss_ctc=61.890, loss_att=50.538, acc=0.701, loss=53.944, backward_time=0.287, grad_norm=65.711, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.907e-05, train_time=4.042 -[gpua002:0/64] 2023-12-09 05:02:10,330 (trainer:737) INFO: 21epoch:train:2601-2700batch: iter_time=7.886e-05, forward_time=0.148, loss_ctc=67.971, loss_att=55.001, acc=0.684, loss=58.892, backward_time=0.281, grad_norm=69.302, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.906e-05, train_time=1.350 -[gpua002:0/64] 2023-12-09 05:04:31,026 (trainer:737) INFO: 21epoch:train:2701-2800batch: iter_time=7.916e-05, forward_time=0.148, loss_ctc=70.615, loss_att=59.822, acc=0.705, loss=63.060, backward_time=0.331, grad_norm=62.130, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.904e-05, train_time=1.407 -[gpua002:0/64] 2023-12-09 05:07:16,155 (trainer:737) INFO: 21epoch:train:2801-2900batch: iter_time=7.978e-05, forward_time=0.147, loss_ctc=68.283, loss_att=54.338, acc=0.706, loss=58.522, backward_time=0.297, grad_norm=98.341, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.903e-05, train_time=1.651 -[gpua002:0/64] 2023-12-09 05:09:54,591 (trainer:737) INFO: 21epoch:train:2901-3000batch: iter_time=8.392e-05, forward_time=0.149, loss_ctc=66.752, loss_att=55.791, acc=0.693, loss=59.079, backward_time=0.333, grad_norm=77.732, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.901e-05, train_time=1.584 -[gpua002:0/64] 2023-12-09 05:12:39,681 (trainer:737) INFO: 21epoch:train:3001-3100batch: iter_time=8.210e-05, forward_time=0.175, loss_ctc=69.440, loss_att=48.765, acc=0.737, loss=54.968, backward_time=0.323, grad_norm=54.214, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.900e-05, train_time=1.651 -[gpua002:0/64] 2023-12-09 05:15:18,458 (trainer:737) INFO: 21epoch:train:3101-3200batch: iter_time=7.834e-05, forward_time=0.158, loss_ctc=63.622, loss_att=48.486, acc=0.711, loss=53.027, backward_time=0.316, grad_norm=66.624, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.898e-05, train_time=1.587 -[gpua002:0/64] 2023-12-09 05:17:45,931 (trainer:737) INFO: 21epoch:train:3201-3300batch: iter_time=7.379e-05, forward_time=0.148, loss_ctc=60.874, loss_att=48.230, acc=0.714, loss=52.024, backward_time=0.324, grad_norm=46.158, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.897e-05, train_time=1.475 -[gpua002:0/64] 2023-12-09 05:19:57,729 (trainer:737) INFO: 21epoch:train:3301-3400batch: iter_time=7.968e-05, forward_time=0.148, loss_ctc=77.906, loss_att=71.490, acc=0.685, loss=73.415, backward_time=0.300, grad_norm=66.847, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.895e-05, train_time=1.318 -[gpua002:0/64] 2023-12-09 05:22:26,732 (trainer:737) INFO: 21epoch:train:3401-3500batch: iter_time=0.001, forward_time=0.202, loss_ctc=70.558, loss_att=49.099, acc=0.719, loss=55.537, backward_time=0.313, grad_norm=55.304, clip=100.000, loss_scale=5.395e+31, optim_step_time=0.137, optim0_lr0=8.894e-05, train_time=1.490 -[gpua002:0/64] 2023-12-09 05:25:14,268 (trainer:737) INFO: 21epoch:train:3501-3600batch: iter_time=7.663e-05, forward_time=0.171, loss_ctc=64.765, loss_att=52.037, acc=0.716, loss=55.855, backward_time=0.304, grad_norm=51.166, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=8.892e-05, train_time=1.675 -[gpua002:0/64] 2023-12-09 05:27:37,939 (trainer:737) INFO: 21epoch:train:3601-3700batch: iter_time=7.987e-05, forward_time=0.148, loss_ctc=64.730, loss_att=49.371, acc=0.723, loss=53.979, backward_time=0.308, grad_norm=59.790, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.891e-05, train_time=1.437 -[gpua002:0/64] 2023-12-09 05:29:08,422 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua002:0/64] 2023-12-09 05:29:27,944 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 05:29:31,850 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 05:29:31,850 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua002:0/64] 2023-12-09 05:29:31,853 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-09 05:34:52,000 (trainer:737) INFO: 21epoch:train:3701-3800batch: iter_time=2.946, forward_time=0.174, loss_ctc=60.092, loss_att=49.545, acc=0.703, loss=52.709, backward_time=0.298, grad_norm=56.345, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.890e-05, train_time=4.340 -[gpua002:0/64] 2023-12-09 05:36:55,670 (trainer:737) INFO: 21epoch:train:3801-3900batch: iter_time=7.506e-05, forward_time=0.150, loss_ctc=63.531, loss_att=53.413, acc=0.689, loss=56.448, backward_time=0.281, grad_norm=53.163, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.888e-05, train_time=1.237 -[gpua002:0/64] 2023-12-09 05:39:24,213 (trainer:737) INFO: 21epoch:train:3901-4000batch: iter_time=7.555e-05, forward_time=0.149, loss_ctc=66.962, loss_att=50.405, acc=0.709, loss=55.372, backward_time=0.289, grad_norm=63.199, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.887e-05, train_time=1.485 -[gpua002:0/64] 2023-12-09 05:42:13,205 (trainer:737) INFO: 21epoch:train:4001-4100batch: iter_time=7.882e-05, forward_time=0.243, loss_ctc=68.376, loss_att=53.357, acc=0.714, loss=57.863, backward_time=0.346, grad_norm=71.589, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.158, optim0_lr0=8.885e-05, train_time=1.690 -[gpua002:0/64] 2023-12-09 05:44:31,861 (trainer:737) INFO: 21epoch:train:4101-4200batch: iter_time=7.776e-05, forward_time=0.149, loss_ctc=68.623, loss_att=58.394, acc=0.706, loss=61.463, backward_time=0.285, grad_norm=90.029, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.884e-05, train_time=1.386 -[gpua002:0/64] 2023-12-09 05:44:35,436 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-09 05:47:06,117 (trainer:737) INFO: 21epoch:train:4201-4300batch: iter_time=7.956e-05, forward_time=0.150, loss_ctc=70.443, loss_att=54.419, acc=0.705, loss=59.226, backward_time=0.301, grad_norm=62.689, clip=100.000, loss_scale=4.138e+31, optim_step_time=0.134, optim0_lr0=8.882e-05, train_time=1.542 -[gpua002:0/64] 2023-12-09 05:49:17,602 (trainer:737) INFO: 21epoch:train:4301-4400batch: iter_time=7.574e-05, forward_time=0.148, loss_ctc=67.678, loss_att=50.288, acc=0.725, loss=55.505, backward_time=0.282, grad_norm=61.781, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.881e-05, train_time=1.315 -[gpua002:0/64] 2023-12-09 05:51:37,191 (trainer:737) INFO: 21epoch:train:4401-4500batch: iter_time=7.652e-05, forward_time=0.159, loss_ctc=60.492, loss_att=46.983, acc=0.722, loss=51.035, backward_time=0.289, grad_norm=56.306, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.879e-05, train_time=1.396 -[gpua002:0/64] 2023-12-09 05:54:34,156 (trainer:737) INFO: 21epoch:train:4501-4600batch: iter_time=8.179e-05, forward_time=0.227, loss_ctc=72.323, loss_att=58.116, acc=0.699, loss=62.378, backward_time=0.330, grad_norm=56.605, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.878e-05, train_time=1.769 -[gpua002:0/64] 2023-12-09 05:57:19,020 (trainer:737) INFO: 21epoch:train:4601-4700batch: iter_time=7.652e-05, forward_time=0.148, loss_ctc=68.657, loss_att=62.319, acc=0.699, loss=64.220, backward_time=0.295, grad_norm=54.450, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=8.876e-05, train_time=1.649 -[gpua002:0/64] 2023-12-09 05:59:47,402 (trainer:737) INFO: 21epoch:train:4701-4800batch: iter_time=7.614e-05, forward_time=0.148, loss_ctc=71.320, loss_att=47.743, acc=0.717, loss=54.816, backward_time=0.287, grad_norm=61.992, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.875e-05, train_time=1.484 -[gpua002:0/64] 2023-12-09 06:02:02,468 (trainer:737) INFO: 21epoch:train:4801-4900batch: iter_time=9.051e-05, forward_time=0.147, loss_ctc=62.947, loss_att=50.377, acc=0.722, loss=54.148, backward_time=0.288, grad_norm=52.886, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.873e-05, train_time=1.350 -[gpua002:0/64] 2023-12-09 06:04:17,886 (trainer:737) INFO: 21epoch:train:4901-5000batch: iter_time=7.721e-05, forward_time=0.150, loss_ctc=64.014, loss_att=51.206, acc=0.716, loss=55.049, backward_time=0.291, grad_norm=50.353, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=8.872e-05, train_time=1.354 -[gpua002:0/64] 2023-12-09 06:04:37,915 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua002:0/64] 2023-12-09 06:04:57,051 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 06:05:00,612 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 06:05:00,612 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua002:0/64] 2023-12-09 06:05:00,616 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-09 06:10:46,676 (trainer:737) INFO: 21epoch:train:5001-5100batch: iter_time=2.593, forward_time=0.184, loss_ctc=61.848, loss_att=50.917, acc=0.708, loss=54.196, backward_time=0.285, grad_norm=59.168, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.871e-05, train_time=3.887 -[gpua002:0/64] 2023-12-09 06:13:01,068 (trainer:737) INFO: 21epoch:train:5101-5200batch: iter_time=8.027e-05, forward_time=0.149, loss_ctc=67.705, loss_att=53.629, acc=0.705, loss=57.852, backward_time=0.294, grad_norm=65.652, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.869e-05, train_time=1.344 -[gpua002:0/64] 2023-12-09 06:15:08,434 (trainer:737) INFO: 21epoch:train:5201-5300batch: iter_time=7.911e-05, forward_time=0.149, loss_ctc=71.818, loss_att=61.213, acc=0.712, loss=64.394, backward_time=0.286, grad_norm=68.395, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=8.868e-05, train_time=1.273 -[gpua002:0/64] 2023-12-09 06:17:16,250 (trainer:737) INFO: 21epoch:train:5301-5400batch: iter_time=7.803e-05, forward_time=0.151, loss_ctc=67.136, loss_att=54.270, acc=0.712, loss=58.130, backward_time=0.296, grad_norm=76.567, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=8.866e-05, train_time=1.278 -[gpua002:0/64] 2023-12-09 06:19:28,405 (trainer:737) INFO: 21epoch:train:5401-5500batch: iter_time=8.130e-05, forward_time=0.149, loss_ctc=66.968, loss_att=56.535, acc=0.702, loss=59.665, backward_time=0.290, grad_norm=74.019, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=8.865e-05, train_time=1.321 -[gpua002:0/64] 2023-12-09 06:22:16,407 (trainer:737) INFO: 21epoch:train:5501-5600batch: iter_time=8.678e-05, forward_time=0.279, loss_ctc=69.760, loss_att=50.885, acc=0.739, loss=56.548, backward_time=0.325, grad_norm=54.112, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=8.863e-05, train_time=1.680 -[gpua002:0/64] 2023-12-09 06:24:57,099 (trainer:737) INFO: 21epoch:train:5601-5700batch: iter_time=8.069e-05, forward_time=0.149, loss_ctc=62.895, loss_att=48.532, acc=0.726, loss=52.841, backward_time=0.298, grad_norm=63.185, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.862e-05, train_time=1.607 -[gpua002:0/64] 2023-12-09 06:27:22,861 (trainer:737) INFO: 21epoch:train:5701-5800batch: iter_time=8.300e-05, forward_time=0.149, loss_ctc=60.111, loss_att=48.704, acc=0.725, loss=52.127, backward_time=0.305, grad_norm=50.441, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.860e-05, train_time=1.457 -[gpua002:0/64] 2023-12-09 06:29:52,133 (trainer:737) INFO: 21epoch:train:5801-5900batch: iter_time=8.068e-05, forward_time=0.148, loss_ctc=76.912, loss_att=71.015, acc=0.686, loss=72.784, backward_time=0.324, grad_norm=64.665, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.859e-05, train_time=1.493 -[gpua002:0/64] 2023-12-09 06:32:41,622 (trainer:737) INFO: 21epoch:train:5901-6000batch: iter_time=8.316e-05, forward_time=0.148, loss_ctc=68.918, loss_att=49.226, acc=0.726, loss=55.134, backward_time=0.335, grad_norm=55.841, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.858e-05, train_time=1.695 -[gpua002:0/64] 2023-12-09 06:35:32,324 (trainer:737) INFO: 21epoch:train:6001-6100batch: iter_time=8.291e-05, forward_time=0.149, loss_ctc=64.965, loss_att=51.737, acc=0.725, loss=55.706, backward_time=0.325, grad_norm=50.227, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.856e-05, train_time=1.707 -[gpua002:0/64] 2023-12-09 06:37:50,953 (trainer:737) INFO: 21epoch:train:6101-6200batch: iter_time=7.908e-05, forward_time=0.149, loss_ctc=64.539, loss_att=50.342, acc=0.734, loss=54.601, backward_time=0.304, grad_norm=50.343, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.855e-05, train_time=1.386 -[gpua002:0/64] 2023-12-09 06:39:11,991 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua002:0/64] 2023-12-09 06:39:31,186 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-09 06:39:34,890 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-09 06:39:34,890 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua002:0/64] 2023-12-09 06:39:34,894 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-09 06:45:50,753 (trainer:737) INFO: 21epoch:train:6201-6300batch: iter_time=3.380, forward_time=0.192, loss_ctc=59.287, loss_att=49.599, acc=0.710, loss=52.505, backward_time=0.286, grad_norm=52.031, clip=100.000, loss_scale=7.991e+31, optim_step_time=0.136, optim0_lr0=8.853e-05, train_time=4.798 -[gpua002:0/64] 2023-12-09 06:47:52,542 (trainer:737) INFO: 21epoch:train:6301-6400batch: iter_time=7.881e-05, forward_time=0.148, loss_ctc=62.528, loss_att=53.239, acc=0.704, loss=56.026, backward_time=0.279, grad_norm=54.073, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.852e-05, train_time=1.218 -[gpua002:0/64] 2023-12-09 06:50:00,561 (trainer:737) INFO: 21epoch:train:6401-6500batch: iter_time=7.510e-05, forward_time=0.150, loss_ctc=68.649, loss_att=52.238, acc=0.720, loss=57.162, backward_time=0.283, grad_norm=63.260, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.850e-05, train_time=1.280 -[gpua002:0/64] 2023-12-09 06:52:48,496 (trainer:737) INFO: 21epoch:train:6501-6600batch: iter_time=7.804e-05, forward_time=0.147, loss_ctc=68.647, loss_att=53.771, acc=0.722, loss=58.234, backward_time=0.335, grad_norm=74.182, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.849e-05, train_time=1.679 -[gpua002:0/64] 2023-12-09 06:55:25,154 (trainer:737) INFO: 21epoch:train:6601-6700batch: iter_time=7.851e-05, forward_time=0.148, loss_ctc=67.700, loss_att=57.968, acc=0.710, loss=60.888, backward_time=0.306, grad_norm=81.631, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.847e-05, train_time=1.567 -[gpua002:0/64] 2023-12-09 06:58:11,602 (trainer:737) INFO: 21epoch:train:6701-6800batch: iter_time=7.673e-05, forward_time=0.148, loss_ctc=70.155, loss_att=54.747, acc=0.713, loss=59.369, backward_time=0.321, grad_norm=58.439, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.846e-05, train_time=1.664 -[gpua002:0/64] 2023-12-09 07:00:32,156 (trainer:737) INFO: 21epoch:train:6801-6900batch: iter_time=8.032e-05, forward_time=0.148, loss_ctc=67.410, loss_att=51.817, acc=0.733, loss=56.495, backward_time=0.287, grad_norm=55.303, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.845e-05, train_time=1.405 -srun: Job step aborted: Waiting up to 32 seconds for job step to finish. -slurmstepd: error: *** STEP 2737380.0 ON gpua002 CANCELLED AT 2023-12-09T08:44:58 DUE TO TIME LIMIT *** diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.8.log b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.8.log deleted file mode 100644 index 79a70b90c0e4c5b64ea83c7059409be37361c97b..0000000000000000000000000000000000000000 --- a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.8.log +++ /dev/null @@ -1,4133 +0,0 @@ -# Running on gpua002.delta.ncsa.illinois.edu -# Started at Tue Dec 5 10:37:26 CST 2023 -# SLURMD_NODENAME=gpua002 -# SLURM_CLUSTER_NAME=delta -# SLURM_CONF=/var/spool/slurmd/conf-cache/slurm.conf -# SLURM_CPUS_ON_NODE=64 -# SLURM_CPUS_PER_TASK=64 -# SLURM_EXPORT_ENV=PATH -# SLURM_GET_USER_ENV=1 -# SLURM_GPUS_ON_NODE=4 -# SLURM_GTIDS=0 -# SLURM_JOBID=2730378 -# SLURM_JOB_ACCOUNT=bbjs-delta-gpu -# SLURM_JOB_CPUS_PER_NODE='64(x16)' -# SLURM_JOB_END_TIME=1701967026 -# SLURM_JOB_GID=202 -# SLURM_JOB_GPUS=0,1,2,3 -# SLURM_JOB_ID=2730378 -# SLURM_JOB_NAME=exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.log -# SLURM_JOB_NODELIST='gpua[002,005-007,022-023,030-031,054-057,082-083,085-086]' -# SLURM_JOB_NUM_NODES=16 -# SLURM_JOB_PARTITION=gpuA100x4 -# SLURM_JOB_QOS=bbjs-delta-gpu -# SLURM_JOB_START_TIME=1701794226 -# SLURM_JOB_UID=68077 -# SLURM_JOB_USER=peng6 -# SLURM_LOCALID=0 -# SLURM_MEM_PER_NODE=240000 -# SLURM_NNODES=16 -# SLURM_NODEID=0 -# SLURM_NODELIST='gpua[002,005-007,022-023,030-031,054-057,082-083,085-086]' -# SLURM_NODE_ALIASES='(null)' -# SLURM_OPEN_MODE=a -# SLURM_PRIO_PROCESS=0 -# SLURM_PROCID=0 -# SLURM_SUBMIT_DIR=/scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1 -# SLURM_SUBMIT_HOST=dt-login01.delta.ncsa.illinois.edu -# SLURM_TASKS_PER_NODE='1(x16)' -# SLURM_TASK_PID=758779 -# SLURM_TOPOLOGY_ADDR=ss00.ss05.gpua002 -# SLURM_TOPOLOGY_ADDR_PATTERN=switch.switch.node -# SLURM_WORKING_CLUSTER=delta:dt-sched:6817:9984:109 -# srun --export=ALL python3 -m espnet2.bin.s2t_train --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 -/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 -/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 -/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 -/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 -/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 -/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 -[gpua002:0/64] 2023-12-05 10:41:22,679 (distributed_c10d:319) INFO: Added key: store_based_barrier_key:1 to store for rank: 0 -[gpua002:0/64] 2023-12-05 10:41:25,724 (distributed_c10d:353) INFO: Rank 0: Completed store-based barrier for key:store_based_barrier_key:1 with 64 nodes. -[gpua002:0/64] 2023-12-05 10:41:25,757 (s2t:464) INFO: Vocabulary size: 50002 -[gpua002:0/64] 2023-12-05 10:41:37,039 (abs_task:1231) INFO: pytorch.version=1.13.1, cuda.available=True, cudnn.version=8500, cudnn.benchmark=False, cudnn.deterministic=True -[gpua002:0/64] 2023-12-05 10:41:37,050 (abs_task:1232) INFO: Model structure: -ESPnetS2TModel( - (frontend): DefaultFrontend( - (stft): Stft(n_fft=512, win_length=400, hop_length=160, center=True, normalized=False, onesided=True) - (frontend): Frontend() - (logmel): LogMel(sr=16000, n_fft=512, n_mels=80, fmin=0, fmax=8000.0, htk=False) - ) - (specaug): SpecAug( - (freq_mask): MaskAlongAxis(mask_width_range=[0, 27], num_mask=2, axis=freq) - (time_mask): MaskAlongAxisVariableMaxWidth(mask_width_ratio_range=[0.0, 0.05], num_mask=10, axis=time) - ) - (normalize): GlobalMVN(stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz, norm_means=True, norm_vars=True) - (encoder): EBranchformerEncoder( - (embed): Conv2dSubsampling( - (conv): Sequential( - (0): Conv2d(1, 1024, kernel_size=(3, 3), stride=(2, 2)) - (1): ReLU() - (2): Conv2d(1024, 1024, kernel_size=(3, 3), stride=(2, 2)) - (3): ReLU() - ) - (out): Sequential( - (0): Linear(in_features=19456, out_features=1024, bias=True) - (1): PositionalEncoding( - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - ) - (encoders): MultiSequential( - (0): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (1): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (2): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (3): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (4): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (5): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (6): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (7): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (8): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (9): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (10): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (11): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (12): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (13): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (14): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (15): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (16): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (17): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - ) - (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - ) - (decoder): TransformerDecoder( - (embed): Sequential( - (0): Embedding(50002, 1024) - (1): PositionalEncoding( - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (output_layer): Linear(in_features=1024, out_features=50002, bias=True) - (decoders): MultiSequential( - (0): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (1): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (2): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (3): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (4): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (5): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (6): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (7): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (8): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (9): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (10): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (11): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (12): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (13): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (14): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (15): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (16): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (17): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - ) - (criterion_att): LabelSmoothingLoss( - (criterion): KLDivLoss() - ) - (ctc): CTC( - (ctc_lo): Linear(in_features=1024, out_features=50002, bias=True) - (ctc_loss): CTCLoss() - ) -) - -Model summary: - Class Name: ESPnetS2TModel - Total Number of model parameters: 1.02 B - Number of trainable parameters: 1.02 B (100.0%) - Size: 4.07 GB - Type: torch.float32 -[gpua002:0/64] 2023-12-05 10:41:37,050 (abs_task:1235) INFO: Optimizer: -AdamW ( -Parameter Group 0 - amsgrad: False - betas: [0.9, 0.98] - capturable: False - eps: 1e-06 - foreach: None - initial_lr: 0.0002 - lr: 1.6666666666666667e-09 - maximize: False - weight_decay: 0.0 -) -[gpua002:0/64] 2023-12-05 10:41:37,050 (abs_task:1236) INFO: Scheduler: PiecewiseLinearWarmupLR(warmup_steps_list=[0, 30000, 60000], warmup_lr_list=[0.0, 5e-05, 0.0002]) -[gpua002:0/64] 2023-12-05 10:41:37,067 (abs_task:1245) INFO: Saving the configuration in exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/config.yaml -[gpua002:0/64] 2023-12-05 10:41:42,567 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-05 10:41:43,508 (abs_task:1616) INFO: [valid] dataset: -ESPnetDataset( - speech: {"path": "dump/raw/dev_v3/wav.scp", "type": "kaldi_ark"} - text_prev: {"path": "dump/raw/dev_v3/text.prev", "type": "text"} - text_ctc: {"path": "dump/raw/dev_v3/text.ctc", "type": "text"} - text: {"path": "dump/raw/dev_v3/text", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-05 10:41:43,508 (abs_task:1617) INFO: [valid] Batch sampler: UnsortedBatchSampler(N-batch=4671, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/valid/speech_shape, -[gpua002:0/64] 2023-12-05 10:41:43,509 (abs_task:1618) INFO: [valid] mini-batch sizes summary: N-batch=4671, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-05 10:42:12,708 (trainer:159) INFO: The training was resumed using exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/checkpoint.pth -gpua002:759383:759383 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.2<0> -gpua002:759383:759383 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua002:759383:759383 [0] NCCL INFO cudaDriverVersion 12020 -NCCL version 2.14.3+cuda11.7 -[gpua002:0/64] 2023-12-05 10:42:19,126 (trainer:284) INFO: 11/40epoch started -[gpua002:0/64] 2023-12-05 10:42:19,173 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua002:0/64] 2023-12-05 10:42:37,663 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-05 10:42:41,229 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-05 10:42:41,229 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua002:0/64] 2023-12-05 10:42:41,233 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -gpua002:759386:759386 [3] NCCL INFO cudaDriverVersion 12020 -gpua002:759386:759386 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.2<0> -gpua002:759386:759386 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua002:759386:759451 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.2<0> -gpua002:759386:759451 [3] NCCL INFO Using network IB -gpua002:759386:759451 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua002:759386:759451 [3] NCCL INFO Trees [0] -1/-1/-1->3->2 [1] -1/-1/-1->3->2 -gpua002:759386:759451 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 -gpua002:759386:759451 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 -gpua002:759386:759451 [3] NCCL INFO Connected all rings -gpua002:759386:759451 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 2[85000] via P2P/IPC/read -gpua002:759386:759451 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 2[85000] via P2P/IPC/read -gpua002:759386:759451 [3] NCCL INFO Connected all trees -gpua002:759386:759451 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua002:759386:759451 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua002:759386:759451 [3] NCCL INFO comm 0x97ef4810 rank 3 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua006:2668185:2668185 [1] NCCL INFO cudaDriverVersion 12020 -gpua006:2668185:2668185 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> -gpua006:2668185:2668185 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua006:2668185:2668249 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> -gpua006:2668185:2668249 [1] NCCL INFO Using network IB -gpua006:2668185:2668249 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua006:2668185:2668249 [1] NCCL INFO Trees [0] 10/4/-1->9->8 [1] 10/-1/-1->9->8 -gpua006:2668185:2668249 [1] NCCL INFO Channel 00/0 : 9[46000] -> 10[85000] via P2P/IPC/read -gpua006:2668185:2668249 [1] NCCL INFO Channel 01/0 : 9[46000] -> 10[85000] via P2P/IPC/read -gpua006:2668185:2668249 [1] NCCL INFO Connected all rings -gpua006:2668185:2668249 [1] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [receive] via NET/IB/0 -gpua006:2668185:2668249 [1] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [send] via NET/IB/0 -gpua006:2668185:2668249 [1] NCCL INFO Channel 00/0 : 9[46000] -> 8[7000] via P2P/IPC/read -gpua006:2668185:2668249 [1] NCCL INFO Channel 01/0 : 9[46000] -> 8[7000] via P2P/IPC/read -gpua006:2668185:2668249 [1] NCCL INFO Connected all trees -gpua006:2668185:2668249 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua006:2668185:2668249 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua006:2668185:2668249 [1] NCCL INFO comm 0xdbc1010 rank 9 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua031:650364:650364 [2] NCCL INFO cudaDriverVersion 12020 -gpua031:650364:650364 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> -gpua031:650364:650364 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua031:650364:650465 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> -gpua031:650364:650465 [2] NCCL INFO Using network IB -gpua031:650364:650465 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua031:650364:650465 [2] NCCL INFO Trees [0] 31/-1/-1->30->29 [1] 31/-1/-1->30->29 -gpua031:650364:650465 [2] NCCL INFO Channel 00/0 : 30[85000] -> 31[c7000] via P2P/IPC/read -gpua031:650364:650465 [2] NCCL INFO Channel 01/0 : 30[85000] -> 31[c7000] via P2P/IPC/read -gpua031:650364:650465 [2] NCCL INFO Connected all rings -gpua031:650364:650465 [2] NCCL INFO Channel 00/0 : 30[85000] -> 29[46000] via P2P/IPC/read -gpua031:650364:650465 [2] NCCL INFO Channel 01/0 : 30[85000] -> 29[46000] via P2P/IPC/read -gpua031:650364:650465 [2] NCCL INFO Connected all trees -gpua031:650364:650465 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua031:650364:650465 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua031:650364:650465 [2] NCCL INFO comm 0xce7ab40 rank 30 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua056:1040036:1040036 [0] NCCL INFO cudaDriverVersion 12020 -gpua056:1040036:1040036 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> -gpua056:1040036:1040036 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua056:1040036:1040111 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> -gpua056:1040036:1040111 [0] NCCL INFO Using network IB -gpua056:1040036:1040111 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua056:1040036:1040111 [0] NCCL INFO Trees [0] 41/44/-1->40->49 [1] 41/-1/-1->40->37 -gpua056:1040036:1040111 [0] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 -gpua056:1040036:1040111 [0] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 -gpua056:1040036:1040111 [0] NCCL INFO Channel 00/0 : 40[7000] -> 41[46000] via P2P/IPC/read -gpua056:1040036:1040111 [0] NCCL INFO Channel 01/0 : 40[7000] -> 41[46000] via P2P/IPC/read -gpua056:1040036:1040111 [0] NCCL INFO Connected all rings -gpua056:1040036:1040111 [0] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [receive] via NET/IB/0 -gpua056:1040036:1040111 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [send] via NET/IB/0 -gpua056:1040036:1040111 [0] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [send] via NET/IB/0 -gpua056:1040036:1040111 [0] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [receive] via NET/IB/0 -gpua056:1040036:1040111 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [receive] via NET/IB/0 -gpua056:1040036:1040111 [0] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [send] via NET/IB/0 -gpua056:1040036:1040111 [0] NCCL INFO Connected all trees -gpua056:1040036:1040111 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua056:1040036:1040111 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua056:1040036:1040111 [0] NCCL INFO comm 0x11ca0e50 rank 40 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua005:2350520:2350520 [2] NCCL INFO cudaDriverVersion 12020 -gpua005:2350520:2350520 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> -gpua005:2350520:2350520 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua005:2350520:2350670 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> -gpua005:2350520:2350670 [2] NCCL INFO Using network IB -gpua005:2350520:2350670 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua005:2350520:2350670 [2] NCCL INFO Trees [0] 7/-1/-1->6->5 [1] 7/-1/-1->6->5 -gpua005:2350520:2350670 [2] NCCL INFO Channel 00/0 : 6[85000] -> 7[c7000] via P2P/IPC/read -gpua005:2350520:2350670 [2] NCCL INFO Channel 01/0 : 6[85000] -> 7[c7000] via P2P/IPC/read -gpua005:2350520:2350670 [2] NCCL INFO Connected all rings -gpua005:2350520:2350670 [2] NCCL INFO Channel 00/0 : 6[85000] -> 5[46000] via P2P/IPC/read -gpua005:2350520:2350670 [2] NCCL INFO Channel 01/0 : 6[85000] -> 5[46000] via P2P/IPC/read -gpua005:2350520:2350670 [2] NCCL INFO Connected all trees -gpua005:2350520:2350670 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua005:2350520:2350670 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua005:2350520:2350670 [2] NCCL INFO comm 0xbd8d040 rank 6 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua085:1176318:1176318 [2] NCCL INFO cudaDriverVersion 12020 -gpua085:1176318:1176318 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> -gpua085:1176318:1176318 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua085:1176318:1176385 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> -gpua085:1176318:1176385 [2] NCCL INFO Using network IB -gpua085:1176318:1176385 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua085:1176318:1176385 [2] NCCL INFO Trees [0] 59/-1/-1->58->57 [1] 59/-1/-1->58->57 -gpua085:1176318:1176385 [2] NCCL INFO Channel 00/0 : 58[85000] -> 59[c7000] via P2P/IPC/read -gpua085:1176318:1176385 [2] NCCL INFO Channel 01/0 : 58[85000] -> 59[c7000] via P2P/IPC/read -gpua085:1176318:1176385 [2] NCCL INFO Connected all rings -gpua085:1176318:1176385 [2] NCCL INFO Channel 00/0 : 58[85000] -> 57[46000] via P2P/IPC/read -gpua085:1176318:1176385 [2] NCCL INFO Channel 01/0 : 58[85000] -> 57[46000] via P2P/IPC/read -gpua085:1176318:1176385 [2] NCCL INFO Connected all trees -gpua085:1176318:1176385 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua085:1176318:1176385 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua085:1176318:1176385 [2] NCCL INFO comm 0x9d0a7830 rank 58 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua031:650365:650365 [3] NCCL INFO cudaDriverVersion 12020 -gpua031:650365:650365 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> -gpua031:650365:650365 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua031:650365:650464 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> -gpua031:650365:650464 [3] NCCL INFO Using network IB -gpua031:650365:650464 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua031:650365:650464 [3] NCCL INFO Trees [0] -1/-1/-1->31->30 [1] -1/-1/-1->31->30 -gpua031:650365:650464 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 -gpua031:650365:650464 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 -gpua031:650365:650464 [3] NCCL INFO Connected all rings -gpua031:650365:650464 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 30[85000] via P2P/IPC/read -gpua031:650365:650464 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 30[85000] via P2P/IPC/read -gpua031:650365:650464 [3] NCCL INFO Connected all trees -gpua031:650365:650464 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua031:650365:650464 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua031:650365:650464 [3] NCCL INFO comm 0xecedd490 rank 31 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua023:515040:515040 [0] NCCL INFO cudaDriverVersion 12020 -gpua023:515040:515040 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.23<0> -gpua023:515040:515040 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua023:515040:515122 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.23<0> -gpua023:515040:515122 [0] NCCL INFO Using network IB -gpua023:515040:515122 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua023:515040:515122 [0] NCCL INFO Trees [0] 21/-1/-1->20->25 [1] 21/16/-1->20->13 -gpua023:515040:515122 [0] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 -gpua023:515040:515122 [0] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 -gpua023:515040:515122 [0] NCCL INFO Channel 00/0 : 20[7000] -> 21[46000] via P2P/IPC/read -gpua023:515040:515122 [0] NCCL INFO Channel 01/0 : 20[7000] -> 21[46000] via P2P/IPC/read -gpua023:515040:515122 [0] NCCL INFO Connected all rings -gpua023:515040:515122 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [receive] via NET/IB/0 -gpua023:515040:515122 [0] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [send] via NET/IB/0 -gpua023:515040:515122 [0] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [receive] via NET/IB/0 -gpua023:515040:515122 [0] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [send] via NET/IB/0 -gpua023:515040:515122 [0] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [receive] via NET/IB/0 -gpua023:515040:515122 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [send] via NET/IB/0 -gpua023:515040:515122 [0] NCCL INFO Connected all trees -gpua023:515040:515122 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua023:515040:515122 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua023:515040:515122 [0] NCCL INFO comm 0x188d2610 rank 20 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua007:271985:271985 [2] NCCL INFO cudaDriverVersion 12020 -gpua007:271985:271985 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> -gpua007:271985:271985 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua007:271985:272076 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> -gpua007:271985:272076 [2] NCCL INFO Using network IB -gpua007:271985:272076 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua007:271985:272076 [2] NCCL INFO Trees [0] 15/-1/-1->14->13 [1] 15/-1/-1->14->13 -gpua007:271985:272076 [2] NCCL INFO Channel 00/0 : 14[85000] -> 15[c7000] via P2P/IPC/read -gpua007:271985:272076 [2] NCCL INFO Channel 01/0 : 14[85000] -> 15[c7000] via P2P/IPC/read -gpua007:271985:272076 [2] NCCL INFO Connected all rings -gpua007:271985:272076 [2] NCCL INFO Channel 00/0 : 14[85000] -> 13[46000] via P2P/IPC/read -gpua007:271985:272076 [2] NCCL INFO Channel 01/0 : 14[85000] -> 13[46000] via P2P/IPC/read -gpua007:271985:272076 [2] NCCL INFO Connected all trees -gpua007:271985:272076 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua007:271985:272076 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua007:271985:272076 [2] NCCL INFO comm 0x1ff80c710 rank 14 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua085:1176319:1176319 [3] NCCL INFO cudaDriverVersion 12020 -gpua085:1176319:1176319 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> -gpua085:1176319:1176319 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua085:1176319:1176383 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> -gpua085:1176319:1176383 [3] NCCL INFO Using network IB -gpua085:1176319:1176383 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua085:1176319:1176383 [3] NCCL INFO Trees [0] -1/-1/-1->59->58 [1] -1/-1/-1->59->58 -gpua085:1176319:1176383 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 -gpua085:1176319:1176383 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 -gpua085:1176319:1176383 [3] NCCL INFO Connected all rings -gpua085:1176319:1176383 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 58[85000] via P2P/IPC/read -gpua085:1176319:1176383 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 58[85000] via P2P/IPC/read -gpua085:1176319:1176383 [3] NCCL INFO Connected all trees -gpua085:1176319:1176383 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua085:1176319:1176383 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua085:1176319:1176383 [3] NCCL INFO comm 0x11c64c90 rank 59 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua006:2668184:2668184 [0] NCCL INFO cudaDriverVersion 12020 -gpua006:2668184:2668184 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> -gpua006:2668184:2668184 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua006:2668184:2668250 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> -gpua006:2668184:2668250 [0] NCCL INFO Using network IB -gpua006:2668184:2668250 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua006:2668184:2668250 [0] NCCL INFO Trees [0] 9/12/-1->8->17 [1] 9/-1/-1->8->5 -gpua006:2668184:2668250 [0] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 -gpua006:2668184:2668250 [0] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 -gpua006:2668184:2668250 [0] NCCL INFO Channel 00/0 : 8[7000] -> 9[46000] via P2P/IPC/read -gpua006:2668184:2668250 [0] NCCL INFO Channel 01/0 : 8[7000] -> 9[46000] via P2P/IPC/read -gpua006:2668184:2668250 [0] NCCL INFO Connected all rings -gpua006:2668184:2668250 [0] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [receive] via NET/IB/0 -gpua006:2668184:2668250 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [send] via NET/IB/0 -gpua006:2668184:2668250 [0] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [send] via NET/IB/0 -gpua006:2668184:2668250 [0] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [receive] via NET/IB/0 -gpua006:2668184:2668250 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [receive] via NET/IB/0 -gpua006:2668184:2668250 [0] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [send] via NET/IB/0 -gpua006:2668184:2668250 [0] NCCL INFO Connected all trees -gpua006:2668184:2668250 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua006:2668184:2668250 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua006:2668184:2668250 [0] NCCL INFO comm 0x137c1f50 rank 8 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua056:1040038:1040038 [2] NCCL INFO cudaDriverVersion 12020 -gpua056:1040038:1040038 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> -gpua056:1040038:1040038 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua056:1040038:1040114 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> -gpua056:1040038:1040114 [2] NCCL INFO Using network IB -gpua056:1040038:1040114 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua056:1040038:1040114 [2] NCCL INFO Trees [0] 43/-1/-1->42->41 [1] 43/-1/-1->42->41 -gpua056:1040038:1040114 [2] NCCL INFO Channel 00/0 : 42[85000] -> 43[c7000] via P2P/IPC/read -gpua056:1040038:1040114 [2] NCCL INFO Channel 01/0 : 42[85000] -> 43[c7000] via P2P/IPC/read -gpua056:1040038:1040114 [2] NCCL INFO Connected all rings -gpua056:1040038:1040114 [2] NCCL INFO Channel 00/0 : 42[85000] -> 41[46000] via P2P/IPC/read -gpua056:1040038:1040114 [2] NCCL INFO Channel 01/0 : 42[85000] -> 41[46000] via P2P/IPC/read -gpua056:1040038:1040114 [2] NCCL INFO Connected all trees -gpua056:1040038:1040114 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua056:1040038:1040114 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua056:1040038:1040114 [2] NCCL INFO comm 0xc236f00 rank 42 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua007:271984:271984 [1] NCCL INFO cudaDriverVersion 12020 -gpua007:271984:271984 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> -gpua007:271984:271984 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua007:271984:272075 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> -gpua007:271984:272075 [1] NCCL INFO Using network IB -gpua007:271984:272075 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua007:271984:272075 [1] NCCL INFO Trees [0] 14/-1/-1->13->12 [1] 14/20/-1->13->12 -gpua007:271984:272075 [1] NCCL INFO Channel 00/0 : 13[46000] -> 14[85000] via P2P/IPC/read -gpua007:271984:272075 [1] NCCL INFO Channel 01/0 : 13[46000] -> 14[85000] via P2P/IPC/read -gpua007:271984:272075 [1] NCCL INFO Connected all rings -gpua007:271984:272075 [1] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [send] via NET/IB/0 -gpua007:271984:272075 [1] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [receive] via NET/IB/0 -gpua007:271984:272075 [1] NCCL INFO Channel 00/0 : 13[46000] -> 12[7000] via P2P/IPC/read -gpua007:271984:272075 [1] NCCL INFO Channel 01/0 : 13[46000] -> 12[7000] via P2P/IPC/read -gpua007:271984:272075 [1] NCCL INFO Connected all trees -gpua007:271984:272075 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua007:271984:272075 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua007:271984:272075 [1] NCCL INFO comm 0xab40fcc0 rank 13 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua007:271983:271983 [0] NCCL INFO cudaDriverVersion 12020 -gpua007:271983:271983 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> -gpua007:271983:271983 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua007:271983:272074 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> -gpua007:271983:272074 [0] NCCL INFO Using network IB -gpua007:271983:272074 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua007:271983:272074 [0] NCCL INFO Trees [0] 13/-1/-1->12->8 [1] 13/4/-1->12->28 -gpua007:271983:272074 [0] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 -gpua007:271983:272074 [0] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 -gpua007:271983:272074 [0] NCCL INFO Channel 00/0 : 12[7000] -> 13[46000] via P2P/IPC/read -gpua007:271983:272074 [0] NCCL INFO Channel 01/0 : 12[7000] -> 13[46000] via P2P/IPC/read -gpua007:271983:272074 [0] NCCL INFO Connected all rings -gpua007:271983:272074 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [receive] via NET/IB/0 -gpua007:271983:272074 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [receive] via NET/IB/0 -gpua007:271983:272074 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [send] via NET/IB/0 -gpua007:271983:272074 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [receive] via NET/IB/0 -gpua007:271983:272074 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [send] via NET/IB/0 -gpua007:271983:272074 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [send] via NET/IB/0 -gpua007:271983:272074 [0] NCCL INFO Connected all trees -gpua007:271983:272074 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua007:271983:272074 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua007:271983:272074 [0] NCCL INFO comm 0xcfd80a0 rank 12 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua007:271986:271986 [3] NCCL INFO cudaDriverVersion 12020 -gpua007:271986:271986 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> -gpua007:271986:271986 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua007:271986:272077 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> -gpua007:271986:272077 [3] NCCL INFO Using network IB -gpua007:271986:272077 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua007:271986:272077 [3] NCCL INFO Trees [0] -1/-1/-1->15->14 [1] -1/-1/-1->15->14 -gpua007:271986:272077 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 -gpua007:271986:272077 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 -gpua007:271986:272077 [3] NCCL INFO Connected all rings -gpua007:271986:272077 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 14[85000] via P2P/IPC/read -gpua007:271986:272077 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 14[85000] via P2P/IPC/read -gpua007:271986:272077 [3] NCCL INFO Connected all trees -gpua007:271986:272077 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua007:271986:272077 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua007:271986:272077 [3] NCCL INFO comm 0xdcd04d0 rank 15 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua083:1749901:1749901 [1] NCCL INFO cudaDriverVersion 12020 -gpua083:1749901:1749901 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> -gpua083:1749901:1749901 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua083:1749901:1749996 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> -gpua083:1749901:1749996 [1] NCCL INFO Using network IB -gpua083:1749901:1749996 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua083:1749901:1749996 [1] NCCL INFO Trees [0] 54/-1/-1->53->52 [1] 54/56/-1->53->52 -gpua083:1749901:1749996 [1] NCCL INFO Channel 00/0 : 53[46000] -> 54[85000] via P2P/IPC/read -gpua083:1749901:1749996 [1] NCCL INFO Channel 01/0 : 53[46000] -> 54[85000] via P2P/IPC/read -gpua083:1749901:1749996 [1] NCCL INFO Connected all rings -gpua083:1749901:1749996 [1] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [send] via NET/IB/0 -gpua083:1749901:1749996 [1] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [receive] via NET/IB/0 -gpua083:1749901:1749996 [1] NCCL INFO Channel 00/0 : 53[46000] -> 52[7000] via P2P/IPC/read -gpua083:1749901:1749996 [1] NCCL INFO Channel 01/0 : 53[46000] -> 52[7000] via P2P/IPC/read -gpua083:1749901:1749996 [1] NCCL INFO Connected all trees -gpua083:1749901:1749996 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua083:1749901:1749996 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua083:1749901:1749996 [1] NCCL INFO comm 0x192e66b0 rank 53 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua082:488395:488395 [0] NCCL INFO cudaDriverVersion 12020 -gpua082:488395:488395 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> -gpua082:488395:488395 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua082:488395:488466 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> -gpua082:488395:488466 [0] NCCL INFO Using network IB -gpua082:488395:488466 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua082:488395:488466 [0] NCCL INFO Trees [0] 49/56/-1->48->32 [1] 49/-1/-1->48->52 -gpua082:488395:488466 [0] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 -gpua082:488395:488466 [0] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 -gpua082:488395:488466 [0] NCCL INFO Channel 00/0 : 48[7000] -> 49[46000] via P2P/IPC/read -gpua082:488395:488466 [0] NCCL INFO Channel 01/0 : 48[7000] -> 49[46000] via P2P/IPC/read -gpua082:488395:488466 [0] NCCL INFO Connected all rings -gpua083:1749902:1749902 [2] NCCL INFO cudaDriverVersion 12020 -gpua083:1749902:1749902 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> -gpua083:1749902:1749902 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua083:1749902:1749994 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> -gpua083:1749902:1749994 [2] NCCL INFO Using network IB -gpua083:1749902:1749994 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua083:1749902:1749994 [2] NCCL INFO Trees [0] 55/-1/-1->54->53 [1] 55/-1/-1->54->53 -gpua083:1749902:1749994 [2] NCCL INFO Channel 00/0 : 54[85000] -> 55[c7000] via P2P/IPC/read -gpua083:1749902:1749994 [2] NCCL INFO Channel 01/0 : 54[85000] -> 55[c7000] via P2P/IPC/read -gpua083:1749902:1749994 [2] NCCL INFO Connected all rings -gpua083:1749902:1749994 [2] NCCL INFO Channel 00/0 : 54[85000] -> 53[46000] via P2P/IPC/read -gpua083:1749902:1749994 [2] NCCL INFO Channel 01/0 : 54[85000] -> 53[46000] via P2P/IPC/read -gpua082:488395:488466 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [send] via NET/IB/0 -gpua082:488395:488466 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [send] via NET/IB/0 -gpua082:488395:488466 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [receive] via NET/IB/0 -gpua082:488395:488466 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [send] via NET/IB/0 -gpua082:488395:488466 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [receive] via NET/IB/0 -gpua082:488395:488466 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [receive] via NET/IB/0 -gpua082:488395:488466 [0] NCCL INFO Connected all trees -gpua082:488395:488466 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua082:488395:488466 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua082:488395:488466 [0] NCCL INFO comm 0xf1c1970 rank 48 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua083:1749902:1749994 [2] NCCL INFO Connected all trees -gpua083:1749902:1749994 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua083:1749902:1749994 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua083:1749902:1749994 [2] NCCL INFO comm 0xf98e0a0 rank 54 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua085:1176316:1176316 [0] NCCL INFO cudaDriverVersion 12020 -gpua085:1176316:1176316 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> -gpua085:1176316:1176316 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua085:1176316:1176384 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> -gpua085:1176316:1176384 [0] NCCL INFO Using network IB -gpua085:1176316:1176384 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua085:1176316:1176384 [0] NCCL INFO Trees [0] 57/60/-1->56->48 [1] 57/-1/-1->56->53 -gpua085:1176316:1176384 [0] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 -gpua085:1176316:1176384 [0] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 -gpua085:1176316:1176384 [0] NCCL INFO Channel 00/0 : 56[7000] -> 57[46000] via P2P/IPC/read -gpua085:1176316:1176384 [0] NCCL INFO Channel 01/0 : 56[7000] -> 57[46000] via P2P/IPC/read -gpua085:1176316:1176384 [0] NCCL INFO Connected all rings -gpua085:1176316:1176384 [0] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [receive] via NET/IB/0 -gpua085:1176316:1176384 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [send] via NET/IB/0 -gpua085:1176316:1176384 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [receive] via NET/IB/0 -gpua085:1176316:1176384 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [send] via NET/IB/0 -gpua085:1176316:1176384 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [receive] via NET/IB/0 -gpua085:1176316:1176384 [0] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [send] via NET/IB/0 -gpua085:1176316:1176384 [0] NCCL INFO Connected all trees -gpua085:1176316:1176384 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua085:1176316:1176384 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua085:1176316:1176384 [0] NCCL INFO comm 0x137f2f80 rank 56 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua083:1749903:1749903 [3] NCCL INFO cudaDriverVersion 12020 -gpua083:1749903:1749903 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> -gpua083:1749903:1749903 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua083:1749903:1749993 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> -gpua083:1749903:1749993 [3] NCCL INFO Using network IB -gpua083:1749903:1749993 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua083:1749903:1749993 [3] NCCL INFO Trees [0] -1/-1/-1->55->54 [1] -1/-1/-1->55->54 -gpua083:1749903:1749993 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 -gpua083:1749903:1749993 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 -gpua083:1749903:1749993 [3] NCCL INFO Connected all rings -gpua083:1749903:1749993 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 54[85000] via P2P/IPC/read -gpua083:1749903:1749993 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 54[85000] via P2P/IPC/read -gpua083:1749903:1749993 [3] NCCL INFO Connected all trees -gpua083:1749903:1749993 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua083:1749903:1749993 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua083:1749903:1749993 [3] NCCL INFO comm 0x2ee85da0 rank 55 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua005:2350519:2350519 [1] NCCL INFO cudaDriverVersion 12020 -gpua005:2350519:2350519 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> -gpua005:2350519:2350519 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua005:2350519:2350668 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> -gpua005:2350519:2350668 [1] NCCL INFO Using network IB -gpua005:2350519:2350668 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua005:2350519:2350668 [1] NCCL INFO Trees [0] 6/-1/-1->5->4 [1] 6/8/-1->5->4 -gpua005:2350519:2350668 [1] NCCL INFO Channel 00/0 : 5[46000] -> 6[85000] via P2P/IPC/read -gpua005:2350519:2350668 [1] NCCL INFO Channel 01/0 : 5[46000] -> 6[85000] via P2P/IPC/read -gpua005:2350519:2350668 [1] NCCL INFO Connected all rings -gpua005:2350519:2350668 [1] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [send] via NET/IB/0 -gpua005:2350519:2350668 [1] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [receive] via NET/IB/0 -gpua005:2350519:2350668 [1] NCCL INFO Channel 00/0 : 5[46000] -> 4[7000] via P2P/IPC/read -gpua005:2350519:2350668 [1] NCCL INFO Channel 01/0 : 5[46000] -> 4[7000] via P2P/IPC/read -gpua005:2350519:2350668 [1] NCCL INFO Connected all trees -gpua005:2350519:2350668 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua005:2350519:2350668 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua005:2350519:2350668 [1] NCCL INFO comm 0x1feb5780 rank 5 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua005:2350521:2350521 [3] NCCL INFO cudaDriverVersion 12020 -gpua005:2350521:2350521 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> -gpua005:2350521:2350521 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua005:2350521:2350669 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> -gpua005:2350521:2350669 [3] NCCL INFO Using network IB -gpua005:2350521:2350669 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua005:2350521:2350669 [3] NCCL INFO Trees [0] -1/-1/-1->7->6 [1] -1/-1/-1->7->6 -gpua005:2350521:2350669 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 -gpua005:2350521:2350669 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 -gpua005:2350521:2350669 [3] NCCL INFO Connected all rings -gpua005:2350521:2350669 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 6[85000] via P2P/IPC/read -gpua005:2350521:2350669 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 6[85000] via P2P/IPC/read -gpua005:2350521:2350669 [3] NCCL INFO Connected all trees -gpua005:2350521:2350669 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua005:2350521:2350669 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua005:2350521:2350669 [3] NCCL INFO comm 0xb77ff20 rank 7 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua055:483081:483081 [2] NCCL INFO cudaDriverVersion 12020 -gpua055:483081:483081 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> -gpua055:483081:483081 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua055:483081:483147 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> -gpua055:483081:483147 [2] NCCL INFO Using network IB -gpua055:483081:483147 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua055:483081:483147 [2] NCCL INFO Trees [0] 39/-1/-1->38->37 [1] 39/-1/-1->38->37 -gpua055:483081:483147 [2] NCCL INFO Channel 00/0 : 38[85000] -> 39[c7000] via P2P/IPC/read -gpua055:483081:483147 [2] NCCL INFO Channel 01/0 : 38[85000] -> 39[c7000] via P2P/IPC/read -gpua055:483081:483147 [2] NCCL INFO Connected all rings -gpua055:483081:483147 [2] NCCL INFO Channel 00/0 : 38[85000] -> 37[46000] via P2P/IPC/read -gpua055:483081:483147 [2] NCCL INFO Channel 01/0 : 38[85000] -> 37[46000] via P2P/IPC/read -gpua022:620896:620896 [1] NCCL INFO cudaDriverVersion 12020 -gpua022:620896:620896 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.22<0> -gpua022:620896:620896 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua022:620896:620968 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.22<0> -gpua022:620896:620968 [1] NCCL INFO Using network IB -gpua022:620896:620968 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua022:620896:620968 [1] NCCL INFO Trees [0] 18/8/-1->17->16 [1] 18/-1/-1->17->16 -gpua022:620896:620968 [1] NCCL INFO Channel 00/0 : 17[46000] -> 18[85000] via P2P/IPC/read -gpua022:620896:620968 [1] NCCL INFO Channel 01/0 : 17[46000] -> 18[85000] via P2P/IPC/read -gpua022:620896:620968 [1] NCCL INFO Connected all rings -gpua022:620896:620968 [1] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [receive] via NET/IB/0 -gpua022:620896:620968 [1] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [send] via NET/IB/0 -gpua055:483081:483147 [2] NCCL INFO Connected all trees -gpua055:483081:483147 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua055:483081:483147 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua055:483081:483147 [2] NCCL INFO comm 0xcf006e0 rank 38 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua086:645165:645165 [1] NCCL INFO cudaDriverVersion 12020 -gpua086:645165:645165 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> -gpua086:645165:645165 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua086:645165:645252 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> -gpua086:645165:645252 [1] NCCL INFO Using network IB -gpua086:645165:645252 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua086:645165:645252 [1] NCCL INFO Trees [0] 62/-1/-1->61->60 [1] 62/-1/-1->61->60 -gpua086:645165:645252 [1] NCCL INFO Channel 00/0 : 61[46000] -> 62[85000] via P2P/IPC/read -gpua086:645165:645252 [1] NCCL INFO Channel 01/0 : 61[46000] -> 62[85000] via P2P/IPC/read -gpua086:645165:645252 [1] NCCL INFO Connected all rings -gpua086:645165:645252 [1] NCCL INFO Channel 00/0 : 61[46000] -> 60[7000] via P2P/IPC/read -gpua086:645165:645252 [1] NCCL INFO Channel 01/0 : 61[46000] -> 60[7000] via P2P/IPC/read -gpua022:620896:620968 [1] NCCL INFO Channel 00/0 : 17[46000] -> 16[7000] via P2P/IPC/read -gpua022:620896:620968 [1] NCCL INFO Channel 01/0 : 17[46000] -> 16[7000] via P2P/IPC/read -gpua022:620896:620968 [1] NCCL INFO Connected all trees -gpua022:620896:620968 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua022:620896:620968 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua022:620896:620968 [1] NCCL INFO comm 0xe9777ae0 rank 17 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua086:645165:645252 [1] NCCL INFO Connected all trees -gpua086:645165:645252 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua086:645165:645252 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua086:645165:645252 [1] NCCL INFO comm 0xb2c0b60 rank 61 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua006:2668186:2668186 [2] NCCL INFO cudaDriverVersion 12020 -gpua006:2668186:2668186 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> -gpua006:2668186:2668186 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua006:2668186:2668248 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> -gpua006:2668186:2668248 [2] NCCL INFO Using network IB -gpua006:2668186:2668248 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua006:2668186:2668248 [2] NCCL INFO Trees [0] 11/-1/-1->10->9 [1] 11/-1/-1->10->9 -gpua006:2668186:2668248 [2] NCCL INFO Channel 00/0 : 10[85000] -> 11[c7000] via P2P/IPC/read -gpua006:2668186:2668248 [2] NCCL INFO Channel 01/0 : 10[85000] -> 11[c7000] via P2P/IPC/read -gpua006:2668186:2668248 [2] NCCL INFO Connected all rings -gpua006:2668186:2668248 [2] NCCL INFO Channel 00/0 : 10[85000] -> 9[46000] via P2P/IPC/read -gpua006:2668186:2668248 [2] NCCL INFO Channel 01/0 : 10[85000] -> 9[46000] via P2P/IPC/read -gpua056:1040039:1040039 [3] NCCL INFO cudaDriverVersion 12020 -gpua056:1040039:1040039 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> -gpua056:1040039:1040039 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua056:1040039:1040112 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> -gpua056:1040039:1040112 [3] NCCL INFO Using network IB -gpua056:1040039:1040112 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua056:1040039:1040112 [3] NCCL INFO Trees [0] -1/-1/-1->43->42 [1] -1/-1/-1->43->42 -gpua056:1040039:1040112 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 -gpua056:1040039:1040112 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 -gpua056:1040039:1040112 [3] NCCL INFO Connected all rings -gpua056:1040039:1040112 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 42[85000] via P2P/IPC/read -gpua056:1040039:1040112 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 42[85000] via P2P/IPC/read -gpua006:2668186:2668248 [2] NCCL INFO Connected all trees -gpua006:2668186:2668248 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua006:2668186:2668248 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua006:2668186:2668248 [2] NCCL INFO comm 0x2d746560 rank 10 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua056:1040039:1040112 [3] NCCL INFO Connected all trees -gpua056:1040039:1040112 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua056:1040039:1040112 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua056:1040039:1040112 [3] NCCL INFO comm 0xeba524e0 rank 43 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua002:759385:759385 [2] NCCL INFO cudaDriverVersion 12020 -gpua002:759385:759385 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.2<0> -gpua002:759385:759385 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua002:759385:759452 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.2<0> -gpua002:759385:759452 [2] NCCL INFO Using network IB -gpua002:759385:759452 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua002:759385:759452 [2] NCCL INFO Trees [0] 3/-1/-1->2->1 [1] 3/-1/-1->2->1 -gpua002:759385:759452 [2] NCCL INFO Channel 00/0 : 2[85000] -> 3[c7000] via P2P/IPC/read -gpua002:759385:759452 [2] NCCL INFO Channel 01/0 : 2[85000] -> 3[c7000] via P2P/IPC/read -gpua002:759385:759452 [2] NCCL INFO Connected all rings -gpua002:759385:759452 [2] NCCL INFO Channel 00/0 : 2[85000] -> 1[46000] via P2P/IPC/read -gpua002:759385:759452 [2] NCCL INFO Channel 01/0 : 2[85000] -> 1[46000] via P2P/IPC/read -gpua002:759385:759452 [2] NCCL INFO Connected all trees -gpua002:759385:759452 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua002:759385:759452 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua002:759385:759452 [2] NCCL INFO comm 0xe8cbd9e0 rank 2 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua083:1749900:1749900 [0] NCCL INFO cudaDriverVersion 12020 -gpua083:1749900:1749900 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> -gpua083:1749900:1749900 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua083:1749900:1749995 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> -gpua083:1749900:1749995 [0] NCCL INFO Using network IB -gpua083:1749900:1749995 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua083:1749900:1749995 [0] NCCL INFO Trees [0] 53/-1/-1->52->57 [1] 53/48/-1->52->45 -gpua083:1749900:1749995 [0] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 -gpua083:1749900:1749995 [0] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 -gpua083:1749900:1749995 [0] NCCL INFO Channel 00/0 : 52[7000] -> 53[46000] via P2P/IPC/read -gpua083:1749900:1749995 [0] NCCL INFO Channel 01/0 : 52[7000] -> 53[46000] via P2P/IPC/read -gpua083:1749900:1749995 [0] NCCL INFO Connected all rings -gpua083:1749900:1749995 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [receive] via NET/IB/0 -gpua083:1749900:1749995 [0] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [send] via NET/IB/0 -gpua083:1749900:1749995 [0] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [receive] via NET/IB/0 -gpua083:1749900:1749995 [0] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [send] via NET/IB/0 -gpua083:1749900:1749995 [0] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [receive] via NET/IB/0 -gpua083:1749900:1749995 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [send] via NET/IB/0 -gpua083:1749900:1749995 [0] NCCL INFO Connected all trees -gpua083:1749900:1749995 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua083:1749900:1749995 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua083:1749900:1749995 [0] NCCL INFO comm 0x9293fe90 rank 52 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua002:759383:759449 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.2<0> -gpua002:759383:759449 [0] NCCL INFO Using network IB -gpua002:759383:759449 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua002:759383:759449 [0] NCCL INFO Channel 00/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 -gpua002:759383:759449 [0] NCCL INFO Channel 01/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 -gpua002:759383:759449 [0] NCCL INFO Trees [0] 1/32/-1->0->-1 [1] 1/-1/-1->0->4 -gpua002:759383:759449 [0] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 -gpua002:759383:759449 [0] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 -gpua002:759383:759449 [0] NCCL INFO Channel 00/0 : 0[7000] -> 1[46000] via P2P/IPC/read -gpua002:759383:759449 [0] NCCL INFO Channel 01/0 : 0[7000] -> 1[46000] via P2P/IPC/read -gpua002:759383:759449 [0] NCCL INFO Connected all rings -gpua005:2350518:2350518 [0] NCCL INFO cudaDriverVersion 12020 -gpua005:2350518:2350518 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> -gpua005:2350518:2350518 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua005:2350518:2350671 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> -gpua005:2350518:2350671 [0] NCCL INFO Using network IB -gpua005:2350518:2350671 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua005:2350518:2350671 [0] NCCL INFO Trees [0] 5/-1/-1->4->9 [1] 5/0/-1->4->12 -gpua005:2350518:2350671 [0] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 -gpua005:2350518:2350671 [0] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 -gpua005:2350518:2350671 [0] NCCL INFO Channel 00/0 : 4[7000] -> 5[46000] via P2P/IPC/read -gpua005:2350518:2350671 [0] NCCL INFO Channel 01/0 : 4[7000] -> 5[46000] via P2P/IPC/read -gpua005:2350518:2350671 [0] NCCL INFO Connected all rings -gpua031:650363:650363 [1] NCCL INFO cudaDriverVersion 12020 -gpua031:650363:650363 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> -gpua031:650363:650363 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua031:650363:650462 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> -gpua031:650363:650462 [1] NCCL INFO Using network IB -gpua031:650363:650462 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua031:650363:650462 [1] NCCL INFO Trees [0] 30/-1/-1->29->28 [1] 30/44/-1->29->28 -gpua031:650363:650462 [1] NCCL INFO Channel 00/0 : 29[46000] -> 30[85000] via P2P/IPC/read -gpua031:650363:650462 [1] NCCL INFO Channel 01/0 : 29[46000] -> 30[85000] via P2P/IPC/read -gpua031:650363:650462 [1] NCCL INFO Connected all rings -gpua031:650363:650462 [1] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [send] via NET/IB/0 -gpua031:650363:650462 [1] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [receive] via NET/IB/0 -gpua002:759383:759449 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [send] via NET/IB/0 -gpua002:759383:759449 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [receive] via NET/IB/0 -gpua002:759383:759449 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [send] via NET/IB/0 -gpua002:759383:759449 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [receive] via NET/IB/0 -gpua002:759383:759449 [0] NCCL INFO Connected all trees -gpua002:759383:759449 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua002:759383:759449 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua002:759383:759449 [0] NCCL INFO comm 0x11dcf110 rank 0 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua005:2350518:2350671 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [receive] via NET/IB/0 -gpua005:2350518:2350671 [0] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [send] via NET/IB/0 -gpua005:2350518:2350671 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [send] via NET/IB/0 -gpua005:2350518:2350671 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [receive] via NET/IB/0 -gpua005:2350518:2350671 [0] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [receive] via NET/IB/0 -gpua005:2350518:2350671 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [send] via NET/IB/0 -gpua005:2350518:2350671 [0] NCCL INFO Connected all trees -gpua005:2350518:2350671 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua005:2350518:2350671 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua005:2350518:2350671 [0] NCCL INFO comm 0x13074490 rank 4 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua031:650363:650462 [1] NCCL INFO Channel 00/0 : 29[46000] -> 28[7000] via P2P/IPC/read -gpua031:650363:650462 [1] NCCL INFO Channel 01/0 : 29[46000] -> 28[7000] via P2P/IPC/read -gpua031:650363:650462 [1] NCCL INFO Connected all trees -gpua031:650363:650462 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua031:650363:650462 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua031:650363:650462 [1] NCCL INFO comm 0x1104cca0 rank 29 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua085:1176317:1176317 [1] NCCL INFO cudaDriverVersion 12020 -gpua085:1176317:1176317 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> -gpua085:1176317:1176317 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua085:1176317:1176386 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> -gpua085:1176317:1176386 [1] NCCL INFO Using network IB -gpua085:1176317:1176386 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua085:1176317:1176386 [1] NCCL INFO Trees [0] 58/52/-1->57->56 [1] 58/-1/-1->57->56 -gpua085:1176317:1176386 [1] NCCL INFO Channel 00/0 : 57[46000] -> 58[85000] via P2P/IPC/read -gpua085:1176317:1176386 [1] NCCL INFO Channel 01/0 : 57[46000] -> 58[85000] via P2P/IPC/read -gpua085:1176317:1176386 [1] NCCL INFO Connected all rings -gpua085:1176317:1176386 [1] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [receive] via NET/IB/0 -gpua085:1176317:1176386 [1] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [send] via NET/IB/0 -gpua006:2668187:2668187 [3] NCCL INFO cudaDriverVersion 12020 -gpua006:2668187:2668187 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> -gpua006:2668187:2668187 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua006:2668187:2668251 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> -gpua006:2668187:2668251 [3] NCCL INFO Using network IB -gpua006:2668187:2668251 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua006:2668187:2668251 [3] NCCL INFO Trees [0] -1/-1/-1->11->10 [1] -1/-1/-1->11->10 -gpua006:2668187:2668251 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 -gpua006:2668187:2668251 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 -gpua006:2668187:2668251 [3] NCCL INFO Connected all rings -gpua006:2668187:2668251 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 10[85000] via P2P/IPC/read -gpua006:2668187:2668251 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 10[85000] via P2P/IPC/read -gpua085:1176317:1176386 [1] NCCL INFO Channel 00/0 : 57[46000] -> 56[7000] via P2P/IPC/read -gpua085:1176317:1176386 [1] NCCL INFO Channel 01/0 : 57[46000] -> 56[7000] via P2P/IPC/read -gpua085:1176317:1176386 [1] NCCL INFO Connected all trees -gpua085:1176317:1176386 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua085:1176317:1176386 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua085:1176317:1176386 [1] NCCL INFO comm 0x103908e0 rank 57 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua006:2668187:2668251 [3] NCCL INFO Connected all trees -gpua006:2668187:2668251 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua006:2668187:2668251 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua006:2668187:2668251 [3] NCCL INFO comm 0x11cf6910 rank 11 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua030:865423:865423 [3] NCCL INFO cudaDriverVersion 12020 -gpua030:865423:865423 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> -gpua030:865423:865423 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua030:865423:865521 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> -gpua030:865423:865521 [3] NCCL INFO Using network IB -gpua030:865423:865521 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua030:865423:865521 [3] NCCL INFO Trees [0] -1/-1/-1->27->26 [1] -1/-1/-1->27->26 -gpua030:865423:865521 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 -gpua030:865423:865521 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 -gpua030:865423:865521 [3] NCCL INFO Connected all rings -gpua030:865423:865521 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 26[85000] via P2P/IPC/read -gpua030:865423:865521 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 26[85000] via P2P/IPC/read -gpua030:865423:865521 [3] NCCL INFO Connected all trees -gpua030:865423:865521 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua030:865423:865521 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua030:865423:865521 [3] NCCL INFO comm 0x9c0b9120 rank 27 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua031:650362:650362 [0] NCCL INFO cudaDriverVersion 12020 -gpua031:650362:650362 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> -gpua031:650362:650362 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua031:650362:650463 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> -gpua031:650362:650463 [0] NCCL INFO Using network IB -gpua031:650362:650463 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua031:650362:650463 [0] NCCL INFO Trees [0] 29/-1/-1->28->24 [1] 29/12/-1->28->60 -gpua031:650362:650463 [0] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 -gpua031:650362:650463 [0] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 -gpua031:650362:650463 [0] NCCL INFO Channel 00/0 : 28[7000] -> 29[46000] via P2P/IPC/read -gpua031:650362:650463 [0] NCCL INFO Channel 01/0 : 28[7000] -> 29[46000] via P2P/IPC/read -gpua031:650362:650463 [0] NCCL INFO Connected all rings -gpua031:650362:650463 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [receive] via NET/IB/0 -gpua031:650362:650463 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [receive] via NET/IB/0 -gpua031:650362:650463 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [receive] via NET/IB/0 -gpua031:650362:650463 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [send] via NET/IB/0 -gpua031:650362:650463 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [send] via NET/IB/0 -gpua031:650362:650463 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [send] via NET/IB/0 -gpua031:650362:650463 [0] NCCL INFO Connected all trees -gpua031:650362:650463 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua031:650362:650463 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua031:650362:650463 [0] NCCL INFO comm 0xa9b5120 rank 28 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua022:620897:620897 [2] NCCL INFO cudaDriverVersion 12020 -gpua022:620897:620897 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.22<0> -gpua022:620897:620897 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua022:620897:620970 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.22<0> -gpua022:620897:620970 [2] NCCL INFO Using network IB -gpua022:620897:620970 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua022:620897:620970 [2] NCCL INFO Trees [0] 19/-1/-1->18->17 [1] 19/-1/-1->18->17 -gpua022:620897:620970 [2] NCCL INFO Channel 00/0 : 18[85000] -> 19[c7000] via P2P/IPC/read -gpua022:620897:620970 [2] NCCL INFO Channel 01/0 : 18[85000] -> 19[c7000] via P2P/IPC/read -gpua022:620897:620970 [2] NCCL INFO Connected all rings -gpua022:620897:620970 [2] NCCL INFO Channel 00/0 : 18[85000] -> 17[46000] via P2P/IPC/read -gpua022:620897:620970 [2] NCCL INFO Channel 01/0 : 18[85000] -> 17[46000] via P2P/IPC/read -gpua022:620897:620970 [2] NCCL INFO Connected all trees -gpua022:620897:620970 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua022:620897:620970 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua022:620897:620970 [2] NCCL INFO comm 0xe5936860 rank 18 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua002:759384:759384 [1] NCCL INFO cudaDriverVersion 12020 -gpua002:759384:759384 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.2<0> -gpua002:759384:759384 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua002:759384:759450 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.2<0> -gpua002:759384:759450 [1] NCCL INFO Using network IB -gpua002:759384:759450 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua002:759384:759450 [1] NCCL INFO Trees [0] 2/-1/-1->1->0 [1] 2/-1/-1->1->0 -gpua002:759384:759450 [1] NCCL INFO Channel 00/0 : 1[46000] -> 2[85000] via P2P/IPC/read -gpua002:759384:759450 [1] NCCL INFO Channel 01/0 : 1[46000] -> 2[85000] via P2P/IPC/read -gpua002:759384:759450 [1] NCCL INFO Connected all rings -gpua002:759384:759450 [1] NCCL INFO Channel 00/0 : 1[46000] -> 0[7000] via P2P/IPC/read -gpua002:759384:759450 [1] NCCL INFO Channel 01/0 : 1[46000] -> 0[7000] via P2P/IPC/read -gpua002:759384:759450 [1] NCCL INFO Connected all trees -gpua002:759384:759450 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua002:759384:759450 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua002:759384:759450 [1] NCCL INFO comm 0xf3ec910 rank 1 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua055:483079:483079 [0] NCCL INFO cudaDriverVersion 12020 -gpua055:483079:483079 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> -gpua055:483079:483079 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua055:483079:483146 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> -gpua055:483079:483146 [0] NCCL INFO Using network IB -gpua055:483079:483146 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua055:483079:483146 [0] NCCL INFO Trees [0] 37/-1/-1->36->41 [1] 37/32/-1->36->44 -gpua055:483079:483146 [0] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 -gpua055:483079:483146 [0] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 -gpua055:483079:483146 [0] NCCL INFO Channel 00/0 : 36[7000] -> 37[46000] via P2P/IPC/read -gpua055:483079:483146 [0] NCCL INFO Channel 01/0 : 36[7000] -> 37[46000] via P2P/IPC/read -gpua055:483079:483146 [0] NCCL INFO Connected all rings -gpua055:483079:483146 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [receive] via NET/IB/0 -gpua055:483079:483146 [0] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [send] via NET/IB/0 -gpua055:483079:483146 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [send] via NET/IB/0 -gpua055:483079:483146 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [receive] via NET/IB/0 -gpua055:483079:483146 [0] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [receive] via NET/IB/0 -gpua055:483079:483146 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [send] via NET/IB/0 -gpua055:483079:483146 [0] NCCL INFO Connected all trees -gpua055:483079:483146 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua055:483079:483146 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua055:483079:483146 [0] NCCL INFO comm 0xe3cf4320 rank 36 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua055:483080:483080 [1] NCCL INFO cudaDriverVersion 12020 -gpua055:483080:483080 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> -gpua055:483080:483080 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua055:483080:483145 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> -gpua055:483080:483145 [1] NCCL INFO Using network IB -gpua055:483080:483145 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua055:483080:483145 [1] NCCL INFO Trees [0] 38/-1/-1->37->36 [1] 38/40/-1->37->36 -gpua055:483080:483145 [1] NCCL INFO Channel 00/0 : 37[46000] -> 38[85000] via P2P/IPC/read -gpua055:483080:483145 [1] NCCL INFO Channel 01/0 : 37[46000] -> 38[85000] via P2P/IPC/read -gpua055:483080:483145 [1] NCCL INFO Connected all rings -gpua055:483080:483145 [1] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [send] via NET/IB/0 -gpua055:483080:483145 [1] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [receive] via NET/IB/0 -gpua055:483080:483145 [1] NCCL INFO Channel 00/0 : 37[46000] -> 36[7000] via P2P/IPC/read -gpua055:483080:483145 [1] NCCL INFO Channel 01/0 : 37[46000] -> 36[7000] via P2P/IPC/read -gpua055:483080:483145 [1] NCCL INFO Connected all trees -gpua055:483080:483145 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua055:483080:483145 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua055:483080:483145 [1] NCCL INFO comm 0x7f840e4fa260 rank 37 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua030:865421:865421 [1] NCCL INFO cudaDriverVersion 12020 -gpua030:865421:865421 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> -gpua030:865421:865421 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua030:865421:865519 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> -gpua030:865421:865519 [1] NCCL INFO Using network IB -gpua030:865421:865519 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua030:865421:865519 [1] NCCL INFO Trees [0] 26/20/-1->25->24 [1] 26/-1/-1->25->24 -gpua030:865421:865519 [1] NCCL INFO Channel 00/0 : 25[46000] -> 26[85000] via P2P/IPC/read -gpua030:865421:865519 [1] NCCL INFO Channel 01/0 : 25[46000] -> 26[85000] via P2P/IPC/read -gpua030:865421:865519 [1] NCCL INFO Connected all rings -gpua030:865421:865519 [1] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [receive] via NET/IB/0 -gpua030:865421:865519 [1] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [send] via NET/IB/0 -gpua030:865421:865519 [1] NCCL INFO Channel 00/0 : 25[46000] -> 24[7000] via P2P/IPC/read -gpua030:865421:865519 [1] NCCL INFO Channel 01/0 : 25[46000] -> 24[7000] via P2P/IPC/read -gpua030:865421:865519 [1] NCCL INFO Connected all trees -gpua030:865421:865519 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua030:865421:865519 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua030:865421:865519 [1] NCCL INFO comm 0x4558ecd0 rank 25 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua022:620898:620898 [3] NCCL INFO cudaDriverVersion 12020 -gpua022:620898:620898 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.22<0> -gpua022:620898:620898 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua022:620898:620967 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.22<0> -gpua022:620898:620967 [3] NCCL INFO Using network IB -gpua022:620898:620967 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua022:620898:620967 [3] NCCL INFO Trees [0] -1/-1/-1->19->18 [1] -1/-1/-1->19->18 -gpua022:620898:620967 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 -gpua022:620898:620967 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 -gpua022:620898:620967 [3] NCCL INFO Connected all rings -gpua022:620898:620967 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 18[85000] via P2P/IPC/read -gpua022:620898:620967 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 18[85000] via P2P/IPC/read -gpua022:620898:620967 [3] NCCL INFO Connected all trees -gpua022:620898:620967 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua022:620898:620967 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua022:620898:620967 [3] NCCL INFO comm 0x1989b030 rank 19 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua022:620895:620895 [0] NCCL INFO cudaDriverVersion 12020 -gpua022:620895:620895 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.22<0> -gpua022:620895:620895 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua022:620895:620969 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.22<0> -gpua022:620895:620969 [0] NCCL INFO Using network IB -gpua022:620895:620969 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua022:620895:620969 [0] NCCL INFO Trees [0] 17/24/-1->16->33 [1] 17/-1/-1->16->20 -gpua022:620895:620969 [0] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 -gpua022:620895:620969 [0] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 -gpua022:620895:620969 [0] NCCL INFO Channel 00/0 : 16[7000] -> 17[46000] via P2P/IPC/read -gpua022:620895:620969 [0] NCCL INFO Channel 01/0 : 16[7000] -> 17[46000] via P2P/IPC/read -gpua022:620895:620969 [0] NCCL INFO Connected all rings -gpua022:620895:620969 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [send] via NET/IB/0 -gpua022:620895:620969 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [send] via NET/IB/0 -gpua022:620895:620969 [0] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [send] via NET/IB/0 -gpua022:620895:620969 [0] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [receive] via NET/IB/0 -gpua022:620895:620969 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [receive] via NET/IB/0 -gpua022:620895:620969 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [receive] via NET/IB/0 -gpua022:620895:620969 [0] NCCL INFO Connected all trees -gpua022:620895:620969 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua022:620895:620969 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua022:620895:620969 [0] NCCL INFO comm 0xf163490 rank 16 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua056:1040037:1040037 [1] NCCL INFO cudaDriverVersion 12020 -gpua056:1040037:1040037 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> -gpua056:1040037:1040037 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua056:1040037:1040113 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> -gpua056:1040037:1040113 [1] NCCL INFO Using network IB -gpua056:1040037:1040113 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua056:1040037:1040113 [1] NCCL INFO Trees [0] 42/36/-1->41->40 [1] 42/-1/-1->41->40 -gpua056:1040037:1040113 [1] NCCL INFO Channel 00/0 : 41[46000] -> 42[85000] via P2P/IPC/read -gpua056:1040037:1040113 [1] NCCL INFO Channel 01/0 : 41[46000] -> 42[85000] via P2P/IPC/read -gpua056:1040037:1040113 [1] NCCL INFO Connected all rings -gpua056:1040037:1040113 [1] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [receive] via NET/IB/0 -gpua056:1040037:1040113 [1] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [send] via NET/IB/0 -gpua056:1040037:1040113 [1] NCCL INFO Channel 00/0 : 41[46000] -> 40[7000] via P2P/IPC/read -gpua056:1040037:1040113 [1] NCCL INFO Channel 01/0 : 41[46000] -> 40[7000] via P2P/IPC/read -gpua056:1040037:1040113 [1] NCCL INFO Connected all trees -gpua056:1040037:1040113 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua056:1040037:1040113 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua056:1040037:1040113 [1] NCCL INFO comm 0xd078850 rank 41 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua082:488396:488396 [1] NCCL INFO cudaDriverVersion 12020 -gpua082:488396:488396 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> -gpua082:488396:488396 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua082:488396:488464 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> -gpua082:488396:488464 [1] NCCL INFO Using network IB -gpua082:488396:488464 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua082:488396:488464 [1] NCCL INFO Trees [0] 50/40/-1->49->48 [1] 50/-1/-1->49->48 -gpua082:488396:488464 [1] NCCL INFO Channel 00/0 : 49[46000] -> 50[85000] via P2P/IPC/read -gpua082:488396:488464 [1] NCCL INFO Channel 01/0 : 49[46000] -> 50[85000] via P2P/IPC/read -gpua082:488396:488464 [1] NCCL INFO Connected all rings -gpua082:488396:488464 [1] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [receive] via NET/IB/0 -gpua082:488396:488464 [1] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [send] via NET/IB/0 -gpua082:488396:488464 [1] NCCL INFO Channel 00/0 : 49[46000] -> 48[7000] via P2P/IPC/read -gpua082:488396:488464 [1] NCCL INFO Channel 01/0 : 49[46000] -> 48[7000] via P2P/IPC/read -gpua082:488396:488464 [1] NCCL INFO Connected all trees -gpua082:488396:488464 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua082:488396:488464 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua082:488396:488464 [1] NCCL INFO comm 0xe491dc70 rank 49 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua086:645167:645167 [3] NCCL INFO cudaDriverVersion 12020 -gpua086:645167:645167 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> -gpua086:645167:645167 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua086:645167:645255 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> -gpua086:645167:645255 [3] NCCL INFO Using network IB -gpua086:645167:645255 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua086:645167:645255 [3] NCCL INFO Trees [0] -1/-1/-1->63->62 [1] -1/-1/-1->63->62 -gpua086:645167:645255 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 -gpua086:645167:645255 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 -gpua086:645167:645255 [3] NCCL INFO Connected all rings -gpua086:645167:645255 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 62[85000] via P2P/IPC/read -gpua086:645167:645255 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 62[85000] via P2P/IPC/read -gpua086:645167:645255 [3] NCCL INFO Connected all trees -gpua086:645167:645255 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua086:645167:645255 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua086:645167:645255 [3] NCCL INFO comm 0x13f89b20 rank 63 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua086:645164:645164 [0] NCCL INFO cudaDriverVersion 12020 -gpua086:645164:645164 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> -gpua086:645164:645164 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua086:645164:645254 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> -gpua086:645164:645254 [0] NCCL INFO Using network IB -gpua086:645164:645254 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua086:645164:645254 [0] NCCL INFO Trees [0] 61/-1/-1->60->56 [1] 61/28/-1->60->-1 -gpua086:645164:645254 [0] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 -gpua086:645164:645254 [0] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 -gpua086:645164:645254 [0] NCCL INFO Channel 00/0 : 60[7000] -> 61[46000] via P2P/IPC/read -gpua086:645164:645254 [0] NCCL INFO Channel 01/0 : 60[7000] -> 61[46000] via P2P/IPC/read -gpua086:645164:645254 [0] NCCL INFO Connected all rings -gpua086:645164:645254 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [receive] via NET/IB/0 -gpua086:645164:645254 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [receive] via NET/IB/0 -gpua086:645164:645254 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [send] via NET/IB/0 -gpua086:645164:645254 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [send] via NET/IB/0 -gpua086:645164:645254 [0] NCCL INFO Connected all trees -gpua086:645164:645254 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua086:645164:645254 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua086:645164:645254 [0] NCCL INFO comm 0xe9723c60 rank 60 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua086:645166:645166 [2] NCCL INFO cudaDriverVersion 12020 -gpua086:645166:645166 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> -gpua086:645166:645166 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua086:645166:645253 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> -gpua086:645166:645253 [2] NCCL INFO Using network IB -gpua086:645166:645253 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua086:645166:645253 [2] NCCL INFO Trees [0] 63/-1/-1->62->61 [1] 63/-1/-1->62->61 -gpua086:645166:645253 [2] NCCL INFO Channel 00/0 : 62[85000] -> 63[c7000] via P2P/IPC/read -gpua086:645166:645253 [2] NCCL INFO Channel 01/0 : 62[85000] -> 63[c7000] via P2P/IPC/read -gpua086:645166:645253 [2] NCCL INFO Connected all rings -gpua086:645166:645253 [2] NCCL INFO Channel 00/0 : 62[85000] -> 61[46000] via P2P/IPC/read -gpua086:645166:645253 [2] NCCL INFO Channel 01/0 : 62[85000] -> 61[46000] via P2P/IPC/read -gpua086:645166:645253 [2] NCCL INFO Connected all trees -gpua086:645166:645253 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua086:645166:645253 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua086:645166:645253 [2] NCCL INFO comm 0x16076290 rank 62 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua023:515041:515041 [1] NCCL INFO cudaDriverVersion 12020 -gpua023:515041:515041 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.23<0> -gpua023:515041:515041 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua023:515041:515123 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.23<0> -gpua023:515041:515123 [1] NCCL INFO Using network IB -gpua023:515041:515123 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua023:515041:515123 [1] NCCL INFO Trees [0] 22/-1/-1->21->20 [1] 22/24/-1->21->20 -gpua023:515041:515123 [1] NCCL INFO Channel 00/0 : 21[46000] -> 22[85000] via P2P/IPC/read -gpua023:515041:515123 [1] NCCL INFO Channel 01/0 : 21[46000] -> 22[85000] via P2P/IPC/read -gpua023:515041:515123 [1] NCCL INFO Connected all rings -gpua023:515041:515123 [1] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [send] via NET/IB/0 -gpua023:515041:515123 [1] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [receive] via NET/IB/0 -gpua023:515041:515123 [1] NCCL INFO Channel 00/0 : 21[46000] -> 20[7000] via P2P/IPC/read -gpua023:515041:515123 [1] NCCL INFO Channel 01/0 : 21[46000] -> 20[7000] via P2P/IPC/read -gpua023:515041:515123 [1] NCCL INFO Connected all trees -gpua023:515041:515123 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua023:515041:515123 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua023:515041:515123 [1] NCCL INFO comm 0xea6dc70 rank 21 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua082:488397:488397 [2] NCCL INFO cudaDriverVersion 12020 -gpua082:488397:488397 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> -gpua082:488397:488397 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua082:488397:488465 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> -gpua082:488397:488465 [2] NCCL INFO Using network IB -gpua082:488397:488465 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua082:488397:488465 [2] NCCL INFO Trees [0] 51/-1/-1->50->49 [1] 51/-1/-1->50->49 -gpua082:488397:488465 [2] NCCL INFO Channel 00/0 : 50[85000] -> 51[c7000] via P2P/IPC/read -gpua082:488397:488465 [2] NCCL INFO Channel 01/0 : 50[85000] -> 51[c7000] via P2P/IPC/read -gpua082:488397:488465 [2] NCCL INFO Connected all rings -gpua082:488397:488465 [2] NCCL INFO Channel 00/0 : 50[85000] -> 49[46000] via P2P/IPC/read -gpua082:488397:488465 [2] NCCL INFO Channel 01/0 : 50[85000] -> 49[46000] via P2P/IPC/read -gpua082:488397:488465 [2] NCCL INFO Connected all trees -gpua082:488397:488465 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua082:488397:488465 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua082:488397:488465 [2] NCCL INFO comm 0x21de7c20 rank 50 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua082:488398:488398 [3] NCCL INFO cudaDriverVersion 12020 -gpua082:488398:488398 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> -gpua082:488398:488398 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua082:488398:488463 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> -gpua082:488398:488463 [3] NCCL INFO Using network IB -gpua082:488398:488463 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua082:488398:488463 [3] NCCL INFO Trees [0] -1/-1/-1->51->50 [1] -1/-1/-1->51->50 -gpua082:488398:488463 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 -gpua082:488398:488463 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 -gpua082:488398:488463 [3] NCCL INFO Connected all rings -gpua082:488398:488463 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 50[85000] via P2P/IPC/read -gpua082:488398:488463 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 50[85000] via P2P/IPC/read -gpua082:488398:488463 [3] NCCL INFO Connected all trees -gpua082:488398:488463 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua082:488398:488463 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua082:488398:488463 [3] NCCL INFO comm 0x9c0baa70 rank 51 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua023:515043:515043 [3] NCCL INFO cudaDriverVersion 12020 -gpua023:515043:515043 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.23<0> -gpua023:515043:515043 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua023:515043:515121 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.23<0> -gpua023:515043:515121 [3] NCCL INFO Using network IB -gpua023:515043:515121 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua023:515043:515121 [3] NCCL INFO Trees [0] -1/-1/-1->23->22 [1] -1/-1/-1->23->22 -gpua023:515043:515121 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 -gpua023:515043:515121 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 -gpua023:515043:515121 [3] NCCL INFO Connected all rings -gpua023:515043:515121 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 22[85000] via P2P/IPC/read -gpua023:515043:515121 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 22[85000] via P2P/IPC/read -gpua023:515043:515121 [3] NCCL INFO Connected all trees -gpua023:515043:515121 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua023:515043:515121 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua023:515043:515121 [3] NCCL INFO comm 0x30417370 rank 23 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua030:865422:865422 [2] NCCL INFO cudaDriverVersion 12020 -gpua030:865422:865422 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> -gpua030:865422:865422 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua030:865422:865520 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> -gpua030:865422:865520 [2] NCCL INFO Using network IB -gpua030:865422:865520 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua030:865422:865520 [2] NCCL INFO Trees [0] 27/-1/-1->26->25 [1] 27/-1/-1->26->25 -gpua030:865422:865520 [2] NCCL INFO Channel 00/0 : 26[85000] -> 27[c7000] via P2P/IPC/read -gpua030:865422:865520 [2] NCCL INFO Channel 01/0 : 26[85000] -> 27[c7000] via P2P/IPC/read -gpua030:865422:865520 [2] NCCL INFO Connected all rings -gpua030:865422:865520 [2] NCCL INFO Channel 00/0 : 26[85000] -> 25[46000] via P2P/IPC/read -gpua030:865422:865520 [2] NCCL INFO Channel 01/0 : 26[85000] -> 25[46000] via P2P/IPC/read -gpua023:515042:515042 [2] NCCL INFO cudaDriverVersion 12020 -gpua023:515042:515042 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.23<0> -gpua023:515042:515042 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua023:515042:515124 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.23<0> -gpua023:515042:515124 [2] NCCL INFO Using network IB -gpua023:515042:515124 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua023:515042:515124 [2] NCCL INFO Trees [0] 23/-1/-1->22->21 [1] 23/-1/-1->22->21 -gpua023:515042:515124 [2] NCCL INFO Channel 00/0 : 22[85000] -> 23[c7000] via P2P/IPC/read -gpua023:515042:515124 [2] NCCL INFO Channel 01/0 : 22[85000] -> 23[c7000] via P2P/IPC/read -gpua023:515042:515124 [2] NCCL INFO Connected all rings -gpua023:515042:515124 [2] NCCL INFO Channel 00/0 : 22[85000] -> 21[46000] via P2P/IPC/read -gpua023:515042:515124 [2] NCCL INFO Channel 01/0 : 22[85000] -> 21[46000] via P2P/IPC/read -gpua030:865422:865520 [2] NCCL INFO Connected all trees -gpua030:865422:865520 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua030:865422:865520 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua030:865422:865520 [2] NCCL INFO comm 0xb2e9020 rank 26 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua023:515042:515124 [2] NCCL INFO Connected all trees -gpua023:515042:515124 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua023:515042:515124 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua023:515042:515124 [2] NCCL INFO comm 0xc822590 rank 22 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua055:483082:483082 [3] NCCL INFO cudaDriverVersion 12020 -gpua055:483082:483082 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> -gpua055:483082:483082 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua055:483082:483148 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> -gpua055:483082:483148 [3] NCCL INFO Using network IB -gpua055:483082:483148 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua055:483082:483148 [3] NCCL INFO Trees [0] -1/-1/-1->39->38 [1] -1/-1/-1->39->38 -gpua055:483082:483148 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 -gpua055:483082:483148 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 -gpua055:483082:483148 [3] NCCL INFO Connected all rings -gpua055:483082:483148 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 38[85000] via P2P/IPC/read -gpua055:483082:483148 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 38[85000] via P2P/IPC/read -gpua055:483082:483148 [3] NCCL INFO Connected all trees -gpua055:483082:483148 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua055:483082:483148 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua055:483082:483148 [3] NCCL INFO comm 0x2f4d00b0 rank 39 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua057:382967:382967 [1] NCCL INFO cudaDriverVersion 12020 -gpua057:382967:382967 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> -gpua057:382967:382967 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua057:382967:383048 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> -gpua057:382967:383048 [1] NCCL INFO Using network IB -gpua057:382967:383048 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua057:382967:383048 [1] NCCL INFO Trees [0] 46/-1/-1->45->44 [1] 46/52/-1->45->44 -gpua057:382967:383048 [1] NCCL INFO Channel 00/0 : 45[46000] -> 46[85000] via P2P/IPC/read -gpua057:382967:383048 [1] NCCL INFO Channel 01/0 : 45[46000] -> 46[85000] via P2P/IPC/read -gpua057:382967:383048 [1] NCCL INFO Connected all rings -gpua057:382967:383048 [1] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [send] via NET/IB/0 -gpua057:382967:383048 [1] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [receive] via NET/IB/0 -gpua057:382967:383048 [1] NCCL INFO Channel 00/0 : 45[46000] -> 44[7000] via P2P/IPC/read -gpua057:382967:383048 [1] NCCL INFO Channel 01/0 : 45[46000] -> 44[7000] via P2P/IPC/read -gpua057:382967:383048 [1] NCCL INFO Connected all trees -gpua057:382967:383048 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua057:382967:383048 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua057:382967:383048 [1] NCCL INFO comm 0x111c0880 rank 45 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua057:382968:382968 [2] NCCL INFO cudaDriverVersion 12020 -gpua057:382968:382968 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> -gpua057:382968:382968 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua057:382968:383052 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> -gpua057:382968:383052 [2] NCCL INFO Using network IB -gpua057:382968:383052 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua057:382968:383052 [2] NCCL INFO Trees [0] 47/-1/-1->46->45 [1] 47/-1/-1->46->45 -gpua057:382968:383052 [2] NCCL INFO Channel 00/0 : 46[85000] -> 47[c7000] via P2P/IPC/read -gpua057:382968:383052 [2] NCCL INFO Channel 01/0 : 46[85000] -> 47[c7000] via P2P/IPC/read -gpua057:382968:383052 [2] NCCL INFO Connected all rings -gpua057:382968:383052 [2] NCCL INFO Channel 00/0 : 46[85000] -> 45[46000] via P2P/IPC/read -gpua057:382968:383052 [2] NCCL INFO Channel 01/0 : 46[85000] -> 45[46000] via P2P/IPC/read -gpua057:382968:383052 [2] NCCL INFO Connected all trees -gpua057:382968:383052 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua057:382968:383052 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua057:382968:383052 [2] NCCL INFO comm 0xe8e68a0 rank 46 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua057:382966:382966 [0] NCCL INFO cudaDriverVersion 12020 -gpua057:382966:382966 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> -gpua057:382966:382966 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua057:382966:383051 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> -gpua057:382966:383051 [0] NCCL INFO Using network IB -gpua057:382966:383051 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua057:382966:383051 [0] NCCL INFO Trees [0] 45/-1/-1->44->40 [1] 45/36/-1->44->29 -gpua057:382966:383051 [0] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 -gpua057:382966:383051 [0] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 -gpua057:382966:383051 [0] NCCL INFO Channel 00/0 : 44[7000] -> 45[46000] via P2P/IPC/read -gpua057:382966:383051 [0] NCCL INFO Channel 01/0 : 44[7000] -> 45[46000] via P2P/IPC/read -gpua057:382966:383051 [0] NCCL INFO Connected all rings -gpua057:382966:383051 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [receive] via NET/IB/0 -gpua057:382966:383051 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [receive] via NET/IB/0 -gpua057:382966:383051 [0] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [receive] via NET/IB/0 -gpua057:382966:383051 [0] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [send] via NET/IB/0 -gpua057:382966:383051 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [send] via NET/IB/0 -gpua057:382966:383051 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [send] via NET/IB/0 -gpua057:382966:383051 [0] NCCL INFO Connected all trees -gpua057:382966:383051 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua057:382966:383051 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua057:382966:383051 [0] NCCL INFO comm 0x94110050 rank 44 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua030:865420:865420 [0] NCCL INFO cudaDriverVersion 12020 -gpua030:865420:865420 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> -gpua030:865420:865420 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua030:865420:865522 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> -gpua030:865420:865522 [0] NCCL INFO Using network IB -gpua030:865420:865522 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua030:865420:865522 [0] NCCL INFO Trees [0] 25/28/-1->24->16 [1] 25/-1/-1->24->21 -gpua030:865420:865522 [0] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 -gpua030:865420:865522 [0] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 -gpua030:865420:865522 [0] NCCL INFO Channel 00/0 : 24[7000] -> 25[46000] via P2P/IPC/read -gpua030:865420:865522 [0] NCCL INFO Channel 01/0 : 24[7000] -> 25[46000] via P2P/IPC/read -gpua030:865420:865522 [0] NCCL INFO Connected all rings -gpua030:865420:865522 [0] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [receive] via NET/IB/0 -gpua030:865420:865522 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [send] via NET/IB/0 -gpua030:865420:865522 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [receive] via NET/IB/0 -gpua030:865420:865522 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [send] via NET/IB/0 -gpua030:865420:865522 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [receive] via NET/IB/0 -gpua030:865420:865522 [0] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [send] via NET/IB/0 -gpua030:865420:865522 [0] NCCL INFO Connected all trees -gpua030:865420:865522 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua030:865420:865522 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua030:865420:865522 [0] NCCL INFO comm 0x1ca3dac0 rank 24 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua057:382969:382969 [3] NCCL INFO cudaDriverVersion 12020 -gpua057:382969:382969 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> -gpua057:382969:382969 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua057:382969:383049 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> -gpua057:382969:383049 [3] NCCL INFO Using network IB -gpua057:382969:383049 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua057:382969:383049 [3] NCCL INFO Trees [0] -1/-1/-1->47->46 [1] -1/-1/-1->47->46 -gpua057:382969:383049 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 -gpua057:382969:383049 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 -gpua057:382969:383049 [3] NCCL INFO Connected all rings -gpua057:382969:383049 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 46[85000] via P2P/IPC/read -gpua057:382969:383049 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 46[85000] via P2P/IPC/read -gpua057:382969:383049 [3] NCCL INFO Connected all trees -gpua057:382969:383049 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua057:382969:383049 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua057:382969:383049 [3] NCCL INFO comm 0xdb93830 rank 47 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua054:295150:295150 [0] NCCL INFO cudaDriverVersion 12020 -gpua054:295150:295150 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> -gpua054:295150:295150 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua054:295150:295229 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> -gpua054:295150:295229 [0] NCCL INFO Using network IB -gpua054:295150:295229 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua054:295150:295229 [0] NCCL INFO Trees [0] 33/48/-1->32->0 [1] 33/-1/-1->32->36 -gpua054:295150:295229 [0] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 -gpua054:295150:295229 [0] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 -gpua054:295150:295229 [0] NCCL INFO Channel 00/0 : 32[7000] -> 33[46000] via P2P/IPC/read -gpua054:295150:295229 [0] NCCL INFO Channel 01/0 : 32[7000] -> 33[46000] via P2P/IPC/read -gpua054:295150:295229 [0] NCCL INFO Connected all rings -gpua054:295150:295229 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [send] via NET/IB/0 -gpua054:295150:295229 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [send] via NET/IB/0 -gpua054:295150:295229 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [receive] via NET/IB/0 -gpua054:295150:295229 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [send] via NET/IB/0 -gpua054:295150:295229 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [receive] via NET/IB/0 -gpua054:295150:295229 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [receive] via NET/IB/0 -gpua054:295150:295229 [0] NCCL INFO Connected all trees -gpua054:295150:295229 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua054:295150:295229 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua054:295150:295229 [0] NCCL INFO comm 0xdeab6a0 rank 32 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua054:295152:295152 [2] NCCL INFO cudaDriverVersion 12020 -gpua054:295152:295152 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> -gpua054:295152:295152 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua054:295152:295225 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> -gpua054:295152:295225 [2] NCCL INFO Using network IB -gpua054:295152:295225 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua054:295152:295225 [2] NCCL INFO Trees [0] 35/-1/-1->34->33 [1] 35/-1/-1->34->33 -gpua054:295152:295225 [2] NCCL INFO Channel 00/0 : 34[85000] -> 35[c7000] via P2P/IPC/read -gpua054:295152:295225 [2] NCCL INFO Channel 01/0 : 34[85000] -> 35[c7000] via P2P/IPC/read -gpua054:295152:295225 [2] NCCL INFO Connected all rings -gpua054:295152:295225 [2] NCCL INFO Channel 00/0 : 34[85000] -> 33[46000] via P2P/IPC/read -gpua054:295152:295225 [2] NCCL INFO Channel 01/0 : 34[85000] -> 33[46000] via P2P/IPC/read -gpua054:295152:295225 [2] NCCL INFO Connected all trees -gpua054:295152:295225 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua054:295152:295225 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua054:295152:295225 [2] NCCL INFO comm 0x110ea820 rank 34 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua054:295153:295153 [3] NCCL INFO cudaDriverVersion 12020 -gpua054:295153:295153 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> -gpua054:295153:295153 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua054:295153:295224 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> -gpua054:295153:295224 [3] NCCL INFO Using network IB -gpua054:295153:295224 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua054:295153:295224 [3] NCCL INFO Trees [0] -1/-1/-1->35->34 [1] -1/-1/-1->35->34 -gpua054:295153:295224 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 -gpua054:295153:295224 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 -gpua054:295153:295224 [3] NCCL INFO Connected all rings -gpua054:295153:295224 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 34[85000] via P2P/IPC/read -gpua054:295153:295224 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 34[85000] via P2P/IPC/read -gpua054:295153:295224 [3] NCCL INFO Connected all trees -gpua054:295153:295224 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua054:295153:295224 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua054:295153:295224 [3] NCCL INFO comm 0x3476b510 rank 35 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua054:295151:295151 [1] NCCL INFO cudaDriverVersion 12020 -gpua054:295151:295151 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> -gpua054:295151:295151 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua054:295151:295223 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> -gpua054:295151:295223 [1] NCCL INFO Using network IB -gpua054:295151:295223 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua054:295151:295223 [1] NCCL INFO Trees [0] 34/16/-1->33->32 [1] 34/-1/-1->33->32 -gpua054:295151:295223 [1] NCCL INFO Channel 00/0 : 33[46000] -> 34[85000] via P2P/IPC/read -gpua054:295151:295223 [1] NCCL INFO Channel 01/0 : 33[46000] -> 34[85000] via P2P/IPC/read -gpua054:295151:295223 [1] NCCL INFO Connected all rings -gpua054:295151:295223 [1] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [receive] via NET/IB/0 -gpua054:295151:295223 [1] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [send] via NET/IB/0 -gpua054:295151:295223 [1] NCCL INFO Channel 00/0 : 33[46000] -> 32[7000] via P2P/IPC/read -gpua054:295151:295223 [1] NCCL INFO Channel 01/0 : 33[46000] -> 32[7000] via P2P/IPC/read -gpua054:295151:295223 [1] NCCL INFO Connected all trees -gpua054:295151:295223 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua054:295151:295223 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua054:295151:295223 [1] NCCL INFO comm 0xaba9b60 rank 33 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -[gpua002:0/64] 2023-12-05 10:49:53,767 (distributed:1027) INFO: Reducer buckets have been rebuilt in this iteration. -[gpua002:0/64] 2023-12-05 10:53:12,403 (trainer:737) INFO: 11epoch:train:1-100batch: iter_time=2.771, forward_time=0.244, loss_ctc=84.286, loss_att=77.376, acc=0.656, loss=79.449, backward_time=0.371, grad_norm=51.679, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.133, optim0_lr0=1.265e-04, train_time=6.532 -[gpua002:0/64] 2023-12-05 10:59:33,576 (trainer:737) INFO: 11epoch:train:101-200batch: iter_time=9.336e-05, forward_time=0.142, loss_ctc=64.141, loss_att=59.453, acc=0.646, loss=60.859, backward_time=0.772, grad_norm=43.120, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.131, optim0_lr0=1.264e-04, train_time=3.812 -[gpua002:0/64] 2023-12-05 11:05:24,503 (trainer:737) INFO: 11epoch:train:201-300batch: iter_time=9.313e-05, forward_time=0.142, loss_ctc=66.929, loss_att=56.024, acc=0.683, loss=59.296, backward_time=0.602, grad_norm=40.839, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.131, optim0_lr0=1.264e-04, train_time=3.509 -[gpua002:0/64] 2023-12-05 11:10:29,670 (trainer:737) INFO: 11epoch:train:301-400batch: iter_time=0.001, forward_time=0.189, loss_ctc=92.659, loss_att=72.639, acc=0.656, loss=78.645, backward_time=0.441, grad_norm=51.718, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.133, optim0_lr0=1.263e-04, train_time=3.051 -[gpua002:0/64] 2023-12-05 11:13:57,747 (trainer:737) INFO: 11epoch:train:401-500batch: iter_time=9.291e-05, forward_time=0.148, loss_ctc=82.669, loss_att=83.608, acc=0.659, loss=83.326, backward_time=0.353, grad_norm=46.190, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.132, optim0_lr0=1.263e-04, train_time=2.081 -[gpua002:0/64] 2023-12-05 11:17:25,409 (trainer:737) INFO: 11epoch:train:501-600batch: iter_time=9.154e-05, forward_time=0.142, loss_ctc=73.211, loss_att=54.921, acc=0.687, loss=60.408, backward_time=0.376, grad_norm=46.128, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.131, optim0_lr0=1.263e-04, train_time=2.076 -[gpua002:0/64] 2023-12-05 11:20:43,747 (trainer:737) INFO: 11epoch:train:601-700batch: iter_time=9.160e-05, forward_time=0.142, loss_ctc=88.048, loss_att=67.648, acc=0.646, loss=73.768, backward_time=0.421, grad_norm=53.318, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.131, optim0_lr0=1.262e-04, train_time=1.983 -[gpua002:0/64] 2023-12-05 11:23:53,554 (trainer:737) INFO: 11epoch:train:701-800batch: iter_time=9.381e-05, forward_time=0.206, loss_ctc=87.674, loss_att=71.373, acc=0.659, loss=76.264, backward_time=0.348, grad_norm=56.345, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.133, optim0_lr0=1.262e-04, train_time=1.898 -[gpua002:0/64] 2023-12-05 11:26:57,990 (trainer:737) INFO: 11epoch:train:801-900batch: iter_time=9.098e-05, forward_time=0.159, loss_ctc=88.068, loss_att=82.073, acc=0.663, loss=83.872, backward_time=0.352, grad_norm=47.507, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.132, optim0_lr0=1.261e-04, train_time=1.844 -[gpua002:0/64] 2023-12-05 11:30:03,050 (trainer:737) INFO: 11epoch:train:901-1000batch: iter_time=9.000e-05, forward_time=0.142, loss_ctc=86.070, loss_att=81.244, acc=0.658, loss=82.692, backward_time=0.337, grad_norm=52.675, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.131, optim0_lr0=1.261e-04, train_time=1.850 -[gpua002:0/64] 2023-12-05 11:33:05,994 (trainer:737) INFO: 11epoch:train:1001-1100batch: iter_time=8.649e-05, forward_time=0.142, loss_ctc=76.203, loss_att=62.061, acc=0.675, loss=66.304, backward_time=0.360, grad_norm=45.084, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.131, optim0_lr0=1.261e-04, train_time=1.829 -[gpua002:0/64] 2023-12-05 11:35:59,386 (trainer:737) INFO: 11epoch:train:1101-1200batch: iter_time=8.641e-05, forward_time=0.142, loss_ctc=76.682, loss_att=59.707, acc=0.679, loss=64.799, backward_time=0.306, grad_norm=46.506, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.131, optim0_lr0=1.260e-04, train_time=1.734 -[gpua002:0/64] 2023-12-05 11:37:38,369 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua002:0/64] 2023-12-05 11:37:58,311 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-05 11:38:02,159 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-05 11:38:02,159 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua002:0/64] 2023-12-05 11:38:02,932 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-05 11:46:49,776 (trainer:737) INFO: 11epoch:train:1201-1300batch: iter_time=2.912, forward_time=0.233, loss_ctc=90.614, loss_att=77.249, acc=0.661, loss=81.259, backward_time=0.322, grad_norm=53.931, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.132, optim0_lr0=1.260e-04, train_time=6.503 -[gpua002:0/64] 2023-12-05 11:49:05,939 (trainer:737) INFO: 11epoch:train:1301-1400batch: iter_time=8.211e-05, forward_time=0.148, loss_ctc=71.150, loss_att=60.460, acc=0.655, loss=63.667, backward_time=0.291, grad_norm=48.521, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.131, optim0_lr0=1.259e-04, train_time=1.362 -[gpua002:0/64] 2023-12-05 11:51:19,799 (trainer:737) INFO: 11epoch:train:1401-1500batch: iter_time=7.869e-05, forward_time=0.146, loss_ctc=65.965, loss_att=56.938, acc=0.666, loss=59.646, backward_time=0.286, grad_norm=41.435, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.131, optim0_lr0=1.259e-04, train_time=1.338 -[gpua002:0/64] 2023-12-05 11:53:54,188 (trainer:737) INFO: 11epoch:train:1501-1600batch: iter_time=8.354e-05, forward_time=0.144, loss_ctc=71.211, loss_att=56.328, acc=0.678, loss=60.793, backward_time=0.360, grad_norm=44.592, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.131, optim0_lr0=1.258e-04, train_time=1.544 -[gpua002:0/64] 2023-12-05 11:56:10,201 (trainer:737) INFO: 11epoch:train:1601-1700batch: iter_time=8.482e-05, forward_time=0.145, loss_ctc=93.299, loss_att=79.033, acc=0.648, loss=83.313, backward_time=0.290, grad_norm=53.410, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.131, optim0_lr0=1.258e-04, train_time=1.360 -[gpua002:0/64] 2023-12-05 11:58:53,663 (trainer:737) INFO: 11epoch:train:1701-1800batch: iter_time=8.284e-05, forward_time=0.145, loss_ctc=78.225, loss_att=67.398, acc=0.692, loss=70.646, backward_time=0.325, grad_norm=45.651, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.131, optim0_lr0=1.258e-04, train_time=1.634 -[gpua002:0/64] 2023-12-05 12:01:48,699 (trainer:737) INFO: 11epoch:train:1801-1900batch: iter_time=8.582e-05, forward_time=0.146, loss_ctc=77.105, loss_att=63.333, acc=0.648, loss=67.464, backward_time=0.299, grad_norm=54.051, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.131, optim0_lr0=1.257e-04, train_time=1.750 -[gpua002:0/64] 2023-12-05 12:04:07,887 (trainer:737) INFO: 11epoch:train:1901-2000batch: iter_time=8.610e-05, forward_time=0.149, loss_ctc=91.199, loss_att=70.945, acc=0.654, loss=77.021, backward_time=0.305, grad_norm=52.860, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.132, optim0_lr0=1.257e-04, train_time=1.392 -[gpua002:0/64] 2023-12-05 12:06:50,966 (trainer:737) INFO: 11epoch:train:2001-2100batch: iter_time=5.495e-04, forward_time=0.169, loss_ctc=84.939, loss_att=73.624, acc=0.653, loss=77.019, backward_time=0.320, grad_norm=60.091, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.134, optim0_lr0=1.256e-04, train_time=1.631 -[gpua002:0/64] 2023-12-05 12:09:17,328 (trainer:737) INFO: 11epoch:train:2101-2200batch: iter_time=8.401e-05, forward_time=0.213, loss_ctc=88.914, loss_att=79.545, acc=0.655, loss=82.356, backward_time=0.324, grad_norm=48.157, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.135, optim0_lr0=1.256e-04, train_time=1.463 -[gpua002:0/64] 2023-12-05 12:11:19,712 (trainer:737) INFO: 11epoch:train:2201-2300batch: iter_time=8.380e-05, forward_time=0.159, loss_ctc=75.638, loss_att=70.875, acc=0.655, loss=72.304, backward_time=0.279, grad_norm=46.804, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.131, optim0_lr0=1.256e-04, train_time=1.224 -[gpua002:0/64] 2023-12-05 12:13:39,361 (trainer:737) INFO: 11epoch:train:2301-2400batch: iter_time=8.490e-05, forward_time=0.149, loss_ctc=75.775, loss_att=55.530, acc=0.692, loss=61.604, backward_time=0.317, grad_norm=44.180, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.131, optim0_lr0=1.255e-04, train_time=1.396 -[gpua002:0/64] 2023-12-05 12:15:58,541 (trainer:737) INFO: 11epoch:train:2401-2500batch: iter_time=8.503e-05, forward_time=0.146, loss_ctc=84.750, loss_att=67.538, acc=0.681, loss=72.702, backward_time=0.288, grad_norm=47.704, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.131, optim0_lr0=1.255e-04, train_time=1.391 -[gpua002:0/64] 2023-12-05 12:16:18,644 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua002:0/64] 2023-12-05 12:16:37,658 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-05 12:16:41,060 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-05 12:16:41,060 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua002:0/64] 2023-12-05 12:16:41,100 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-05 12:27:45,244 (trainer:737) INFO: 11epoch:train:2501-2600batch: iter_time=3.012, forward_time=0.166, loss_ctc=83.505, loss_att=72.303, acc=0.656, loss=75.664, backward_time=0.286, grad_norm=51.827, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.132, optim0_lr0=1.254e-04, train_time=7.067 -[gpua002:0/64] 2023-12-05 12:29:59,931 (trainer:737) INFO: 11epoch:train:2601-2700batch: iter_time=8.239e-05, forward_time=0.155, loss_ctc=62.746, loss_att=54.447, acc=0.658, loss=56.937, backward_time=0.285, grad_norm=42.173, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.131, optim0_lr0=1.254e-04, train_time=1.347 -[gpua002:0/64] 2023-12-05 12:32:43,117 (trainer:737) INFO: 11epoch:train:2701-2800batch: iter_time=8.711e-05, forward_time=0.185, loss_ctc=66.270, loss_att=54.529, acc=0.683, loss=58.052, backward_time=0.335, grad_norm=41.779, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.134, optim0_lr0=1.253e-04, train_time=1.631 -[gpua002:0/64] 2023-12-05 12:35:17,877 (trainer:737) INFO: 11epoch:train:2801-2900batch: iter_time=8.318e-05, forward_time=0.148, loss_ctc=89.198, loss_att=69.020, acc=0.662, loss=75.073, backward_time=0.317, grad_norm=49.881, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.131, optim0_lr0=1.253e-04, train_time=1.548 -[gpua002:0/64] 2023-12-05 12:38:08,417 (trainer:737) INFO: 11epoch:train:2901-3000batch: iter_time=8.552e-05, forward_time=0.145, loss_ctc=81.595, loss_att=78.994, acc=0.667, loss=79.774, backward_time=0.304, grad_norm=45.607, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.132, optim0_lr0=1.253e-04, train_time=1.705 -[gpua002:0/64] 2023-12-05 12:40:55,350 (trainer:737) INFO: 11epoch:train:3001-3100batch: iter_time=8.537e-05, forward_time=0.149, loss_ctc=72.485, loss_att=53.885, acc=0.686, loss=59.465, backward_time=0.299, grad_norm=48.959, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.131, optim0_lr0=1.252e-04, train_time=1.669 -[gpua002:0/64] 2023-12-05 12:43:30,656 (trainer:737) INFO: 11epoch:train:3101-3200batch: iter_time=8.641e-05, forward_time=0.145, loss_ctc=84.015, loss_att=64.913, acc=0.641, loss=70.644, backward_time=0.325, grad_norm=63.843, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.131, optim0_lr0=1.252e-04, train_time=1.553 -[gpua002:0/64] 2023-12-05 12:45:56,603 (trainer:737) INFO: 11epoch:train:3201-3300batch: iter_time=8.530e-05, forward_time=0.145, loss_ctc=86.059, loss_att=69.471, acc=0.663, loss=74.447, backward_time=0.296, grad_norm=53.282, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.132, optim0_lr0=1.251e-04, train_time=1.459 -[gpua002:0/64] 2023-12-05 12:48:59,982 (trainer:737) INFO: 11epoch:train:3301-3400batch: iter_time=2.572e-04, forward_time=0.153, loss_ctc=85.934, loss_att=78.780, acc=0.657, loss=80.926, backward_time=0.360, grad_norm=49.116, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.133, optim0_lr0=1.251e-04, train_time=1.834 -[gpua002:0/64] 2023-12-05 12:51:35,534 (trainer:737) INFO: 11epoch:train:3401-3500batch: iter_time=8.136e-05, forward_time=0.147, loss_ctc=84.499, loss_att=77.888, acc=0.663, loss=79.871, backward_time=0.315, grad_norm=49.459, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.131, optim0_lr0=1.251e-04, train_time=1.555 -[gpua002:0/64] 2023-12-05 12:54:18,911 (trainer:737) INFO: 11epoch:train:3501-3600batch: iter_time=8.412e-05, forward_time=0.166, loss_ctc=73.484, loss_att=59.714, acc=0.679, loss=63.845, backward_time=0.348, grad_norm=41.700, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.131, optim0_lr0=1.250e-04, train_time=1.633 -[gpua002:0/64] 2023-12-05 12:57:03,985 (trainer:737) INFO: 11epoch:train:3601-3700batch: iter_time=8.585e-05, forward_time=0.171, loss_ctc=74.242, loss_att=57.686, acc=0.679, loss=62.653, backward_time=0.333, grad_norm=48.182, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.131, optim0_lr0=1.250e-04, train_time=1.651 -[gpua002:0/64] 2023-12-05 12:58:39,581 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua002:0/64] 2023-12-05 12:58:58,858 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-05 12:59:02,383 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-05 12:59:02,383 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua002:0/64] 2023-12-05 12:59:02,412 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-05 13:07:03,297 (trainer:737) INFO: 11epoch:train:3701-3800batch: iter_time=2.309, forward_time=0.150, loss_ctc=89.867, loss_att=75.519, acc=0.666, loss=79.823, backward_time=0.289, grad_norm=51.731, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.132, optim0_lr0=1.249e-04, train_time=5.992 -[gpua002:0/64] 2023-12-05 13:09:09,253 (trainer:737) INFO: 11epoch:train:3801-3900batch: iter_time=8.337e-05, forward_time=0.146, loss_ctc=69.306, loss_att=57.733, acc=0.664, loss=61.205, backward_time=0.278, grad_norm=40.598, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.131, optim0_lr0=1.249e-04, train_time=1.260 -[gpua002:0/64] 2023-12-05 13:12:01,695 (trainer:737) INFO: 11epoch:train:3901-4000batch: iter_time=8.307e-05, forward_time=0.151, loss_ctc=65.267, loss_att=55.339, acc=0.673, loss=58.317, backward_time=0.314, grad_norm=39.412, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.134, optim0_lr0=1.249e-04, train_time=1.724 -[gpua002:0/64] 2023-12-05 13:14:24,754 (trainer:737) INFO: 11epoch:train:4001-4100batch: iter_time=8.366e-05, forward_time=0.147, loss_ctc=70.303, loss_att=55.516, acc=0.684, loss=59.952, backward_time=0.308, grad_norm=39.813, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.131, optim0_lr0=1.248e-04, train_time=1.430 -[gpua002:0/64] 2023-12-05 13:16:52,804 (trainer:737) INFO: 11epoch:train:4101-4200batch: iter_time=8.250e-05, forward_time=0.145, loss_ctc=91.313, loss_att=76.697, acc=0.654, loss=81.082, backward_time=0.292, grad_norm=51.488, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.131, optim0_lr0=1.248e-04, train_time=1.480 -[gpua002:0/64] 2023-12-05 13:19:54,122 (trainer:737) INFO: 11epoch:train:4201-4300batch: iter_time=8.322e-05, forward_time=0.145, loss_ctc=77.448, loss_att=65.984, acc=0.698, loss=69.423, backward_time=0.317, grad_norm=41.716, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.131, optim0_lr0=1.247e-04, train_time=1.813 -[gpua002:0/64] 2023-12-05 13:22:49,101 (trainer:737) INFO: 11epoch:train:4301-4400batch: iter_time=8.267e-05, forward_time=0.175, loss_ctc=76.522, loss_att=62.211, acc=0.656, loss=66.504, backward_time=0.342, grad_norm=50.425, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.132, optim0_lr0=1.247e-04, train_time=1.750 -[gpua002:0/64] 2023-12-05 13:25:53,962 (trainer:737) INFO: 11epoch:train:4401-4500batch: iter_time=8.149e-05, forward_time=0.176, loss_ctc=90.391, loss_att=69.084, acc=0.661, loss=75.476, backward_time=0.336, grad_norm=53.183, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.132, optim0_lr0=1.247e-04, train_time=1.848 -[gpua002:0/64] 2023-12-05 13:28:37,118 (trainer:737) INFO: 11epoch:train:4501-4600batch: iter_time=8.239e-05, forward_time=0.144, loss_ctc=83.002, loss_att=71.645, acc=0.658, loss=75.052, backward_time=0.304, grad_norm=54.693, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.131, optim0_lr0=1.246e-04, train_time=1.631 -[gpua002:0/64] 2023-12-05 13:31:16,235 (trainer:737) INFO: 11epoch:train:4601-4700batch: iter_time=8.442e-05, forward_time=0.149, loss_ctc=87.081, loss_att=77.854, acc=0.660, loss=80.622, backward_time=0.325, grad_norm=46.108, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.131, optim0_lr0=1.246e-04, train_time=1.591 -[gpua002:0/64] 2023-12-05 13:34:09,837 (trainer:737) INFO: 11epoch:train:4701-4800batch: iter_time=8.556e-05, forward_time=0.146, loss_ctc=75.051, loss_att=70.067, acc=0.660, loss=71.562, backward_time=0.369, grad_norm=44.873, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.131, optim0_lr0=1.245e-04, train_time=1.736 -[gpua002:0/64] 2023-12-05 13:36:58,159 (trainer:737) INFO: 11epoch:train:4801-4900batch: iter_time=8.501e-05, forward_time=0.153, loss_ctc=74.315, loss_att=53.987, acc=0.696, loss=60.085, backward_time=0.342, grad_norm=48.490, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.132, optim0_lr0=1.245e-04, train_time=1.683 -[gpua002:0/64] 2023-12-05 13:39:29,765 (trainer:737) INFO: 11epoch:train:4901-5000batch: iter_time=8.137e-05, forward_time=0.146, loss_ctc=84.564, loss_att=66.787, acc=0.686, loss=72.120, backward_time=0.305, grad_norm=45.542, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.131, optim0_lr0=1.245e-04, train_time=1.516 -[gpua002:0/64] 2023-12-05 13:39:49,794 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua002:0/64] 2023-12-05 13:40:08,933 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-05 13:40:12,374 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-05 13:40:12,374 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua002:0/64] 2023-12-05 13:40:12,381 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-05 13:51:08,301 (trainer:737) INFO: 11epoch:train:5001-5100batch: iter_time=2.966, forward_time=0.182, loss_ctc=81.810, loss_att=75.090, acc=0.669, loss=77.106, backward_time=0.416, grad_norm=48.106, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.131, optim0_lr0=1.244e-04, train_time=6.985 -[gpua002:0/64] 2023-12-05 13:55:42,473 (trainer:737) INFO: 11epoch:train:5101-5200batch: iter_time=8.512e-05, forward_time=0.145, loss_ctc=62.420, loss_att=58.069, acc=0.659, loss=59.374, backward_time=0.399, grad_norm=44.385, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.131, optim0_lr0=1.244e-04, train_time=2.741 -[gpua002:0/64] 2023-12-05 14:00:37,412 (trainer:737) INFO: 11epoch:train:5201-5300batch: iter_time=8.665e-05, forward_time=0.147, loss_ctc=65.738, loss_att=54.857, acc=0.692, loss=58.121, backward_time=0.443, grad_norm=42.706, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.131, optim0_lr0=1.243e-04, train_time=2.950 -[gpua002:0/64] 2023-12-05 14:06:07,054 (trainer:737) INFO: 11epoch:train:5301-5400batch: iter_time=8.708e-05, forward_time=0.148, loss_ctc=87.655, loss_att=69.823, acc=0.667, loss=75.172, backward_time=0.633, grad_norm=49.885, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.131, optim0_lr0=1.243e-04, train_time=3.296 -[gpua002:0/64] 2023-12-05 14:12:39,450 (trainer:737) INFO: 11epoch:train:5401-5500batch: iter_time=8.862e-05, forward_time=0.147, loss_ctc=80.224, loss_att=80.574, acc=0.667, loss=80.469, backward_time=0.585, grad_norm=43.807, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.131, optim0_lr0=1.243e-04, train_time=3.924 -[gpua002:0/64] 2023-12-05 14:17:33,226 (trainer:737) INFO: 11epoch:train:5501-5600batch: iter_time=8.863e-05, forward_time=0.162, loss_ctc=71.886, loss_att=53.427, acc=0.698, loss=58.964, backward_time=0.511, grad_norm=45.755, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.131, optim0_lr0=1.242e-04, train_time=2.937 -[gpua002:0/64] 2023-12-05 14:23:28,376 (trainer:737) INFO: 11epoch:train:5601-5700batch: iter_time=9.157e-05, forward_time=0.145, loss_ctc=82.772, loss_att=64.958, acc=0.662, loss=70.302, backward_time=0.541, grad_norm=47.317, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.131, optim0_lr0=1.242e-04, train_time=3.551 -[gpua002:0/64] 2023-12-05 14:31:00,133 (trainer:737) INFO: 11epoch:train:5701-5800batch: iter_time=9.392e-05, forward_time=0.171, loss_ctc=85.125, loss_att=69.602, acc=0.670, loss=74.259, backward_time=0.748, grad_norm=53.918, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.131, optim0_lr0=1.241e-04, train_time=4.517 -[gpua002:0/64] 2023-12-05 14:39:00,514 (trainer:737) INFO: 11epoch:train:5801-5900batch: iter_time=9.502e-05, forward_time=0.166, loss_ctc=84.331, loss_att=77.429, acc=0.677, loss=79.500, backward_time=0.908, grad_norm=48.424, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.133, optim0_lr0=1.241e-04, train_time=4.804 -[gpua002:0/64] 2023-12-05 14:46:28,114 (trainer:737) INFO: 11epoch:train:5901-6000batch: iter_time=8.644e-05, forward_time=0.146, loss_ctc=83.329, loss_att=79.226, acc=0.668, loss=80.457, backward_time=0.751, grad_norm=49.144, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.131, optim0_lr0=1.241e-04, train_time=4.476 -[gpua002:0/64] 2023-12-05 14:52:56,099 (trainer:737) INFO: 11epoch:train:6001-6100batch: iter_time=8.528e-05, forward_time=0.147, loss_ctc=73.847, loss_att=60.582, acc=0.681, loss=64.562, backward_time=0.602, grad_norm=41.831, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.131, optim0_lr0=1.240e-04, train_time=3.880 -[gpua002:0/64] 2023-12-05 14:58:11,010 (trainer:737) INFO: 11epoch:train:6101-6200batch: iter_time=8.766e-05, forward_time=0.145, loss_ctc=73.064, loss_att=57.017, acc=0.687, loss=61.831, backward_time=0.610, grad_norm=44.687, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.131, optim0_lr0=1.240e-04, train_time=3.149 -[gpua002:0/64] 2023-12-05 15:01:51,127 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua002:0/64] 2023-12-05 15:02:10,196 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-05 15:02:13,648 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-05 15:02:13,648 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua002:0/64] 2023-12-05 15:02:13,655 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-05 15:11:28,552 (trainer:737) INFO: 11epoch:train:6201-6300batch: iter_time=4.646, forward_time=0.180, loss_ctc=88.079, loss_att=75.173, acc=0.680, loss=79.045, backward_time=0.389, grad_norm=49.208, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.131, optim0_lr0=1.239e-04, train_time=7.975 -[gpua002:0/64] 2023-12-05 15:14:06,440 (trainer:737) INFO: 11epoch:train:6301-6400batch: iter_time=8.312e-05, forward_time=0.148, loss_ctc=69.397, loss_att=58.814, acc=0.674, loss=61.989, backward_time=0.296, grad_norm=44.301, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.131, optim0_lr0=1.239e-04, train_time=1.579 -[gpua002:0/64] 2023-12-05 15:16:59,220 (trainer:737) INFO: 11epoch:train:6401-6500batch: iter_time=8.352e-05, forward_time=0.145, loss_ctc=64.600, loss_att=57.448, acc=0.683, loss=59.594, backward_time=0.348, grad_norm=40.571, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.131, optim0_lr0=1.239e-04, train_time=1.728 -[gpua002:0/64] 2023-12-05 15:19:32,320 (trainer:737) INFO: 11epoch:train:6501-6600batch: iter_time=8.676e-05, forward_time=0.145, loss_ctc=69.820, loss_att=55.860, acc=0.688, loss=60.048, backward_time=0.300, grad_norm=40.565, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.131, optim0_lr0=1.238e-04, train_time=1.531 -[gpua002:0/64] 2023-12-05 15:22:16,190 (trainer:737) INFO: 11epoch:train:6601-6700batch: iter_time=8.365e-05, forward_time=0.145, loss_ctc=90.046, loss_att=78.141, acc=0.657, loss=81.713, backward_time=0.335, grad_norm=49.611, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.131, optim0_lr0=1.238e-04, train_time=1.638 -[gpua002:0/64] 2023-12-05 15:25:50,235 (trainer:737) INFO: 11epoch:train:6701-6800batch: iter_time=8.458e-05, forward_time=0.146, loss_ctc=76.963, loss_att=68.068, acc=0.696, loss=70.737, backward_time=0.323, grad_norm=44.983, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.131, optim0_lr0=1.237e-04, train_time=2.140 -[gpua002:0/64] 2023-12-05 15:28:21,894 (trainer:737) INFO: 11epoch:train:6801-6900batch: iter_time=8.522e-05, forward_time=0.145, loss_ctc=75.717, loss_att=62.103, acc=0.672, loss=66.187, backward_time=0.298, grad_norm=49.547, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.131, optim0_lr0=1.237e-04, train_time=1.516 -[gpua002:0/64] 2023-12-05 15:31:17,554 (trainer:737) INFO: 11epoch:train:6901-7000batch: iter_time=8.241e-05, forward_time=0.147, loss_ctc=86.362, loss_att=69.069, acc=0.668, loss=74.257, backward_time=0.369, grad_norm=51.508, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.131, optim0_lr0=1.237e-04, train_time=1.756 -[gpua002:0/64] 2023-12-05 15:34:17,798 (trainer:737) INFO: 11epoch:train:7001-7100batch: iter_time=8.902e-05, forward_time=0.265, loss_ctc=82.039, loss_att=72.051, acc=0.669, loss=75.047, backward_time=0.325, grad_norm=51.136, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.135, optim0_lr0=1.236e-04, train_time=1.800 -[gpua002:0/64] 2023-12-05 15:37:15,159 (trainer:737) INFO: 11epoch:train:7101-7200batch: iter_time=8.433e-05, forward_time=0.147, loss_ctc=87.247, loss_att=78.780, acc=0.668, loss=81.320, backward_time=0.370, grad_norm=49.543, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.131, optim0_lr0=1.236e-04, train_time=1.775 -[gpua002:0/64] 2023-12-05 15:39:52,054 (trainer:737) INFO: 11epoch:train:7201-7300batch: iter_time=8.200e-05, forward_time=0.146, loss_ctc=73.654, loss_att=69.981, acc=0.672, loss=71.083, backward_time=0.295, grad_norm=43.491, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.132, optim0_lr0=1.235e-04, train_time=1.569 -[gpua002:0/64] 2023-12-05 15:42:37,971 (trainer:737) INFO: 11epoch:train:7301-7400batch: iter_time=8.580e-05, forward_time=0.147, loss_ctc=73.838, loss_att=54.948, acc=0.702, loss=60.615, backward_time=0.299, grad_norm=45.091, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.132, optim0_lr0=1.235e-04, train_time=1.659 -[gpua002:0/64] 2023-12-05 15:45:47,812 (trainer:737) INFO: 11epoch:train:7401-7500batch: iter_time=8.489e-05, forward_time=0.145, loss_ctc=84.072, loss_att=66.468, acc=0.691, loss=71.750, backward_time=0.313, grad_norm=45.908, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.132, optim0_lr0=1.235e-04, train_time=1.898 -[gpua002:0/64] 2023-12-05 15:46:07,842 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua002:0/64] 2023-12-05 15:46:26,875 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-05 15:46:30,591 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-05 15:46:30,591 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua002:0/64] 2023-12-05 15:46:30,594 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-05 15:57:12,997 (trainer:737) INFO: 11epoch:train:7501-7600batch: iter_time=3.220, forward_time=0.145, loss_ctc=81.999, loss_att=72.228, acc=0.676, loss=75.159, backward_time=0.278, grad_norm=44.913, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.131, optim0_lr0=1.234e-04, train_time=6.852 -[gpua002:0/64] 2023-12-05 15:59:36,615 (trainer:737) INFO: 11epoch:train:7601-7700batch: iter_time=8.542e-05, forward_time=0.145, loss_ctc=62.204, loss_att=56.375, acc=0.666, loss=58.124, backward_time=0.291, grad_norm=43.175, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.131, optim0_lr0=1.234e-04, train_time=1.436 -[gpua002:0/64] 2023-12-05 16:02:26,269 (trainer:737) INFO: 11epoch:train:7701-7800batch: iter_time=8.654e-05, forward_time=0.144, loss_ctc=65.693, loss_att=54.022, acc=0.698, loss=57.523, backward_time=0.320, grad_norm=41.170, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.131, optim0_lr0=1.233e-04, train_time=1.696 -[gpua002:0/64] 2023-12-05 16:05:16,394 (trainer:737) INFO: 11epoch:train:7801-7900batch: iter_time=8.752e-05, forward_time=0.145, loss_ctc=87.260, loss_att=68.849, acc=0.668, loss=74.372, backward_time=0.327, grad_norm=55.806, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.132, optim0_lr0=1.233e-04, train_time=1.701 -[gpua002:0/64] 2023-12-05 16:07:58,966 (trainer:737) INFO: 11epoch:train:7901-8000batch: iter_time=8.844e-05, forward_time=0.145, loss_ctc=80.351, loss_att=79.441, acc=0.670, loss=79.714, backward_time=0.338, grad_norm=45.900, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.132, optim0_lr0=1.233e-04, train_time=1.626 -[gpua002:0/64] 2023-12-05 16:11:06,282 (trainer:737) INFO: 11epoch:train:8001-8100batch: iter_time=8.676e-05, forward_time=0.300, loss_ctc=70.801, loss_att=52.308, acc=0.700, loss=57.856, backward_time=0.351, grad_norm=45.207, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.135, optim0_lr0=1.232e-04, train_time=1.873 -[gpua002:0/64] 2023-12-05 16:13:11,390 (trainer:737) INFO: 11epoch:train:8101-8200batch: iter_time=8.848e-05, forward_time=0.145, loss_ctc=81.087, loss_att=63.406, acc=0.665, loss=68.710, backward_time=0.275, grad_norm=50.029, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.131, optim0_lr0=1.232e-04, train_time=1.249 -[gpua002:0/64] 2023-12-05 16:16:04,868 (trainer:737) INFO: 11epoch:train:8201-8300batch: iter_time=8.741e-05, forward_time=0.145, loss_ctc=83.928, loss_att=68.333, acc=0.673, loss=73.011, backward_time=0.352, grad_norm=50.473, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.131, optim0_lr0=1.231e-04, train_time=1.736 -[gpua002:0/64] 2023-12-05 16:18:56,413 (trainer:737) INFO: 11epoch:train:8301-8400batch: iter_time=8.697e-05, forward_time=0.145, loss_ctc=83.871, loss_att=76.947, acc=0.680, loss=79.024, backward_time=0.336, grad_norm=47.674, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.131, optim0_lr0=1.231e-04, train_time=1.715 -[gpua002:0/64] 2023-12-05 16:21:55,820 (trainer:737) INFO: 11epoch:train:8401-8500batch: iter_time=8.683e-05, forward_time=0.145, loss_ctc=83.562, loss_att=78.851, acc=0.670, loss=80.264, backward_time=0.325, grad_norm=48.565, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.131, optim0_lr0=1.231e-04, train_time=1.794 -[gpua002:0/64] 2023-12-05 16:24:30,744 (trainer:737) INFO: 11epoch:train:8501-8600batch: iter_time=8.808e-05, forward_time=0.144, loss_ctc=73.051, loss_att=60.429, acc=0.685, loss=64.215, backward_time=0.366, grad_norm=44.240, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.131, optim0_lr0=1.230e-04, train_time=1.549 -[gpua002:0/64] 2023-12-05 16:27:08,007 (trainer:737) INFO: 11epoch:train:8601-8700batch: iter_time=8.603e-05, forward_time=0.145, loss_ctc=72.938, loss_att=56.372, acc=0.693, loss=61.341, backward_time=0.298, grad_norm=44.913, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.131, optim0_lr0=1.230e-04, train_time=1.572 -[gpua002:0/64] 2023-12-05 16:28:50,302 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua002:0/64] 2023-12-05 16:29:09,308 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-05 16:29:12,801 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-05 16:29:12,801 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua002:0/64] 2023-12-05 16:29:12,804 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-05 16:42:12,308 (trainer:737) INFO: 11epoch:train:8701-8800batch: iter_time=3.153, forward_time=0.198, loss_ctc=88.483, loss_att=75.975, acc=0.673, loss=79.728, backward_time=0.304, grad_norm=53.642, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.132, optim0_lr0=1.230e-04, train_time=9.041 -[gpua002:0/64] 2023-12-05 16:45:52,064 (trainer:737) INFO: 11epoch:train:8801-8900batch: iter_time=7.926e-05, forward_time=0.145, loss_ctc=69.160, loss_att=59.212, acc=0.666, loss=62.197, backward_time=0.369, grad_norm=42.576, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.131, optim0_lr0=1.229e-04, train_time=2.199 -[gpua002:0/64] 2023-12-05 16:50:59,013 (trainer:737) INFO: 11epoch:train:8901-9000batch: iter_time=8.466e-05, forward_time=0.144, loss_ctc=64.623, loss_att=55.882, acc=0.677, loss=58.504, backward_time=0.455, grad_norm=43.149, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.132, optim0_lr0=1.229e-04, train_time=3.069 -[gpua002:0/64] 2023-12-05 16:55:39,965 (trainer:737) INFO: 11epoch:train:9001-9100batch: iter_time=8.372e-05, forward_time=0.145, loss_ctc=69.870, loss_att=55.187, acc=0.688, loss=59.592, backward_time=0.527, grad_norm=40.131, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.132, optim0_lr0=1.228e-04, train_time=2.809 -[gpua002:0/64] 2023-12-05 17:02:55,416 (trainer:737) INFO: 11epoch:train:9101-9200batch: iter_time=8.534e-05, forward_time=0.160, loss_ctc=89.539, loss_att=77.367, acc=0.656, loss=81.019, backward_time=0.692, grad_norm=55.707, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.132, optim0_lr0=1.228e-04, train_time=4.354 -[gpua002:0/64] 2023-12-05 17:12:59,967 (trainer:737) INFO: 11epoch:train:9201-9300batch: iter_time=9.352e-05, forward_time=0.146, loss_ctc=76.123, loss_att=65.489, acc=0.699, loss=68.679, backward_time=1.081, grad_norm=48.256, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.132, optim0_lr0=1.228e-04, train_time=6.045 -[gpua002:0/64] 2023-12-05 17:17:36,948 (trainer:737) INFO: 11epoch:train:9301-9400batch: iter_time=8.484e-05, forward_time=0.145, loss_ctc=75.287, loss_att=62.243, acc=0.657, loss=66.156, backward_time=0.465, grad_norm=49.715, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.132, optim0_lr0=1.227e-04, train_time=2.770 -[gpua002:0/64] 2023-12-05 17:21:53,421 (trainer:737) INFO: 11epoch:train:9401-9500batch: iter_time=8.697e-05, forward_time=0.182, loss_ctc=86.045, loss_att=67.880, acc=0.667, loss=73.330, backward_time=0.468, grad_norm=49.854, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.134, optim0_lr0=1.227e-04, train_time=2.565 -[gpua002:0/64] 2023-12-05 17:27:06,712 (trainer:737) INFO: 11epoch:train:9501-9600batch: iter_time=8.894e-05, forward_time=0.165, loss_ctc=80.620, loss_att=71.417, acc=0.662, loss=74.178, backward_time=0.478, grad_norm=53.000, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.133, optim0_lr0=1.226e-04, train_time=3.131 -[gpua002:0/64] 2023-12-05 17:32:22,117 (trainer:737) INFO: 11epoch:train:9601-9700batch: iter_time=8.942e-05, forward_time=0.146, loss_ctc=86.187, loss_att=77.116, acc=0.664, loss=79.837, backward_time=0.580, grad_norm=49.356, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.132, optim0_lr0=1.226e-04, train_time=3.155 -[gpua002:0/64] 2023-12-05 17:37:56,194 (trainer:737) INFO: 11epoch:train:9701-9800batch: iter_time=8.755e-05, forward_time=0.145, loss_ctc=74.715, loss_att=69.614, acc=0.663, loss=71.144, backward_time=0.554, grad_norm=46.850, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.131, optim0_lr0=1.226e-04, train_time=3.341 -[gpua002:0/64] 2023-12-05 17:43:38,539 (trainer:737) INFO: 11epoch:train:9801-9900batch: iter_time=8.958e-05, forward_time=0.146, loss_ctc=73.123, loss_att=53.893, acc=0.700, loss=59.662, backward_time=0.549, grad_norm=44.382, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.132, optim0_lr0=1.225e-04, train_time=3.423 -[gpua002:0/64] 2023-12-05 17:49:31,444 (trainer:737) INFO: 11epoch:train:9901-10000batch: iter_time=8.682e-05, forward_time=0.145, loss_ctc=83.631, loss_att=65.858, acc=0.690, loss=71.190, backward_time=0.595, grad_norm=49.571, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.131, optim0_lr0=1.225e-04, train_time=3.529 -[gpua002:0/64] 2023-12-05 17:49:51,473 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua002:0/64] 2023-12-05 17:50:10,479 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-05 17:50:14,017 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-05 17:50:14,017 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua002:0/64] 2023-12-05 17:50:14,020 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-05 18:04:18,939 (trainer:737) INFO: 11epoch:train:10001-10100batch: iter_time=3.214, forward_time=0.198, loss_ctc=81.475, loss_att=72.507, acc=0.676, loss=75.197, backward_time=0.286, grad_norm=49.979, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.132, optim0_lr0=1.225e-04, train_time=8.875 -[gpua002:0/64] 2023-12-05 18:06:38,699 (trainer:737) INFO: 11epoch:train:10101-10200batch: iter_time=8.260e-05, forward_time=0.145, loss_ctc=61.081, loss_att=55.485, acc=0.671, loss=57.164, backward_time=0.284, grad_norm=43.419, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.131, optim0_lr0=1.224e-04, train_time=1.397 -[gpua002:0/64] 2023-12-05 18:09:11,313 (trainer:737) INFO: 11epoch:train:10201-10300batch: iter_time=8.392e-05, forward_time=0.147, loss_ctc=65.114, loss_att=53.284, acc=0.700, loss=56.833, backward_time=0.333, grad_norm=39.360, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.131, optim0_lr0=1.224e-04, train_time=1.526 -[gpua002:0/64] 2023-12-05 18:11:48,022 (trainer:737) INFO: 11epoch:train:10301-10400batch: iter_time=8.581e-05, forward_time=0.145, loss_ctc=86.568, loss_att=68.642, acc=0.671, loss=74.020, backward_time=0.337, grad_norm=52.716, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.131, optim0_lr0=1.223e-04, train_time=1.567 -[gpua002:0/64] 2023-12-05 18:14:43,833 (trainer:737) INFO: 11epoch:train:10401-10500batch: iter_time=8.518e-05, forward_time=0.146, loss_ctc=79.502, loss_att=79.598, acc=0.674, loss=79.569, backward_time=0.324, grad_norm=44.432, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.131, optim0_lr0=1.223e-04, train_time=1.758 -[gpua002:0/64] 2023-12-05 18:17:48,515 (trainer:737) INFO: 11epoch:train:10501-10600batch: iter_time=8.780e-05, forward_time=0.147, loss_ctc=69.901, loss_att=52.023, acc=0.704, loss=57.387, backward_time=0.319, grad_norm=41.427, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.131, optim0_lr0=1.223e-04, train_time=1.847 -[gpua002:0/64] 2023-12-05 18:20:39,339 (trainer:737) INFO: 11epoch:train:10601-10700batch: iter_time=8.329e-05, forward_time=0.146, loss_ctc=82.873, loss_att=63.385, acc=0.667, loss=69.231, backward_time=0.296, grad_norm=58.164, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.131, optim0_lr0=1.222e-04, train_time=1.708 -[gpua002:0/64] 2023-12-05 18:23:23,339 (trainer:737) INFO: 11epoch:train:10701-10800batch: iter_time=8.392e-05, forward_time=0.145, loss_ctc=82.463, loss_att=68.182, acc=0.673, loss=72.466, backward_time=0.338, grad_norm=49.554, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.131, optim0_lr0=1.222e-04, train_time=1.640 -[gpua002:0/64] 2023-12-05 18:26:33,930 (trainer:737) INFO: 11epoch:train:10801-10900batch: iter_time=8.566e-05, forward_time=0.146, loss_ctc=84.067, loss_att=77.089, acc=0.680, loss=79.182, backward_time=0.358, grad_norm=49.480, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.131, optim0_lr0=1.221e-04, train_time=1.906 -[gpua002:0/64] 2023-12-05 18:29:09,695 (trainer:737) INFO: 11epoch:train:10901-11000batch: iter_time=8.175e-05, forward_time=0.182, loss_ctc=83.095, loss_att=78.717, acc=0.670, loss=80.030, backward_time=0.312, grad_norm=48.207, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.135, optim0_lr0=1.221e-04, train_time=1.556 -[gpua002:0/64] 2023-12-05 18:31:54,345 (trainer:737) INFO: 11epoch:train:11001-11100batch: iter_time=8.296e-05, forward_time=0.200, loss_ctc=72.727, loss_att=58.776, acc=0.690, loss=62.961, backward_time=0.324, grad_norm=41.529, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.136, optim0_lr0=1.221e-04, train_time=1.647 -[gpua002:0/64] 2023-12-05 18:34:12,547 (trainer:737) INFO: 11epoch:train:11101-11200batch: iter_time=8.298e-05, forward_time=0.145, loss_ctc=72.842, loss_att=56.740, acc=0.693, loss=61.570, backward_time=0.295, grad_norm=44.514, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.131, optim0_lr0=1.220e-04, train_time=1.382 -[gpua002:0/64] 2023-12-05 18:36:01,730 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua002:0/64] 2023-12-05 18:36:20,676 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-05 18:36:24,167 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-05 18:36:24,167 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua002:0/64] 2023-12-05 18:36:24,170 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-05 18:42:41,977 (trainer:737) INFO: 11epoch:train:11201-11300batch: iter_time=3.144, forward_time=0.146, loss_ctc=86.884, loss_att=74.593, acc=0.678, loss=78.281, backward_time=0.290, grad_norm=47.822, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.132, optim0_lr0=1.220e-04, train_time=5.094 -[gpua002:0/64] 2023-12-05 18:45:02,447 (trainer:737) INFO: 11epoch:train:11301-11400batch: iter_time=7.894e-05, forward_time=0.145, loss_ctc=68.315, loss_att=58.117, acc=0.670, loss=61.176, backward_time=0.278, grad_norm=45.008, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.132, optim0_lr0=1.220e-04, train_time=1.404 -[gpua002:0/64] 2023-12-05 18:48:16,657 (trainer:737) INFO: 11epoch:train:11401-11500batch: iter_time=8.096e-05, forward_time=0.145, loss_ctc=64.511, loss_att=55.020, acc=0.679, loss=57.867, backward_time=0.341, grad_norm=40.632, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.132, optim0_lr0=1.219e-04, train_time=1.942 -[gpua002:0/64] 2023-12-05 18:50:36,565 (trainer:737) INFO: 11epoch:train:11501-11600batch: iter_time=8.263e-05, forward_time=0.146, loss_ctc=69.293, loss_att=54.726, acc=0.690, loss=59.096, backward_time=0.306, grad_norm=41.459, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.132, optim0_lr0=1.219e-04, train_time=1.399 -[gpua002:0/64] 2023-12-05 18:53:34,583 (trainer:737) INFO: 11epoch:train:11601-11700batch: iter_time=8.377e-05, forward_time=0.158, loss_ctc=89.055, loss_att=75.994, acc=0.660, loss=79.912, backward_time=0.307, grad_norm=55.094, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.132, optim0_lr0=1.218e-04, train_time=1.779 -[gpua002:0/64] 2023-12-05 18:56:16,477 (trainer:737) INFO: 11epoch:train:11701-11800batch: iter_time=8.432e-05, forward_time=0.222, loss_ctc=74.997, loss_att=64.143, acc=0.705, loss=67.399, backward_time=0.328, grad_norm=42.013, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.132, optim0_lr0=1.218e-04, train_time=1.619 -[gpua002:0/64] 2023-12-05 18:58:49,355 (trainer:737) INFO: 11epoch:train:11801-11900batch: iter_time=8.340e-05, forward_time=0.145, loss_ctc=74.372, loss_att=61.545, acc=0.661, loss=65.393, backward_time=0.293, grad_norm=49.508, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.131, optim0_lr0=1.218e-04, train_time=1.529 -[gpua002:0/64] 2023-12-05 19:01:39,451 (trainer:737) INFO: 11epoch:train:11901-12000batch: iter_time=8.425e-05, forward_time=0.145, loss_ctc=84.493, loss_att=68.164, acc=0.668, loss=73.062, backward_time=0.356, grad_norm=52.710, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.131, optim0_lr0=1.217e-04, train_time=1.701 -[gpua002:0/64] 2023-12-05 19:04:06,405 (trainer:737) INFO: 11epoch:train:12001-12100batch: iter_time=8.075e-05, forward_time=0.144, loss_ctc=80.045, loss_att=70.470, acc=0.667, loss=73.343, backward_time=0.283, grad_norm=51.905, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.131, optim0_lr0=1.217e-04, train_time=1.469 -[gpua002:0/64] 2023-12-05 19:06:44,660 (trainer:737) INFO: 11epoch:train:12101-12200batch: iter_time=8.443e-05, forward_time=0.145, loss_ctc=86.132, loss_att=77.630, acc=0.663, loss=80.180, backward_time=0.314, grad_norm=57.078, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.131, optim0_lr0=1.217e-04, train_time=1.582 -[gpua002:0/64] 2023-12-05 19:09:32,019 (trainer:737) INFO: 11epoch:train:12201-12300batch: iter_time=8.138e-05, forward_time=0.145, loss_ctc=72.910, loss_att=68.772, acc=0.666, loss=70.014, backward_time=0.320, grad_norm=44.815, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.131, optim0_lr0=1.216e-04, train_time=1.673 -[gpua002:0/64] 2023-12-05 19:12:17,753 (trainer:737) INFO: 11epoch:train:12301-12400batch: iter_time=8.272e-05, forward_time=0.145, loss_ctc=72.427, loss_att=53.116, acc=0.701, loss=58.909, backward_time=0.319, grad_norm=44.293, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.131, optim0_lr0=1.216e-04, train_time=1.657 -[gpua002:0/64] 2023-12-05 19:15:24,171 (trainer:737) INFO: 11epoch:train:12401-12500batch: iter_time=8.342e-05, forward_time=0.255, loss_ctc=82.405, loss_att=65.571, acc=0.693, loss=70.621, backward_time=0.338, grad_norm=45.172, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.134, optim0_lr0=1.215e-04, train_time=1.864 -[gpua002:0/64] 2023-12-05 19:15:44,199 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua002:0/64] 2023-12-05 19:16:03,295 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-05 19:16:06,742 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-05 19:16:06,743 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua002:0/64] 2023-12-05 19:16:06,746 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-05 19:27:44,717 (trainer:737) INFO: 11epoch:train:12501-12600batch: iter_time=3.092, forward_time=0.146, loss_ctc=81.275, loss_att=72.556, acc=0.678, loss=75.172, backward_time=0.371, grad_norm=51.136, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.132, optim0_lr0=1.215e-04, train_time=7.405 -[gpua002:0/64] 2023-12-05 19:32:38,127 (trainer:737) INFO: 11epoch:train:12601-12700batch: iter_time=9.083e-05, forward_time=0.149, loss_ctc=60.930, loss_att=55.830, acc=0.669, loss=57.360, backward_time=0.431, grad_norm=40.126, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.132, optim0_lr0=1.215e-04, train_time=2.934 -[gpua002:0/64] 2023-12-05 19:39:07,127 (trainer:737) INFO: 11epoch:train:12701-12800batch: iter_time=9.003e-05, forward_time=0.145, loss_ctc=64.775, loss_att=53.093, acc=0.701, loss=56.598, backward_time=0.517, grad_norm=41.311, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.132, optim0_lr0=1.214e-04, train_time=3.890 -[gpua002:0/64] 2023-12-05 19:45:01,341 (trainer:737) INFO: 11epoch:train:12801-12900batch: iter_time=8.758e-05, forward_time=0.257, loss_ctc=85.849, loss_att=68.204, acc=0.674, loss=73.497, backward_time=0.498, grad_norm=49.800, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.135, optim0_lr0=1.214e-04, train_time=3.542 -[gpua002:0/64] 2023-12-05 19:51:49,028 (trainer:737) INFO: 11epoch:train:12901-13000batch: iter_time=8.884e-05, forward_time=0.147, loss_ctc=79.492, loss_att=79.190, acc=0.675, loss=79.280, backward_time=0.537, grad_norm=44.853, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.132, optim0_lr0=1.214e-04, train_time=4.077 -[gpua002:0/64] 2023-12-05 19:58:39,367 (trainer:737) INFO: 11epoch:train:13001-13100batch: iter_time=9.279e-05, forward_time=0.146, loss_ctc=69.763, loss_att=51.624, acc=0.706, loss=57.066, backward_time=0.489, grad_norm=43.168, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.132, optim0_lr0=1.213e-04, train_time=4.103 -[gpua002:0/64] 2023-12-05 20:04:13,634 (trainer:737) INFO: 11epoch:train:13101-13200batch: iter_time=9.068e-05, forward_time=0.145, loss_ctc=79.084, loss_att=62.978, acc=0.670, loss=67.810, backward_time=0.480, grad_norm=52.403, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.132, optim0_lr0=1.213e-04, train_time=3.342 -[gpua002:0/64] 2023-12-05 20:08:02,444 (trainer:737) INFO: 11epoch:train:13201-13300batch: iter_time=8.778e-05, forward_time=0.146, loss_ctc=83.167, loss_att=68.404, acc=0.676, loss=72.833, backward_time=0.414, grad_norm=52.384, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.132, optim0_lr0=1.212e-04, train_time=2.288 -[gpua002:0/64] 2023-12-05 20:11:52,050 (trainer:737) INFO: 11epoch:train:13301-13400batch: iter_time=8.508e-05, forward_time=0.146, loss_ctc=83.339, loss_att=76.222, acc=0.684, loss=78.358, backward_time=0.362, grad_norm=47.852, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.132, optim0_lr0=1.212e-04, train_time=2.296 -[gpua002:0/64] 2023-12-05 20:15:26,531 (trainer:737) INFO: 11epoch:train:13401-13500batch: iter_time=8.669e-05, forward_time=0.146, loss_ctc=82.283, loss_att=77.952, acc=0.673, loss=79.251, backward_time=0.394, grad_norm=47.911, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.132, optim0_lr0=1.212e-04, train_time=2.145 -[gpua002:0/64] 2023-12-05 20:19:14,927 (trainer:737) INFO: 11epoch:train:13501-13600batch: iter_time=8.599e-05, forward_time=0.147, loss_ctc=71.967, loss_att=59.256, acc=0.689, loss=63.069, backward_time=0.477, grad_norm=42.635, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.132, optim0_lr0=1.211e-04, train_time=2.284 -[gpua002:0/64] 2023-12-05 20:22:47,752 (trainer:737) INFO: 11epoch:train:13601-13700batch: iter_time=8.857e-05, forward_time=0.146, loss_ctc=71.676, loss_att=55.787, acc=0.696, loss=60.554, backward_time=0.495, grad_norm=43.835, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.132, optim0_lr0=1.211e-04, train_time=2.128 -[gpua002:0/64] 2023-12-05 20:24:49,846 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua002:0/64] 2023-12-05 20:25:08,902 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-05 20:25:12,463 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-05 20:25:12,463 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua002:0/64] 2023-12-05 20:25:12,466 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-05 20:31:18,363 (trainer:737) INFO: 11epoch:train:13701-13800batch: iter_time=3.354, forward_time=0.184, loss_ctc=86.760, loss_att=73.907, acc=0.678, loss=77.763, backward_time=0.329, grad_norm=51.411, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.134, optim0_lr0=1.211e-04, train_time=5.106 -[gpua002:0/64] 2023-12-05 20:33:49,811 (trainer:737) INFO: 11epoch:train:13801-13900batch: iter_time=8.447e-05, forward_time=0.148, loss_ctc=68.096, loss_att=57.684, acc=0.673, loss=60.808, backward_time=0.333, grad_norm=46.959, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.131, optim0_lr0=1.210e-04, train_time=1.514 -[gpua002:0/64] 2023-12-05 20:36:15,948 (trainer:737) INFO: 11epoch:train:13901-14000batch: iter_time=8.905e-05, forward_time=0.145, loss_ctc=63.665, loss_att=54.596, acc=0.683, loss=57.316, backward_time=0.338, grad_norm=40.244, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.132, optim0_lr0=1.210e-04, train_time=1.461 -[gpua002:0/64] 2023-12-05 20:39:08,898 (trainer:737) INFO: 11epoch:train:14001-14100batch: iter_time=8.778e-05, forward_time=0.197, loss_ctc=69.081, loss_att=54.274, acc=0.691, loss=58.716, backward_time=0.311, grad_norm=44.684, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.137, optim0_lr0=1.210e-04, train_time=1.730 -[gpua002:0/64] 2023-12-05 20:41:51,145 (trainer:737) INFO: 11epoch:train:14101-14200batch: iter_time=8.598e-05, forward_time=0.223, loss_ctc=88.730, loss_att=76.422, acc=0.658, loss=80.115, backward_time=0.322, grad_norm=55.263, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.134, optim0_lr0=1.209e-04, train_time=1.622 -[gpua002:0/64] 2023-12-05 20:44:01,714 (trainer:737) INFO: 11epoch:train:14201-14300batch: iter_time=8.425e-05, forward_time=0.146, loss_ctc=75.532, loss_att=64.670, acc=0.703, loss=67.929, backward_time=0.279, grad_norm=45.178, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.131, optim0_lr0=1.209e-04, train_time=1.305 -[gpua002:0/64] 2023-12-05 20:47:16,161 (trainer:737) INFO: 11epoch:train:14301-14400batch: iter_time=8.445e-05, forward_time=0.144, loss_ctc=74.005, loss_att=61.263, acc=0.659, loss=65.086, backward_time=0.304, grad_norm=48.631, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.131, optim0_lr0=1.208e-04, train_time=1.944 -[gpua002:0/64] 2023-12-05 20:50:35,116 (trainer:737) INFO: 11epoch:train:14401-14500batch: iter_time=3.284e-04, forward_time=0.198, loss_ctc=83.695, loss_att=66.522, acc=0.669, loss=71.674, backward_time=0.365, grad_norm=48.728, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.135, optim0_lr0=1.208e-04, train_time=1.989 -[gpua002:0/64] 2023-12-05 20:52:51,644 (trainer:737) INFO: 11epoch:train:14501-14600batch: iter_time=8.308e-05, forward_time=0.147, loss_ctc=79.936, loss_att=69.608, acc=0.669, loss=72.706, backward_time=0.289, grad_norm=48.921, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.131, optim0_lr0=1.208e-04, train_time=1.365 -[gpua002:0/64] 2023-12-05 20:55:33,072 (trainer:737) INFO: 11epoch:train:14601-14700batch: iter_time=7.950e-05, forward_time=0.168, loss_ctc=85.745, loss_att=76.420, acc=0.668, loss=79.217, backward_time=0.363, grad_norm=50.695, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.135, optim0_lr0=1.207e-04, train_time=1.614 -[gpua002:0/64] 2023-12-05 20:57:53,725 (trainer:737) INFO: 11epoch:train:14701-14800batch: iter_time=8.395e-05, forward_time=0.185, loss_ctc=73.297, loss_att=68.704, acc=0.668, loss=70.082, backward_time=0.307, grad_norm=45.440, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.135, optim0_lr0=1.207e-04, train_time=1.405 -[gpua002:0/64] 2023-12-05 21:00:07,342 (trainer:737) INFO: 11epoch:train:14801-14900batch: iter_time=8.336e-05, forward_time=0.145, loss_ctc=72.086, loss_att=52.884, acc=0.702, loss=58.645, backward_time=0.288, grad_norm=46.452, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.131, optim0_lr0=1.207e-04, train_time=1.337 -[gpua002:0/64] 2023-12-05 21:03:08,183 (trainer:737) INFO: 11epoch:train:14901-15000batch: iter_time=8.457e-05, forward_time=0.208, loss_ctc=82.252, loss_att=64.947, acc=0.695, loss=70.138, backward_time=0.367, grad_norm=46.262, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.133, optim0_lr0=1.206e-04, train_time=1.808 -[gpua002:0/64] 2023-12-05 21:28:57,689 (trainer:343) INFO: 11epoch results: [train] iter_time=0.252, forward_time=0.158, loss_ctc=78.241, loss_att=66.163, acc=0.674, loss=69.787, backward_time=0.379, grad_norm=47.511, clip=100.000, loss_scale=6.305e+28, optim_step_time=0.132, optim0_lr0=1.235e-04, train_time=2.483, time=10 hours, 21 minutes and 13.38 seconds, total_count=165000, gpu_max_cached_mem_GB=35.877, [valid] loss_ctc=47.202, cer_ctc=0.251, loss_att=42.302, acc=0.660, cer=0.313, wer=0.977, loss=43.772, time=25 minutes and 24.94 seconds, total_count=51381, gpu_max_cached_mem_GB=35.877 -[gpua002:0/64] 2023-12-05 21:29:25,488 (trainer:391) INFO: The best model has been updated: valid.acc, valid.total_count -[gpua002:0/64] 2023-12-05 21:29:25,493 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/6epoch.pth -[gpua002:0/64] 2023-12-05 21:29:25,493 (trainer:272) INFO: 12/40epoch started. Estimated time to finish: 1 week, 6 days and 46 minutes -[gpua002:0/64] 2023-12-05 21:29:25,505 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua002:0/64] 2023-12-05 21:29:44,975 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-05 21:29:48,611 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-05 21:29:48,611 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua002:0/64] 2023-12-05 21:29:48,638 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-05 21:36:37,923 (trainer:737) INFO: 12epoch:train:1-100batch: iter_time=2.631, forward_time=0.180, loss_ctc=75.985, loss_att=64.044, acc=0.663, loss=67.626, backward_time=0.291, grad_norm=53.171, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.134, optim0_lr0=1.206e-04, train_time=4.324 -[gpua002:0/64] 2023-12-05 21:38:41,898 (trainer:737) INFO: 12epoch:train:101-200batch: iter_time=7.937e-05, forward_time=0.146, loss_ctc=76.447, loss_att=61.144, acc=0.675, loss=65.735, backward_time=0.281, grad_norm=48.003, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.134, optim0_lr0=1.205e-04, train_time=1.240 -[gpua002:0/64] 2023-12-05 21:41:02,823 (trainer:737) INFO: 12epoch:train:201-300batch: iter_time=7.928e-05, forward_time=0.147, loss_ctc=74.713, loss_att=62.969, acc=0.682, loss=66.492, backward_time=0.287, grad_norm=46.578, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.134, optim0_lr0=1.205e-04, train_time=1.409 -[gpua002:0/64] 2023-12-05 21:43:08,975 (trainer:737) INFO: 12epoch:train:301-400batch: iter_time=7.706e-05, forward_time=0.146, loss_ctc=85.515, loss_att=60.095, acc=0.686, loss=67.721, backward_time=0.281, grad_norm=55.023, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.134, optim0_lr0=1.205e-04, train_time=1.261 -[gpua002:0/64] 2023-12-05 21:45:21,465 (trainer:737) INFO: 12epoch:train:401-500batch: iter_time=8.244e-05, forward_time=0.147, loss_ctc=77.725, loss_att=67.655, acc=0.651, loss=70.676, backward_time=0.309, grad_norm=50.843, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.134, optim0_lr0=1.204e-04, train_time=1.325 -[gpua002:0/64] 2023-12-05 21:48:08,116 (trainer:737) INFO: 12epoch:train:501-600batch: iter_time=8.052e-05, forward_time=0.147, loss_ctc=75.219, loss_att=59.178, acc=0.680, loss=63.991, backward_time=0.342, grad_norm=45.087, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.134, optim0_lr0=1.204e-04, train_time=1.666 -[gpua002:0/64] 2023-12-05 21:50:47,273 (trainer:737) INFO: 12epoch:train:601-700batch: iter_time=8.410e-05, forward_time=0.147, loss_ctc=77.257, loss_att=68.368, acc=0.667, loss=71.035, backward_time=0.300, grad_norm=46.360, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.134, optim0_lr0=1.204e-04, train_time=1.591 -[gpua002:0/64] 2023-12-05 21:53:28,753 (trainer:737) INFO: 12epoch:train:701-800batch: iter_time=8.117e-05, forward_time=0.147, loss_ctc=64.910, loss_att=53.729, acc=0.685, loss=57.083, backward_time=0.361, grad_norm=40.148, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.134, optim0_lr0=1.203e-04, train_time=1.615 -[gpua002:0/64] 2023-12-05 21:56:03,147 (trainer:737) INFO: 12epoch:train:801-900batch: iter_time=7.814e-05, forward_time=0.147, loss_ctc=71.430, loss_att=57.835, acc=0.680, loss=61.914, backward_time=0.301, grad_norm=45.092, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.134, optim0_lr0=1.203e-04, train_time=1.544 -[gpua002:0/64] 2023-12-05 21:58:37,138 (trainer:737) INFO: 12epoch:train:901-1000batch: iter_time=7.835e-05, forward_time=0.200, loss_ctc=85.969, loss_att=67.876, acc=0.684, loss=73.304, backward_time=0.377, grad_norm=52.093, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.140, optim0_lr0=1.203e-04, train_time=1.540 -[gpua002:0/64] 2023-12-05 22:01:19,915 (trainer:737) INFO: 12epoch:train:1001-1100batch: iter_time=8.044e-05, forward_time=0.148, loss_ctc=72.378, loss_att=59.774, acc=0.684, loss=63.555, backward_time=0.358, grad_norm=42.429, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.134, optim0_lr0=1.202e-04, train_time=1.628 -[gpua002:0/64] 2023-12-05 22:03:38,564 (trainer:737) INFO: 12epoch:train:1101-1200batch: iter_time=8.357e-05, forward_time=0.147, loss_ctc=76.038, loss_att=61.414, acc=0.693, loss=65.801, backward_time=0.281, grad_norm=43.730, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.134, optim0_lr0=1.202e-04, train_time=1.386 -[gpua002:0/64] 2023-12-05 22:05:18,073 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua002:0/64] 2023-12-05 22:05:37,011 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-05 22:05:40,458 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-05 22:05:40,458 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua002:0/64] 2023-12-05 22:05:40,461 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-05 22:14:02,700 (trainer:737) INFO: 12epoch:train:1201-1300batch: iter_time=2.555, forward_time=0.149, loss_ctc=73.940, loss_att=66.858, acc=0.664, loss=68.982, backward_time=0.323, grad_norm=50.482, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.134, optim0_lr0=1.201e-04, train_time=6.241 -[gpua002:0/64] 2023-12-05 22:16:16,347 (trainer:737) INFO: 12epoch:train:1301-1400batch: iter_time=7.962e-05, forward_time=0.146, loss_ctc=73.315, loss_att=60.674, acc=0.646, loss=64.466, backward_time=0.282, grad_norm=50.578, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.133, optim0_lr0=1.201e-04, train_time=1.336 -[gpua002:0/64] 2023-12-05 22:19:04,170 (trainer:737) INFO: 12epoch:train:1401-1500batch: iter_time=8.031e-05, forward_time=0.181, loss_ctc=79.085, loss_att=66.747, acc=0.679, loss=70.448, backward_time=0.364, grad_norm=48.985, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.138, optim0_lr0=1.201e-04, train_time=1.677 -[gpua002:0/64] 2023-12-05 22:21:57,254 (trainer:737) INFO: 12epoch:train:1501-1600batch: iter_time=8.030e-05, forward_time=0.146, loss_ctc=86.692, loss_att=63.503, acc=0.688, loss=70.460, backward_time=0.322, grad_norm=60.843, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.134, optim0_lr0=1.200e-04, train_time=1.732 -[gpua002:0/64] 2023-12-05 22:24:16,862 (trainer:737) INFO: 12epoch:train:1601-1700batch: iter_time=8.267e-05, forward_time=0.146, loss_ctc=76.035, loss_att=60.268, acc=0.671, loss=64.998, backward_time=0.289, grad_norm=49.181, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.134, optim0_lr0=1.200e-04, train_time=1.396 -[gpua002:0/64] 2023-12-05 22:27:02,284 (trainer:737) INFO: 12epoch:train:1701-1800batch: iter_time=8.087e-05, forward_time=0.146, loss_ctc=74.525, loss_att=60.514, acc=0.665, loss=64.718, backward_time=0.321, grad_norm=46.122, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.134, optim0_lr0=1.200e-04, train_time=1.654 -[gpua002:0/64] 2023-12-05 22:29:46,218 (trainer:737) INFO: 12epoch:train:1801-1900batch: iter_time=7.741e-05, forward_time=0.166, loss_ctc=74.736, loss_att=60.956, acc=0.674, loss=65.090, backward_time=0.315, grad_norm=45.523, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.134, optim0_lr0=1.199e-04, train_time=1.639 -[gpua002:0/64] 2023-12-05 22:32:22,033 (trainer:737) INFO: 12epoch:train:1901-2000batch: iter_time=7.836e-05, forward_time=0.146, loss_ctc=71.080, loss_att=58.348, acc=0.667, loss=62.168, backward_time=0.319, grad_norm=43.761, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.134, optim0_lr0=1.199e-04, train_time=1.558 -[gpua002:0/64] 2023-12-05 22:35:07,264 (trainer:737) INFO: 12epoch:train:2001-2100batch: iter_time=7.953e-05, forward_time=0.147, loss_ctc=62.914, loss_att=51.687, acc=0.699, loss=55.055, backward_time=0.301, grad_norm=39.074, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.134, optim0_lr0=1.199e-04, train_time=1.652 -[gpua002:0/64] 2023-12-05 22:37:38,119 (trainer:737) INFO: 12epoch:train:2101-2200batch: iter_time=8.003e-05, forward_time=0.146, loss_ctc=83.688, loss_att=64.695, acc=0.665, loss=70.393, backward_time=0.313, grad_norm=58.826, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.133, optim0_lr0=1.198e-04, train_time=1.508 -[gpua002:0/64] 2023-12-05 22:40:22,934 (trainer:737) INFO: 12epoch:train:2201-2300batch: iter_time=8.034e-05, forward_time=0.146, loss_ctc=68.162, loss_att=55.978, acc=0.685, loss=59.633, backward_time=0.323, grad_norm=36.942, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.133, optim0_lr0=1.198e-04, train_time=1.648 -[gpua002:0/64] 2023-12-05 22:42:34,946 (trainer:737) INFO: 12epoch:train:2301-2400batch: iter_time=7.854e-05, forward_time=0.146, loss_ctc=80.420, loss_att=63.821, acc=0.678, loss=68.800, backward_time=0.283, grad_norm=49.317, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.133, optim0_lr0=1.198e-04, train_time=1.320 -[gpua002:0/64] 2023-12-05 22:45:18,541 (trainer:737) INFO: 12epoch:train:2401-2500batch: iter_time=7.517e-05, forward_time=0.210, loss_ctc=74.416, loss_att=64.893, acc=0.666, loss=67.750, backward_time=0.342, grad_norm=46.967, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.141, optim0_lr0=1.197e-04, train_time=1.636 -[gpua002:0/64] 2023-12-05 22:45:38,252 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua002:0/64] 2023-12-05 22:45:56,936 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-05 22:46:00,405 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-05 22:46:00,405 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua002:0/64] 2023-12-05 22:46:00,408 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-05 22:55:38,119 (trainer:737) INFO: 12epoch:train:2501-2600batch: iter_time=2.495, forward_time=0.147, loss_ctc=72.969, loss_att=62.147, acc=0.660, loss=65.394, backward_time=0.301, grad_norm=51.932, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.134, optim0_lr0=1.197e-04, train_time=6.195 -[gpua002:0/64] 2023-12-05 22:59:26,884 (trainer:737) INFO: 12epoch:train:2601-2700batch: iter_time=7.803e-05, forward_time=0.147, loss_ctc=75.705, loss_att=58.761, acc=0.679, loss=63.844, backward_time=0.498, grad_norm=45.692, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.134, optim0_lr0=1.196e-04, train_time=2.287 -[gpua002:0/64] 2023-12-05 23:03:15,315 (trainer:737) INFO: 12epoch:train:2701-2800batch: iter_time=8.640e-05, forward_time=0.148, loss_ctc=73.461, loss_att=61.278, acc=0.687, loss=64.933, backward_time=0.474, grad_norm=45.706, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.134, optim0_lr0=1.196e-04, train_time=2.284 -[gpua002:0/64] 2023-12-05 23:07:08,109 (trainer:737) INFO: 12epoch:train:2801-2900batch: iter_time=8.818e-05, forward_time=0.147, loss_ctc=80.789, loss_att=58.206, acc=0.695, loss=64.981, backward_time=0.471, grad_norm=56.426, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.133, optim0_lr0=1.196e-04, train_time=2.328 -[gpua002:0/64] 2023-12-05 23:11:22,893 (trainer:737) INFO: 12epoch:train:2901-3000batch: iter_time=8.812e-05, forward_time=0.147, loss_ctc=75.004, loss_att=61.846, acc=0.664, loss=65.793, backward_time=0.462, grad_norm=46.837, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.133, optim0_lr0=1.195e-04, train_time=2.548 -[gpua002:0/64] 2023-12-05 23:14:45,764 (trainer:737) INFO: 12epoch:train:3001-3100batch: iter_time=8.969e-05, forward_time=0.146, loss_ctc=73.807, loss_att=57.959, acc=0.672, loss=62.714, backward_time=0.480, grad_norm=45.442, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.133, optim0_lr0=1.195e-04, train_time=2.028 -[gpua002:0/64] 2023-12-05 23:18:08,068 (trainer:737) INFO: 12epoch:train:3101-3200batch: iter_time=8.811e-05, forward_time=0.146, loss_ctc=76.127, loss_att=62.777, acc=0.675, loss=66.782, backward_time=0.400, grad_norm=46.259, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.133, optim0_lr0=1.195e-04, train_time=2.023 -[gpua002:0/64] 2023-12-05 23:21:42,650 (trainer:737) INFO: 12epoch:train:3201-3300batch: iter_time=2.749e-04, forward_time=0.149, loss_ctc=63.874, loss_att=52.604, acc=0.687, loss=55.985, backward_time=0.449, grad_norm=40.205, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.133, optim0_lr0=1.194e-04, train_time=2.146 -[gpua002:0/64] 2023-12-05 23:25:41,127 (trainer:737) INFO: 12epoch:train:3301-3400batch: iter_time=8.490e-05, forward_time=0.200, loss_ctc=71.307, loss_att=57.375, acc=0.674, loss=61.555, backward_time=0.499, grad_norm=48.621, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.137, optim0_lr0=1.194e-04, train_time=2.385 -[gpua002:0/64] 2023-12-05 23:30:14,942 (trainer:737) INFO: 12epoch:train:3401-3500batch: iter_time=8.032e-05, forward_time=0.167, loss_ctc=82.002, loss_att=65.824, acc=0.686, loss=70.677, backward_time=0.626, grad_norm=51.006, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.133, optim0_lr0=1.194e-04, train_time=2.738 -[gpua002:0/64] 2023-12-05 23:34:04,162 (trainer:737) INFO: 12epoch:train:3501-3600batch: iter_time=8.032e-05, forward_time=0.147, loss_ctc=71.324, loss_att=57.222, acc=0.681, loss=61.453, backward_time=0.402, grad_norm=44.865, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.133, optim0_lr0=1.193e-04, train_time=2.292 -[gpua002:0/64] 2023-12-05 23:37:35,839 (trainer:737) INFO: 12epoch:train:3601-3700batch: iter_time=8.107e-05, forward_time=0.146, loss_ctc=74.968, loss_att=60.025, acc=0.687, loss=64.508, backward_time=0.360, grad_norm=45.551, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.133, optim0_lr0=1.193e-04, train_time=2.117 -[gpua002:0/64] 2023-12-05 23:39:14,321 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua002:0/64] 2023-12-05 23:39:33,326 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-05 23:39:36,785 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-05 23:39:36,785 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua002:0/64] 2023-12-05 23:39:36,788 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-05 23:48:37,076 (trainer:737) INFO: 12epoch:train:3701-3800batch: iter_time=3.057, forward_time=0.180, loss_ctc=72.408, loss_att=65.526, acc=0.666, loss=67.591, backward_time=0.302, grad_norm=46.833, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.135, optim0_lr0=1.193e-04, train_time=6.612 -[gpua002:0/64] 2023-12-05 23:51:26,547 (trainer:737) INFO: 12epoch:train:3801-3900batch: iter_time=8.177e-05, forward_time=0.146, loss_ctc=71.674, loss_att=60.791, acc=0.661, loss=64.056, backward_time=0.306, grad_norm=48.408, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.134, optim0_lr0=1.192e-04, train_time=1.694 -[gpua002:0/64] 2023-12-05 23:54:27,975 (trainer:737) INFO: 12epoch:train:3901-4000batch: iter_time=8.041e-05, forward_time=0.147, loss_ctc=78.818, loss_att=66.317, acc=0.692, loss=70.067, backward_time=0.397, grad_norm=45.443, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.134, optim0_lr0=1.192e-04, train_time=1.814 -[gpua002:0/64] 2023-12-05 23:57:22,715 (trainer:737) INFO: 12epoch:train:4001-4100batch: iter_time=8.042e-05, forward_time=0.147, loss_ctc=82.032, loss_att=62.621, acc=0.693, loss=68.444, backward_time=0.347, grad_norm=60.507, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.134, optim0_lr0=1.192e-04, train_time=1.747 -[gpua002:0/64] 2023-12-06 00:00:06,831 (trainer:737) INFO: 12epoch:train:4101-4200batch: iter_time=7.924e-05, forward_time=0.147, loss_ctc=74.516, loss_att=61.499, acc=0.677, loss=65.404, backward_time=0.320, grad_norm=52.075, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.134, optim0_lr0=1.191e-04, train_time=1.641 -[gpua002:0/64] 2023-12-06 00:02:49,765 (trainer:737) INFO: 12epoch:train:4201-4300batch: iter_time=8.152e-05, forward_time=0.147, loss_ctc=73.136, loss_att=60.229, acc=0.681, loss=64.101, backward_time=0.319, grad_norm=43.714, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.134, optim0_lr0=1.191e-04, train_time=1.629 -[gpua002:0/64] 2023-12-06 00:05:28,096 (trainer:737) INFO: 12epoch:train:4301-4400batch: iter_time=7.928e-05, forward_time=0.199, loss_ctc=74.294, loss_att=61.028, acc=0.686, loss=65.008, backward_time=0.345, grad_norm=43.579, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.137, optim0_lr0=1.190e-04, train_time=1.583 -[gpua002:0/64] 2023-12-06 00:08:18,533 (trainer:737) INFO: 12epoch:train:4401-4500batch: iter_time=8.115e-05, forward_time=0.184, loss_ctc=70.307, loss_att=61.816, acc=0.671, loss=64.363, backward_time=0.308, grad_norm=45.628, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.135, optim0_lr0=1.190e-04, train_time=1.704 -[gpua002:0/64] 2023-12-06 00:11:29,744 (trainer:737) INFO: 12epoch:train:4501-4600batch: iter_time=8.433e-05, forward_time=0.147, loss_ctc=62.199, loss_att=50.130, acc=0.712, loss=53.750, backward_time=0.359, grad_norm=37.126, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.133, optim0_lr0=1.190e-04, train_time=1.912 -[gpua002:0/64] 2023-12-06 00:14:02,259 (trainer:737) INFO: 12epoch:train:4601-4700batch: iter_time=8.396e-05, forward_time=0.146, loss_ctc=82.500, loss_att=63.892, acc=0.676, loss=69.475, backward_time=0.292, grad_norm=65.674, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.133, optim0_lr0=1.189e-04, train_time=1.525 -[gpua002:0/64] 2023-12-06 00:16:28,315 (trainer:737) INFO: 12epoch:train:4701-4800batch: iter_time=7.992e-05, forward_time=0.147, loss_ctc=68.129, loss_att=57.329, acc=0.691, loss=60.569, backward_time=0.294, grad_norm=39.717, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.133, optim0_lr0=1.189e-04, train_time=1.460 -[gpua002:0/64] 2023-12-06 00:19:04,024 (trainer:737) INFO: 12epoch:train:4801-4900batch: iter_time=8.028e-05, forward_time=0.147, loss_ctc=79.672, loss_att=63.780, acc=0.697, loss=68.548, backward_time=0.292, grad_norm=45.417, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.133, optim0_lr0=1.189e-04, train_time=1.557 -[gpua002:0/64] 2023-12-06 00:21:50,008 (trainer:737) INFO: 12epoch:train:4901-5000batch: iter_time=8.413e-05, forward_time=0.147, loss_ctc=73.942, loss_att=65.498, acc=0.680, loss=68.031, backward_time=0.333, grad_norm=45.095, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.133, optim0_lr0=1.188e-04, train_time=1.660 -[gpua002:0/64] 2023-12-06 00:22:10,037 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua002:0/64] 2023-12-06 00:22:28,999 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 00:22:32,499 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 00:22:32,499 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua002:0/64] 2023-12-06 00:22:32,515 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 00:29:10,425 (trainer:737) INFO: 12epoch:train:5001-5100batch: iter_time=2.834, forward_time=0.174, loss_ctc=71.244, loss_att=60.916, acc=0.679, loss=64.014, backward_time=0.301, grad_norm=47.999, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=1.188e-04, train_time=4.404 -[gpua002:0/64] 2023-12-06 00:31:51,150 (trainer:737) INFO: 12epoch:train:5101-5200batch: iter_time=7.776e-05, forward_time=0.146, loss_ctc=74.799, loss_att=59.229, acc=0.688, loss=63.900, backward_time=0.373, grad_norm=47.047, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=1.188e-04, train_time=1.607 -[gpua002:0/64] 2023-12-06 00:34:11,363 (trainer:737) INFO: 12epoch:train:5201-5300batch: iter_time=7.855e-05, forward_time=0.146, loss_ctc=73.498, loss_att=61.580, acc=0.693, loss=65.155, backward_time=0.283, grad_norm=44.056, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=1.187e-04, train_time=1.402 -[gpua002:0/64] 2023-12-06 00:36:43,546 (trainer:737) INFO: 12epoch:train:5301-5400batch: iter_time=7.738e-05, forward_time=0.147, loss_ctc=81.904, loss_att=57.819, acc=0.699, loss=65.044, backward_time=0.288, grad_norm=51.526, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=1.187e-04, train_time=1.522 -[gpua002:0/64] 2023-12-06 00:39:10,109 (trainer:737) INFO: 12epoch:train:5401-5500batch: iter_time=7.891e-05, forward_time=0.147, loss_ctc=75.234, loss_att=64.833, acc=0.668, loss=67.953, backward_time=0.297, grad_norm=47.161, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=1.187e-04, train_time=1.465 -[gpua002:0/64] 2023-12-06 00:42:19,242 (trainer:737) INFO: 12epoch:train:5501-5600batch: iter_time=7.978e-05, forward_time=0.146, loss_ctc=73.266, loss_att=56.683, acc=0.692, loss=61.658, backward_time=0.375, grad_norm=41.877, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=1.186e-04, train_time=1.891 -[gpua002:0/64] 2023-12-06 00:45:16,073 (trainer:737) INFO: 12epoch:train:5601-5700batch: iter_time=7.843e-05, forward_time=0.150, loss_ctc=75.384, loss_att=65.919, acc=0.681, loss=68.759, backward_time=0.325, grad_norm=43.119, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=1.186e-04, train_time=1.768 -[gpua002:0/64] 2023-12-06 00:47:56,477 (trainer:737) INFO: 12epoch:train:5701-5800batch: iter_time=7.952e-05, forward_time=0.221, loss_ctc=62.964, loss_att=51.889, acc=0.700, loss=55.212, backward_time=0.362, grad_norm=38.039, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.138, optim0_lr0=1.186e-04, train_time=1.604 -[gpua002:0/64] 2023-12-06 00:50:43,090 (trainer:737) INFO: 12epoch:train:5801-5900batch: iter_time=8.126e-05, forward_time=0.148, loss_ctc=70.667, loss_att=57.074, acc=0.688, loss=61.151, backward_time=0.321, grad_norm=44.221, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=1.185e-04, train_time=1.666 -[gpua002:0/64] 2023-12-06 00:53:12,939 (trainer:737) INFO: 12epoch:train:5901-6000batch: iter_time=7.996e-05, forward_time=0.146, loss_ctc=82.949, loss_att=65.956, acc=0.691, loss=71.054, backward_time=0.306, grad_norm=52.384, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=1.185e-04, train_time=1.498 -[gpua002:0/64] 2023-12-06 00:56:02,273 (trainer:737) INFO: 12epoch:train:6001-6100batch: iter_time=8.277e-05, forward_time=0.146, loss_ctc=70.530, loss_att=58.555, acc=0.691, loss=62.148, backward_time=0.309, grad_norm=41.527, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=1.185e-04, train_time=1.693 -[gpua002:0/64] 2023-12-06 00:58:58,777 (trainer:737) INFO: 12epoch:train:6101-6200batch: iter_time=8.243e-05, forward_time=0.147, loss_ctc=74.792, loss_att=59.805, acc=0.702, loss=64.301, backward_time=0.338, grad_norm=46.792, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=1.184e-04, train_time=1.765 -[gpua002:0/64] 2023-12-06 01:00:23,305 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua002:0/64] 2023-12-06 01:00:42,074 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 01:00:45,917 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 01:00:45,917 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua002:0/64] 2023-12-06 01:00:45,920 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 01:09:54,570 (trainer:737) INFO: 12epoch:train:6201-6300batch: iter_time=3.260, forward_time=0.188, loss_ctc=71.207, loss_att=63.751, acc=0.684, loss=65.988, backward_time=0.289, grad_norm=45.723, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=1.184e-04, train_time=6.558 -[gpua002:0/64] 2023-12-06 01:12:20,947 (trainer:737) INFO: 12epoch:train:6301-6400batch: iter_time=7.810e-05, forward_time=0.146, loss_ctc=71.064, loss_att=59.177, acc=0.667, loss=62.743, backward_time=0.316, grad_norm=45.780, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=1.183e-04, train_time=1.464 -[gpua002:0/64] 2023-12-06 01:15:01,740 (trainer:737) INFO: 12epoch:train:6401-6500batch: iter_time=8.350e-05, forward_time=0.146, loss_ctc=77.993, loss_att=64.289, acc=0.697, loss=68.400, backward_time=0.303, grad_norm=44.147, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=1.183e-04, train_time=1.608 -[gpua002:0/64] 2023-12-06 01:17:53,642 (trainer:737) INFO: 12epoch:train:6501-6600batch: iter_time=8.444e-05, forward_time=0.213, loss_ctc=84.209, loss_att=62.705, acc=0.695, loss=69.156, backward_time=0.346, grad_norm=55.314, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.138, optim0_lr0=1.183e-04, train_time=1.718 -[gpua002:0/64] 2023-12-06 01:20:29,645 (trainer:737) INFO: 12epoch:train:6601-6700batch: iter_time=8.883e-05, forward_time=0.147, loss_ctc=73.446, loss_att=60.075, acc=0.683, loss=64.086, backward_time=0.311, grad_norm=45.275, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=1.182e-04, train_time=1.560 -[gpua002:0/64] 2023-12-06 01:23:06,634 (trainer:737) INFO: 12epoch:train:6701-6800batch: iter_time=8.519e-05, forward_time=0.146, loss_ctc=72.208, loss_att=58.716, acc=0.683, loss=62.763, backward_time=0.330, grad_norm=43.040, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=1.182e-04, train_time=1.570 -[gpua002:0/64] 2023-12-06 01:25:37,486 (trainer:737) INFO: 12epoch:train:6801-6900batch: iter_time=8.155e-05, forward_time=0.146, loss_ctc=73.368, loss_att=59.153, acc=0.695, loss=63.417, backward_time=0.299, grad_norm=43.632, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=1.182e-04, train_time=1.508 -[gpua002:0/64] 2023-12-06 01:28:38,562 (trainer:737) INFO: 12epoch:train:6901-7000batch: iter_time=8.232e-05, forward_time=0.262, loss_ctc=69.513, loss_att=60.118, acc=0.678, loss=62.936, backward_time=0.335, grad_norm=43.194, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.158, optim0_lr0=1.181e-04, train_time=1.810 -[gpua002:0/64] 2023-12-06 01:31:02,369 (trainer:737) INFO: 12epoch:train:7001-7100batch: iter_time=7.877e-05, forward_time=0.146, loss_ctc=62.174, loss_att=50.482, acc=0.711, loss=53.990, backward_time=0.287, grad_norm=36.810, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=1.181e-04, train_time=1.438 -[gpua002:0/64] 2023-12-06 01:34:00,676 (trainer:737) INFO: 12epoch:train:7101-7200batch: iter_time=8.221e-05, forward_time=0.146, loss_ctc=81.682, loss_att=63.995, acc=0.679, loss=69.301, backward_time=0.358, grad_norm=56.267, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=1.181e-04, train_time=1.783 -[gpua002:0/64] 2023-12-06 01:36:39,098 (trainer:737) INFO: 12epoch:train:7201-7300batch: iter_time=8.667e-05, forward_time=0.146, loss_ctc=66.752, loss_att=56.234, acc=0.694, loss=59.390, backward_time=0.306, grad_norm=41.192, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=1.180e-04, train_time=1.584 -[gpua002:0/64] 2023-12-06 01:38:56,578 (trainer:737) INFO: 12epoch:train:7301-7400batch: iter_time=7.968e-05, forward_time=0.146, loss_ctc=79.581, loss_att=63.071, acc=0.701, loss=68.024, backward_time=0.287, grad_norm=43.872, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=1.180e-04, train_time=1.375 -[gpua002:0/64] 2023-12-06 01:41:43,512 (trainer:737) INFO: 12epoch:train:7401-7500batch: iter_time=8.018e-05, forward_time=0.253, loss_ctc=73.687, loss_att=64.150, acc=0.683, loss=67.011, backward_time=0.346, grad_norm=50.426, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.137, optim0_lr0=1.180e-04, train_time=1.669 -[gpua002:0/64] 2023-12-06 01:42:03,658 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua002:0/64] 2023-12-06 01:42:22,957 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 01:42:26,512 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 01:42:26,512 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua002:0/64] 2023-12-06 01:42:26,515 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 01:56:49,562 (trainer:737) INFO: 12epoch:train:7501-7600batch: iter_time=3.141, forward_time=0.181, loss_ctc=70.851, loss_att=62.095, acc=0.669, loss=64.722, backward_time=0.292, grad_norm=48.609, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=1.179e-04, train_time=9.060 -[gpua002:0/64] 2023-12-06 01:59:27,122 (trainer:737) INFO: 12epoch:train:7601-7700batch: iter_time=7.726e-05, forward_time=0.148, loss_ctc=74.596, loss_att=59.844, acc=0.681, loss=64.269, backward_time=0.310, grad_norm=45.905, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.140, optim0_lr0=1.179e-04, train_time=1.576 -[gpua002:0/64] 2023-12-06 02:01:54,578 (trainer:737) INFO: 12epoch:train:7701-7800batch: iter_time=8.097e-05, forward_time=0.145, loss_ctc=72.879, loss_att=61.250, acc=0.692, loss=64.739, backward_time=0.290, grad_norm=43.843, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=1.179e-04, train_time=1.474 -[gpua002:0/64] 2023-12-06 02:04:25,007 (trainer:737) INFO: 12epoch:train:7801-7900batch: iter_time=8.064e-05, forward_time=0.147, loss_ctc=79.118, loss_att=57.135, acc=0.699, loss=63.730, backward_time=0.291, grad_norm=58.503, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=1.178e-04, train_time=1.504 -[gpua002:0/64] 2023-12-06 02:07:08,957 (trainer:737) INFO: 12epoch:train:7901-8000batch: iter_time=7.414e-04, forward_time=0.148, loss_ctc=73.651, loss_att=62.675, acc=0.667, loss=65.968, backward_time=0.297, grad_norm=45.315, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=1.178e-04, train_time=1.639 -[gpua002:0/64] 2023-12-06 02:09:54,632 (trainer:737) INFO: 12epoch:train:8001-8100batch: iter_time=8.255e-05, forward_time=0.155, loss_ctc=73.158, loss_att=57.610, acc=0.675, loss=62.274, backward_time=0.304, grad_norm=45.175, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=1.178e-04, train_time=1.657 -[gpua002:0/64] 2023-12-06 02:12:27,041 (trainer:737) INFO: 12epoch:train:8101-8200batch: iter_time=8.279e-05, forward_time=0.235, loss_ctc=74.895, loss_att=62.554, acc=0.679, loss=66.257, backward_time=0.331, grad_norm=47.663, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.138, optim0_lr0=1.177e-04, train_time=1.524 -[gpua002:0/64] 2023-12-06 02:15:02,715 (trainer:737) INFO: 12epoch:train:8201-8300batch: iter_time=8.260e-05, forward_time=0.146, loss_ctc=62.716, loss_att=51.484, acc=0.694, loss=54.854, backward_time=0.303, grad_norm=38.528, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=1.177e-04, train_time=1.557 -[gpua002:0/64] 2023-12-06 02:17:25,975 (trainer:737) INFO: 12epoch:train:8301-8400batch: iter_time=8.494e-05, forward_time=0.149, loss_ctc=69.710, loss_att=55.774, acc=0.680, loss=59.955, backward_time=0.300, grad_norm=46.123, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=1.177e-04, train_time=1.432 -[gpua002:0/64] 2023-12-06 02:20:01,983 (trainer:737) INFO: 12epoch:train:8401-8500batch: iter_time=8.178e-05, forward_time=0.150, loss_ctc=81.260, loss_att=65.026, acc=0.692, loss=69.896, backward_time=0.324, grad_norm=52.172, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=1.176e-04, train_time=1.560 -[gpua002:0/64] 2023-12-06 02:23:05,365 (trainer:737) INFO: 12epoch:train:8501-8600batch: iter_time=8.185e-05, forward_time=0.146, loss_ctc=70.252, loss_att=56.865, acc=0.684, loss=60.881, backward_time=0.347, grad_norm=42.952, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=1.176e-04, train_time=1.834 -[gpua002:0/64] 2023-12-06 02:25:22,303 (trainer:737) INFO: 12epoch:train:8601-8700batch: iter_time=8.200e-05, forward_time=0.148, loss_ctc=73.939, loss_att=59.293, acc=0.690, loss=63.687, backward_time=0.305, grad_norm=43.632, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=1.176e-04, train_time=1.369 -[gpua002:0/64] 2023-12-06 02:26:46,823 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua002:0/64] 2023-12-06 02:27:06,276 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 02:27:09,848 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 02:27:09,848 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua002:0/64] 2023-12-06 02:27:09,851 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 02:36:30,227 (trainer:737) INFO: 12epoch:train:8701-8800batch: iter_time=3.152, forward_time=0.190, loss_ctc=71.823, loss_att=64.823, acc=0.665, loss=66.923, backward_time=0.286, grad_norm=48.678, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=1.175e-04, train_time=6.679 -[gpua002:0/64] 2023-12-06 02:38:56,598 (trainer:737) INFO: 12epoch:train:8801-8900batch: iter_time=7.731e-05, forward_time=0.146, loss_ctc=70.824, loss_att=58.777, acc=0.659, loss=62.391, backward_time=0.294, grad_norm=48.138, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=1.175e-04, train_time=1.463 -[gpua002:0/64] 2023-12-06 02:41:21,038 (trainer:737) INFO: 12epoch:train:8901-9000batch: iter_time=8.052e-05, forward_time=0.146, loss_ctc=77.038, loss_att=64.164, acc=0.690, loss=68.026, backward_time=0.295, grad_norm=45.295, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=1.175e-04, train_time=1.444 -[gpua002:0/64] 2023-12-06 02:44:03,936 (trainer:737) INFO: 12epoch:train:9001-9100batch: iter_time=8.192e-05, forward_time=0.146, loss_ctc=80.207, loss_att=61.440, acc=0.699, loss=67.070, backward_time=0.292, grad_norm=54.083, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=1.174e-04, train_time=1.629 -[gpua002:0/64] 2023-12-06 02:46:40,896 (trainer:737) INFO: 12epoch:train:9101-9200batch: iter_time=7.715e-05, forward_time=0.151, loss_ctc=73.688, loss_att=58.660, acc=0.681, loss=63.169, backward_time=0.324, grad_norm=47.201, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=1.174e-04, train_time=1.569 -[gpua002:0/64] 2023-12-06 02:49:49,997 (trainer:737) INFO: 12epoch:train:9201-9300batch: iter_time=7.846e-05, forward_time=0.150, loss_ctc=72.103, loss_att=57.431, acc=0.680, loss=61.833, backward_time=0.368, grad_norm=45.292, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=1.174e-04, train_time=1.891 -[gpua002:0/64] 2023-12-06 02:52:31,199 (trainer:737) INFO: 12epoch:train:9301-9400batch: iter_time=8.137e-05, forward_time=0.146, loss_ctc=73.434, loss_att=60.531, acc=0.680, loss=64.402, backward_time=0.310, grad_norm=44.618, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=1.173e-04, train_time=1.611 -[gpua002:0/64] 2023-12-06 02:54:59,470 (trainer:737) INFO: 12epoch:train:9401-9500batch: iter_time=8.181e-05, forward_time=0.146, loss_ctc=69.109, loss_att=56.355, acc=0.678, loss=60.181, backward_time=0.301, grad_norm=45.781, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=1.173e-04, train_time=1.483 -[gpua002:0/64] 2023-12-06 02:57:37,356 (trainer:737) INFO: 12epoch:train:9501-9600batch: iter_time=8.307e-05, forward_time=0.215, loss_ctc=61.973, loss_att=49.768, acc=0.711, loss=53.429, backward_time=0.341, grad_norm=38.835, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.138, optim0_lr0=1.173e-04, train_time=1.579 -[gpua002:0/64] 2023-12-06 03:00:21,862 (trainer:737) INFO: 12epoch:train:9601-9700batch: iter_time=7.883e-05, forward_time=0.155, loss_ctc=81.588, loss_att=62.518, acc=0.676, loss=68.239, backward_time=0.328, grad_norm=59.059, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=1.172e-04, train_time=1.645 -[gpua002:0/64] 2023-12-06 03:02:44,521 (trainer:737) INFO: 12epoch:train:9701-9800batch: iter_time=8.070e-05, forward_time=0.147, loss_ctc=66.581, loss_att=54.967, acc=0.691, loss=58.452, backward_time=0.299, grad_norm=39.513, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=1.172e-04, train_time=1.426 -[gpua002:0/64] 2023-12-06 03:05:27,647 (trainer:737) INFO: 12epoch:train:9801-9900batch: iter_time=7.949e-05, forward_time=0.149, loss_ctc=79.584, loss_att=62.694, acc=0.685, loss=67.761, backward_time=0.323, grad_norm=46.951, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=1.172e-04, train_time=1.631 -[gpua002:0/64] 2023-12-06 03:07:56,020 (trainer:737) INFO: 12epoch:train:9901-10000batch: iter_time=7.601e-05, forward_time=0.147, loss_ctc=73.210, loss_att=64.456, acc=0.669, loss=67.082, backward_time=0.296, grad_norm=45.538, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=1.171e-04, train_time=1.484 -[gpua002:0/64] 2023-12-06 03:08:16,048 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua002:0/64] 2023-12-06 03:08:35,508 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 03:08:39,123 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 03:08:39,123 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua002:0/64] 2023-12-06 03:08:39,126 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 03:19:02,687 (trainer:737) INFO: 12epoch:train:10001-10100batch: iter_time=3.152, forward_time=0.148, loss_ctc=70.539, loss_att=60.510, acc=0.671, loss=63.518, backward_time=0.288, grad_norm=50.148, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=1.171e-04, train_time=6.666 -[gpua002:0/64] 2023-12-06 03:21:48,025 (trainer:737) INFO: 12epoch:train:10101-10200batch: iter_time=7.580e-05, forward_time=0.152, loss_ctc=74.750, loss_att=58.079, acc=0.686, loss=63.080, backward_time=0.316, grad_norm=46.989, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=1.171e-04, train_time=1.653 -[gpua002:0/64] 2023-12-06 03:24:06,909 (trainer:737) INFO: 12epoch:train:10201-10300batch: iter_time=8.019e-05, forward_time=0.146, loss_ctc=72.842, loss_att=60.345, acc=0.694, loss=64.094, backward_time=0.281, grad_norm=46.184, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=1.170e-04, train_time=1.389 -[gpua002:0/64] 2023-12-06 03:26:34,466 (trainer:737) INFO: 12epoch:train:10301-10400batch: iter_time=8.074e-05, forward_time=0.147, loss_ctc=79.488, loss_att=56.300, acc=0.704, loss=63.256, backward_time=0.282, grad_norm=56.423, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=1.170e-04, train_time=1.475 -[gpua002:0/64] 2023-12-06 03:29:17,538 (trainer:737) INFO: 12epoch:train:10401-10500batch: iter_time=7.579e-05, forward_time=0.203, loss_ctc=73.196, loss_att=61.026, acc=0.671, loss=64.677, backward_time=0.325, grad_norm=47.215, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=1.170e-04, train_time=1.631 -[gpua002:0/64] 2023-12-06 03:32:05,109 (trainer:737) INFO: 12epoch:train:10501-10600batch: iter_time=8.017e-05, forward_time=0.164, loss_ctc=72.313, loss_att=56.178, acc=0.680, loss=61.018, backward_time=0.309, grad_norm=43.211, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=1.169e-04, train_time=1.675 -[gpua002:0/64] 2023-12-06 03:34:18,498 (trainer:737) INFO: 12epoch:train:10601-10700batch: iter_time=8.125e-05, forward_time=0.147, loss_ctc=74.361, loss_att=61.441, acc=0.684, loss=65.317, backward_time=0.293, grad_norm=43.144, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=1.169e-04, train_time=1.334 -[gpua002:0/64] 2023-12-06 03:36:52,449 (trainer:737) INFO: 12epoch:train:10701-10800batch: iter_time=8.731e-05, forward_time=0.147, loss_ctc=62.523, loss_att=51.352, acc=0.694, loss=54.703, backward_time=0.328, grad_norm=38.059, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=1.169e-04, train_time=1.539 -[gpua002:0/64] 2023-12-06 03:39:31,548 (trainer:737) INFO: 12epoch:train:10801-10900batch: iter_time=8.474e-05, forward_time=0.151, loss_ctc=69.524, loss_att=55.748, acc=0.681, loss=59.880, backward_time=0.295, grad_norm=47.597, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=1.168e-04, train_time=1.591 -[gpua002:0/64] 2023-12-06 03:42:29,093 (trainer:737) INFO: 12epoch:train:10901-11000batch: iter_time=7.826e-05, forward_time=0.147, loss_ctc=81.353, loss_att=65.518, acc=0.693, loss=70.269, backward_time=0.309, grad_norm=52.004, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=1.168e-04, train_time=1.775 -[gpua002:0/64] 2023-12-06 03:45:10,969 (trainer:737) INFO: 12epoch:train:11001-11100batch: iter_time=7.813e-05, forward_time=0.147, loss_ctc=69.742, loss_att=56.305, acc=0.686, loss=60.336, backward_time=0.323, grad_norm=40.404, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=1.168e-04, train_time=1.618 -[gpua002:0/64] 2023-12-06 03:47:24,503 (trainer:737) INFO: 12epoch:train:11101-11200batch: iter_time=7.269e-05, forward_time=0.149, loss_ctc=74.022, loss_att=58.995, acc=0.694, loss=63.503, backward_time=0.283, grad_norm=44.341, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=1.167e-04, train_time=1.335 -[gpua002:0/64] 2023-12-06 03:48:58,066 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua002:0/64] 2023-12-06 03:49:17,410 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 03:49:20,981 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 03:49:20,981 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua002:0/64] 2023-12-06 03:49:20,985 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 03:55:01,837 (trainer:737) INFO: 12epoch:train:11201-11300batch: iter_time=3.106, forward_time=0.175, loss_ctc=70.874, loss_att=63.142, acc=0.670, loss=65.461, backward_time=0.291, grad_norm=45.514, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=1.167e-04, train_time=4.573 -[gpua002:0/64] 2023-12-06 03:57:11,720 (trainer:737) INFO: 12epoch:train:11301-11400batch: iter_time=7.814e-05, forward_time=0.147, loss_ctc=70.215, loss_att=57.900, acc=0.662, loss=61.594, backward_time=0.281, grad_norm=49.982, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=1.167e-04, train_time=1.299 -[gpua002:0/64] 2023-12-06 03:59:19,570 (trainer:737) INFO: 12epoch:train:11401-11500batch: iter_time=8.332e-05, forward_time=0.146, loss_ctc=77.001, loss_att=63.757, acc=0.692, loss=67.730, backward_time=0.280, grad_norm=45.642, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=1.166e-04, train_time=1.278 -[gpua002:0/64] 2023-12-06 04:01:49,214 (trainer:737) INFO: 12epoch:train:11501-11600batch: iter_time=8.176e-05, forward_time=0.146, loss_ctc=81.816, loss_att=60.874, acc=0.701, loss=67.157, backward_time=0.312, grad_norm=58.900, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=1.166e-04, train_time=1.496 -[gpua002:0/64] 2023-12-06 04:04:42,429 (trainer:737) INFO: 12epoch:train:11601-11700batch: iter_time=8.147e-05, forward_time=0.151, loss_ctc=72.727, loss_att=57.895, acc=0.685, loss=62.345, backward_time=0.340, grad_norm=46.567, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=1.166e-04, train_time=1.732 -[gpua002:0/64] 2023-12-06 04:07:36,276 (trainer:737) INFO: 12epoch:train:11701-11800batch: iter_time=8.072e-05, forward_time=0.146, loss_ctc=71.945, loss_att=56.767, acc=0.682, loss=61.321, backward_time=0.346, grad_norm=44.526, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=1.165e-04, train_time=1.738 -[gpua002:0/64] 2023-12-06 04:09:44,621 (trainer:737) INFO: 12epoch:train:11801-11900batch: iter_time=8.322e-05, forward_time=0.148, loss_ctc=72.931, loss_att=59.929, acc=0.681, loss=63.830, backward_time=0.284, grad_norm=46.639, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=1.165e-04, train_time=1.283 -[gpua002:0/64] 2023-12-06 04:12:23,814 (trainer:737) INFO: 12epoch:train:11901-12000batch: iter_time=8.176e-05, forward_time=0.174, loss_ctc=68.727, loss_att=55.727, acc=0.682, loss=59.627, backward_time=0.309, grad_norm=45.190, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=1.165e-04, train_time=1.592 -[gpua002:0/64] 2023-12-06 04:14:53,191 (trainer:737) INFO: 12epoch:train:12001-12100batch: iter_time=7.923e-05, forward_time=0.194, loss_ctc=61.549, loss_att=49.265, acc=0.712, loss=52.950, backward_time=0.354, grad_norm=35.589, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=1.164e-04, train_time=1.493 -[gpua002:0/64] 2023-12-06 04:17:40,957 (trainer:737) INFO: 12epoch:train:12101-12200batch: iter_time=7.879e-05, forward_time=0.148, loss_ctc=81.147, loss_att=62.365, acc=0.678, loss=68.000, backward_time=0.324, grad_norm=54.093, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=1.164e-04, train_time=1.678 -[gpua002:0/64] 2023-12-06 04:20:34,821 (trainer:737) INFO: 12epoch:train:12201-12300batch: iter_time=7.968e-05, forward_time=0.147, loss_ctc=66.532, loss_att=54.677, acc=0.694, loss=58.233, backward_time=0.360, grad_norm=39.142, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=1.164e-04, train_time=1.738 -[gpua002:0/64] 2023-12-06 04:23:07,262 (trainer:737) INFO: 12epoch:train:12301-12400batch: iter_time=7.756e-05, forward_time=0.148, loss_ctc=78.164, loss_att=61.372, acc=0.687, loss=66.410, backward_time=0.322, grad_norm=45.188, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=1.163e-04, train_time=1.524 -[gpua002:0/64] 2023-12-06 04:25:26,518 (trainer:737) INFO: 12epoch:train:12401-12500batch: iter_time=7.589e-05, forward_time=0.150, loss_ctc=72.059, loss_att=63.150, acc=0.673, loss=65.823, backward_time=0.301, grad_norm=46.030, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=1.163e-04, train_time=1.392 -[gpua002:0/64] 2023-12-06 04:25:46,599 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua002:0/64] 2023-12-06 04:26:05,705 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 04:26:09,312 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 04:26:09,312 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua002:0/64] 2023-12-06 04:26:09,315 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 04:39:42,507 (trainer:737) INFO: 12epoch:train:12501-12600batch: iter_time=3.144, forward_time=0.198, loss_ctc=70.607, loss_att=62.009, acc=0.683, loss=64.589, backward_time=0.584, grad_norm=46.590, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=1.163e-04, train_time=8.560 -[gpua002:0/64] 2023-12-06 04:45:10,205 (trainer:737) INFO: 12epoch:train:12601-12700batch: iter_time=8.552e-05, forward_time=0.146, loss_ctc=74.258, loss_att=59.463, acc=0.692, loss=63.901, backward_time=0.429, grad_norm=41.285, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=1.162e-04, train_time=3.277 -[gpua002:0/64] 2023-12-06 04:50:39,180 (trainer:737) INFO: 12epoch:train:12701-12800batch: iter_time=8.550e-05, forward_time=0.146, loss_ctc=71.900, loss_att=60.867, acc=0.698, loss=64.177, backward_time=0.443, grad_norm=44.088, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=1.162e-04, train_time=3.290 -[gpua002:0/64] 2023-12-06 04:54:36,336 (trainer:737) INFO: 12epoch:train:12801-12900batch: iter_time=8.371e-05, forward_time=0.146, loss_ctc=75.774, loss_att=56.958, acc=0.706, loss=62.603, backward_time=0.475, grad_norm=49.651, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=1.162e-04, train_time=2.371 -[gpua002:0/64] 2023-12-06 05:00:30,719 (trainer:737) INFO: 12epoch:train:12901-13000batch: iter_time=8.285e-05, forward_time=0.146, loss_ctc=72.876, loss_att=63.788, acc=0.673, loss=66.514, backward_time=0.600, grad_norm=46.425, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=1.161e-04, train_time=3.544 -[gpua002:0/64] 2023-12-06 05:07:18,573 (trainer:737) INFO: 12epoch:train:13001-13100batch: iter_time=8.154e-05, forward_time=0.175, loss_ctc=71.905, loss_att=56.124, acc=0.697, loss=60.858, backward_time=0.643, grad_norm=42.431, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=1.161e-04, train_time=4.078 -[gpua002:0/64] 2023-12-06 05:15:07,574 (trainer:737) INFO: 12epoch:train:13101-13200batch: iter_time=8.538e-05, forward_time=0.149, loss_ctc=74.592, loss_att=65.189, acc=0.687, loss=68.010, backward_time=0.843, grad_norm=44.926, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=1.161e-04, train_time=4.690 -[gpua002:0/64] 2023-12-06 05:21:20,683 (trainer:737) INFO: 12epoch:train:13201-13300batch: iter_time=8.724e-05, forward_time=0.146, loss_ctc=62.323, loss_att=51.354, acc=0.702, loss=54.645, backward_time=0.592, grad_norm=37.498, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=1.160e-04, train_time=3.731 -[gpua002:0/64] 2023-12-06 05:26:51,365 (trainer:737) INFO: 12epoch:train:13301-13400batch: iter_time=9.027e-05, forward_time=0.146, loss_ctc=68.880, loss_att=55.931, acc=0.691, loss=59.816, backward_time=0.551, grad_norm=46.692, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=1.160e-04, train_time=3.307 -[gpua002:0/64] 2023-12-06 05:33:11,985 (trainer:737) INFO: 12epoch:train:13401-13500batch: iter_time=8.268e-05, forward_time=0.147, loss_ctc=79.712, loss_att=64.769, acc=0.698, loss=69.252, backward_time=0.534, grad_norm=53.006, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=1.160e-04, train_time=3.806 -[gpua002:0/64] 2023-12-06 05:40:41,207 (trainer:737) INFO: 12epoch:train:13501-13600batch: iter_time=8.811e-05, forward_time=0.147, loss_ctc=69.639, loss_att=58.308, acc=0.696, loss=61.708, backward_time=0.661, grad_norm=40.707, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=1.159e-04, train_time=4.492 -[gpua002:0/64] 2023-12-06 05:46:20,133 (trainer:737) INFO: 12epoch:train:13601-13700batch: iter_time=8.438e-05, forward_time=0.147, loss_ctc=73.148, loss_att=59.055, acc=0.706, loss=63.283, backward_time=0.548, grad_norm=42.295, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=1.159e-04, train_time=3.389 -[gpua002:0/64] 2023-12-06 05:49:14,945 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua002:0/64] 2023-12-06 05:49:34,241 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 05:49:38,155 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 05:49:38,155 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua002:0/64] 2023-12-06 05:49:38,158 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 05:55:28,194 (trainer:737) INFO: 12epoch:train:13701-13800batch: iter_time=3.135, forward_time=0.208, loss_ctc=70.194, loss_att=63.345, acc=0.688, loss=65.399, backward_time=0.362, grad_norm=45.049, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=1.159e-04, train_time=5.480 -[gpua002:0/64] 2023-12-06 05:57:41,200 (trainer:737) INFO: 12epoch:train:13801-13900batch: iter_time=7.761e-05, forward_time=0.148, loss_ctc=68.890, loss_att=57.668, acc=0.675, loss=61.034, backward_time=0.283, grad_norm=52.731, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=1.158e-04, train_time=1.330 -[gpua002:0/64] 2023-12-06 06:00:22,172 (trainer:737) INFO: 12epoch:train:13901-14000batch: iter_time=7.702e-05, forward_time=0.147, loss_ctc=76.974, loss_att=63.671, acc=0.702, loss=67.662, backward_time=0.309, grad_norm=42.805, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=1.158e-04, train_time=1.610 -[gpua002:0/64] 2023-12-06 06:02:59,481 (trainer:737) INFO: 12epoch:train:14001-14100batch: iter_time=7.714e-05, forward_time=0.148, loss_ctc=80.764, loss_att=61.543, acc=0.704, loss=67.309, backward_time=0.322, grad_norm=59.878, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=1.158e-04, train_time=1.573 -[gpua002:0/64] 2023-12-06 06:05:16,582 (trainer:737) INFO: 12epoch:train:14101-14200batch: iter_time=7.899e-05, forward_time=0.149, loss_ctc=72.304, loss_att=59.627, acc=0.687, loss=63.430, backward_time=0.298, grad_norm=47.012, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=1.157e-04, train_time=1.371 -[gpua002:0/64] 2023-12-06 06:08:07,104 (trainer:737) INFO: 12epoch:train:14201-14300batch: iter_time=8.357e-05, forward_time=0.164, loss_ctc=71.222, loss_att=57.849, acc=0.689, loss=61.861, backward_time=0.363, grad_norm=48.460, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=1.157e-04, train_time=1.705 -[gpua002:0/64] 2023-12-06 06:10:54,105 (trainer:737) INFO: 12epoch:train:14301-14400batch: iter_time=8.146e-05, forward_time=0.154, loss_ctc=72.669, loss_att=59.277, acc=0.696, loss=63.294, backward_time=0.347, grad_norm=46.877, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=1.157e-04, train_time=1.670 -[gpua002:0/64] 2023-12-06 06:13:46,140 (trainer:737) INFO: 12epoch:train:14401-14500batch: iter_time=7.840e-05, forward_time=0.173, loss_ctc=67.987, loss_att=59.995, acc=0.680, loss=62.392, backward_time=0.328, grad_norm=42.575, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=1.156e-04, train_time=1.720 -[gpua002:0/64] 2023-12-06 06:16:38,930 (trainer:737) INFO: 12epoch:train:14501-14600batch: iter_time=8.166e-05, forward_time=0.147, loss_ctc=61.465, loss_att=49.447, acc=0.718, loss=53.053, backward_time=0.314, grad_norm=40.450, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=1.156e-04, train_time=1.728 -[gpua002:0/64] 2023-12-06 06:19:12,781 (trainer:737) INFO: 12epoch:train:14601-14700batch: iter_time=7.899e-05, forward_time=0.147, loss_ctc=80.377, loss_att=62.504, acc=0.685, loss=67.866, backward_time=0.290, grad_norm=55.003, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=1.156e-04, train_time=1.538 -[gpua002:0/64] 2023-12-06 06:21:45,581 (trainer:737) INFO: 12epoch:train:14701-14800batch: iter_time=8.185e-05, forward_time=0.147, loss_ctc=66.682, loss_att=56.156, acc=0.697, loss=59.313, backward_time=0.293, grad_norm=41.393, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=1.155e-04, train_time=1.528 -[gpua002:0/64] 2023-12-06 06:24:12,301 (trainer:737) INFO: 12epoch:train:14801-14900batch: iter_time=8.276e-05, forward_time=0.192, loss_ctc=78.617, loss_att=62.282, acc=0.704, loss=67.182, backward_time=0.310, grad_norm=45.901, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.141, optim0_lr0=1.155e-04, train_time=1.467 -[gpua002:0/64] 2023-12-06 06:26:37,387 (trainer:737) INFO: 12epoch:train:14901-15000batch: iter_time=7.961e-05, forward_time=0.146, loss_ctc=72.763, loss_att=63.915, acc=0.687, loss=66.570, backward_time=0.294, grad_norm=45.026, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=1.155e-04, train_time=1.451 -[gpua002:0/64] 2023-12-06 06:53:06,275 (trainer:343) INFO: 12epoch results: [train] iter_time=0.238, forward_time=0.157, loss_ctc=73.645, loss_att=60.091, acc=0.684, loss=64.157, backward_time=0.347, grad_norm=46.655, clip=100.000, loss_scale=1.075e+31, optim_step_time=0.134, optim0_lr0=1.180e-04, train_time=2.149, time=8 hours, 57 minutes and 35.9 seconds, total_count=180000, gpu_max_cached_mem_GB=35.877, [valid] loss_ctc=47.799, cer_ctc=0.247, loss_att=43.524, acc=0.645, cer=0.387, wer=1.000, loss=44.806, time=26 minutes and 4.68 seconds, total_count=56052, gpu_max_cached_mem_GB=35.877 -[gpua002:0/64] 2023-12-06 06:53:24,854 (trainer:391) INFO: The best model has been updated: valid.total_count -[gpua002:0/64] 2023-12-06 06:53:24,859 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/7epoch.pth -[gpua002:0/64] 2023-12-06 06:53:24,859 (trainer:272) INFO: 13/40epoch started. Estimated time to finish: 1 week, 4 days and 18 hours -[gpua002:0/64] 2023-12-06 06:53:24,869 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua002:0/64] 2023-12-06 06:53:43,359 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 06:53:46,975 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 06:53:46,975 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua002:0/64] 2023-12-06 06:53:46,978 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 07:00:47,338 (trainer:737) INFO: 13epoch:train:1-100batch: iter_time=3.154, forward_time=0.198, loss_ctc=82.587, loss_att=70.477, acc=0.672, loss=74.110, backward_time=0.288, grad_norm=55.136, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.155e-04, train_time=4.424 -[gpua002:0/64] 2023-12-06 07:03:08,346 (trainer:737) INFO: 13epoch:train:101-200batch: iter_time=8.012e-05, forward_time=0.146, loss_ctc=80.907, loss_att=75.216, acc=0.679, loss=76.924, backward_time=0.298, grad_norm=51.276, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.154e-04, train_time=1.409 -[gpua002:0/64] 2023-12-06 07:05:15,548 (trainer:737) INFO: 13epoch:train:201-300batch: iter_time=7.926e-05, forward_time=0.146, loss_ctc=84.293, loss_att=69.908, acc=0.659, loss=74.223, backward_time=0.280, grad_norm=55.758, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.154e-04, train_time=1.273 -[gpua002:0/64] 2023-12-06 07:07:37,775 (trainer:737) INFO: 13epoch:train:301-400batch: iter_time=8.266e-05, forward_time=0.147, loss_ctc=85.370, loss_att=67.779, acc=0.691, loss=73.056, backward_time=0.299, grad_norm=49.637, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.154e-04, train_time=1.422 -[gpua002:0/64] 2023-12-06 07:10:30,087 (trainer:737) INFO: 13epoch:train:401-500batch: iter_time=8.313e-05, forward_time=0.152, loss_ctc=72.749, loss_att=63.852, acc=0.656, loss=66.521, backward_time=0.342, grad_norm=49.622, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.153e-04, train_time=1.723 -[gpua002:0/64] 2023-12-06 07:12:55,885 (trainer:737) INFO: 13epoch:train:501-600batch: iter_time=1.616e-04, forward_time=0.208, loss_ctc=74.420, loss_att=65.457, acc=0.664, loss=68.146, backward_time=0.325, grad_norm=53.603, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=1.153e-04, train_time=1.458 -[gpua002:0/64] 2023-12-06 07:15:24,339 (trainer:737) INFO: 13epoch:train:601-700batch: iter_time=7.849e-05, forward_time=0.159, loss_ctc=76.366, loss_att=61.298, acc=0.694, loss=65.818, backward_time=0.298, grad_norm=46.021, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=1.153e-04, train_time=1.484 -[gpua002:0/64] 2023-12-06 07:17:59,143 (trainer:737) INFO: 13epoch:train:701-800batch: iter_time=7.978e-05, forward_time=0.147, loss_ctc=82.482, loss_att=64.347, acc=0.676, loss=69.788, backward_time=0.334, grad_norm=50.928, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.152e-04, train_time=1.547 -[gpua002:0/64] 2023-12-06 07:20:29,406 (trainer:737) INFO: 13epoch:train:801-900batch: iter_time=8.065e-05, forward_time=0.146, loss_ctc=79.457, loss_att=68.063, acc=0.690, loss=71.482, backward_time=0.316, grad_norm=44.210, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.152e-04, train_time=1.503 -[gpua002:0/64] 2023-12-06 07:23:10,232 (trainer:737) INFO: 13epoch:train:901-1000batch: iter_time=8.213e-05, forward_time=0.146, loss_ctc=91.553, loss_att=67.859, acc=0.674, loss=74.967, backward_time=0.301, grad_norm=57.381, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.152e-04, train_time=1.608 -[gpua002:0/64] 2023-12-06 07:25:42,360 (trainer:737) INFO: 13epoch:train:1001-1100batch: iter_time=8.027e-05, forward_time=0.158, loss_ctc=73.171, loss_att=61.884, acc=0.689, loss=65.270, backward_time=0.305, grad_norm=41.722, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.151e-04, train_time=1.521 -[gpua002:0/64] 2023-12-06 07:28:25,215 (trainer:737) INFO: 13epoch:train:1101-1200batch: iter_time=7.859e-05, forward_time=0.151, loss_ctc=76.542, loss_att=65.321, acc=0.666, loss=68.687, backward_time=0.318, grad_norm=52.693, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.151e-04, train_time=1.628 -[gpua002:0/64] 2023-12-06 07:30:06,751 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua002:0/64] 2023-12-06 07:30:26,103 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 07:30:29,646 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 07:30:29,646 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua002:0/64] 2023-12-06 07:30:29,649 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 07:39:10,964 (trainer:737) INFO: 13epoch:train:1201-1300batch: iter_time=2.676, forward_time=0.190, loss_ctc=78.990, loss_att=72.080, acc=0.679, loss=74.153, backward_time=0.292, grad_norm=53.550, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.151e-04, train_time=6.457 -[gpua002:0/64] 2023-12-06 07:41:38,128 (trainer:737) INFO: 13epoch:train:1301-1400batch: iter_time=7.832e-05, forward_time=0.146, loss_ctc=80.116, loss_att=70.417, acc=0.671, loss=73.327, backward_time=0.302, grad_norm=51.728, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.150e-04, train_time=1.471 -[gpua002:0/64] 2023-12-06 07:43:59,901 (trainer:737) INFO: 13epoch:train:1401-1500batch: iter_time=8.096e-05, forward_time=0.145, loss_ctc=76.395, loss_att=70.639, acc=0.664, loss=72.366, backward_time=0.283, grad_norm=49.785, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.150e-04, train_time=1.418 -[gpua002:0/64] 2023-12-06 07:46:54,344 (trainer:737) INFO: 13epoch:train:1501-1600batch: iter_time=7.921e-05, forward_time=0.146, loss_ctc=91.251, loss_att=69.944, acc=0.671, loss=76.336, backward_time=0.314, grad_norm=53.267, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.150e-04, train_time=1.744 -[gpua002:0/64] 2023-12-06 07:49:33,557 (trainer:737) INFO: 13epoch:train:1601-1700batch: iter_time=7.929e-05, forward_time=0.145, loss_ctc=74.619, loss_att=61.851, acc=0.666, loss=65.681, backward_time=0.331, grad_norm=49.118, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.149e-04, train_time=1.592 -[gpua002:0/64] 2023-12-06 07:51:54,744 (trainer:737) INFO: 13epoch:train:1701-1800batch: iter_time=7.945e-05, forward_time=0.145, loss_ctc=71.016, loss_att=58.695, acc=0.665, loss=62.391, backward_time=0.290, grad_norm=48.553, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.149e-04, train_time=1.411 -[gpua002:0/64] 2023-12-06 07:54:10,170 (trainer:737) INFO: 13epoch:train:1801-1900batch: iter_time=7.961e-05, forward_time=0.153, loss_ctc=75.815, loss_att=66.237, acc=0.666, loss=69.111, backward_time=0.285, grad_norm=49.551, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.149e-04, train_time=1.355 -[gpua002:0/64] 2023-12-06 07:56:54,813 (trainer:737) INFO: 13epoch:train:1901-2000batch: iter_time=8.314e-05, forward_time=0.146, loss_ctc=82.668, loss_att=65.473, acc=0.674, loss=70.631, backward_time=0.338, grad_norm=50.191, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.148e-04, train_time=1.646 -[gpua002:0/64] 2023-12-06 07:59:28,451 (trainer:737) INFO: 13epoch:train:2001-2100batch: iter_time=8.207e-05, forward_time=0.147, loss_ctc=74.509, loss_att=60.507, acc=0.688, loss=64.708, backward_time=0.302, grad_norm=45.364, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.148e-04, train_time=1.536 -[gpua002:0/64] 2023-12-06 08:02:26,633 (trainer:737) INFO: 13epoch:train:2101-2200batch: iter_time=8.779e-05, forward_time=0.207, loss_ctc=79.194, loss_att=66.236, acc=0.683, loss=70.124, backward_time=0.330, grad_norm=46.187, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=1.148e-04, train_time=1.782 -[gpua002:0/64] 2023-12-06 08:05:06,458 (trainer:737) INFO: 13epoch:train:2201-2300batch: iter_time=8.119e-05, forward_time=0.160, loss_ctc=91.379, loss_att=74.727, acc=0.653, loss=79.723, backward_time=0.327, grad_norm=64.852, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.148e-04, train_time=1.598 -[gpua002:0/64] 2023-12-06 08:07:25,195 (trainer:737) INFO: 13epoch:train:2301-2400batch: iter_time=7.931e-05, forward_time=0.146, loss_ctc=71.254, loss_att=56.894, acc=0.689, loss=61.202, backward_time=0.292, grad_norm=50.705, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.147e-04, train_time=1.387 -[gpua002:0/64] 2023-12-06 08:09:59,527 (trainer:737) INFO: 13epoch:train:2401-2500batch: iter_time=8.328e-05, forward_time=0.145, loss_ctc=73.372, loss_att=61.929, acc=0.691, loss=65.362, backward_time=0.306, grad_norm=43.316, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.147e-04, train_time=1.543 -[gpua002:0/64] 2023-12-06 08:10:19,556 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua002:0/64] 2023-12-06 08:10:38,711 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 08:10:42,322 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 08:10:42,322 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua002:0/64] 2023-12-06 08:10:42,325 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 08:20:03,637 (trainer:737) INFO: 13epoch:train:2501-2600batch: iter_time=2.817, forward_time=0.154, loss_ctc=80.727, loss_att=70.255, acc=0.680, loss=73.397, backward_time=0.285, grad_norm=49.860, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.147e-04, train_time=6.041 -[gpua002:0/64] 2023-12-06 08:22:31,323 (trainer:737) INFO: 13epoch:train:2601-2700batch: iter_time=8.220e-05, forward_time=0.147, loss_ctc=79.524, loss_att=74.186, acc=0.687, loss=75.788, backward_time=0.310, grad_norm=48.798, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.146e-04, train_time=1.477 -[gpua002:0/64] 2023-12-06 08:25:10,668 (trainer:737) INFO: 13epoch:train:2701-2800batch: iter_time=7.923e-05, forward_time=0.146, loss_ctc=81.078, loss_att=67.340, acc=0.674, loss=71.462, backward_time=0.312, grad_norm=50.179, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.146e-04, train_time=1.593 -[gpua002:0/64] 2023-12-06 08:28:00,797 (trainer:737) INFO: 13epoch:train:2801-2900batch: iter_time=8.060e-05, forward_time=0.147, loss_ctc=83.955, loss_att=66.614, acc=0.696, loss=71.816, backward_time=0.318, grad_norm=48.600, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.146e-04, train_time=1.701 -[gpua002:0/64] 2023-12-06 08:30:47,775 (trainer:737) INFO: 13epoch:train:2901-3000batch: iter_time=8.052e-05, forward_time=0.234, loss_ctc=72.154, loss_att=62.590, acc=0.666, loss=65.459, backward_time=0.319, grad_norm=45.449, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.148, optim0_lr0=1.145e-04, train_time=1.670 -[gpua002:0/64] 2023-12-06 08:33:33,036 (trainer:737) INFO: 13epoch:train:3001-3100batch: iter_time=8.135e-05, forward_time=0.146, loss_ctc=73.278, loss_att=64.379, acc=0.672, loss=67.049, backward_time=0.306, grad_norm=50.710, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.145e-04, train_time=1.652 -[gpua002:0/64] 2023-12-06 08:36:04,466 (trainer:737) INFO: 13epoch:train:3101-3200batch: iter_time=8.198e-05, forward_time=0.146, loss_ctc=74.326, loss_att=59.985, acc=0.703, loss=64.287, backward_time=0.303, grad_norm=47.475, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.145e-04, train_time=1.514 -[gpua002:0/64] 2023-12-06 08:38:45,804 (trainer:737) INFO: 13epoch:train:3201-3300batch: iter_time=7.980e-05, forward_time=0.147, loss_ctc=80.088, loss_att=63.951, acc=0.682, loss=68.792, backward_time=0.311, grad_norm=49.523, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.144e-04, train_time=1.613 -[gpua002:0/64] 2023-12-06 08:41:16,166 (trainer:737) INFO: 13epoch:train:3301-3400batch: iter_time=7.864e-05, forward_time=0.154, loss_ctc=78.477, loss_att=67.248, acc=0.696, loss=70.616, backward_time=0.298, grad_norm=48.855, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.144e-04, train_time=1.503 -[gpua002:0/64] 2023-12-06 08:43:33,545 (trainer:737) INFO: 13epoch:train:3401-3500batch: iter_time=7.733e-05, forward_time=0.147, loss_ctc=87.299, loss_att=65.959, acc=0.681, loss=72.361, backward_time=0.287, grad_norm=58.673, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.144e-04, train_time=1.374 -[gpua002:0/64] 2023-12-06 08:46:20,837 (trainer:737) INFO: 13epoch:train:3501-3600batch: iter_time=8.400e-05, forward_time=0.189, loss_ctc=72.079, loss_att=60.591, acc=0.696, loss=64.037, backward_time=0.351, grad_norm=43.497, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=1.143e-04, train_time=1.673 -[gpua002:0/64] 2023-12-06 08:48:41,282 (trainer:737) INFO: 13epoch:train:3601-3700batch: iter_time=8.494e-05, forward_time=0.165, loss_ctc=74.066, loss_att=63.564, acc=0.674, loss=66.715, backward_time=0.311, grad_norm=49.883, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=1.143e-04, train_time=1.404 -[gpua002:0/64] 2023-12-06 08:50:42,432 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua002:0/64] 2023-12-06 08:51:01,710 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 08:51:05,226 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 08:51:05,227 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua002:0/64] 2023-12-06 08:51:05,230 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 08:56:03,165 (trainer:737) INFO: 13epoch:train:3701-3800batch: iter_time=2.686, forward_time=0.156, loss_ctc=77.665, loss_att=70.182, acc=0.685, loss=72.427, backward_time=0.304, grad_norm=47.562, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.143e-04, train_time=4.418 -[gpua002:0/64] 2023-12-06 08:58:04,646 (trainer:737) INFO: 13epoch:train:3801-3900batch: iter_time=7.466e-05, forward_time=0.146, loss_ctc=79.178, loss_att=69.039, acc=0.677, loss=72.081, backward_time=0.282, grad_norm=49.816, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.143e-04, train_time=1.215 -[gpua002:0/64] 2023-12-06 09:00:13,544 (trainer:737) INFO: 13epoch:train:3901-4000batch: iter_time=8.150e-05, forward_time=0.146, loss_ctc=75.253, loss_att=69.027, acc=0.670, loss=70.895, backward_time=0.291, grad_norm=49.008, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.142e-04, train_time=1.289 -[gpua002:0/64] 2023-12-06 09:02:49,393 (trainer:737) INFO: 13epoch:train:4001-4100batch: iter_time=8.098e-05, forward_time=0.147, loss_ctc=90.049, loss_att=69.091, acc=0.676, loss=75.378, backward_time=0.303, grad_norm=51.996, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.142e-04, train_time=1.558 -[gpua002:0/64] 2023-12-06 09:05:43,744 (trainer:737) INFO: 13epoch:train:4101-4200batch: iter_time=7.982e-05, forward_time=0.149, loss_ctc=72.906, loss_att=60.395, acc=0.671, loss=64.148, backward_time=0.306, grad_norm=48.132, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.142e-04, train_time=1.743 -[gpua002:0/64] 2023-12-06 09:07:56,854 (trainer:737) INFO: 13epoch:train:4201-4300batch: iter_time=8.117e-05, forward_time=0.195, loss_ctc=69.565, loss_att=57.625, acc=0.669, loss=61.207, backward_time=0.316, grad_norm=48.984, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.137, optim0_lr0=1.141e-04, train_time=1.331 -[gpua002:0/64] 2023-12-06 09:10:06,463 (trainer:737) INFO: 13epoch:train:4301-4400batch: iter_time=7.960e-05, forward_time=0.158, loss_ctc=74.086, loss_att=64.966, acc=0.672, loss=67.702, backward_time=0.295, grad_norm=48.957, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.141e-04, train_time=1.296 -[gpua002:0/64] 2023-12-06 09:12:36,857 (trainer:737) INFO: 13epoch:train:4401-4500batch: iter_time=8.098e-05, forward_time=0.146, loss_ctc=81.756, loss_att=64.419, acc=0.682, loss=69.620, backward_time=0.292, grad_norm=52.791, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.141e-04, train_time=1.504 -[gpua002:0/64] 2023-12-06 09:15:46,804 (trainer:737) INFO: 13epoch:train:4501-4600batch: iter_time=7.954e-05, forward_time=0.149, loss_ctc=73.283, loss_att=59.464, acc=0.693, loss=63.610, backward_time=0.352, grad_norm=45.522, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.140e-04, train_time=1.899 -[gpua002:0/64] 2023-12-06 09:18:06,933 (trainer:737) INFO: 13epoch:train:4601-4700batch: iter_time=8.082e-05, forward_time=0.145, loss_ctc=78.026, loss_att=65.025, acc=0.687, loss=68.925, backward_time=0.295, grad_norm=44.464, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.140e-04, train_time=1.402 -[gpua002:0/64] 2023-12-06 09:21:11,197 (trainer:737) INFO: 13epoch:train:4701-4800batch: iter_time=7.661e-05, forward_time=0.148, loss_ctc=88.247, loss_att=72.791, acc=0.657, loss=77.428, backward_time=0.317, grad_norm=63.217, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.140e-04, train_time=1.842 -[gpua002:0/64] 2023-12-06 09:23:27,240 (trainer:737) INFO: 13epoch:train:4801-4900batch: iter_time=7.816e-05, forward_time=0.145, loss_ctc=70.659, loss_att=56.492, acc=0.694, loss=60.742, backward_time=0.284, grad_norm=49.104, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.139e-04, train_time=1.360 -[gpua002:0/64] 2023-12-06 09:25:47,130 (trainer:737) INFO: 13epoch:train:4901-5000batch: iter_time=7.880e-05, forward_time=0.152, loss_ctc=72.664, loss_att=61.496, acc=0.695, loss=64.846, backward_time=0.307, grad_norm=43.298, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.136, optim0_lr0=1.139e-04, train_time=1.399 -[gpua002:0/64] 2023-12-06 09:26:07,250 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua002:0/64] 2023-12-06 09:26:26,414 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 09:26:30,022 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 09:26:30,023 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua002:0/64] 2023-12-06 09:26:30,026 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 09:33:01,899 (trainer:737) INFO: 13epoch:train:5001-5100batch: iter_time=3.042, forward_time=0.189, loss_ctc=79.677, loss_att=69.173, acc=0.687, loss=72.324, backward_time=0.288, grad_norm=52.394, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.139e-04, train_time=4.347 -[gpua002:0/64] 2023-12-06 09:35:38,228 (trainer:737) INFO: 13epoch:train:5101-5200batch: iter_time=7.911e-05, forward_time=0.147, loss_ctc=78.735, loss_att=74.126, acc=0.689, loss=75.508, backward_time=0.358, grad_norm=48.110, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.139e-04, train_time=1.563 -[gpua002:0/64] 2023-12-06 09:37:45,766 (trainer:737) INFO: 13epoch:train:5201-5300batch: iter_time=7.532e-05, forward_time=0.146, loss_ctc=78.898, loss_att=67.793, acc=0.671, loss=71.125, backward_time=0.283, grad_norm=49.436, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.138e-04, train_time=1.275 -[gpua002:0/64] 2023-12-06 09:40:13,225 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-06 09:40:22,805 (trainer:737) INFO: 13epoch:train:5301-5400batch: iter_time=8.120e-05, forward_time=0.146, loss_ctc=83.458, loss_att=65.945, acc=0.699, loss=71.199, backward_time=0.317, grad_norm=50.547, clip=100.000, loss_scale=3.114e+32, optim_step_time=0.133, optim0_lr0=1.138e-04, train_time=1.570 -[gpua002:0/64] 2023-12-06 09:43:33,206 (trainer:737) INFO: 13epoch:train:5401-5500batch: iter_time=7.853e-05, forward_time=0.160, loss_ctc=71.501, loss_att=62.851, acc=0.664, loss=65.446, backward_time=0.292, grad_norm=49.218, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=1.138e-04, train_time=1.904 -[gpua002:0/64] 2023-12-06 09:45:41,364 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-06 09:45:52,193 (trainer:737) INFO: 13epoch:train:5501-5600batch: iter_time=7.880e-05, forward_time=0.146, loss_ctc=72.404, loss_att=63.978, acc=0.676, loss=66.505, backward_time=0.283, grad_norm=51.782, clip=100.000, loss_scale=1.557e+32, optim_step_time=0.133, optim0_lr0=1.137e-04, train_time=1.390 -[gpua002:0/64] 2023-12-06 09:48:25,468 (trainer:737) INFO: 13epoch:train:5601-5700batch: iter_time=8.101e-05, forward_time=0.162, loss_ctc=74.048, loss_att=59.750, acc=0.704, loss=64.040, backward_time=0.305, grad_norm=44.658, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=1.137e-04, train_time=1.533 -[gpua002:0/64] 2023-12-06 09:51:16,193 (trainer:737) INFO: 13epoch:train:5701-5800batch: iter_time=7.963e-05, forward_time=0.183, loss_ctc=78.977, loss_att=63.366, acc=0.687, loss=68.049, backward_time=0.360, grad_norm=48.896, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=1.137e-04, train_time=1.706 -[gpua002:0/64] 2023-12-06 09:54:12,651 (trainer:737) INFO: 13epoch:train:5801-5900batch: iter_time=8.231e-05, forward_time=0.146, loss_ctc=77.615, loss_att=66.376, acc=0.699, loss=69.748, backward_time=0.319, grad_norm=47.901, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.136e-04, train_time=1.765 -[gpua002:0/64] 2023-12-06 09:56:46,219 (trainer:737) INFO: 13epoch:train:5901-6000batch: iter_time=8.468e-05, forward_time=0.147, loss_ctc=85.710, loss_att=65.035, acc=0.682, loss=71.238, backward_time=0.290, grad_norm=62.798, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.136e-04, train_time=1.535 -[gpua002:0/64] 2023-12-06 09:59:05,404 (trainer:737) INFO: 13epoch:train:6001-6100batch: iter_time=7.978e-05, forward_time=0.146, loss_ctc=70.330, loss_att=59.729, acc=0.698, loss=62.909, backward_time=0.286, grad_norm=41.594, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.136e-04, train_time=1.392 -[gpua002:0/64] 2023-12-06 10:01:20,577 (trainer:737) INFO: 13epoch:train:6101-6200batch: iter_time=7.786e-05, forward_time=0.164, loss_ctc=72.941, loss_att=62.793, acc=0.676, loss=65.837, backward_time=0.283, grad_norm=50.402, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=1.135e-04, train_time=1.352 -[gpua002:0/64] 2023-12-06 10:02:46,931 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua002:0/64] 2023-12-06 10:03:05,957 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 10:03:09,509 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 10:03:09,509 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua002:0/64] 2023-12-06 10:03:09,512 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 10:09:31,020 (trainer:737) INFO: 13epoch:train:6201-6300batch: iter_time=3.517, forward_time=0.214, loss_ctc=76.749, loss_att=67.536, acc=0.698, loss=70.300, backward_time=0.295, grad_norm=49.356, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=1.135e-04, train_time=4.904 -[gpua002:0/64] 2023-12-06 10:11:32,271 (trainer:737) INFO: 13epoch:train:6301-6400batch: iter_time=7.947e-05, forward_time=0.148, loss_ctc=78.478, loss_att=67.043, acc=0.696, loss=70.473, backward_time=0.279, grad_norm=48.094, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.135e-04, train_time=1.212 -[gpua002:0/64] 2023-12-06 10:13:54,930 (trainer:737) INFO: 13epoch:train:6401-6500batch: iter_time=8.307e-05, forward_time=0.146, loss_ctc=75.187, loss_att=68.390, acc=0.682, loss=70.429, backward_time=0.288, grad_norm=45.770, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.135e-04, train_time=1.426 -[gpua002:0/64] 2023-12-06 10:16:20,200 (trainer:737) INFO: 13epoch:train:6501-6600batch: iter_time=8.445e-05, forward_time=0.146, loss_ctc=89.347, loss_att=68.901, acc=0.688, loss=75.035, backward_time=0.294, grad_norm=53.057, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.134e-04, train_time=1.452 -[gpua002:0/64] 2023-12-06 10:18:46,124 (trainer:737) INFO: 13epoch:train:6601-6700batch: iter_time=7.990e-05, forward_time=0.146, loss_ctc=72.151, loss_att=61.187, acc=0.683, loss=64.477, backward_time=0.299, grad_norm=47.292, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.134e-04, train_time=1.459 -[gpua002:0/64] 2023-12-06 10:21:17,212 (trainer:737) INFO: 13epoch:train:6701-6800batch: iter_time=7.903e-05, forward_time=0.146, loss_ctc=68.676, loss_att=58.209, acc=0.676, loss=61.349, backward_time=0.294, grad_norm=47.727, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=1.134e-04, train_time=1.510 -[gpua002:0/64] 2023-12-06 10:24:20,396 (trainer:737) INFO: 13epoch:train:6801-6900batch: iter_time=7.514e-05, forward_time=0.271, loss_ctc=74.118, loss_att=65.245, acc=0.685, loss=67.907, backward_time=0.330, grad_norm=47.761, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.143, optim0_lr0=1.133e-04, train_time=1.832 -[gpua002:0/64] 2023-12-06 10:27:03,857 (trainer:737) INFO: 13epoch:train:6901-7000batch: iter_time=7.559e-05, forward_time=0.169, loss_ctc=80.635, loss_att=64.054, acc=0.692, loss=69.028, backward_time=0.318, grad_norm=49.547, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.133e-04, train_time=1.634 -[gpua002:0/64] 2023-12-06 10:29:55,037 (trainer:737) INFO: 13epoch:train:7001-7100batch: iter_time=7.629e-05, forward_time=0.147, loss_ctc=72.902, loss_att=58.797, acc=0.704, loss=63.028, backward_time=0.325, grad_norm=41.723, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.133e-04, train_time=1.712 -[gpua002:0/64] 2023-12-06 10:32:13,801 (trainer:737) INFO: 13epoch:train:7101-7200batch: iter_time=7.774e-05, forward_time=0.147, loss_ctc=77.784, loss_att=65.091, acc=0.692, loss=68.899, backward_time=0.292, grad_norm=46.586, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.132e-04, train_time=1.387 -[gpua002:0/64] 2023-12-06 10:34:29,529 (trainer:737) INFO: 13epoch:train:7201-7300batch: iter_time=7.589e-05, forward_time=0.148, loss_ctc=86.914, loss_att=72.343, acc=0.669, loss=76.714, backward_time=0.284, grad_norm=60.313, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=1.132e-04, train_time=1.356 -[gpua002:0/64] 2023-12-06 10:37:02,237 (trainer:737) INFO: 13epoch:train:7301-7400batch: iter_time=7.771e-05, forward_time=0.146, loss_ctc=69.256, loss_att=55.984, acc=0.700, loss=59.966, backward_time=0.288, grad_norm=43.901, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.132e-04, train_time=1.527 -[gpua002:0/64] 2023-12-06 10:39:12,951 (trainer:737) INFO: 13epoch:train:7401-7500batch: iter_time=7.355e-05, forward_time=0.146, loss_ctc=72.279, loss_att=61.781, acc=0.698, loss=64.930, backward_time=0.279, grad_norm=46.579, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.132e-04, train_time=1.307 -[gpua002:0/64] 2023-12-06 10:39:32,979 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua002:0/64] 2023-12-06 10:39:52,264 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 10:39:55,884 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 10:39:55,885 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua002:0/64] 2023-12-06 10:39:55,888 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 10:46:24,378 (trainer:737) INFO: 13epoch:train:7501-7600batch: iter_time=2.773, forward_time=0.198, loss_ctc=79.512, loss_att=69.235, acc=0.680, loss=72.318, backward_time=0.285, grad_norm=53.158, clip=100.000, loss_scale=8.762e+31, optim_step_time=0.134, optim0_lr0=1.131e-04, train_time=4.314 -[gpua002:0/64] 2023-12-06 10:46:59,768 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-06 10:48:47,251 (trainer:737) INFO: 13epoch:train:7601-7700batch: iter_time=8.243e-05, forward_time=0.146, loss_ctc=77.792, loss_att=74.106, acc=0.679, loss=75.212, backward_time=0.296, grad_norm=47.033, clip=100.000, loss_scale=1.041e+32, optim_step_time=0.133, optim0_lr0=1.131e-04, train_time=1.429 -[gpua002:0/64] 2023-12-06 10:51:03,779 (trainer:737) INFO: 13epoch:train:7701-7800batch: iter_time=8.514e-05, forward_time=0.147, loss_ctc=78.748, loss_att=66.379, acc=0.664, loss=70.090, backward_time=0.287, grad_norm=49.631, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=1.131e-04, train_time=1.365 -[gpua002:0/64] 2023-12-06 10:54:04,066 (trainer:737) INFO: 13epoch:train:7801-7900batch: iter_time=8.341e-05, forward_time=0.146, loss_ctc=83.303, loss_att=66.000, acc=0.689, loss=71.191, backward_time=0.327, grad_norm=53.609, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.130e-04, train_time=1.803 -[gpua002:0/64] 2023-12-06 10:56:33,570 (trainer:737) INFO: 13epoch:train:7901-8000batch: iter_time=8.039e-05, forward_time=0.146, loss_ctc=70.013, loss_att=58.483, acc=0.667, loss=61.942, backward_time=0.295, grad_norm=50.915, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.130e-04, train_time=1.495 -[gpua002:0/64] 2023-12-06 10:59:25,031 (trainer:737) INFO: 13epoch:train:8001-8100batch: iter_time=5.642e-04, forward_time=0.266, loss_ctc=71.875, loss_att=63.618, acc=0.667, loss=66.095, backward_time=0.316, grad_norm=50.796, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.146, optim0_lr0=1.130e-04, train_time=1.714 -[gpua002:0/64] 2023-12-06 11:02:21,346 (trainer:737) INFO: 13epoch:train:8101-8200batch: iter_time=7.906e-05, forward_time=0.146, loss_ctc=73.927, loss_att=59.408, acc=0.696, loss=63.763, backward_time=0.320, grad_norm=46.801, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.129e-04, train_time=1.763 -[gpua002:0/64] 2023-12-06 11:05:09,430 (trainer:737) INFO: 13epoch:train:8201-8300batch: iter_time=7.520e-05, forward_time=0.146, loss_ctc=78.297, loss_att=62.322, acc=0.679, loss=67.114, backward_time=0.315, grad_norm=47.193, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.129e-04, train_time=1.681 -[gpua002:0/64] 2023-12-06 11:07:48,380 (trainer:737) INFO: 13epoch:train:8301-8400batch: iter_time=8.124e-05, forward_time=0.146, loss_ctc=76.486, loss_att=65.975, acc=0.695, loss=69.128, backward_time=0.328, grad_norm=44.452, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=1.129e-04, train_time=1.589 -[gpua002:0/64] 2023-12-06 11:10:09,479 (trainer:737) INFO: 13epoch:train:8401-8500batch: iter_time=8.258e-05, forward_time=0.146, loss_ctc=83.763, loss_att=63.389, acc=0.682, loss=69.501, backward_time=0.290, grad_norm=54.455, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.129e-04, train_time=1.411 -[gpua002:0/64] 2023-12-06 11:12:32,582 (trainer:737) INFO: 13epoch:train:8501-8600batch: iter_time=8.240e-05, forward_time=0.147, loss_ctc=71.440, loss_att=60.490, acc=0.690, loss=63.775, backward_time=0.287, grad_norm=42.846, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.128e-04, train_time=1.431 -[gpua002:0/64] 2023-12-06 11:15:15,855 (trainer:737) INFO: 13epoch:train:8601-8700batch: iter_time=8.220e-05, forward_time=0.192, loss_ctc=71.885, loss_att=61.924, acc=0.674, loss=64.912, backward_time=0.379, grad_norm=52.421, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=1.128e-04, train_time=1.632 -[gpua002:0/64] 2023-12-06 11:16:39,300 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua002:0/64] 2023-12-06 11:16:58,782 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 11:17:02,362 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 11:17:02,362 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua002:0/64] 2023-12-06 11:17:02,366 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 11:25:20,910 (trainer:737) INFO: 13epoch:train:8701-8800batch: iter_time=3.078, forward_time=0.150, loss_ctc=77.155, loss_att=67.673, acc=0.692, loss=70.517, backward_time=0.282, grad_norm=48.563, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=1.128e-04, train_time=6.051 -[gpua002:0/64] 2023-12-06 11:27:28,675 (trainer:737) INFO: 13epoch:train:8801-8900batch: iter_time=7.859e-05, forward_time=0.146, loss_ctc=78.046, loss_att=67.393, acc=0.684, loss=70.589, backward_time=0.287, grad_norm=48.779, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.127e-04, train_time=1.277 -[gpua002:0/64] 2023-12-06 11:30:19,749 (trainer:737) INFO: 13epoch:train:8901-9000batch: iter_time=8.201e-05, forward_time=0.146, loss_ctc=73.983, loss_att=67.544, acc=0.675, loss=69.476, backward_time=0.310, grad_norm=46.032, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.127e-04, train_time=1.711 -[gpua002:0/64] 2023-12-06 11:32:33,716 (trainer:737) INFO: 13epoch:train:9001-9100batch: iter_time=8.167e-05, forward_time=0.146, loss_ctc=87.472, loss_att=67.032, acc=0.682, loss=73.164, backward_time=0.288, grad_norm=51.965, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.127e-04, train_time=1.339 -[gpua002:0/64] 2023-12-06 11:35:06,169 (trainer:737) INFO: 13epoch:train:9101-9200batch: iter_time=8.560e-05, forward_time=0.183, loss_ctc=71.730, loss_att=59.081, acc=0.677, loss=62.876, backward_time=0.294, grad_norm=50.433, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=1.126e-04, train_time=1.524 -[gpua002:0/64] 2023-12-06 11:37:34,237 (trainer:737) INFO: 13epoch:train:9201-9300batch: iter_time=8.085e-05, forward_time=0.146, loss_ctc=68.025, loss_att=56.489, acc=0.671, loss=59.950, backward_time=0.285, grad_norm=49.035, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.126e-04, train_time=1.480 -[gpua002:0/64] 2023-12-06 11:40:24,968 (trainer:737) INFO: 13epoch:train:9301-9400batch: iter_time=7.816e-05, forward_time=0.193, loss_ctc=73.645, loss_att=64.874, acc=0.670, loss=67.505, backward_time=0.328, grad_norm=46.145, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=1.126e-04, train_time=1.707 -[gpua002:0/64] 2023-12-06 11:43:03,918 (trainer:737) INFO: 13epoch:train:9401-9500batch: iter_time=7.363e-05, forward_time=0.148, loss_ctc=79.941, loss_att=63.900, acc=0.678, loss=68.713, backward_time=0.295, grad_norm=51.940, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.126e-04, train_time=1.589 -[gpua002:0/64] 2023-12-06 11:45:16,516 (trainer:737) INFO: 13epoch:train:9501-9600batch: iter_time=7.757e-05, forward_time=0.147, loss_ctc=72.508, loss_att=58.999, acc=0.691, loss=63.052, backward_time=0.290, grad_norm=44.255, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.125e-04, train_time=1.326 -[gpua002:0/64] 2023-12-06 11:47:51,918 (trainer:737) INFO: 13epoch:train:9601-9700batch: iter_time=8.555e-05, forward_time=0.146, loss_ctc=76.652, loss_att=64.628, acc=0.686, loss=68.235, backward_time=0.297, grad_norm=45.665, clip=100.000, loss_scale=1.387e+32, optim_step_time=0.133, optim0_lr0=1.125e-04, train_time=1.554 -[gpua002:0/64] 2023-12-06 11:50:37,632 (trainer:737) INFO: 13epoch:train:9701-9800batch: iter_time=8.154e-05, forward_time=0.191, loss_ctc=86.006, loss_att=72.189, acc=0.655, loss=76.335, backward_time=0.354, grad_norm=64.913, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.143, optim0_lr0=1.125e-04, train_time=1.657 -[gpua002:0/64] 2023-12-06 11:52:45,428 (trainer:737) INFO: 13epoch:train:9801-9900batch: iter_time=8.027e-05, forward_time=0.146, loss_ctc=67.928, loss_att=55.182, acc=0.692, loss=59.006, backward_time=0.285, grad_norm=46.729, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.124e-04, train_time=1.278 -[gpua002:0/64] 2023-12-06 11:55:24,354 (trainer:737) INFO: 13epoch:train:9901-10000batch: iter_time=7.981e-05, forward_time=0.146, loss_ctc=70.966, loss_att=60.588, acc=0.695, loss=63.702, backward_time=0.306, grad_norm=42.581, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.124e-04, train_time=1.589 -[gpua002:0/64] 2023-12-06 11:55:44,382 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua002:0/64] 2023-12-06 11:56:03,832 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 11:56:07,550 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 11:56:07,550 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua002:0/64] 2023-12-06 11:56:08,115 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 12:02:34,035 (trainer:737) INFO: 13epoch:train:10001-10100batch: iter_time=2.941, forward_time=0.172, loss_ctc=79.156, loss_att=69.031, acc=0.682, loss=72.069, backward_time=0.283, grad_norm=52.423, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=1.124e-04, train_time=4.296 -[gpua002:0/64] 2023-12-06 12:04:44,304 (trainer:737) INFO: 13epoch:train:10101-10200batch: iter_time=7.926e-05, forward_time=0.147, loss_ctc=77.307, loss_att=73.604, acc=0.690, loss=74.715, backward_time=0.292, grad_norm=47.636, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.123e-04, train_time=1.303 -[gpua002:0/64] 2023-12-06 12:05:24,176 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-06 12:07:03,130 (trainer:737) INFO: 13epoch:train:10201-10300batch: iter_time=8.021e-05, forward_time=0.147, loss_ctc=77.704, loss_att=65.840, acc=0.679, loss=69.399, backward_time=0.284, grad_norm=47.437, clip=100.000, loss_scale=1.057e+32, optim_step_time=0.134, optim0_lr0=1.123e-04, train_time=1.388 -[gpua002:0/64] 2023-12-06 12:09:53,646 (trainer:737) INFO: 13epoch:train:10301-10400batch: iter_time=8.223e-05, forward_time=0.147, loss_ctc=81.293, loss_att=64.728, acc=0.703, loss=69.698, backward_time=0.293, grad_norm=45.844, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.123e-04, train_time=1.705 -[gpua002:0/64] 2023-12-06 12:12:02,558 (trainer:737) INFO: 13epoch:train:10401-10500batch: iter_time=8.108e-05, forward_time=0.147, loss_ctc=70.600, loss_att=61.790, acc=0.671, loss=64.433, backward_time=0.282, grad_norm=47.474, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.123e-04, train_time=1.289 -[gpua002:0/64] 2023-12-06 12:14:32,470 (trainer:737) INFO: 13epoch:train:10501-10600batch: iter_time=8.430e-05, forward_time=0.148, loss_ctc=71.082, loss_att=63.338, acc=0.679, loss=65.661, backward_time=0.320, grad_norm=51.930, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.122e-04, train_time=1.499 -[gpua002:0/64] 2023-12-06 12:17:02,794 (trainer:737) INFO: 13epoch:train:10601-10700batch: iter_time=4.763e-04, forward_time=0.247, loss_ctc=73.498, loss_att=59.109, acc=0.707, loss=63.426, backward_time=0.311, grad_norm=45.885, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.146, optim0_lr0=1.122e-04, train_time=1.503 -[gpua002:0/64] 2023-12-06 12:19:58,891 (trainer:737) INFO: 13epoch:train:10701-10800batch: iter_time=8.182e-05, forward_time=0.162, loss_ctc=77.496, loss_att=62.825, acc=0.688, loss=67.226, backward_time=0.315, grad_norm=51.683, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.122e-04, train_time=1.761 -[gpua002:0/64] 2023-12-06 12:22:21,164 (trainer:737) INFO: 13epoch:train:10801-10900batch: iter_time=8.216e-05, forward_time=0.146, loss_ctc=75.853, loss_att=65.836, acc=0.702, loss=68.841, backward_time=0.291, grad_norm=44.266, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.121e-04, train_time=1.422 -[gpua002:0/64] 2023-12-06 12:25:08,720 (trainer:737) INFO: 13epoch:train:10901-11000batch: iter_time=7.937e-05, forward_time=0.146, loss_ctc=84.207, loss_att=63.600, acc=0.688, loss=69.782, backward_time=0.329, grad_norm=60.335, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.121e-04, train_time=1.675 -[gpua002:0/64] 2023-12-06 12:27:33,518 (trainer:737) INFO: 13epoch:train:11001-11100batch: iter_time=8.058e-05, forward_time=0.146, loss_ctc=69.439, loss_att=59.273, acc=0.702, loss=62.323, backward_time=0.301, grad_norm=40.930, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.121e-04, train_time=1.448 -[gpua002:0/64] 2023-12-06 12:30:04,698 (trainer:737) INFO: 13epoch:train:11101-11200batch: iter_time=8.107e-05, forward_time=0.146, loss_ctc=70.968, loss_att=61.562, acc=0.683, loss=64.384, backward_time=0.290, grad_norm=48.249, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.121e-04, train_time=1.512 -[gpua002:0/64] 2023-12-06 12:31:55,431 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua002:0/64] 2023-12-06 12:32:14,671 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 12:32:18,221 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 12:32:18,221 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua002:0/64] 2023-12-06 12:32:18,224 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 12:38:36,917 (trainer:737) INFO: 13epoch:train:11201-11300batch: iter_time=3.452, forward_time=0.193, loss_ctc=75.982, loss_att=67.496, acc=0.695, loss=70.042, backward_time=0.303, grad_norm=51.436, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.120e-04, train_time=5.122 -[gpua002:0/64] 2023-12-06 12:40:37,873 (trainer:737) INFO: 13epoch:train:11301-11400batch: iter_time=7.729e-05, forward_time=0.149, loss_ctc=77.612, loss_att=67.187, acc=0.684, loss=70.314, backward_time=0.282, grad_norm=51.616, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.120e-04, train_time=1.209 -[gpua002:0/64] 2023-12-06 12:43:01,513 (trainer:737) INFO: 13epoch:train:11401-11500batch: iter_time=8.048e-05, forward_time=0.146, loss_ctc=73.459, loss_att=68.192, acc=0.676, loss=69.772, backward_time=0.291, grad_norm=46.124, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.120e-04, train_time=1.436 -[gpua002:0/64] 2023-12-06 12:46:05,830 (trainer:737) INFO: 13epoch:train:11501-11600batch: iter_time=8.243e-05, forward_time=0.163, loss_ctc=88.220, loss_att=67.586, acc=0.681, loss=73.776, backward_time=0.326, grad_norm=54.219, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=1.119e-04, train_time=1.843 -[gpua002:0/64] 2023-12-06 12:49:15,687 (trainer:737) INFO: 13epoch:train:11601-11700batch: iter_time=7.620e-05, forward_time=0.208, loss_ctc=71.572, loss_att=60.041, acc=0.673, loss=63.500, backward_time=0.425, grad_norm=47.470, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=1.119e-04, train_time=1.898 -[gpua002:0/64] 2023-12-06 12:51:51,027 (trainer:737) INFO: 13epoch:train:11701-11800batch: iter_time=7.877e-05, forward_time=0.146, loss_ctc=67.326, loss_att=56.168, acc=0.675, loss=59.515, backward_time=0.299, grad_norm=47.599, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.119e-04, train_time=1.553 -[gpua002:0/64] 2023-12-06 12:54:24,721 (trainer:737) INFO: 13epoch:train:11801-11900batch: iter_time=7.747e-05, forward_time=0.146, loss_ctc=72.577, loss_att=64.013, acc=0.679, loss=66.583, backward_time=0.296, grad_norm=48.827, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.118e-04, train_time=1.537 -[gpua002:0/64] 2023-12-06 12:57:04,002 (trainer:737) INFO: 13epoch:train:11901-12000batch: iter_time=7.949e-05, forward_time=0.200, loss_ctc=79.184, loss_att=63.378, acc=0.683, loss=68.120, backward_time=0.333, grad_norm=52.129, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.145, optim0_lr0=1.118e-04, train_time=1.593 -[gpua002:0/64] 2023-12-06 13:00:14,899 (trainer:737) INFO: 13epoch:train:12001-12100batch: iter_time=7.145e-05, forward_time=0.146, loss_ctc=71.537, loss_att=57.771, acc=0.700, loss=61.901, backward_time=0.310, grad_norm=45.668, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.118e-04, train_time=1.908 -[gpua002:0/64] 2023-12-06 13:03:01,970 (trainer:737) INFO: 13epoch:train:12101-12200batch: iter_time=7.772e-05, forward_time=0.147, loss_ctc=76.057, loss_att=63.315, acc=0.693, loss=67.138, backward_time=0.325, grad_norm=47.313, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.118e-04, train_time=1.671 -[gpua002:0/64] 2023-12-06 13:05:15,183 (trainer:737) INFO: 13epoch:train:12201-12300batch: iter_time=7.645e-05, forward_time=0.146, loss_ctc=84.672, loss_att=70.975, acc=0.663, loss=75.084, backward_time=0.284, grad_norm=57.725, clip=100.000, loss_scale=1.371e+32, optim_step_time=0.133, optim0_lr0=1.117e-04, train_time=1.332 -[gpua002:0/64] 2023-12-06 13:07:32,997 (trainer:737) INFO: 13epoch:train:12301-12400batch: iter_time=7.610e-05, forward_time=0.146, loss_ctc=68.194, loss_att=54.610, acc=0.700, loss=58.685, backward_time=0.310, grad_norm=50.037, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.117e-04, train_time=1.378 -[gpua002:0/64] 2023-12-06 13:09:56,537 (trainer:737) INFO: 13epoch:train:12401-12500batch: iter_time=4.419e-04, forward_time=0.165, loss_ctc=70.987, loss_att=59.619, acc=0.704, loss=63.030, backward_time=0.301, grad_norm=44.626, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.138, optim0_lr0=1.117e-04, train_time=1.435 -[gpua002:0/64] 2023-12-06 13:10:16,566 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua002:0/64] 2023-12-06 13:10:35,473 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 13:10:39,039 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 13:10:39,039 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua002:0/64] 2023-12-06 13:10:39,042 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 13:17:30,527 (trainer:737) INFO: 13epoch:train:12501-12600batch: iter_time=3.056, forward_time=0.205, loss_ctc=78.678, loss_att=68.502, acc=0.689, loss=71.555, backward_time=0.303, grad_norm=56.119, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.116e-04, train_time=4.540 -[gpua002:0/64] 2023-12-06 13:19:37,841 (trainer:737) INFO: 13epoch:train:12601-12700batch: iter_time=8.089e-05, forward_time=0.148, loss_ctc=77.303, loss_att=72.690, acc=0.695, loss=74.074, backward_time=0.297, grad_norm=47.032, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.116e-04, train_time=1.273 -[gpua002:0/64] 2023-12-06 13:21:59,855 (trainer:737) INFO: 13epoch:train:12701-12800batch: iter_time=8.397e-05, forward_time=0.215, loss_ctc=78.360, loss_att=65.595, acc=0.680, loss=69.425, backward_time=0.388, grad_norm=48.259, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.145, optim0_lr0=1.116e-04, train_time=1.420 -[gpua002:0/64] 2023-12-06 13:24:30,693 (trainer:737) INFO: 13epoch:train:12801-12900batch: iter_time=8.206e-05, forward_time=0.147, loss_ctc=81.684, loss_att=64.603, acc=0.705, loss=69.727, backward_time=0.297, grad_norm=47.082, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.116e-04, train_time=1.508 -[gpua002:0/64] 2023-12-06 13:26:56,741 (trainer:737) INFO: 13epoch:train:12901-13000batch: iter_time=8.106e-05, forward_time=0.147, loss_ctc=69.411, loss_att=61.074, acc=0.672, loss=63.576, backward_time=0.296, grad_norm=50.157, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.115e-04, train_time=1.460 -[gpua002:0/64] 2023-12-06 13:29:35,219 (trainer:737) INFO: 13epoch:train:13001-13100batch: iter_time=8.061e-05, forward_time=0.164, loss_ctc=70.202, loss_att=62.712, acc=0.682, loss=64.959, backward_time=0.321, grad_norm=47.809, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.138, optim0_lr0=1.115e-04, train_time=1.584 -[gpua002:0/64] 2023-12-06 13:32:18,162 (trainer:737) INFO: 13epoch:train:13101-13200batch: iter_time=8.233e-05, forward_time=0.147, loss_ctc=73.217, loss_att=59.076, acc=0.709, loss=63.318, backward_time=0.295, grad_norm=46.550, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.115e-04, train_time=1.629 -[gpua002:0/64] 2023-12-06 13:35:23,456 (trainer:737) INFO: 13epoch:train:13201-13300batch: iter_time=8.622e-05, forward_time=0.239, loss_ctc=77.490, loss_att=62.505, acc=0.690, loss=67.001, backward_time=0.369, grad_norm=49.262, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.149, optim0_lr0=1.114e-04, train_time=1.853 -[gpua002:0/64] 2023-12-06 13:37:46,132 (trainer:737) INFO: 13epoch:train:13301-13400batch: iter_time=8.052e-05, forward_time=0.147, loss_ctc=75.425, loss_att=65.421, acc=0.705, loss=68.422, backward_time=0.316, grad_norm=46.211, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.114e-04, train_time=1.427 -[gpua002:0/64] 2023-12-06 13:39:49,277 (trainer:737) INFO: 13epoch:train:13401-13500batch: iter_time=7.937e-05, forward_time=0.147, loss_ctc=83.528, loss_att=63.999, acc=0.688, loss=69.858, backward_time=0.280, grad_norm=62.072, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.114e-04, train_time=1.231 -[gpua002:0/64] 2023-12-06 13:42:28,548 (trainer:737) INFO: 13epoch:train:13501-13600batch: iter_time=7.832e-05, forward_time=0.244, loss_ctc=70.129, loss_att=59.248, acc=0.703, loss=62.512, backward_time=0.379, grad_norm=45.343, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=1.114e-04, train_time=1.591 -[gpua002:0/64] 2023-12-06 13:45:52,099 (trainer:737) INFO: 13epoch:train:13601-13700batch: iter_time=8.283e-05, forward_time=0.147, loss_ctc=70.415, loss_att=61.706, acc=0.682, loss=64.319, backward_time=0.307, grad_norm=49.291, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.113e-04, train_time=2.037 -[gpua002:0/64] 2023-12-06 13:47:20,354 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua002:0/64] 2023-12-06 13:47:39,659 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 13:47:43,182 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 13:47:43,182 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua002:0/64] 2023-12-06 13:47:43,185 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 13:59:08,390 (trainer:737) INFO: 13epoch:train:13701-13800batch: iter_time=3.259, forward_time=0.146, loss_ctc=75.590, loss_att=67.647, acc=0.696, loss=70.030, backward_time=0.282, grad_norm=46.977, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.113e-04, train_time=7.963 -[gpua002:0/64] 2023-12-06 14:01:09,852 (trainer:737) INFO: 13epoch:train:13801-13900batch: iter_time=7.547e-05, forward_time=0.145, loss_ctc=77.665, loss_att=67.090, acc=0.687, loss=70.263, backward_time=0.279, grad_norm=52.011, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.113e-04, train_time=1.214 -[gpua002:0/64] 2023-12-06 14:03:50,699 (trainer:737) INFO: 13epoch:train:13901-14000batch: iter_time=7.565e-05, forward_time=0.148, loss_ctc=73.146, loss_att=67.386, acc=0.678, loss=69.114, backward_time=0.346, grad_norm=46.861, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.112e-04, train_time=1.608 -[gpua002:0/64] 2023-12-06 14:06:05,773 (trainer:737) INFO: 13epoch:train:14001-14100batch: iter_time=8.031e-05, forward_time=0.166, loss_ctc=87.500, loss_att=67.096, acc=0.685, loss=73.217, backward_time=0.283, grad_norm=53.089, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=1.112e-04, train_time=1.350 -[gpua002:0/64] 2023-12-06 14:08:30,354 (trainer:737) INFO: 13epoch:train:14101-14200batch: iter_time=8.267e-05, forward_time=0.204, loss_ctc=71.056, loss_att=59.146, acc=0.678, loss=62.719, backward_time=0.355, grad_norm=48.276, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=1.112e-04, train_time=1.445 -[gpua002:0/64] 2023-12-06 14:10:59,764 (trainer:737) INFO: 13epoch:train:14201-14300batch: iter_time=7.773e-05, forward_time=0.147, loss_ctc=66.998, loss_att=55.521, acc=0.679, loss=58.964, backward_time=0.300, grad_norm=48.762, clip=100.000, loss_scale=2.742e+32, optim_step_time=0.134, optim0_lr0=1.112e-04, train_time=1.495 -[gpua002:0/64] 2023-12-06 14:14:36,896 (trainer:737) INFO: 13epoch:train:14301-14400batch: iter_time=7.860e-05, forward_time=0.147, loss_ctc=73.112, loss_att=63.840, acc=0.680, loss=66.622, backward_time=0.448, grad_norm=47.002, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.111e-04, train_time=2.171 -[gpua002:0/64] 2023-12-06 14:17:31,127 (trainer:737) INFO: 13epoch:train:14401-14500batch: iter_time=7.664e-05, forward_time=0.147, loss_ctc=79.010, loss_att=63.271, acc=0.684, loss=67.993, backward_time=0.298, grad_norm=50.413, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.111e-04, train_time=1.742 -[gpua002:0/64] 2023-12-06 14:20:11,250 (trainer:737) INFO: 13epoch:train:14501-14600batch: iter_time=7.497e-05, forward_time=0.147, loss_ctc=71.867, loss_att=57.775, acc=0.701, loss=62.002, backward_time=0.315, grad_norm=43.561, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.111e-04, train_time=1.601 -[gpua002:0/64] 2023-12-06 14:22:42,354 (trainer:737) INFO: 13epoch:train:14601-14700batch: iter_time=7.918e-05, forward_time=0.146, loss_ctc=76.026, loss_att=63.133, acc=0.695, loss=67.001, backward_time=0.287, grad_norm=45.897, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.110e-04, train_time=1.511 -[gpua002:0/64] 2023-12-06 14:25:20,212 (trainer:737) INFO: 13epoch:train:14701-14800batch: iter_time=8.171e-05, forward_time=0.291, loss_ctc=84.103, loss_att=70.662, acc=0.664, loss=74.694, backward_time=0.316, grad_norm=60.364, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.140, optim0_lr0=1.110e-04, train_time=1.578 -[gpua002:0/64] 2023-12-06 14:25:36,005 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-06 14:27:49,831 (trainer:737) INFO: 13epoch:train:14801-14900batch: iter_time=7.804e-05, forward_time=0.148, loss_ctc=67.116, loss_att=54.160, acc=0.702, loss=58.047, backward_time=0.295, grad_norm=45.444, clip=100.000, loss_scale=1.819e+32, optim_step_time=0.135, optim0_lr0=1.110e-04, train_time=1.496 -[gpua002:0/64] 2023-12-06 14:30:31,734 (trainer:737) INFO: 13epoch:train:14901-15000batch: iter_time=7.857e-05, forward_time=0.148, loss_ctc=70.667, loss_att=59.402, acc=0.705, loss=62.781, backward_time=0.333, grad_norm=39.903, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=1.110e-04, train_time=1.619 -[gpua002:0/64] 2023-12-06 14:57:34,013 (trainer:343) INFO: 13epoch results: [train] iter_time=0.243, forward_time=0.160, loss_ctc=76.709, loss_att=64.469, acc=0.683, loss=68.141, backward_time=0.308, grad_norm=49.380, clip=100.000, loss_scale=1.403e+32, optim_step_time=0.135, optim0_lr0=1.132e-04, train_time=1.828, time=7 hours, 37 minutes and 31.13 seconds, total_count=195000, gpu_max_cached_mem_GB=37.561, [valid] loss_ctc=46.963, cer_ctc=0.240, loss_att=41.203, acc=0.657, cer=0.379, wer=0.997, loss=42.931, time=26 minutes and 37.86 seconds, total_count=60723, gpu_max_cached_mem_GB=37.561 -[gpua002:0/64] 2023-12-06 14:57:53,402 (trainer:391) INFO: The best model has been updated: valid.total_count -[gpua002:0/64] 2023-12-06 14:57:53,410 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/8epoch.pth -[gpua002:0/64] 2023-12-06 14:57:53,410 (trainer:272) INFO: 14/40epoch started. Estimated time to finish: 1 week, 3 days and 14 hours -[gpua002:0/64] 2023-12-06 14:57:53,423 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua002:0/64] 2023-12-06 14:58:12,331 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 14:58:15,986 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 14:58:15,986 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua002:0/64] 2023-12-06 14:58:15,990 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 15:04:56,648 (trainer:737) INFO: 14epoch:train:1-100batch: iter_time=2.637, forward_time=0.183, loss_ctc=71.212, loss_att=55.223, acc=0.691, loss=60.020, backward_time=0.287, grad_norm=60.032, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=1.109e-04, train_time=4.232 -[gpua002:0/64] 2023-12-06 15:07:01,497 (trainer:737) INFO: 14epoch:train:101-200batch: iter_time=8.732e-05, forward_time=0.147, loss_ctc=74.957, loss_att=58.071, acc=0.679, loss=63.137, backward_time=0.288, grad_norm=54.187, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.109e-04, train_time=1.248 -[gpua002:0/64] 2023-12-06 15:09:02,256 (trainer:737) INFO: 14epoch:train:201-300batch: iter_time=8.648e-05, forward_time=0.147, loss_ctc=72.155, loss_att=60.810, acc=0.704, loss=64.213, backward_time=0.283, grad_norm=47.624, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=1.109e-04, train_time=1.207 -[gpua002:0/64] 2023-12-06 15:11:06,702 (trainer:737) INFO: 14epoch:train:301-400batch: iter_time=7.807e-05, forward_time=0.148, loss_ctc=64.385, loss_att=59.534, acc=0.693, loss=60.990, backward_time=0.286, grad_norm=41.994, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.108e-04, train_time=1.244 -[gpua002:0/64] 2023-12-06 15:13:25,750 (trainer:737) INFO: 14epoch:train:401-500batch: iter_time=8.208e-05, forward_time=0.148, loss_ctc=68.933, loss_att=61.415, acc=0.689, loss=63.670, backward_time=0.299, grad_norm=43.620, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.108e-04, train_time=1.390 -[gpua002:0/64] 2023-12-06 15:15:54,015 (trainer:737) INFO: 14epoch:train:501-600batch: iter_time=8.122e-05, forward_time=0.150, loss_ctc=74.111, loss_att=56.232, acc=0.692, loss=61.596, backward_time=0.306, grad_norm=49.561, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.108e-04, train_time=1.482 -[gpua002:0/64] 2023-12-06 15:18:29,161 (trainer:737) INFO: 14epoch:train:601-700batch: iter_time=7.843e-05, forward_time=0.153, loss_ctc=75.298, loss_att=57.398, acc=0.691, loss=62.768, backward_time=0.329, grad_norm=52.720, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.108e-04, train_time=1.551 -[gpua002:0/64] 2023-12-06 15:21:05,110 (trainer:737) INFO: 14epoch:train:701-800batch: iter_time=8.036e-05, forward_time=0.198, loss_ctc=84.932, loss_att=71.549, acc=0.674, loss=75.564, backward_time=0.338, grad_norm=48.166, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=1.107e-04, train_time=1.559 -[gpua002:0/64] 2023-12-06 15:23:37,891 (trainer:737) INFO: 14epoch:train:801-900batch: iter_time=8.075e-05, forward_time=0.160, loss_ctc=79.134, loss_att=68.409, acc=0.664, loss=71.626, backward_time=0.303, grad_norm=48.268, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.107e-04, train_time=1.528 -[gpua002:0/64] 2023-12-06 15:26:10,951 (trainer:737) INFO: 14epoch:train:901-1000batch: iter_time=7.994e-05, forward_time=0.146, loss_ctc=72.116, loss_att=62.085, acc=0.678, loss=65.094, backward_time=0.307, grad_norm=54.270, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=1.107e-04, train_time=1.530 -[gpua002:0/64] 2023-12-06 15:29:23,184 (trainer:737) INFO: 14epoch:train:1001-1100batch: iter_time=7.993e-05, forward_time=0.148, loss_ctc=71.728, loss_att=54.963, acc=0.689, loss=59.992, backward_time=0.404, grad_norm=47.993, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.106e-04, train_time=1.922 -[gpua002:0/64] 2023-12-06 15:34:32,718 (trainer:737) INFO: 14epoch:train:1101-1200batch: iter_time=0.001, forward_time=0.171, loss_ctc=76.489, loss_att=58.123, acc=0.688, loss=63.632, backward_time=0.530, grad_norm=50.302, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.147, optim0_lr0=1.106e-04, train_time=3.095 -[gpua002:0/64] 2023-12-06 15:36:11,424 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua002:0/64] 2023-12-06 15:36:30,623 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 15:36:34,198 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 15:36:34,198 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua002:0/64] 2023-12-06 15:36:34,201 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 15:53:19,129 (trainer:737) INFO: 14epoch:train:1201-1300batch: iter_time=6.741, forward_time=0.169, loss_ctc=73.590, loss_att=61.609, acc=0.694, loss=65.203, backward_time=0.317, grad_norm=47.662, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.106e-04, train_time=11.264 -[gpua002:0/64] 2023-12-06 15:55:21,343 (trainer:737) INFO: 14epoch:train:1301-1400batch: iter_time=7.240e-05, forward_time=0.146, loss_ctc=76.403, loss_att=56.548, acc=0.687, loss=62.505, backward_time=0.279, grad_norm=53.185, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.106e-04, train_time=1.222 -[gpua002:0/64] 2023-12-06 15:58:50,347 (trainer:737) INFO: 14epoch:train:1401-1500batch: iter_time=7.713e-05, forward_time=0.298, loss_ctc=66.591, loss_att=54.350, acc=0.702, loss=58.022, backward_time=0.466, grad_norm=44.459, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.139, optim0_lr0=1.105e-04, train_time=2.089 -[gpua002:0/64] 2023-12-06 16:02:53,418 (trainer:737) INFO: 14epoch:train:1501-1600batch: iter_time=7.765e-05, forward_time=0.146, loss_ctc=65.954, loss_att=54.833, acc=0.709, loss=58.170, backward_time=0.349, grad_norm=41.283, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.105e-04, train_time=2.431 -[gpua002:0/64] 2023-12-06 16:06:23,167 (trainer:737) INFO: 14epoch:train:1601-1700batch: iter_time=7.996e-05, forward_time=0.147, loss_ctc=74.897, loss_att=70.989, acc=0.687, loss=72.162, backward_time=0.362, grad_norm=46.543, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=1.105e-04, train_time=2.097 -[gpua002:0/64] 2023-12-06 16:09:12,094 (trainer:737) INFO: 14epoch:train:1701-1800batch: iter_time=2.711e-04, forward_time=0.152, loss_ctc=65.444, loss_att=54.022, acc=0.693, loss=57.448, backward_time=0.355, grad_norm=44.423, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.104e-04, train_time=1.689 -[gpua002:0/64] 2023-12-06 16:12:00,847 (trainer:737) INFO: 14epoch:train:1801-1900batch: iter_time=7.563e-05, forward_time=0.156, loss_ctc=78.246, loss_att=55.710, acc=0.702, loss=62.471, backward_time=0.312, grad_norm=57.592, clip=100.000, loss_scale=3.034e+32, optim_step_time=0.134, optim0_lr0=1.104e-04, train_time=1.687 -[gpua002:0/64] 2023-12-06 16:14:27,292 (trainer:737) INFO: 14epoch:train:1901-2000batch: iter_time=7.672e-05, forward_time=0.151, loss_ctc=78.481, loss_att=63.549, acc=0.688, loss=68.029, backward_time=0.293, grad_norm=48.774, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.104e-04, train_time=1.464 -[gpua002:0/64] 2023-12-06 16:17:18,327 (trainer:737) INFO: 14epoch:train:2001-2100batch: iter_time=8.181e-05, forward_time=0.212, loss_ctc=76.610, loss_att=63.695, acc=0.679, loss=67.569, backward_time=0.333, grad_norm=48.004, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.104e-04, train_time=1.710 -[gpua002:0/64] 2023-12-06 16:18:44,007 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-06 16:20:03,640 (trainer:737) INFO: 14epoch:train:2101-2200batch: iter_time=8.361e-05, forward_time=0.147, loss_ctc=70.480, loss_att=62.921, acc=0.681, loss=65.189, backward_time=0.342, grad_norm=45.675, clip=100.000, loss_scale=2.475e+32, optim_step_time=0.133, optim0_lr0=1.103e-04, train_time=1.653 -[gpua002:0/64] 2023-12-06 16:22:55,274 (trainer:737) INFO: 14epoch:train:2201-2300batch: iter_time=8.291e-05, forward_time=0.156, loss_ctc=71.238, loss_att=56.823, acc=0.692, loss=61.147, backward_time=0.374, grad_norm=49.000, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.103e-04, train_time=1.716 -[gpua002:0/64] 2023-12-06 16:25:39,631 (trainer:737) INFO: 14epoch:train:2301-2400batch: iter_time=7.884e-05, forward_time=0.149, loss_ctc=70.024, loss_att=53.670, acc=0.695, loss=58.576, backward_time=0.308, grad_norm=43.713, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.103e-04, train_time=1.643 -[gpua002:0/64] 2023-12-06 16:27:53,749 (trainer:737) INFO: 14epoch:train:2401-2500batch: iter_time=7.897e-05, forward_time=0.154, loss_ctc=82.010, loss_att=68.359, acc=0.681, loss=72.454, backward_time=0.283, grad_norm=58.007, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.103e-04, train_time=1.341 -[gpua002:0/64] 2023-12-06 16:28:13,778 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua002:0/64] 2023-12-06 16:28:32,636 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 16:28:36,157 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 16:28:36,157 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua002:0/64] 2023-12-06 16:28:36,161 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 16:35:22,821 (trainer:737) INFO: 14epoch:train:2501-2600batch: iter_time=3.033, forward_time=0.184, loss_ctc=68.897, loss_att=51.959, acc=0.706, loss=57.041, backward_time=0.296, grad_norm=46.127, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.102e-04, train_time=4.490 -[gpua002:0/64] 2023-12-06 16:37:52,234 (trainer:737) INFO: 14epoch:train:2601-2700batch: iter_time=8.734e-05, forward_time=0.146, loss_ctc=72.976, loss_att=54.778, acc=0.692, loss=60.237, backward_time=0.314, grad_norm=51.237, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.102e-04, train_time=1.494 -[gpua002:0/64] 2023-12-06 16:40:02,292 (trainer:737) INFO: 14epoch:train:2701-2800batch: iter_time=8.201e-05, forward_time=0.146, loss_ctc=70.444, loss_att=58.875, acc=0.711, loss=62.346, backward_time=0.280, grad_norm=43.607, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.102e-04, train_time=1.300 -[gpua002:0/64] 2023-12-06 16:42:08,271 (trainer:737) INFO: 14epoch:train:2801-2900batch: iter_time=8.917e-05, forward_time=0.148, loss_ctc=62.176, loss_att=57.977, acc=0.702, loss=59.236, backward_time=0.281, grad_norm=39.580, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.101e-04, train_time=1.260 -[gpua002:0/64] 2023-12-06 16:44:22,186 (trainer:737) INFO: 14epoch:train:2901-3000batch: iter_time=8.128e-05, forward_time=0.147, loss_ctc=68.294, loss_att=60.657, acc=0.698, loss=62.948, backward_time=0.284, grad_norm=42.580, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.101e-04, train_time=1.339 -[gpua002:0/64] 2023-12-06 16:47:27,465 (trainer:737) INFO: 14epoch:train:3001-3100batch: iter_time=8.433e-05, forward_time=0.154, loss_ctc=73.430, loss_att=55.279, acc=0.701, loss=60.724, backward_time=0.351, grad_norm=46.518, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.101e-04, train_time=1.853 -[gpua002:0/64] 2023-12-06 16:50:09,663 (trainer:737) INFO: 14epoch:train:3101-3200batch: iter_time=8.105e-05, forward_time=0.148, loss_ctc=71.823, loss_att=55.437, acc=0.700, loss=60.353, backward_time=0.315, grad_norm=48.659, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.101e-04, train_time=1.622 -[gpua002:0/64] 2023-12-06 16:52:27,482 (trainer:737) INFO: 14epoch:train:3201-3300batch: iter_time=8.095e-05, forward_time=0.152, loss_ctc=82.665, loss_att=69.800, acc=0.681, loss=73.660, backward_time=0.300, grad_norm=52.326, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.100e-04, train_time=1.378 -[gpua002:0/64] 2023-12-06 16:55:20,386 (trainer:737) INFO: 14epoch:train:3301-3400batch: iter_time=8.636e-05, forward_time=0.176, loss_ctc=77.570, loss_att=66.973, acc=0.671, loss=70.152, backward_time=0.318, grad_norm=47.158, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.138, optim0_lr0=1.100e-04, train_time=1.729 -[gpua002:0/64] 2023-12-06 16:58:02,342 (trainer:737) INFO: 14epoch:train:3401-3500batch: iter_time=8.364e-05, forward_time=0.148, loss_ctc=69.299, loss_att=60.220, acc=0.688, loss=62.943, backward_time=0.319, grad_norm=49.850, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.100e-04, train_time=1.619 -[gpua002:0/64] 2023-12-06 17:00:12,769 (trainer:737) INFO: 14epoch:train:3501-3600batch: iter_time=7.821e-05, forward_time=0.146, loss_ctc=68.896, loss_att=53.211, acc=0.697, loss=57.917, backward_time=0.282, grad_norm=47.858, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.099e-04, train_time=1.304 -[gpua002:0/64] 2023-12-06 17:02:42,063 (trainer:737) INFO: 14epoch:train:3601-3700batch: iter_time=8.061e-05, forward_time=0.146, loss_ctc=73.676, loss_att=56.886, acc=0.694, loss=61.923, backward_time=0.300, grad_norm=49.310, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.099e-04, train_time=1.493 -[gpua002:0/64] 2023-12-06 17:04:02,452 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua002:0/64] 2023-12-06 17:04:21,865 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 17:04:25,455 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 17:04:25,455 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua002:0/64] 2023-12-06 17:04:25,458 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 17:10:22,665 (trainer:737) INFO: 14epoch:train:3701-3800batch: iter_time=2.894, forward_time=0.202, loss_ctc=72.818, loss_att=61.747, acc=0.694, loss=65.068, backward_time=0.288, grad_norm=48.922, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=1.099e-04, train_time=4.606 -[gpua002:0/64] 2023-12-06 17:12:37,744 (trainer:737) INFO: 14epoch:train:3801-3900batch: iter_time=7.651e-05, forward_time=0.147, loss_ctc=74.813, loss_att=55.331, acc=0.693, loss=61.176, backward_time=0.280, grad_norm=55.379, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.099e-04, train_time=1.351 -[gpua002:0/64] 2023-12-06 17:14:42,943 (trainer:737) INFO: 14epoch:train:3901-4000batch: iter_time=7.510e-05, forward_time=0.146, loss_ctc=66.196, loss_att=54.549, acc=0.695, loss=58.043, backward_time=0.282, grad_norm=46.272, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.098e-04, train_time=1.252 -[gpua002:0/64] 2023-12-06 17:17:23,418 (trainer:737) INFO: 14epoch:train:4001-4100batch: iter_time=5.475e-04, forward_time=0.275, loss_ctc=65.699, loss_att=53.670, acc=0.709, loss=57.279, backward_time=0.307, grad_norm=43.543, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.147, optim0_lr0=1.098e-04, train_time=1.605 -[gpua002:0/64] 2023-12-06 17:20:03,352 (trainer:737) INFO: 14epoch:train:4101-4200batch: iter_time=7.785e-05, forward_time=0.148, loss_ctc=74.528, loss_att=70.607, acc=0.682, loss=71.783, backward_time=0.295, grad_norm=48.253, clip=100.000, loss_scale=2.385e+32, optim_step_time=0.133, optim0_lr0=1.098e-04, train_time=1.599 -[gpua002:0/64] 2023-12-06 17:23:02,156 (trainer:737) INFO: 14epoch:train:4201-4300batch: iter_time=7.591e-05, forward_time=0.146, loss_ctc=64.350, loss_att=52.179, acc=0.695, loss=55.830, backward_time=0.311, grad_norm=41.768, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.098e-04, train_time=1.788 -[gpua002:0/64] 2023-12-06 17:25:30,475 (trainer:737) INFO: 14epoch:train:4301-4400batch: iter_time=7.594e-05, forward_time=0.146, loss_ctc=79.605, loss_att=54.600, acc=0.705, loss=62.102, backward_time=0.280, grad_norm=51.265, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.097e-04, train_time=1.483 -[gpua002:0/64] 2023-12-06 17:28:03,172 (trainer:737) INFO: 14epoch:train:4401-4500batch: iter_time=7.609e-05, forward_time=0.146, loss_ctc=78.266, loss_att=62.346, acc=0.686, loss=67.122, backward_time=0.291, grad_norm=49.576, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.097e-04, train_time=1.527 -[gpua002:0/64] 2023-12-06 17:30:14,320 (trainer:737) INFO: 14epoch:train:4501-4600batch: iter_time=7.569e-05, forward_time=0.146, loss_ctc=75.741, loss_att=65.476, acc=0.663, loss=68.556, backward_time=0.293, grad_norm=47.678, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.097e-04, train_time=1.311 -[gpua002:0/64] 2023-12-06 17:33:14,959 (trainer:737) INFO: 14epoch:train:4601-4700batch: iter_time=3.396e-04, forward_time=0.249, loss_ctc=69.714, loss_att=62.297, acc=0.684, loss=64.522, backward_time=0.332, grad_norm=43.784, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.139, optim0_lr0=1.096e-04, train_time=1.806 -[gpua002:0/64] 2023-12-06 17:35:44,040 (trainer:737) INFO: 14epoch:train:4701-4800batch: iter_time=7.726e-05, forward_time=0.146, loss_ctc=69.908, loss_att=56.104, acc=0.692, loss=60.245, backward_time=0.289, grad_norm=47.872, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.096e-04, train_time=1.490 -[gpua002:0/64] 2023-12-06 17:38:16,852 (trainer:737) INFO: 14epoch:train:4801-4900batch: iter_time=7.852e-05, forward_time=0.146, loss_ctc=69.282, loss_att=53.951, acc=0.686, loss=58.550, backward_time=0.284, grad_norm=44.472, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.096e-04, train_time=1.529 -[gpua002:0/64] 2023-12-06 17:40:26,096 (trainer:737) INFO: 14epoch:train:4901-5000batch: iter_time=7.573e-05, forward_time=0.159, loss_ctc=79.321, loss_att=66.792, acc=0.675, loss=70.551, backward_time=0.278, grad_norm=55.730, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.096e-04, train_time=1.292 -[gpua002:0/64] 2023-12-06 17:40:46,125 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua002:0/64] 2023-12-06 17:41:05,428 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 17:41:09,016 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 17:41:09,016 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua002:0/64] 2023-12-06 17:41:09,019 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 17:48:05,571 (trainer:737) INFO: 14epoch:train:5001-5100batch: iter_time=3.129, forward_time=0.223, loss_ctc=68.200, loss_att=50.656, acc=0.706, loss=55.919, backward_time=0.314, grad_norm=47.671, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.140, optim0_lr0=1.095e-04, train_time=4.595 -[gpua002:0/64] 2023-12-06 17:50:07,253 (trainer:737) INFO: 14epoch:train:5101-5200batch: iter_time=7.800e-05, forward_time=0.146, loss_ctc=73.284, loss_att=54.311, acc=0.689, loss=60.003, backward_time=0.279, grad_norm=48.722, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=1.095e-04, train_time=1.217 -[gpua002:0/64] 2023-12-06 17:52:43,337 (trainer:737) INFO: 14epoch:train:5201-5300batch: iter_time=8.240e-05, forward_time=0.146, loss_ctc=70.572, loss_att=57.109, acc=0.707, loss=61.148, backward_time=0.289, grad_norm=48.849, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=1.095e-04, train_time=1.561 -[gpua002:0/64] 2023-12-06 17:55:25,690 (trainer:737) INFO: 14epoch:train:5301-5400batch: iter_time=7.860e-05, forward_time=0.148, loss_ctc=61.501, loss_att=56.804, acc=0.703, loss=58.213, backward_time=0.302, grad_norm=38.531, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=1.095e-04, train_time=1.623 -[gpua002:0/64] 2023-12-06 17:57:36,121 (trainer:737) INFO: 14epoch:train:5401-5500batch: iter_time=7.900e-05, forward_time=0.146, loss_ctc=67.259, loss_att=59.246, acc=0.694, loss=61.650, backward_time=0.288, grad_norm=40.795, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=1.094e-04, train_time=1.304 -[gpua002:0/64] 2023-12-06 18:00:11,765 (trainer:737) INFO: 14epoch:train:5501-5600batch: iter_time=8.096e-05, forward_time=0.147, loss_ctc=72.173, loss_att=52.746, acc=0.703, loss=58.574, backward_time=0.306, grad_norm=48.010, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.094e-04, train_time=1.556 -[gpua002:0/64] 2023-12-06 18:02:24,280 (trainer:737) INFO: 14epoch:train:5601-5700batch: iter_time=7.816e-05, forward_time=0.149, loss_ctc=71.213, loss_att=54.253, acc=0.696, loss=59.341, backward_time=0.285, grad_norm=51.616, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.094e-04, train_time=1.325 -[gpua002:0/64] 2023-12-06 18:04:41,059 (trainer:737) INFO: 14epoch:train:5701-5800batch: iter_time=8.061e-05, forward_time=0.147, loss_ctc=82.343, loss_att=69.035, acc=0.679, loss=73.027, backward_time=0.280, grad_norm=48.923, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=1.093e-04, train_time=1.368 -[gpua002:0/64] 2023-12-06 18:07:27,385 (trainer:737) INFO: 14epoch:train:5801-5900batch: iter_time=7.951e-05, forward_time=0.147, loss_ctc=77.528, loss_att=68.552, acc=0.659, loss=71.245, backward_time=0.347, grad_norm=55.467, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=1.093e-04, train_time=1.663 -[gpua002:0/64] 2023-12-06 18:10:26,807 (trainer:737) INFO: 14epoch:train:5901-6000batch: iter_time=7.983e-05, forward_time=0.265, loss_ctc=68.924, loss_att=58.982, acc=0.690, loss=61.965, backward_time=0.424, grad_norm=45.498, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.142, optim0_lr0=1.093e-04, train_time=1.794 -[gpua002:0/64] 2023-12-06 18:12:47,968 (trainer:737) INFO: 14epoch:train:6001-6100batch: iter_time=7.878e-05, forward_time=0.147, loss_ctc=67.894, loss_att=52.149, acc=0.696, loss=56.873, backward_time=0.280, grad_norm=45.620, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=1.093e-04, train_time=1.412 -[gpua002:0/64] 2023-12-06 18:15:17,178 (trainer:737) INFO: 14epoch:train:6101-6200batch: iter_time=7.939e-05, forward_time=0.147, loss_ctc=72.433, loss_att=56.119, acc=0.688, loss=61.013, backward_time=0.313, grad_norm=54.172, clip=100.000, loss_scale=4.770e+32, optim_step_time=0.135, optim0_lr0=1.092e-04, train_time=1.492 -[gpua002:0/64] 2023-12-06 18:16:51,974 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua002:0/64] 2023-12-06 18:17:11,474 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 18:17:15,359 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 18:17:15,360 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua002:0/64] 2023-12-06 18:17:15,363 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 18:22:28,339 (trainer:737) INFO: 14epoch:train:6201-6300batch: iter_time=2.828, forward_time=0.179, loss_ctc=72.151, loss_att=58.599, acc=0.694, loss=62.665, backward_time=0.307, grad_norm=47.680, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.135, optim0_lr0=1.092e-04, train_time=4.311 -[gpua002:0/64] 2023-12-06 18:24:37,550 (trainer:737) INFO: 14epoch:train:6301-6400batch: iter_time=7.277e-05, forward_time=0.147, loss_ctc=74.455, loss_att=54.603, acc=0.693, loss=60.559, backward_time=0.280, grad_norm=51.828, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.092e-04, train_time=1.292 -[gpua002:0/64] 2023-12-06 18:26:59,080 (trainer:737) INFO: 14epoch:train:6401-6500batch: iter_time=7.926e-05, forward_time=0.278, loss_ctc=65.566, loss_att=52.956, acc=0.701, loss=56.739, backward_time=0.303, grad_norm=44.871, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.142, optim0_lr0=1.092e-04, train_time=1.415 -[gpua002:0/64] 2023-12-06 18:29:40,772 (trainer:737) INFO: 14epoch:train:6501-6600batch: iter_time=7.842e-05, forward_time=0.145, loss_ctc=65.262, loss_att=53.086, acc=0.710, loss=56.739, backward_time=0.300, grad_norm=41.420, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.133, optim0_lr0=1.091e-04, train_time=1.617 -[gpua002:0/64] 2023-12-06 18:29:43,112 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-06 18:32:21,546 (trainer:737) INFO: 14epoch:train:6601-6700batch: iter_time=8.073e-05, forward_time=0.145, loss_ctc=74.147, loss_att=69.166, acc=0.687, loss=70.660, backward_time=0.309, grad_norm=44.696, clip=100.000, loss_scale=3.278e+32, optim_step_time=0.133, optim0_lr0=1.091e-04, train_time=1.607 -[gpua002:0/64] 2023-12-06 18:34:49,198 (trainer:737) INFO: 14epoch:train:6701-6800batch: iter_time=8.411e-05, forward_time=0.145, loss_ctc=64.724, loss_att=51.939, acc=0.696, loss=55.775, backward_time=0.289, grad_norm=45.584, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.091e-04, train_time=1.476 -[gpua002:0/64] 2023-12-06 18:37:12,540 (trainer:737) INFO: 14epoch:train:6801-6900batch: iter_time=7.921e-05, forward_time=0.145, loss_ctc=76.426, loss_att=54.301, acc=0.707, loss=60.938, backward_time=0.291, grad_norm=49.451, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.090e-04, train_time=1.433 -[gpua002:0/64] 2023-12-06 18:39:35,271 (trainer:737) INFO: 14epoch:train:6901-7000batch: iter_time=7.893e-05, forward_time=0.185, loss_ctc=77.340, loss_att=61.554, acc=0.689, loss=66.290, backward_time=0.288, grad_norm=49.374, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=1.090e-04, train_time=1.427 -[gpua002:0/64] 2023-12-06 18:42:09,431 (trainer:737) INFO: 14epoch:train:7001-7100batch: iter_time=7.710e-05, forward_time=0.219, loss_ctc=75.020, loss_att=63.539, acc=0.671, loss=66.983, backward_time=0.317, grad_norm=46.496, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.090e-04, train_time=1.541 -[gpua002:0/64] 2023-12-06 18:44:49,919 (trainer:737) INFO: 14epoch:train:7101-7200batch: iter_time=7.861e-05, forward_time=0.147, loss_ctc=69.571, loss_att=61.751, acc=0.687, loss=64.097, backward_time=0.335, grad_norm=45.633, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.090e-04, train_time=1.605 -[gpua002:0/64] 2023-12-06 18:47:17,581 (trainer:737) INFO: 14epoch:train:7201-7300batch: iter_time=7.801e-05, forward_time=0.146, loss_ctc=69.586, loss_att=55.821, acc=0.691, loss=59.950, backward_time=0.325, grad_norm=45.798, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.089e-04, train_time=1.476 -[gpua002:0/64] 2023-12-06 18:50:01,801 (trainer:737) INFO: 14epoch:train:7301-7400batch: iter_time=7.724e-05, forward_time=0.146, loss_ctc=68.150, loss_att=53.081, acc=0.690, loss=57.602, backward_time=0.309, grad_norm=42.248, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.089e-04, train_time=1.642 -[gpua002:0/64] 2023-12-06 18:52:35,733 (trainer:737) INFO: 14epoch:train:7401-7500batch: iter_time=2.805e-04, forward_time=0.283, loss_ctc=80.177, loss_att=65.701, acc=0.683, loss=70.044, backward_time=0.314, grad_norm=52.786, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.137, optim0_lr0=1.089e-04, train_time=1.538 -[gpua002:0/64] 2023-12-06 18:52:55,805 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua002:0/64] 2023-12-06 18:53:14,782 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 18:53:18,374 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 18:53:18,374 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua002:0/64] 2023-12-06 18:53:18,377 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 18:59:54,051 (trainer:737) INFO: 14epoch:train:7501-7600batch: iter_time=3.030, forward_time=0.203, loss_ctc=67.727, loss_att=52.831, acc=0.712, loss=57.300, backward_time=0.290, grad_norm=47.749, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.089e-04, train_time=4.383 -[gpua002:0/64] 2023-12-06 19:01:54,327 (trainer:737) INFO: 14epoch:train:7601-7700batch: iter_time=8.643e-05, forward_time=0.146, loss_ctc=72.631, loss_att=55.743, acc=0.694, loss=60.810, backward_time=0.279, grad_norm=49.405, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.088e-04, train_time=1.203 -[gpua002:0/64] 2023-12-06 19:03:59,813 (trainer:737) INFO: 14epoch:train:7701-7800batch: iter_time=8.772e-05, forward_time=0.146, loss_ctc=69.421, loss_att=58.784, acc=0.714, loss=61.975, backward_time=0.286, grad_norm=45.615, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.088e-04, train_time=1.255 -[gpua002:0/64] 2023-12-06 19:06:35,196 (trainer:737) INFO: 14epoch:train:7801-7900batch: iter_time=7.929e-04, forward_time=0.170, loss_ctc=61.914, loss_att=57.939, acc=0.707, loss=59.132, backward_time=0.344, grad_norm=45.519, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.137, optim0_lr0=1.088e-04, train_time=1.554 -[gpua002:0/64] 2023-12-06 19:09:17,076 (trainer:737) INFO: 14epoch:train:7901-8000batch: iter_time=8.433e-05, forward_time=0.149, loss_ctc=67.161, loss_att=60.168, acc=0.701, loss=62.266, backward_time=0.326, grad_norm=42.002, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.087e-04, train_time=1.619 -[gpua002:0/64] 2023-12-06 19:12:00,517 (trainer:737) INFO: 14epoch:train:8001-8100batch: iter_time=8.533e-05, forward_time=0.147, loss_ctc=72.383, loss_att=54.497, acc=0.705, loss=59.863, backward_time=0.320, grad_norm=45.866, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.087e-04, train_time=1.634 -[gpua002:0/64] 2023-12-06 19:15:03,938 (trainer:737) INFO: 14epoch:train:8101-8200batch: iter_time=8.606e-05, forward_time=0.146, loss_ctc=71.208, loss_att=55.092, acc=0.702, loss=59.927, backward_time=0.302, grad_norm=50.467, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.087e-04, train_time=1.834 -[gpua002:0/64] 2023-12-06 19:17:33,312 (trainer:737) INFO: 14epoch:train:8201-8300batch: iter_time=7.999e-05, forward_time=0.199, loss_ctc=81.860, loss_att=68.130, acc=0.689, loss=72.249, backward_time=0.373, grad_norm=46.875, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.140, optim0_lr0=1.087e-04, train_time=1.494 -[gpua002:0/64] 2023-12-06 19:19:41,611 (trainer:737) INFO: 14epoch:train:8301-8400batch: iter_time=8.071e-05, forward_time=0.147, loss_ctc=76.617, loss_att=66.490, acc=0.678, loss=69.528, backward_time=0.290, grad_norm=48.937, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.086e-04, train_time=1.283 -[gpua002:0/64] 2023-12-06 19:22:31,158 (trainer:737) INFO: 14epoch:train:8401-8500batch: iter_time=8.555e-05, forward_time=0.146, loss_ctc=68.637, loss_att=60.332, acc=0.691, loss=62.824, backward_time=0.347, grad_norm=47.989, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.086e-04, train_time=1.695 -[gpua002:0/64] 2023-12-06 19:24:58,325 (trainer:737) INFO: 14epoch:train:8501-8600batch: iter_time=7.834e-05, forward_time=0.146, loss_ctc=67.401, loss_att=52.223, acc=0.702, loss=56.776, backward_time=0.292, grad_norm=45.703, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.086e-04, train_time=1.471 -[gpua002:0/64] 2023-12-06 19:27:05,792 (trainer:737) INFO: 14epoch:train:8601-8700batch: iter_time=7.976e-05, forward_time=0.146, loss_ctc=72.366, loss_att=55.555, acc=0.698, loss=60.598, backward_time=0.280, grad_norm=47.350, clip=100.000, loss_scale=6.425e+32, optim_step_time=0.133, optim0_lr0=1.086e-04, train_time=1.274 -[gpua002:0/64] 2023-12-06 19:28:37,361 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua002:0/64] 2023-12-06 19:28:56,884 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 19:29:00,484 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 19:29:00,484 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua002:0/64] 2023-12-06 19:29:00,487 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 19:34:58,817 (trainer:737) INFO: 14epoch:train:8701-8800batch: iter_time=3.142, forward_time=0.190, loss_ctc=71.602, loss_att=59.910, acc=0.708, loss=63.417, backward_time=0.331, grad_norm=45.483, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.085e-04, train_time=4.730 -[gpua002:0/64] 2023-12-06 19:37:00,839 (trainer:737) INFO: 14epoch:train:8801-8900batch: iter_time=8.444e-05, forward_time=0.147, loss_ctc=74.113, loss_att=54.409, acc=0.700, loss=60.320, backward_time=0.280, grad_norm=50.484, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.133, optim0_lr0=1.085e-04, train_time=1.220 -[gpua002:0/64] 2023-12-06 19:39:08,767 (trainer:737) INFO: 14epoch:train:8901-9000batch: iter_time=8.293e-05, forward_time=0.147, loss_ctc=65.958, loss_att=53.462, acc=0.712, loss=57.210, backward_time=0.280, grad_norm=45.531, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.133, optim0_lr0=1.085e-04, train_time=1.279 -[gpua002:0/64] 2023-12-06 19:41:40,024 (trainer:737) INFO: 14epoch:train:9001-9100batch: iter_time=8.358e-05, forward_time=0.270, loss_ctc=64.634, loss_att=53.678, acc=0.718, loss=56.965, backward_time=0.306, grad_norm=41.443, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.168, optim0_lr0=1.085e-04, train_time=1.513 -[gpua002:0/64] 2023-12-06 19:44:21,102 (trainer:737) INFO: 14epoch:train:9101-9200batch: iter_time=7.628e-05, forward_time=0.149, loss_ctc=73.770, loss_att=70.023, acc=0.693, loss=71.147, backward_time=0.313, grad_norm=47.957, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.084e-04, train_time=1.611 -[gpua002:0/64] 2023-12-06 19:46:24,822 (trainer:737) INFO: 14epoch:train:9201-9300batch: iter_time=7.442e-05, forward_time=0.146, loss_ctc=64.170, loss_att=52.479, acc=0.703, loss=55.986, backward_time=0.283, grad_norm=42.265, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.084e-04, train_time=1.237 -[gpua002:0/64] 2023-12-06 19:48:59,998 (trainer:737) INFO: 14epoch:train:9301-9400batch: iter_time=7.839e-05, forward_time=0.147, loss_ctc=73.787, loss_att=53.982, acc=0.711, loss=59.924, backward_time=0.291, grad_norm=48.063, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.133, optim0_lr0=1.084e-04, train_time=1.551 -[gpua002:0/64] 2023-12-06 19:52:07,996 (trainer:737) INFO: 14epoch:train:9401-9500batch: iter_time=8.184e-05, forward_time=0.149, loss_ctc=76.885, loss_att=62.217, acc=0.694, loss=66.617, backward_time=0.314, grad_norm=49.042, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.133, optim0_lr0=1.083e-04, train_time=1.880 -[gpua002:0/64] 2023-12-06 19:54:37,607 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-06 19:54:38,820 (trainer:737) INFO: 14epoch:train:9501-9600batch: iter_time=7.881e-05, forward_time=0.251, loss_ctc=74.562, loss_att=62.708, acc=0.684, loss=66.264, backward_time=0.320, grad_norm=49.778, clip=100.000, loss_scale=6.458e+32, optim_step_time=0.136, optim0_lr0=1.083e-04, train_time=1.508 -[gpua002:0/64] 2023-12-06 19:56:39,554 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-06 19:57:15,904 (trainer:737) INFO: 14epoch:train:9601-9700batch: iter_time=8.077e-05, forward_time=0.147, loss_ctc=68.762, loss_att=61.713, acc=0.688, loss=63.828, backward_time=0.292, grad_norm=43.501, clip=100.000, loss_scale=2.885e+32, optim_step_time=0.133, optim0_lr0=1.083e-04, train_time=1.571 -[gpua002:0/64] 2023-12-06 19:59:49,951 (trainer:737) INFO: 14epoch:train:9701-9800batch: iter_time=8.162e-05, forward_time=0.146, loss_ctc=69.338, loss_att=55.520, acc=0.699, loss=59.665, backward_time=0.289, grad_norm=50.736, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.083e-04, train_time=1.540 -[gpua002:0/64] 2023-12-06 20:02:14,948 (trainer:737) INFO: 14epoch:train:9801-9900batch: iter_time=7.869e-05, forward_time=0.148, loss_ctc=68.213, loss_att=52.638, acc=0.701, loss=57.310, backward_time=0.288, grad_norm=48.620, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.082e-04, train_time=1.450 -[gpua002:0/64] 2023-12-06 20:04:36,217 (trainer:737) INFO: 14epoch:train:9901-10000batch: iter_time=7.769e-05, forward_time=0.146, loss_ctc=79.317, loss_att=67.264, acc=0.688, loss=70.880, backward_time=0.322, grad_norm=51.974, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.082e-04, train_time=1.412 -[gpua002:0/64] 2023-12-06 20:04:56,245 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua002:0/64] 2023-12-06 20:05:15,506 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 20:05:19,092 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 20:05:19,092 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua002:0/64] 2023-12-06 20:05:19,095 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 20:11:59,899 (trainer:737) INFO: 14epoch:train:10001-10100batch: iter_time=3.147, forward_time=0.181, loss_ctc=67.823, loss_att=51.840, acc=0.707, loss=56.635, backward_time=0.282, grad_norm=45.783, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.082e-04, train_time=4.437 -[gpua002:0/64] 2023-12-06 20:14:37,020 (trainer:737) INFO: 14epoch:train:10101-10200batch: iter_time=8.124e-05, forward_time=0.146, loss_ctc=72.658, loss_att=54.721, acc=0.691, loss=60.102, backward_time=0.296, grad_norm=55.397, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.082e-04, train_time=1.571 -[gpua002:0/64] 2023-12-06 20:16:48,908 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-06 20:17:11,178 (trainer:737) INFO: 14epoch:train:10201-10300batch: iter_time=4.029e-04, forward_time=0.190, loss_ctc=68.923, loss_att=57.209, acc=0.707, loss=60.724, backward_time=0.395, grad_norm=47.304, clip=100.000, loss_scale=1.524e+32, optim_step_time=0.148, optim0_lr0=1.081e-04, train_time=1.541 -[gpua002:0/64] 2023-12-06 20:19:22,576 (trainer:737) INFO: 14epoch:train:10301-10400batch: iter_time=8.056e-05, forward_time=0.152, loss_ctc=61.478, loss_att=57.668, acc=0.703, loss=58.811, backward_time=0.280, grad_norm=42.464, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.081e-04, train_time=1.314 -[gpua002:0/64] 2023-12-06 20:20:27,689 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-06 20:21:40,572 (trainer:737) INFO: 14epoch:train:10401-10500batch: iter_time=8.075e-05, forward_time=0.146, loss_ctc=66.611, loss_att=59.357, acc=0.696, loss=61.533, backward_time=0.293, grad_norm=47.558, clip=100.000, loss_scale=6.146e+31, optim_step_time=0.133, optim0_lr0=1.081e-04, train_time=1.380 -[gpua002:0/64] 2023-12-06 20:23:58,403 (trainer:737) INFO: 14epoch:train:10501-10600batch: iter_time=7.870e-05, forward_time=0.186, loss_ctc=72.200, loss_att=53.036, acc=0.705, loss=58.785, backward_time=0.309, grad_norm=46.187, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=1.081e-04, train_time=1.378 -[gpua002:0/64] 2023-12-06 20:27:02,588 (trainer:737) INFO: 14epoch:train:10601-10700batch: iter_time=8.191e-05, forward_time=0.192, loss_ctc=71.386, loss_att=53.826, acc=0.698, loss=59.094, backward_time=0.359, grad_norm=50.695, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=1.080e-04, train_time=1.840 -[gpua002:0/64] 2023-12-06 20:29:37,796 (trainer:737) INFO: 14epoch:train:10701-10800batch: iter_time=7.822e-05, forward_time=0.147, loss_ctc=81.183, loss_att=67.973, acc=0.684, loss=71.936, backward_time=0.328, grad_norm=50.832, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=1.080e-04, train_time=1.554 -[gpua002:0/64] 2023-12-06 20:32:32,297 (trainer:737) INFO: 14epoch:train:10801-10900batch: iter_time=8.167e-05, forward_time=0.146, loss_ctc=76.086, loss_att=66.313, acc=0.668, loss=69.245, backward_time=0.349, grad_norm=50.295, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=1.080e-04, train_time=1.745 -[gpua002:0/64] 2023-12-06 20:34:58,983 (trainer:737) INFO: 14epoch:train:10901-11000batch: iter_time=8.028e-05, forward_time=0.146, loss_ctc=68.771, loss_att=59.458, acc=0.691, loss=62.252, backward_time=0.295, grad_norm=46.931, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=1.080e-04, train_time=1.467 -[gpua002:0/64] 2023-12-06 20:37:37,411 (trainer:737) INFO: 14epoch:train:11001-11100batch: iter_time=8.013e-05, forward_time=0.210, loss_ctc=66.795, loss_att=51.903, acc=0.695, loss=56.371, backward_time=0.335, grad_norm=44.390, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=1.079e-04, train_time=1.584 -[gpua002:0/64] 2023-12-06 20:39:57,362 (trainer:737) INFO: 14epoch:train:11101-11200batch: iter_time=7.751e-05, forward_time=0.153, loss_ctc=71.442, loss_att=54.838, acc=0.696, loss=59.820, backward_time=0.289, grad_norm=47.392, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=1.079e-04, train_time=1.398 -[gpua002:0/64] 2023-12-06 20:41:17,811 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua002:0/64] 2023-12-06 20:41:37,241 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 20:41:40,869 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 20:41:40,869 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua002:0/64] 2023-12-06 20:41:40,873 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 20:47:20,232 (trainer:737) INFO: 14epoch:train:11201-11300batch: iter_time=3.052, forward_time=0.146, loss_ctc=71.605, loss_att=58.349, acc=0.697, loss=62.326, backward_time=0.281, grad_norm=47.344, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=1.079e-04, train_time=4.430 -[gpua002:0/64] 2023-12-06 20:49:21,304 (trainer:737) INFO: 14epoch:train:11301-11400batch: iter_time=7.931e-05, forward_time=0.145, loss_ctc=73.346, loss_att=52.847, acc=0.702, loss=58.997, backward_time=0.279, grad_norm=49.486, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=1.078e-04, train_time=1.211 -[gpua002:0/64] 2023-12-06 20:51:41,607 (trainer:737) INFO: 14epoch:train:11401-11500batch: iter_time=8.211e-05, forward_time=0.145, loss_ctc=65.511, loss_att=52.269, acc=0.705, loss=56.242, backward_time=0.289, grad_norm=44.418, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=1.078e-04, train_time=1.403 -[gpua002:0/64] 2023-12-06 20:53:51,968 (trainer:737) INFO: 14epoch:train:11501-11600batch: iter_time=7.987e-05, forward_time=0.146, loss_ctc=64.654, loss_att=52.295, acc=0.715, loss=56.003, backward_time=0.280, grad_norm=41.121, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=1.078e-04, train_time=1.303 -[gpua002:0/64] 2023-12-06 20:56:38,895 (trainer:737) INFO: 14epoch:train:11601-11700batch: iter_time=7.955e-05, forward_time=0.174, loss_ctc=73.025, loss_att=68.540, acc=0.692, loss=69.886, backward_time=0.326, grad_norm=46.357, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=1.078e-04, train_time=1.669 -[gpua002:0/64] 2023-12-06 20:59:01,008 (trainer:737) INFO: 14epoch:train:11701-11800batch: iter_time=7.737e-05, forward_time=0.181, loss_ctc=63.786, loss_att=51.483, acc=0.700, loss=55.174, backward_time=0.355, grad_norm=42.581, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=1.077e-04, train_time=1.421 -[gpua002:0/64] 2023-12-06 21:01:32,043 (trainer:737) INFO: 14epoch:train:11801-11900batch: iter_time=7.747e-05, forward_time=0.151, loss_ctc=73.364, loss_att=53.477, acc=0.711, loss=59.443, backward_time=0.338, grad_norm=48.271, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=1.077e-04, train_time=1.509 -[gpua002:0/64] 2023-12-06 21:04:14,331 (trainer:737) INFO: 14epoch:train:11901-12000batch: iter_time=8.033e-05, forward_time=0.146, loss_ctc=76.744, loss_att=60.694, acc=0.693, loss=65.509, backward_time=0.292, grad_norm=47.321, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=1.077e-04, train_time=1.624 -[gpua002:0/64] 2023-12-06 21:06:50,371 (trainer:737) INFO: 14epoch:train:12001-12100batch: iter_time=8.119e-05, forward_time=0.145, loss_ctc=73.775, loss_att=63.456, acc=0.672, loss=66.552, backward_time=0.303, grad_norm=46.775, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=1.077e-04, train_time=1.560 -[gpua002:0/64] 2023-12-06 21:08:57,665 (trainer:737) INFO: 14epoch:train:12101-12200batch: iter_time=7.705e-05, forward_time=0.146, loss_ctc=68.806, loss_att=61.283, acc=0.689, loss=63.540, backward_time=0.280, grad_norm=47.224, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=1.076e-04, train_time=1.273 -[gpua002:0/64] 2023-12-06 21:11:23,372 (trainer:737) INFO: 14epoch:train:12201-12300batch: iter_time=7.773e-05, forward_time=0.146, loss_ctc=68.951, loss_att=54.625, acc=0.697, loss=58.923, backward_time=0.283, grad_norm=46.857, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=1.076e-04, train_time=1.457 -[gpua002:0/64] 2023-12-06 21:13:46,612 (trainer:737) INFO: 14epoch:train:12301-12400batch: iter_time=7.941e-05, forward_time=0.145, loss_ctc=67.951, loss_att=52.805, acc=0.694, loss=57.349, backward_time=0.285, grad_norm=43.277, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=1.076e-04, train_time=1.432 -[gpua002:0/64] 2023-12-06 21:16:08,086 (trainer:737) INFO: 14epoch:train:12401-12500batch: iter_time=7.522e-05, forward_time=0.242, loss_ctc=78.594, loss_att=65.593, acc=0.683, loss=69.493, backward_time=0.320, grad_norm=54.302, clip=100.000, loss_scale=6.004e+31, optim_step_time=0.136, optim0_lr0=1.076e-04, train_time=1.415 -[gpua002:0/64] 2023-12-06 21:16:28,138 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua002:0/64] 2023-12-06 21:16:47,052 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 21:16:50,581 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 21:16:50,581 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua002:0/64] 2023-12-06 21:16:50,584 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 21:27:07,467 (trainer:737) INFO: 14epoch:train:12501-12600batch: iter_time=3.115, forward_time=0.161, loss_ctc=66.736, loss_att=51.743, acc=0.715, loss=56.241, backward_time=0.284, grad_norm=44.105, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.075e-04, train_time=6.593 -[gpua002:0/64] 2023-12-06 21:29:18,024 (trainer:737) INFO: 14epoch:train:12601-12700batch: iter_time=7.701e-05, forward_time=0.172, loss_ctc=71.327, loss_att=53.982, acc=0.702, loss=59.185, backward_time=0.291, grad_norm=47.617, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.075e-04, train_time=1.306 -[gpua002:0/64] 2023-12-06 21:31:38,148 (trainer:737) INFO: 14epoch:train:12701-12800batch: iter_time=1.962e-04, forward_time=0.205, loss_ctc=68.153, loss_att=57.722, acc=0.716, loss=60.851, backward_time=0.301, grad_norm=46.413, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=1.075e-04, train_time=1.401 -[gpua002:0/64] 2023-12-06 21:33:56,437 (trainer:737) INFO: 14epoch:train:12801-12900batch: iter_time=7.777e-05, forward_time=0.146, loss_ctc=60.882, loss_att=57.109, acc=0.711, loss=58.240, backward_time=0.286, grad_norm=38.479, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.075e-04, train_time=1.383 -[gpua002:0/64] 2023-12-06 21:36:38,479 (trainer:737) INFO: 14epoch:train:12901-13000batch: iter_time=7.907e-05, forward_time=0.147, loss_ctc=66.303, loss_att=59.236, acc=0.705, loss=61.356, backward_time=0.319, grad_norm=42.881, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.074e-04, train_time=1.620 -[gpua002:0/64] 2023-12-06 21:39:19,259 (trainer:737) INFO: 14epoch:train:13001-13100batch: iter_time=7.432e-05, forward_time=0.149, loss_ctc=72.486, loss_att=54.609, acc=0.706, loss=59.972, backward_time=0.312, grad_norm=47.249, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.074e-04, train_time=1.608 -[gpua002:0/64] 2023-12-06 21:42:39,462 (trainer:737) INFO: 14epoch:train:13101-13200batch: iter_time=7.797e-05, forward_time=0.226, loss_ctc=69.945, loss_att=54.704, acc=0.707, loss=59.276, backward_time=0.345, grad_norm=55.782, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.154, optim0_lr0=1.074e-04, train_time=2.002 -[gpua002:0/64] 2023-12-06 21:45:33,205 (trainer:737) INFO: 14epoch:train:13201-13300batch: iter_time=7.850e-05, forward_time=0.148, loss_ctc=80.819, loss_att=68.193, acc=0.689, loss=71.981, backward_time=0.297, grad_norm=46.608, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.074e-04, train_time=1.737 -[gpua002:0/64] 2023-12-06 21:48:01,264 (trainer:737) INFO: 14epoch:train:13301-13400batch: iter_time=7.726e-05, forward_time=0.147, loss_ctc=75.787, loss_att=65.927, acc=0.678, loss=68.885, backward_time=0.297, grad_norm=48.609, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.073e-04, train_time=1.480 -[gpua002:0/64] 2023-12-06 21:50:22,255 (trainer:737) INFO: 14epoch:train:13401-13500batch: iter_time=7.720e-05, forward_time=0.147, loss_ctc=68.038, loss_att=60.061, acc=0.694, loss=62.454, backward_time=0.294, grad_norm=47.892, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.073e-04, train_time=1.410 -[gpua002:0/64] 2023-12-06 21:52:36,226 (trainer:737) INFO: 14epoch:train:13501-13600batch: iter_time=7.868e-05, forward_time=0.147, loss_ctc=66.802, loss_att=52.091, acc=0.703, loss=56.504, backward_time=0.287, grad_norm=42.935, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.073e-04, train_time=1.339 -[gpua002:0/64] 2023-12-06 21:55:11,278 (trainer:737) INFO: 14epoch:train:13601-13700batch: iter_time=7.730e-05, forward_time=0.147, loss_ctc=70.109, loss_att=55.140, acc=0.702, loss=59.631, backward_time=0.352, grad_norm=48.594, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.073e-04, train_time=1.550 -[gpua002:0/64] 2023-12-06 21:56:43,041 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua002:0/64] 2023-12-06 21:57:02,452 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 21:57:06,272 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 21:57:06,272 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua002:0/64] 2023-12-06 21:57:06,275 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 22:02:54,790 (trainer:737) INFO: 14epoch:train:13701-13800batch: iter_time=3.166, forward_time=0.196, loss_ctc=70.905, loss_att=59.669, acc=0.705, loss=63.040, backward_time=0.290, grad_norm=46.406, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=1.072e-04, train_time=4.635 -[gpua002:0/64] 2023-12-06 22:05:09,862 (trainer:737) INFO: 14epoch:train:13801-13900batch: iter_time=7.857e-05, forward_time=0.148, loss_ctc=73.816, loss_att=54.256, acc=0.699, loss=60.124, backward_time=0.287, grad_norm=52.274, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.072e-04, train_time=1.351 -[gpua002:0/64] 2023-12-06 22:07:54,180 (trainer:737) INFO: 14epoch:train:13901-14000batch: iter_time=7.832e-05, forward_time=0.152, loss_ctc=65.205, loss_att=52.823, acc=0.703, loss=56.538, backward_time=0.373, grad_norm=44.521, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.072e-04, train_time=1.643 -[gpua002:0/64] 2023-12-06 22:09:56,474 (trainer:737) INFO: 14epoch:train:14001-14100batch: iter_time=8.660e-05, forward_time=0.146, loss_ctc=63.666, loss_att=52.211, acc=0.716, loss=55.648, backward_time=0.280, grad_norm=42.025, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.071e-04, train_time=1.223 -[gpua002:0/64] 2023-12-06 22:12:44,328 (trainer:737) INFO: 14epoch:train:14101-14200batch: iter_time=8.069e-05, forward_time=0.147, loss_ctc=72.725, loss_att=68.140, acc=0.691, loss=69.515, backward_time=0.295, grad_norm=47.070, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=1.071e-04, train_time=1.678 -[gpua002:0/64] 2023-12-06 22:15:11,741 (trainer:737) INFO: 14epoch:train:14201-14300batch: iter_time=7.868e-05, forward_time=0.186, loss_ctc=63.850, loss_att=51.127, acc=0.703, loss=54.944, backward_time=0.351, grad_norm=42.359, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=1.071e-04, train_time=1.474 -[gpua002:0/64] 2023-12-06 22:17:58,469 (trainer:737) INFO: 14epoch:train:14301-14400batch: iter_time=7.747e-05, forward_time=0.149, loss_ctc=74.197, loss_att=53.564, acc=0.711, loss=59.754, backward_time=0.326, grad_norm=47.607, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.071e-04, train_time=1.667 -[gpua002:0/64] 2023-12-06 22:20:17,748 (trainer:737) INFO: 14epoch:train:14401-14500batch: iter_time=7.823e-05, forward_time=0.165, loss_ctc=76.449, loss_att=60.522, acc=0.695, loss=65.300, backward_time=0.280, grad_norm=48.758, clip=100.000, loss_scale=1.201e+32, optim_step_time=0.134, optim0_lr0=1.070e-04, train_time=1.393 -[gpua002:0/64] 2023-12-06 22:23:14,919 (trainer:737) INFO: 14epoch:train:14501-14600batch: iter_time=7.887e-05, forward_time=0.146, loss_ctc=73.796, loss_att=62.808, acc=0.675, loss=66.104, backward_time=0.317, grad_norm=46.702, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.070e-04, train_time=1.771 -[gpua002:0/64] 2023-12-06 22:26:07,240 (trainer:737) INFO: 14epoch:train:14601-14700batch: iter_time=7.817e-05, forward_time=0.207, loss_ctc=68.415, loss_att=60.880, acc=0.691, loss=63.140, backward_time=0.340, grad_norm=44.797, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.138, optim0_lr0=1.070e-04, train_time=1.723 -[gpua002:0/64] 2023-12-06 22:28:34,448 (trainer:737) INFO: 14epoch:train:14701-14800batch: iter_time=8.073e-05, forward_time=0.148, loss_ctc=68.287, loss_att=55.249, acc=0.696, loss=59.161, backward_time=0.287, grad_norm=43.828, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.070e-04, train_time=1.472 -[gpua002:0/64] 2023-12-06 22:31:11,387 (trainer:737) INFO: 14epoch:train:14801-14900batch: iter_time=8.015e-05, forward_time=0.155, loss_ctc=66.216, loss_att=51.723, acc=0.696, loss=56.071, backward_time=0.310, grad_norm=44.782, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.069e-04, train_time=1.569 -[gpua002:0/64] 2023-12-06 22:33:24,624 (trainer:737) INFO: 14epoch:train:14901-15000batch: iter_time=7.919e-05, forward_time=0.146, loss_ctc=78.219, loss_att=64.883, acc=0.686, loss=68.884, backward_time=0.284, grad_norm=53.814, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.069e-04, train_time=1.332 -[gpua002:0/64] 2023-12-06 23:00:31,993 (trainer:343) INFO: 14epoch results: [train] iter_time=0.266, forward_time=0.164, loss_ctc=71.432, loss_att=58.338, acc=0.695, loss=62.266, backward_time=0.310, grad_norm=47.461, clip=100.000, loss_scale=2.290e+32, optim_step_time=0.135, optim0_lr0=1.089e-04, train_time=1.822, time=7 hours, 35 minutes and 55.26 seconds, total_count=210000, gpu_max_cached_mem_GB=37.561, [valid] loss_ctc=45.540, cer_ctc=0.235, loss_att=40.858, acc=0.663, cer=0.376, wer=1.000, loss=42.263, time=26 minutes and 43.18 seconds, total_count=65394, gpu_max_cached_mem_GB=37.561 -[gpua002:0/64] 2023-12-06 23:00:51,747 (trainer:391) INFO: The best model has been updated: valid.acc, valid.total_count -[gpua002:0/64] 2023-12-06 23:00:51,838 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/9epoch.pth -[gpua002:0/64] 2023-12-06 23:00:51,838 (trainer:272) INFO: 15/40epoch started. Estimated time to finish: 1 week, 2 days and 20 hours -[gpua002:0/64] 2023-12-06 23:00:51,851 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua002:0/64] 2023-12-06 23:01:10,822 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 23:01:14,371 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 23:01:14,371 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua002:0/64] 2023-12-06 23:01:14,375 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 23:08:13,949 (trainer:737) INFO: 15epoch:train:1-100batch: iter_time=3.119, forward_time=0.219, loss_ctc=80.257, loss_att=63.269, acc=0.689, loss=68.366, backward_time=0.289, grad_norm=55.026, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.069e-04, train_time=4.421 -[gpua002:0/64] 2023-12-06 23:10:15,821 (trainer:737) INFO: 15epoch:train:101-200batch: iter_time=8.059e-05, forward_time=0.146, loss_ctc=72.611, loss_att=60.439, acc=0.684, loss=64.091, backward_time=0.280, grad_norm=49.979, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.069e-04, train_time=1.219 -[gpua002:0/64] 2023-12-06 23:12:19,758 (trainer:737) INFO: 15epoch:train:201-300batch: iter_time=8.101e-05, forward_time=0.147, loss_ctc=75.160, loss_att=63.186, acc=0.684, loss=66.778, backward_time=0.281, grad_norm=48.844, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.068e-04, train_time=1.239 -[gpua002:0/64] 2023-12-06 23:14:22,279 (trainer:737) INFO: 15epoch:train:301-400batch: iter_time=8.275e-05, forward_time=0.147, loss_ctc=85.290, loss_att=63.218, acc=0.677, loss=69.839, backward_time=0.280, grad_norm=56.308, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.068e-04, train_time=1.225 -[gpua002:0/64] 2023-12-06 23:16:41,630 (trainer:737) INFO: 15epoch:train:401-500batch: iter_time=8.087e-05, forward_time=0.146, loss_ctc=69.890, loss_att=58.430, acc=0.680, loss=61.868, backward_time=0.292, grad_norm=53.681, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.068e-04, train_time=1.393 -[gpua002:0/64] 2023-12-06 23:19:00,084 (trainer:737) INFO: 15epoch:train:501-600batch: iter_time=4.648e-04, forward_time=0.160, loss_ctc=80.455, loss_att=62.900, acc=0.678, loss=68.166, backward_time=0.332, grad_norm=50.016, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.138, optim0_lr0=1.068e-04, train_time=1.384 -[gpua002:0/64] 2023-12-06 23:21:57,710 (trainer:737) INFO: 15epoch:train:601-700batch: iter_time=7.858e-05, forward_time=0.230, loss_ctc=91.120, loss_att=67.719, acc=0.674, loss=74.740, backward_time=0.387, grad_norm=63.205, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=1.067e-04, train_time=1.776 -[gpua002:0/64] 2023-12-06 23:25:05,317 (trainer:737) INFO: 15epoch:train:701-800batch: iter_time=7.903e-05, forward_time=0.148, loss_ctc=70.469, loss_att=56.333, acc=0.692, loss=60.573, backward_time=0.369, grad_norm=43.791, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.067e-04, train_time=1.875 -[gpua002:0/64] 2023-12-06 23:27:26,865 (trainer:737) INFO: 15epoch:train:801-900batch: iter_time=7.777e-05, forward_time=0.146, loss_ctc=69.797, loss_att=56.440, acc=0.690, loss=60.447, backward_time=0.281, grad_norm=43.211, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.067e-04, train_time=1.416 -[gpua002:0/64] 2023-12-06 23:30:00,037 (trainer:737) INFO: 15epoch:train:901-1000batch: iter_time=7.678e-05, forward_time=0.146, loss_ctc=75.879, loss_att=58.731, acc=0.697, loss=63.875, backward_time=0.299, grad_norm=50.173, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.067e-04, train_time=1.531 -[gpua002:0/64] 2023-12-06 23:32:45,485 (trainer:737) INFO: 15epoch:train:1001-1100batch: iter_time=2.456e-04, forward_time=0.350, loss_ctc=68.943, loss_att=56.991, acc=0.691, loss=60.577, backward_time=0.357, grad_norm=42.955, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.138, optim0_lr0=1.066e-04, train_time=1.652 -[gpua002:0/64] 2023-12-06 23:35:32,538 (trainer:737) INFO: 15epoch:train:1101-1200batch: iter_time=7.670e-05, forward_time=0.163, loss_ctc=73.890, loss_att=69.485, acc=0.663, loss=70.806, backward_time=0.312, grad_norm=55.612, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.066e-04, train_time=1.672 -[gpua002:0/64] 2023-12-06 23:37:03,711 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua002:0/64] 2023-12-06 23:37:22,959 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-06 23:37:26,543 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-06 23:37:26,543 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua002:0/64] 2023-12-06 23:37:26,547 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-06 23:43:35,389 (trainer:737) INFO: 15epoch:train:1201-1300batch: iter_time=3.115, forward_time=0.146, loss_ctc=71.276, loss_att=59.413, acc=0.703, loss=62.972, backward_time=0.290, grad_norm=46.362, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.066e-04, train_time=4.828 -[gpua002:0/64] 2023-12-06 23:45:42,613 (trainer:737) INFO: 15epoch:train:1301-1400batch: iter_time=8.177e-05, forward_time=0.146, loss_ctc=68.921, loss_att=54.016, acc=0.695, loss=58.487, backward_time=0.280, grad_norm=46.560, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.066e-04, train_time=1.272 -[gpua002:0/64] 2023-12-06 23:48:18,636 (trainer:737) INFO: 15epoch:train:1401-1500batch: iter_time=7.994e-05, forward_time=0.147, loss_ctc=71.588, loss_att=56.467, acc=0.704, loss=61.003, backward_time=0.291, grad_norm=47.535, clip=100.000, loss_scale=2.401e+32, optim_step_time=0.134, optim0_lr0=1.065e-04, train_time=1.560 -[gpua002:0/64] 2023-12-06 23:51:25,510 (trainer:737) INFO: 15epoch:train:1501-1600batch: iter_time=7.762e-05, forward_time=0.267, loss_ctc=86.847, loss_att=71.076, acc=0.668, loss=75.807, backward_time=0.352, grad_norm=53.395, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.164, optim0_lr0=1.065e-04, train_time=1.867 -[gpua002:0/64] 2023-12-06 23:54:16,257 (trainer:737) INFO: 15epoch:train:1601-1700batch: iter_time=8.125e-05, forward_time=0.148, loss_ctc=69.158, loss_att=54.182, acc=0.690, loss=58.675, backward_time=0.300, grad_norm=53.324, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.065e-04, train_time=1.709 -[gpua002:0/64] 2023-12-06 23:56:56,046 (trainer:737) INFO: 15epoch:train:1701-1800batch: iter_time=7.806e-05, forward_time=0.147, loss_ctc=77.221, loss_att=61.411, acc=0.692, loss=66.154, backward_time=0.309, grad_norm=45.827, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.065e-04, train_time=1.598 -[gpua002:0/64] 2023-12-06 23:59:06,900 (trainer:737) INFO: 15epoch:train:1801-1900batch: iter_time=7.799e-05, forward_time=0.146, loss_ctc=76.650, loss_att=61.754, acc=0.684, loss=66.223, backward_time=0.281, grad_norm=47.749, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.064e-04, train_time=1.308 -[gpua002:0/64] 2023-12-07 00:01:39,220 (trainer:737) INFO: 15epoch:train:1901-2000batch: iter_time=8.002e-05, forward_time=0.146, loss_ctc=83.516, loss_att=67.845, acc=0.675, loss=72.547, backward_time=0.295, grad_norm=54.977, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.064e-04, train_time=1.523 -[gpua002:0/64] 2023-12-07 00:03:55,465 (trainer:737) INFO: 15epoch:train:2001-2100batch: iter_time=7.798e-05, forward_time=0.146, loss_ctc=71.065, loss_att=51.649, acc=0.703, loss=57.474, backward_time=0.280, grad_norm=44.490, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.064e-04, train_time=1.362 -[gpua002:0/64] 2023-12-07 00:06:53,533 (trainer:737) INFO: 15epoch:train:2101-2200batch: iter_time=7.516e-05, forward_time=0.146, loss_ctc=70.562, loss_att=56.128, acc=0.702, loss=60.458, backward_time=0.315, grad_norm=44.053, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.064e-04, train_time=1.780 -[gpua002:0/64] 2023-12-07 00:09:20,856 (trainer:737) INFO: 15epoch:train:2201-2300batch: iter_time=7.532e-05, forward_time=0.147, loss_ctc=75.174, loss_att=61.198, acc=0.691, loss=65.391, backward_time=0.291, grad_norm=50.050, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.063e-04, train_time=1.472 -[gpua002:0/64] 2023-12-07 00:12:06,409 (trainer:737) INFO: 15epoch:train:2301-2400batch: iter_time=8.119e-05, forward_time=0.221, loss_ctc=72.329, loss_att=63.590, acc=0.674, loss=66.212, backward_time=0.421, grad_norm=50.252, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.144, optim0_lr0=1.063e-04, train_time=1.656 -[gpua002:0/64] 2023-12-07 00:14:23,362 (trainer:737) INFO: 15epoch:train:2401-2500batch: iter_time=7.708e-05, forward_time=0.146, loss_ctc=63.286, loss_att=55.772, acc=0.700, loss=58.026, backward_time=0.294, grad_norm=40.628, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.063e-04, train_time=1.369 -[gpua002:0/64] 2023-12-07 00:14:43,391 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua002:0/64] 2023-12-07 00:15:02,465 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 00:15:06,015 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 00:15:06,016 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua002:0/64] 2023-12-07 00:15:06,019 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 00:22:52,356 (trainer:737) INFO: 15epoch:train:2501-2600batch: iter_time=3.136, forward_time=0.149, loss_ctc=74.959, loss_att=61.677, acc=0.701, loss=65.662, backward_time=0.288, grad_norm=52.397, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.063e-04, train_time=5.090 -[gpua002:0/64] 2023-12-07 00:25:04,441 (trainer:737) INFO: 15epoch:train:2601-2700batch: iter_time=7.687e-05, forward_time=0.147, loss_ctc=71.068, loss_att=62.510, acc=0.694, loss=65.077, backward_time=0.281, grad_norm=45.429, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.062e-04, train_time=1.321 -[gpua002:0/64] 2023-12-07 00:27:59,780 (trainer:737) INFO: 15epoch:train:2701-2800batch: iter_time=8.133e-05, forward_time=0.147, loss_ctc=73.955, loss_att=63.062, acc=0.695, loss=66.330, backward_time=0.326, grad_norm=50.929, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.062e-04, train_time=1.753 -[gpua002:0/64] 2023-12-07 00:30:21,275 (trainer:737) INFO: 15epoch:train:2801-2900batch: iter_time=7.665e-05, forward_time=0.147, loss_ctc=82.276, loss_att=64.133, acc=0.688, loss=69.576, backward_time=0.281, grad_norm=56.809, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.062e-04, train_time=1.415 -[gpua002:0/64] 2023-12-07 00:32:51,132 (trainer:737) INFO: 15epoch:train:2901-3000batch: iter_time=8.311e-05, forward_time=0.264, loss_ctc=68.243, loss_att=58.581, acc=0.696, loss=61.480, backward_time=0.361, grad_norm=49.264, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.138, optim0_lr0=1.062e-04, train_time=1.498 -[gpua002:0/64] 2023-12-07 00:36:01,036 (trainer:737) INFO: 15epoch:train:3001-3100batch: iter_time=8.084e-05, forward_time=0.147, loss_ctc=77.967, loss_att=63.187, acc=0.692, loss=67.621, backward_time=0.375, grad_norm=47.351, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.061e-04, train_time=1.899 -[gpua002:0/64] 2023-12-07 00:38:46,403 (trainer:737) INFO: 15epoch:train:3101-3200batch: iter_time=8.029e-05, forward_time=0.148, loss_ctc=85.077, loss_att=68.039, acc=0.687, loss=73.150, backward_time=0.332, grad_norm=65.306, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.061e-04, train_time=1.653 -[gpua002:0/64] 2023-12-07 00:41:09,349 (trainer:737) INFO: 15epoch:train:3201-3300batch: iter_time=8.087e-05, forward_time=0.147, loss_ctc=69.510, loss_att=57.731, acc=0.701, loss=61.265, backward_time=0.290, grad_norm=48.049, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.061e-04, train_time=1.429 -[gpua002:0/64] 2023-12-07 00:43:54,044 (trainer:737) INFO: 15epoch:train:3301-3400batch: iter_time=7.895e-05, forward_time=0.147, loss_ctc=69.248, loss_att=56.031, acc=0.707, loss=59.996, backward_time=0.297, grad_norm=45.320, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.061e-04, train_time=1.647 -[gpua002:0/64] 2023-12-07 00:44:34,576 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-07 00:46:31,018 (trainer:737) INFO: 15epoch:train:3401-3500batch: iter_time=7.973e-05, forward_time=0.147, loss_ctc=74.864, loss_att=60.668, acc=0.700, loss=64.927, backward_time=0.301, grad_norm=46.675, clip=100.000, loss_scale=2.098e+32, optim_step_time=0.134, optim0_lr0=1.060e-04, train_time=1.570 -[gpua002:0/64] 2023-12-07 00:48:54,707 (trainer:737) INFO: 15epoch:train:3501-3600batch: iter_time=8.404e-05, forward_time=0.147, loss_ctc=68.199, loss_att=57.283, acc=0.709, loss=60.558, backward_time=0.287, grad_norm=58.443, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.060e-04, train_time=1.437 -[gpua002:0/64] 2023-12-07 00:51:45,218 (trainer:737) INFO: 15epoch:train:3601-3700batch: iter_time=8.120e-05, forward_time=0.146, loss_ctc=72.787, loss_att=69.173, acc=0.682, loss=70.257, backward_time=0.319, grad_norm=49.776, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.060e-04, train_time=1.705 -[gpua002:0/64] 2023-12-07 00:53:53,000 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua002:0/64] 2023-12-07 00:54:12,176 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 00:54:15,735 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 00:54:15,735 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua002:0/64] 2023-12-07 00:54:15,738 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 01:00:50,617 (trainer:737) INFO: 15epoch:train:3701-3800batch: iter_time=3.556, forward_time=0.185, loss_ctc=69.761, loss_att=58.616, acc=0.720, loss=61.959, backward_time=0.316, grad_norm=45.128, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=1.060e-04, train_time=5.453 -[gpua002:0/64] 2023-12-07 01:02:53,153 (trainer:737) INFO: 15epoch:train:3801-3900batch: iter_time=7.685e-05, forward_time=0.148, loss_ctc=67.606, loss_att=53.058, acc=0.707, loss=57.422, backward_time=0.279, grad_norm=42.950, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.059e-04, train_time=1.226 -[gpua002:0/64] 2023-12-07 01:04:59,370 (trainer:737) INFO: 15epoch:train:3901-4000batch: iter_time=7.985e-05, forward_time=0.147, loss_ctc=70.462, loss_att=56.592, acc=0.709, loss=60.753, backward_time=0.280, grad_norm=45.041, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.059e-04, train_time=1.262 -[gpua002:0/64] 2023-12-07 01:07:51,265 (trainer:737) INFO: 15epoch:train:4001-4100batch: iter_time=7.952e-05, forward_time=0.147, loss_ctc=86.523, loss_att=71.599, acc=0.682, loss=76.076, backward_time=0.297, grad_norm=51.203, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.059e-04, train_time=1.719 -[gpua002:0/64] 2023-12-07 01:10:28,861 (trainer:737) INFO: 15epoch:train:4101-4200batch: iter_time=7.786e-05, forward_time=0.165, loss_ctc=67.540, loss_att=54.599, acc=0.699, loss=58.481, backward_time=0.348, grad_norm=51.361, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.059e-04, train_time=1.576 -[gpua002:0/64] 2023-12-07 01:13:44,863 (trainer:737) INFO: 15epoch:train:4201-4300batch: iter_time=8.053e-05, forward_time=0.147, loss_ctc=76.150, loss_att=62.299, acc=0.703, loss=66.454, backward_time=0.388, grad_norm=47.836, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.058e-04, train_time=1.960 -[gpua002:0/64] 2023-12-07 01:17:11,855 (trainer:737) INFO: 15epoch:train:4301-4400batch: iter_time=7.965e-05, forward_time=0.146, loss_ctc=75.671, loss_att=61.733, acc=0.699, loss=65.914, backward_time=0.335, grad_norm=46.493, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.058e-04, train_time=2.070 -[gpua002:0/64] 2023-12-07 01:20:16,531 (trainer:737) INFO: 15epoch:train:4401-4500batch: iter_time=8.012e-05, forward_time=0.147, loss_ctc=80.516, loss_att=69.859, acc=0.682, loss=73.056, backward_time=0.327, grad_norm=66.128, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=1.058e-04, train_time=1.847 -[gpua002:0/64] 2023-12-07 01:23:12,572 (trainer:737) INFO: 15epoch:train:4501-4600batch: iter_time=8.096e-05, forward_time=0.159, loss_ctc=71.235, loss_att=51.532, acc=0.712, loss=57.443, backward_time=0.300, grad_norm=47.762, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=1.058e-04, train_time=1.760 -[gpua002:0/64] 2023-12-07 01:26:09,790 (trainer:737) INFO: 15epoch:train:4601-4700batch: iter_time=8.141e-05, forward_time=0.229, loss_ctc=70.208, loss_att=56.298, acc=0.709, loss=60.471, backward_time=0.337, grad_norm=43.003, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.145, optim0_lr0=1.057e-04, train_time=1.772 -[gpua002:0/64] 2023-12-07 01:28:59,062 (trainer:737) INFO: 15epoch:train:4701-4800batch: iter_time=8.270e-05, forward_time=0.170, loss_ctc=74.308, loss_att=64.590, acc=0.696, loss=67.505, backward_time=0.351, grad_norm=48.438, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=1.057e-04, train_time=1.692 -[gpua002:0/64] 2023-12-07 01:32:10,419 (trainer:737) INFO: 15epoch:train:4801-4900batch: iter_time=8.134e-05, forward_time=0.147, loss_ctc=71.080, loss_att=62.467, acc=0.694, loss=65.051, backward_time=0.313, grad_norm=47.858, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.057e-04, train_time=1.913 -[gpua002:0/64] 2023-12-07 01:34:21,220 (trainer:737) INFO: 15epoch:train:4901-5000batch: iter_time=7.789e-05, forward_time=0.146, loss_ctc=62.900, loss_att=55.102, acc=0.717, loss=57.441, backward_time=0.279, grad_norm=39.938, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.057e-04, train_time=1.308 -[gpua002:0/64] 2023-12-07 01:34:41,249 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua002:0/64] 2023-12-07 01:35:00,215 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 01:35:03,768 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 01:35:03,768 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua002:0/64] 2023-12-07 01:35:03,772 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 01:43:20,552 (trainer:737) INFO: 15epoch:train:5001-5100batch: iter_time=3.897, forward_time=0.221, loss_ctc=74.613, loss_att=60.022, acc=0.707, loss=64.399, backward_time=0.308, grad_norm=50.565, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=1.056e-04, train_time=5.393 -[gpua002:0/64] 2023-12-07 01:45:53,816 (trainer:737) INFO: 15epoch:train:5101-5200batch: iter_time=7.976e-05, forward_time=0.172, loss_ctc=70.445, loss_att=58.863, acc=0.704, loss=62.338, backward_time=0.305, grad_norm=44.947, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=1.056e-04, train_time=1.532 -[gpua002:0/64] 2023-12-07 01:48:05,065 (trainer:737) INFO: 15epoch:train:5201-5300batch: iter_time=8.139e-05, forward_time=0.149, loss_ctc=73.681, loss_att=61.864, acc=0.699, loss=65.409, backward_time=0.310, grad_norm=48.532, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.056e-04, train_time=1.312 -[gpua002:0/64] 2023-12-07 01:50:31,559 (trainer:737) INFO: 15epoch:train:5301-5400batch: iter_time=8.234e-05, forward_time=0.146, loss_ctc=80.745, loss_att=61.873, acc=0.695, loss=67.534, backward_time=0.280, grad_norm=55.693, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.056e-04, train_time=1.465 -[gpua002:0/64] 2023-12-07 01:53:04,214 (trainer:737) INFO: 15epoch:train:5401-5500batch: iter_time=8.815e-05, forward_time=0.146, loss_ctc=66.867, loss_att=56.681, acc=0.702, loss=59.737, backward_time=0.300, grad_norm=46.775, clip=100.000, loss_scale=2.758e+32, optim_step_time=0.133, optim0_lr0=1.055e-04, train_time=1.526 -[gpua002:0/64] 2023-12-07 01:55:36,478 (trainer:737) INFO: 15epoch:train:5501-5600batch: iter_time=8.148e-05, forward_time=0.147, loss_ctc=78.188, loss_att=62.573, acc=0.696, loss=67.258, backward_time=0.313, grad_norm=48.921, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.055e-04, train_time=1.522 -[gpua002:0/64] 2023-12-07 02:00:10,560 (trainer:737) INFO: 15epoch:train:5601-5700batch: iter_time=8.376e-05, forward_time=0.310, loss_ctc=82.872, loss_att=66.083, acc=0.692, loss=71.120, backward_time=0.368, grad_norm=61.202, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.145, optim0_lr0=1.055e-04, train_time=2.740 -[gpua002:0/64] 2023-12-07 02:02:54,808 (trainer:737) INFO: 15epoch:train:5701-5800batch: iter_time=8.645e-05, forward_time=0.148, loss_ctc=68.761, loss_att=56.414, acc=0.706, loss=60.118, backward_time=0.285, grad_norm=44.449, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.055e-04, train_time=1.642 -[gpua002:0/64] 2023-12-07 02:05:08,691 (trainer:737) INFO: 15epoch:train:5801-5900batch: iter_time=7.797e-05, forward_time=0.146, loss_ctc=69.018, loss_att=54.787, acc=0.711, loss=59.057, backward_time=0.294, grad_norm=44.091, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.054e-04, train_time=1.339 -[gpua002:0/64] 2023-12-07 02:07:57,552 (trainer:737) INFO: 15epoch:train:5901-6000batch: iter_time=8.044e-05, forward_time=0.146, loss_ctc=74.772, loss_att=60.708, acc=0.703, loss=64.927, backward_time=0.340, grad_norm=48.413, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.054e-04, train_time=1.688 -[gpua002:0/64] 2023-12-07 02:10:34,103 (trainer:737) INFO: 15epoch:train:6001-6100batch: iter_time=8.587e-05, forward_time=0.146, loss_ctc=67.826, loss_att=56.784, acc=0.710, loss=60.096, backward_time=0.346, grad_norm=41.159, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.054e-04, train_time=1.565 -[gpua002:0/64] 2023-12-07 02:12:53,262 (trainer:737) INFO: 15epoch:train:6101-6200batch: iter_time=8.150e-05, forward_time=0.146, loss_ctc=71.511, loss_att=67.581, acc=0.685, loss=68.760, backward_time=0.282, grad_norm=49.001, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.054e-04, train_time=1.391 -[gpua002:0/64] 2023-12-07 02:14:43,616 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua002:0/64] 2023-12-07 02:15:03,098 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 02:15:06,692 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 02:15:06,693 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua002:0/64] 2023-12-07 02:15:06,696 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 02:21:29,708 (trainer:737) INFO: 15epoch:train:6201-6300batch: iter_time=3.530, forward_time=0.183, loss_ctc=69.737, loss_att=57.869, acc=0.721, loss=61.429, backward_time=0.294, grad_norm=46.576, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=1.054e-04, train_time=5.164 -[gpua002:0/64] 2023-12-07 02:23:41,628 (trainer:737) INFO: 15epoch:train:6301-6400batch: iter_time=8.517e-05, forward_time=0.150, loss_ctc=67.828, loss_att=52.822, acc=0.710, loss=57.324, backward_time=0.285, grad_norm=44.108, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.053e-04, train_time=1.319 -[gpua002:0/64] 2023-12-07 02:25:53,560 (trainer:737) INFO: 15epoch:train:6401-6500batch: iter_time=8.588e-05, forward_time=0.147, loss_ctc=70.136, loss_att=56.080, acc=0.712, loss=60.297, backward_time=0.282, grad_norm=45.365, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.053e-04, train_time=1.319 -[gpua002:0/64] 2023-12-07 02:28:21,268 (trainer:737) INFO: 15epoch:train:6501-6600batch: iter_time=8.171e-05, forward_time=0.147, loss_ctc=85.062, loss_att=70.286, acc=0.685, loss=74.719, backward_time=0.287, grad_norm=50.906, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.053e-04, train_time=1.477 -[gpua002:0/64] 2023-12-07 02:30:42,296 (trainer:737) INFO: 15epoch:train:6601-6700batch: iter_time=8.174e-05, forward_time=0.147, loss_ctc=66.588, loss_att=54.265, acc=0.702, loss=57.962, backward_time=0.282, grad_norm=53.237, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.053e-04, train_time=1.410 -[gpua002:0/64] 2023-12-07 02:33:19,031 (trainer:737) INFO: 15epoch:train:6701-6800batch: iter_time=8.367e-05, forward_time=0.147, loss_ctc=75.919, loss_att=61.961, acc=0.706, loss=66.149, backward_time=0.285, grad_norm=46.246, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.052e-04, train_time=1.567 -[gpua002:0/64] 2023-12-07 02:35:57,914 (trainer:737) INFO: 15epoch:train:6801-6900batch: iter_time=8.485e-05, forward_time=0.147, loss_ctc=75.294, loss_att=61.273, acc=0.701, loss=65.480, backward_time=0.330, grad_norm=45.258, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.052e-04, train_time=1.589 -[gpua002:0/64] 2023-12-07 02:40:17,154 (trainer:737) INFO: 15epoch:train:6901-7000batch: iter_time=8.234e-05, forward_time=0.229, loss_ctc=79.848, loss_att=68.995, acc=0.685, loss=72.251, backward_time=0.524, grad_norm=55.574, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.145, optim0_lr0=1.052e-04, train_time=2.591 -[gpua002:0/64] 2023-12-07 02:43:06,290 (trainer:737) INFO: 15epoch:train:7001-7100batch: iter_time=8.138e-05, forward_time=0.147, loss_ctc=71.084, loss_att=51.783, acc=0.712, loss=57.573, backward_time=0.324, grad_norm=44.776, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.052e-04, train_time=1.692 -[gpua002:0/64] 2023-12-07 02:45:59,874 (trainer:737) INFO: 15epoch:train:7101-7200batch: iter_time=7.984e-05, forward_time=0.146, loss_ctc=69.896, loss_att=56.326, acc=0.710, loss=60.397, backward_time=0.351, grad_norm=45.103, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.051e-04, train_time=1.736 -[gpua002:0/64] 2023-12-07 02:48:23,279 (trainer:737) INFO: 15epoch:train:7201-7300batch: iter_time=8.036e-05, forward_time=0.146, loss_ctc=74.387, loss_att=63.932, acc=0.700, loss=67.068, backward_time=0.292, grad_norm=48.893, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.051e-04, train_time=1.434 -[gpua002:0/64] 2023-12-07 02:50:23,683 (trainer:737) INFO: 15epoch:train:7301-7400batch: iter_time=7.990e-05, forward_time=0.146, loss_ctc=70.543, loss_att=62.443, acc=0.695, loss=64.873, backward_time=0.280, grad_norm=45.913, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.051e-04, train_time=1.204 -[gpua002:0/64] 2023-12-07 02:52:27,600 (trainer:737) INFO: 15epoch:train:7401-7500batch: iter_time=7.812e-05, forward_time=0.146, loss_ctc=62.395, loss_att=54.139, acc=0.719, loss=56.616, backward_time=0.280, grad_norm=40.333, clip=100.000, loss_scale=5.517e+32, optim_step_time=0.133, optim0_lr0=1.051e-04, train_time=1.239 -[gpua002:0/64] 2023-12-07 02:52:47,628 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua002:0/64] 2023-12-07 02:53:07,300 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 02:53:10,912 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 02:53:10,912 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua002:0/64] 2023-12-07 02:53:10,915 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 03:01:57,528 (trainer:737) INFO: 15epoch:train:7501-7600batch: iter_time=4.335, forward_time=0.184, loss_ctc=73.363, loss_att=60.200, acc=0.705, loss=64.149, backward_time=0.286, grad_norm=52.604, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.050e-04, train_time=5.699 -[gpua002:0/64] 2023-12-07 03:04:44,183 (trainer:737) INFO: 15epoch:train:7601-7700batch: iter_time=8.448e-05, forward_time=0.146, loss_ctc=69.829, loss_att=60.641, acc=0.694, loss=63.398, backward_time=0.291, grad_norm=44.165, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.050e-04, train_time=1.666 -[gpua002:0/64] 2023-12-07 03:07:57,663 (trainer:737) INFO: 15epoch:train:7701-7800batch: iter_time=8.396e-05, forward_time=0.146, loss_ctc=73.159, loss_att=62.251, acc=0.695, loss=65.523, backward_time=0.428, grad_norm=47.898, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.050e-04, train_time=1.935 -[gpua002:0/64] 2023-12-07 03:12:04,752 (trainer:737) INFO: 15epoch:train:7801-7900batch: iter_time=9.819e-04, forward_time=0.231, loss_ctc=80.118, loss_att=61.205, acc=0.687, loss=66.879, backward_time=0.443, grad_norm=52.219, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.149, optim0_lr0=1.050e-04, train_time=2.469 -[gpua002:0/64] 2023-12-07 03:14:50,152 (trainer:737) INFO: 15epoch:train:7901-8000batch: iter_time=8.143e-05, forward_time=0.146, loss_ctc=66.736, loss_att=57.679, acc=0.691, loss=60.396, backward_time=0.356, grad_norm=48.667, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.133, optim0_lr0=1.049e-04, train_time=1.655 -[gpua002:0/64] 2023-12-07 03:17:16,333 (trainer:737) INFO: 15epoch:train:8001-8100batch: iter_time=8.526e-05, forward_time=0.146, loss_ctc=76.871, loss_att=61.662, acc=0.690, loss=66.225, backward_time=0.292, grad_norm=46.893, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.133, optim0_lr0=1.049e-04, train_time=1.462 -[gpua002:0/64] 2023-12-07 03:19:33,890 (trainer:737) INFO: 15epoch:train:8101-8200batch: iter_time=8.186e-05, forward_time=0.147, loss_ctc=81.628, loss_att=65.502, acc=0.686, loss=70.340, backward_time=0.292, grad_norm=57.981, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.133, optim0_lr0=1.049e-04, train_time=1.375 -[gpua002:0/64] 2023-12-07 03:22:59,523 (trainer:737) INFO: 15epoch:train:8201-8300batch: iter_time=8.271e-05, forward_time=0.298, loss_ctc=68.612, loss_att=55.290, acc=0.702, loss=59.286, backward_time=0.377, grad_norm=45.787, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.138, optim0_lr0=1.049e-04, train_time=2.054 -[gpua002:0/64] 2023-12-07 03:26:21,147 (trainer:737) INFO: 15epoch:train:8301-8400batch: iter_time=8.735e-05, forward_time=0.148, loss_ctc=68.175, loss_att=55.111, acc=0.700, loss=59.030, backward_time=0.323, grad_norm=46.671, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.133, optim0_lr0=1.048e-04, train_time=2.018 -[gpua002:0/64] 2023-12-07 03:28:42,803 (trainer:737) INFO: 15epoch:train:8401-8500batch: iter_time=7.971e-05, forward_time=0.146, loss_ctc=74.409, loss_att=58.024, acc=0.706, loss=62.939, backward_time=0.280, grad_norm=48.742, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.133, optim0_lr0=1.048e-04, train_time=1.416 -[gpua002:0/64] 2023-12-07 03:31:11,250 (trainer:737) INFO: 15epoch:train:8501-8600batch: iter_time=8.242e-05, forward_time=0.146, loss_ctc=67.945, loss_att=56.302, acc=0.698, loss=59.795, backward_time=0.299, grad_norm=46.054, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.048e-04, train_time=1.484 -[gpua002:0/64] 2023-12-07 03:34:26,982 (trainer:737) INFO: 15epoch:train:8601-8700batch: iter_time=1.789e-04, forward_time=0.283, loss_ctc=71.309, loss_att=68.061, acc=0.671, loss=69.035, backward_time=0.382, grad_norm=49.977, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.149, optim0_lr0=1.048e-04, train_time=1.957 -[gpua002:0/64] 2023-12-07 03:36:06,675 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua002:0/64] 2023-12-07 03:36:26,076 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 03:36:29,626 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 03:36:29,626 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua002:0/64] 2023-12-07 03:36:29,629 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 03:48:41,528 (trainer:737) INFO: 15epoch:train:8701-8800batch: iter_time=3.466, forward_time=0.149, loss_ctc=68.607, loss_att=57.214, acc=0.715, loss=60.632, backward_time=0.287, grad_norm=45.793, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.047e-04, train_time=8.545 -[gpua002:0/64] 2023-12-07 03:49:49,699 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-07 03:51:07,345 (trainer:737) INFO: 15epoch:train:8801-8900batch: iter_time=7.573e-05, forward_time=0.147, loss_ctc=67.568, loss_att=52.761, acc=0.705, loss=57.203, backward_time=0.282, grad_norm=42.773, clip=100.000, loss_scale=4.491e+32, optim_step_time=0.134, optim0_lr0=1.047e-04, train_time=1.458 -[gpua002:0/64] 2023-12-07 03:53:32,721 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-07 03:53:44,702 (trainer:737) INFO: 15epoch:train:8901-9000batch: iter_time=7.851e-05, forward_time=0.146, loss_ctc=68.836, loss_att=54.874, acc=0.714, loss=59.063, backward_time=0.307, grad_norm=45.724, clip=100.000, loss_scale=3.081e+32, optim_step_time=0.134, optim0_lr0=1.047e-04, train_time=1.573 -[gpua002:0/64] 2023-12-07 03:56:54,094 (trainer:737) INFO: 15epoch:train:9001-9100batch: iter_time=7.944e-05, forward_time=0.147, loss_ctc=84.588, loss_att=70.465, acc=0.671, loss=74.702, backward_time=0.320, grad_norm=54.489, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.047e-04, train_time=1.894 -[gpua002:0/64] 2023-12-07 03:59:34,735 (trainer:737) INFO: 15epoch:train:9101-9200batch: iter_time=8.448e-05, forward_time=0.211, loss_ctc=66.503, loss_att=52.633, acc=0.699, loss=56.794, backward_time=0.409, grad_norm=49.981, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.141, optim0_lr0=1.047e-04, train_time=1.606 -[gpua002:0/64] 2023-12-07 04:02:53,126 (trainer:737) INFO: 15epoch:train:9201-9300batch: iter_time=8.043e-05, forward_time=0.147, loss_ctc=75.684, loss_att=60.273, acc=0.697, loss=64.896, backward_time=0.440, grad_norm=46.568, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.046e-04, train_time=1.981 -[gpua002:0/64] 2023-12-07 04:06:02,778 (trainer:737) INFO: 15epoch:train:9301-9400batch: iter_time=8.197e-05, forward_time=0.148, loss_ctc=74.838, loss_att=60.467, acc=0.692, loss=64.778, backward_time=0.318, grad_norm=46.916, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.046e-04, train_time=1.899 -[gpua002:0/64] 2023-12-07 04:08:30,913 (trainer:737) INFO: 15epoch:train:9401-9500batch: iter_time=7.854e-05, forward_time=0.149, loss_ctc=78.306, loss_att=67.480, acc=0.680, loss=70.728, backward_time=0.291, grad_norm=56.575, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.046e-04, train_time=1.481 -[gpua002:0/64] 2023-12-07 04:11:18,447 (trainer:737) INFO: 15epoch:train:9501-9600batch: iter_time=7.575e-05, forward_time=0.146, loss_ctc=70.425, loss_att=50.857, acc=0.710, loss=56.727, backward_time=0.304, grad_norm=43.243, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.046e-04, train_time=1.675 -[gpua002:0/64] 2023-12-07 04:14:52,287 (trainer:737) INFO: 15epoch:train:9601-9700batch: iter_time=8.134e-05, forward_time=0.146, loss_ctc=69.017, loss_att=55.653, acc=0.708, loss=59.662, backward_time=0.424, grad_norm=46.099, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.045e-04, train_time=2.138 -[gpua002:0/64] 2023-12-07 04:17:31,138 (trainer:737) INFO: 15epoch:train:9701-9800batch: iter_time=7.958e-05, forward_time=0.284, loss_ctc=73.716, loss_att=60.369, acc=0.699, loss=64.373, backward_time=0.313, grad_norm=48.835, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=1.045e-04, train_time=1.588 -[gpua002:0/64] 2023-12-07 04:19:51,202 (trainer:737) INFO: 15epoch:train:9801-9900batch: iter_time=7.971e-05, forward_time=0.146, loss_ctc=69.574, loss_att=62.144, acc=0.681, loss=64.373, backward_time=0.284, grad_norm=47.628, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.045e-04, train_time=1.401 -[gpua002:0/64] 2023-12-07 04:22:40,634 (trainer:737) INFO: 15epoch:train:9901-10000batch: iter_time=7.895e-05, forward_time=0.148, loss_ctc=61.990, loss_att=54.523, acc=0.707, loss=56.763, backward_time=0.374, grad_norm=42.695, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.045e-04, train_time=1.692 -[gpua002:0/64] 2023-12-07 04:23:01,044 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua002:0/64] 2023-12-07 04:23:20,452 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 04:23:24,081 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 04:23:24,081 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua002:0/64] 2023-12-07 04:23:24,084 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 04:38:52,600 (trainer:737) INFO: 15epoch:train:10001-10100batch: iter_time=3.702, forward_time=0.169, loss_ctc=72.538, loss_att=59.345, acc=0.712, loss=63.303, backward_time=0.286, grad_norm=46.458, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.044e-04, train_time=9.721 -[gpua002:0/64] 2023-12-07 04:41:45,058 (trainer:737) INFO: 15epoch:train:10101-10200batch: iter_time=8.293e-05, forward_time=0.263, loss_ctc=69.632, loss_att=60.093, acc=0.704, loss=62.955, backward_time=0.300, grad_norm=47.589, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=1.044e-04, train_time=1.724 -[gpua002:0/64] 2023-12-07 04:43:51,262 (trainer:737) INFO: 15epoch:train:10201-10300batch: iter_time=7.813e-05, forward_time=0.168, loss_ctc=73.094, loss_att=61.698, acc=0.699, loss=65.117, backward_time=0.290, grad_norm=47.993, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=1.044e-04, train_time=1.259 -[gpua002:0/64] 2023-12-07 04:46:47,189 (trainer:737) INFO: 15epoch:train:10301-10400batch: iter_time=8.139e-05, forward_time=0.148, loss_ctc=80.684, loss_att=62.364, acc=0.696, loss=67.860, backward_time=0.294, grad_norm=55.269, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.044e-04, train_time=1.762 -[gpua002:0/64] 2023-12-07 04:48:54,409 (trainer:737) INFO: 15epoch:train:10401-10500batch: iter_time=8.373e-05, forward_time=0.146, loss_ctc=66.095, loss_att=56.533, acc=0.704, loss=59.402, backward_time=0.284, grad_norm=45.884, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.043e-04, train_time=1.272 -[gpua002:0/64] 2023-12-07 04:51:40,738 (trainer:737) INFO: 15epoch:train:10501-10600batch: iter_time=8.169e-05, forward_time=0.146, loss_ctc=77.150, loss_att=61.486, acc=0.699, loss=66.185, backward_time=0.315, grad_norm=48.485, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.043e-04, train_time=1.663 -[gpua002:0/64] 2023-12-07 04:54:56,810 (trainer:737) INFO: 15epoch:train:10601-10700batch: iter_time=8.290e-05, forward_time=0.146, loss_ctc=80.490, loss_att=65.940, acc=0.693, loss=70.305, backward_time=0.425, grad_norm=56.035, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.043e-04, train_time=1.960 -[gpua002:0/64] 2023-12-07 04:58:10,235 (trainer:737) INFO: 15epoch:train:10701-10800batch: iter_time=7.735e-05, forward_time=0.271, loss_ctc=68.321, loss_att=56.431, acc=0.708, loss=59.998, backward_time=0.370, grad_norm=40.946, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.149, optim0_lr0=1.043e-04, train_time=1.934 -[gpua002:0/64] 2023-12-07 05:01:24,485 (trainer:737) INFO: 15epoch:train:10801-10900batch: iter_time=8.165e-05, forward_time=0.146, loss_ctc=68.014, loss_att=54.785, acc=0.714, loss=58.754, backward_time=0.393, grad_norm=41.489, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.042e-04, train_time=1.941 -[gpua002:0/64] 2023-12-07 05:04:29,573 (trainer:737) INFO: 15epoch:train:10901-11000batch: iter_time=8.182e-05, forward_time=0.147, loss_ctc=73.993, loss_att=59.954, acc=0.706, loss=64.166, backward_time=0.320, grad_norm=47.924, clip=100.000, loss_scale=1.785e+32, optim_step_time=0.134, optim0_lr0=1.042e-04, train_time=1.852 -[gpua002:0/64] 2023-12-07 05:06:52,349 (trainer:737) INFO: 15epoch:train:11001-11100batch: iter_time=8.120e-05, forward_time=0.147, loss_ctc=67.465, loss_att=56.377, acc=0.712, loss=59.703, backward_time=0.288, grad_norm=43.230, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.042e-04, train_time=1.428 -[gpua002:0/64] 2023-12-07 05:09:18,233 (trainer:737) INFO: 15epoch:train:11101-11200batch: iter_time=8.321e-05, forward_time=0.147, loss_ctc=70.541, loss_att=66.513, acc=0.689, loss=67.722, backward_time=0.290, grad_norm=47.947, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.042e-04, train_time=1.459 -[gpua002:0/64] 2023-12-07 05:10:44,192 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua002:0/64] 2023-12-07 05:11:03,609 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 05:11:07,180 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 05:11:07,180 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua002:0/64] 2023-12-07 05:11:07,184 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 05:17:39,132 (trainer:737) INFO: 15epoch:train:11201-11300batch: iter_time=3.368, forward_time=0.191, loss_ctc=68.172, loss_att=56.732, acc=0.723, loss=60.164, backward_time=0.327, grad_norm=46.000, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.136, optim0_lr0=1.042e-04, train_time=5.009 -[gpua002:0/64] 2023-12-07 05:19:49,492 (trainer:737) INFO: 15epoch:train:11301-11400batch: iter_time=8.034e-05, forward_time=0.147, loss_ctc=66.886, loss_att=52.680, acc=0.706, loss=56.942, backward_time=0.289, grad_norm=44.754, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.041e-04, train_time=1.303 -[gpua002:0/64] 2023-12-07 05:22:07,433 (trainer:737) INFO: 15epoch:train:11401-11500batch: iter_time=8.140e-05, forward_time=0.146, loss_ctc=69.772, loss_att=55.542, acc=0.714, loss=59.811, backward_time=0.282, grad_norm=47.208, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.041e-04, train_time=1.379 -[gpua002:0/64] 2023-12-07 05:24:45,184 (trainer:737) INFO: 15epoch:train:11501-11600batch: iter_time=8.089e-05, forward_time=0.146, loss_ctc=84.167, loss_att=70.634, acc=0.673, loss=74.693, backward_time=0.294, grad_norm=50.822, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.041e-04, train_time=1.577 -[gpua002:0/64] 2023-12-07 05:27:20,010 (trainer:737) INFO: 15epoch:train:11601-11700batch: iter_time=7.924e-05, forward_time=0.146, loss_ctc=67.092, loss_att=53.180, acc=0.695, loss=57.354, backward_time=0.333, grad_norm=52.647, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=1.041e-04, train_time=1.548 -[gpua002:0/64] 2023-12-07 05:30:14,007 (trainer:737) INFO: 15epoch:train:11701-11800batch: iter_time=7.823e-05, forward_time=0.147, loss_ctc=75.784, loss_att=60.809, acc=0.698, loss=65.301, backward_time=0.381, grad_norm=47.048, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.040e-04, train_time=1.740 -[gpua002:0/64] 2023-12-07 05:32:25,769 (trainer:737) INFO: 15epoch:train:11801-11900batch: iter_time=7.738e-05, forward_time=0.146, loss_ctc=74.665, loss_att=60.431, acc=0.693, loss=64.702, backward_time=0.304, grad_norm=49.742, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.136, optim0_lr0=1.040e-04, train_time=1.316 -[gpua002:0/64] 2023-12-07 05:34:59,669 (trainer:737) INFO: 15epoch:train:11901-12000batch: iter_time=8.307e-05, forward_time=0.231, loss_ctc=77.525, loss_att=67.090, acc=0.681, loss=70.220, backward_time=0.310, grad_norm=59.003, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.141, optim0_lr0=1.040e-04, train_time=1.540 -[gpua002:0/64] 2023-12-07 05:37:34,820 (trainer:737) INFO: 15epoch:train:12001-12100batch: iter_time=7.647e-05, forward_time=0.157, loss_ctc=69.749, loss_att=50.573, acc=0.711, loss=56.326, backward_time=0.311, grad_norm=45.520, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=1.040e-04, train_time=1.551 -[gpua002:0/64] 2023-12-07 05:40:25,071 (trainer:737) INFO: 15epoch:train:12101-12200batch: iter_time=8.037e-05, forward_time=0.147, loss_ctc=68.383, loss_att=55.084, acc=0.708, loss=59.074, backward_time=0.337, grad_norm=45.024, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=1.039e-04, train_time=1.702 -[gpua002:0/64] 2023-12-07 05:42:33,392 (trainer:737) INFO: 15epoch:train:12201-12300batch: iter_time=8.000e-05, forward_time=0.146, loss_ctc=73.759, loss_att=60.135, acc=0.699, loss=64.222, backward_time=0.289, grad_norm=49.986, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.039e-04, train_time=1.283 -[gpua002:0/64] 2023-12-07 05:44:56,099 (trainer:737) INFO: 15epoch:train:12301-12400batch: iter_time=8.008e-05, forward_time=0.146, loss_ctc=69.183, loss_att=61.560, acc=0.683, loss=63.846, backward_time=0.298, grad_norm=45.594, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.039e-04, train_time=1.427 -[gpua002:0/64] 2023-12-07 05:47:23,386 (trainer:737) INFO: 15epoch:train:12401-12500batch: iter_time=8.296e-05, forward_time=0.146, loss_ctc=61.701, loss_att=53.908, acc=0.708, loss=56.246, backward_time=0.288, grad_norm=45.421, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.039e-04, train_time=1.473 -[gpua002:0/64] 2023-12-07 05:47:43,415 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua002:0/64] 2023-12-07 05:48:02,357 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 05:48:05,921 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 05:48:05,921 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua002:0/64] 2023-12-07 05:48:05,925 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 05:54:26,279 (trainer:737) INFO: 15epoch:train:12501-12600batch: iter_time=2.918, forward_time=0.171, loss_ctc=72.807, loss_att=58.932, acc=0.712, loss=63.095, backward_time=0.283, grad_norm=51.339, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=1.038e-04, train_time=4.229 -[gpua002:0/64] 2023-12-07 05:57:06,575 (trainer:737) INFO: 15epoch:train:12601-12700batch: iter_time=8.240e-05, forward_time=0.147, loss_ctc=69.266, loss_att=59.354, acc=0.707, loss=62.328, backward_time=0.291, grad_norm=46.809, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.038e-04, train_time=1.603 -[gpua002:0/64] 2023-12-07 05:59:13,838 (trainer:737) INFO: 15epoch:train:12701-12800batch: iter_time=7.687e-05, forward_time=0.147, loss_ctc=72.806, loss_att=61.096, acc=0.703, loss=64.609, backward_time=0.280, grad_norm=47.425, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.038e-04, train_time=1.272 -[gpua002:0/64] 2023-12-07 06:01:40,595 (trainer:737) INFO: 15epoch:train:12801-12900batch: iter_time=8.168e-05, forward_time=0.147, loss_ctc=79.795, loss_att=61.522, acc=0.698, loss=67.004, backward_time=0.306, grad_norm=54.519, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.038e-04, train_time=1.467 -[gpua002:0/64] 2023-12-07 06:04:04,428 (trainer:737) INFO: 15epoch:train:12901-13000batch: iter_time=7.866e-05, forward_time=0.146, loss_ctc=65.364, loss_att=55.885, acc=0.706, loss=58.729, backward_time=0.282, grad_norm=46.575, clip=100.000, loss_scale=3.570e+32, optim_step_time=0.134, optim0_lr0=1.038e-04, train_time=1.438 -[gpua002:0/64] 2023-12-07 06:06:44,149 (trainer:737) INFO: 15epoch:train:13001-13100batch: iter_time=8.203e-05, forward_time=0.218, loss_ctc=77.182, loss_att=61.306, acc=0.701, loss=66.069, backward_time=0.304, grad_norm=45.712, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.037e-04, train_time=1.597 -[gpua002:0/64] 2023-12-07 06:09:05,352 (trainer:737) INFO: 15epoch:train:13101-13200batch: iter_time=7.954e-05, forward_time=0.148, loss_ctc=80.630, loss_att=65.669, acc=0.697, loss=70.157, backward_time=0.294, grad_norm=59.348, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.037e-04, train_time=1.412 -[gpua002:0/64] 2023-12-07 06:12:01,430 (trainer:737) INFO: 15epoch:train:13201-13300batch: iter_time=8.197e-05, forward_time=0.147, loss_ctc=67.872, loss_att=55.695, acc=0.712, loss=59.348, backward_time=0.303, grad_norm=42.566, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.037e-04, train_time=1.761 -[gpua002:0/64] 2023-12-07 06:14:42,765 (trainer:737) INFO: 15epoch:train:13301-13400batch: iter_time=8.029e-05, forward_time=0.147, loss_ctc=67.854, loss_att=54.117, acc=0.717, loss=58.238, backward_time=0.309, grad_norm=45.346, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.037e-04, train_time=1.613 -[gpua002:0/64] 2023-12-07 06:16:55,017 (trainer:737) INFO: 15epoch:train:13401-13500batch: iter_time=7.876e-05, forward_time=0.147, loss_ctc=73.319, loss_att=59.563, acc=0.707, loss=63.690, backward_time=0.280, grad_norm=47.602, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.036e-04, train_time=1.322 -[gpua002:0/64] 2023-12-07 06:19:31,144 (trainer:737) INFO: 15epoch:train:13501-13600batch: iter_time=7.991e-05, forward_time=0.146, loss_ctc=67.182, loss_att=56.183, acc=0.714, loss=59.483, backward_time=0.313, grad_norm=44.018, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.036e-04, train_time=1.561 -[gpua002:0/64] 2023-12-07 06:22:06,949 (trainer:737) INFO: 15epoch:train:13601-13700batch: iter_time=8.081e-05, forward_time=0.220, loss_ctc=70.080, loss_att=66.670, acc=0.691, loss=67.693, backward_time=0.311, grad_norm=49.574, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.137, optim0_lr0=1.036e-04, train_time=1.558 -[gpua002:0/64] 2023-12-07 06:23:58,254 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua002:0/64] 2023-12-07 06:24:17,601 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 06:24:21,125 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 06:24:21,125 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua002:0/64] 2023-12-07 06:24:21,129 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 06:30:12,553 (trainer:737) INFO: 15epoch:train:13701-13800batch: iter_time=2.774, forward_time=0.148, loss_ctc=67.976, loss_att=56.562, acc=0.724, loss=59.986, backward_time=0.301, grad_norm=48.693, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.135, optim0_lr0=1.036e-04, train_time=4.856 -[gpua002:0/64] 2023-12-07 06:32:29,201 (trainer:737) INFO: 15epoch:train:13801-13900batch: iter_time=7.953e-05, forward_time=0.147, loss_ctc=66.961, loss_att=53.414, acc=0.705, loss=57.479, backward_time=0.285, grad_norm=41.148, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.135, optim0_lr0=1.035e-04, train_time=1.366 -[gpua002:0/64] 2023-12-07 06:35:03,664 (trainer:737) INFO: 15epoch:train:13901-14000batch: iter_time=7.828e-05, forward_time=0.150, loss_ctc=69.106, loss_att=54.858, acc=0.716, loss=59.132, backward_time=0.308, grad_norm=44.519, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.135, optim0_lr0=1.035e-04, train_time=1.544 -[gpua002:0/64] 2023-12-07 06:37:44,634 (trainer:737) INFO: 15epoch:train:14001-14100batch: iter_time=8.105e-05, forward_time=0.155, loss_ctc=84.100, loss_att=70.372, acc=0.675, loss=74.491, backward_time=0.352, grad_norm=52.009, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.135, optim0_lr0=1.035e-04, train_time=1.609 -[gpua002:0/64] 2023-12-07 06:40:21,194 (trainer:737) INFO: 15epoch:train:14101-14200batch: iter_time=8.070e-05, forward_time=0.198, loss_ctc=66.171, loss_att=52.378, acc=0.700, loss=56.516, backward_time=0.397, grad_norm=50.537, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.140, optim0_lr0=1.035e-04, train_time=1.565 -[gpua002:0/64] 2023-12-07 06:43:35,341 (trainer:737) INFO: 15epoch:train:14201-14300batch: iter_time=8.099e-05, forward_time=0.147, loss_ctc=74.803, loss_att=60.051, acc=0.701, loss=64.476, backward_time=0.371, grad_norm=46.882, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.035e-04, train_time=1.942 -[gpua002:0/64] 2023-12-07 06:46:09,028 (trainer:737) INFO: 15epoch:train:14301-14400batch: iter_time=8.142e-05, forward_time=0.148, loss_ctc=74.198, loss_att=59.945, acc=0.696, loss=64.221, backward_time=0.325, grad_norm=46.783, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.034e-04, train_time=1.537 -[gpua002:0/64] 2023-12-07 06:48:34,384 (trainer:737) INFO: 15epoch:train:14401-14500batch: iter_time=8.249e-05, forward_time=0.147, loss_ctc=78.019, loss_att=66.061, acc=0.683, loss=69.648, backward_time=0.289, grad_norm=56.128, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.034e-04, train_time=1.453 -[gpua002:0/64] 2023-12-07 06:51:04,164 (trainer:737) INFO: 15epoch:train:14501-14600batch: iter_time=8.028e-05, forward_time=0.147, loss_ctc=69.371, loss_att=50.349, acc=0.714, loss=56.055, backward_time=0.301, grad_norm=43.607, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.034e-04, train_time=1.498 -[gpua002:0/64] 2023-12-07 06:53:49,962 (trainer:737) INFO: 15epoch:train:14601-14700batch: iter_time=8.309e-05, forward_time=0.195, loss_ctc=68.497, loss_att=55.046, acc=0.709, loss=59.081, backward_time=0.324, grad_norm=44.901, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.135, optim0_lr0=1.034e-04, train_time=1.658 -[gpua002:0/64] 2023-12-07 06:56:41,165 (trainer:737) INFO: 15epoch:train:14701-14800batch: iter_time=7.888e-05, forward_time=0.218, loss_ctc=72.826, loss_att=59.697, acc=0.702, loss=63.636, backward_time=0.344, grad_norm=46.962, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.136, optim0_lr0=1.033e-04, train_time=1.712 -[gpua002:0/64] 2023-12-07 06:59:04,827 (trainer:737) INFO: 15epoch:train:14801-14900batch: iter_time=7.970e-05, forward_time=0.147, loss_ctc=69.029, loss_att=61.090, acc=0.686, loss=63.472, backward_time=0.293, grad_norm=51.223, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.135, optim0_lr0=1.033e-04, train_time=1.436 -[gpua002:0/64] 2023-12-07 07:01:58,737 (trainer:737) INFO: 15epoch:train:14901-15000batch: iter_time=7.845e-05, forward_time=0.147, loss_ctc=61.202, loss_att=53.885, acc=0.709, loss=56.080, backward_time=0.292, grad_norm=40.735, clip=100.000, loss_scale=7.139e+32, optim_step_time=0.135, optim0_lr0=1.033e-04, train_time=1.739 -[gpua002:0/64] 2023-12-07 07:27:45,445 (trainer:343) INFO: 15epoch results: [train] iter_time=0.273, forward_time=0.164, loss_ctc=72.697, loss_att=59.731, acc=0.698, loss=63.621, backward_time=0.317, grad_norm=48.473, clip=100.000, loss_scale=3.399e+32, optim_step_time=0.135, optim0_lr0=1.051e-04, train_time=1.924, time=8 hours, 1 minute and 30.68 seconds, total_count=225000, gpu_max_cached_mem_GB=37.561, [valid] loss_ctc=45.717, cer_ctc=0.231, loss_att=43.877, acc=0.659, cer=0.373, wer=1.000, loss=44.429, time=25 minutes and 22.8 seconds, total_count=70065, gpu_max_cached_mem_GB=37.561 -[gpua002:0/64] 2023-12-07 07:28:04,496 (trainer:391) INFO: The best model has been updated: valid.total_count -[gpua002:0/64] 2023-12-07 07:28:04,530 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/10epoch.pth -[gpua002:0/64] 2023-12-07 07:28:04,530 (trainer:272) INFO: 16/40epoch started. Estimated time to finish: 1 week, 2 days and 7 hours -[gpua002:0/64] 2023-12-07 07:28:04,541 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua002:0/64] 2023-12-07 07:28:23,168 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 07:28:26,629 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 07:28:26,629 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua002:0/64] 2023-12-07 07:28:26,633 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 07:37:26,312 (trainer:737) INFO: 16epoch:train:1-100batch: iter_time=2.542, forward_time=0.174, loss_ctc=64.496, loss_att=51.214, acc=0.706, loss=55.198, backward_time=0.285, grad_norm=50.844, clip=100.000, loss_scale=1.298e+33, optim_step_time=0.134, optim0_lr0=1.033e-04, train_time=5.617 -[gpua002:0/64] 2023-12-07 07:39:27,800 (trainer:737) INFO: 16epoch:train:101-200batch: iter_time=8.661e-05, forward_time=0.146, loss_ctc=85.747, loss_att=69.873, acc=0.653, loss=74.636, backward_time=0.279, grad_norm=68.111, clip=100.000, loss_scale=1.298e+33, optim_step_time=0.134, optim0_lr0=1.032e-04, train_time=1.215 -[gpua002:0/64] 2023-12-07 07:41:53,498 (trainer:737) INFO: 16epoch:train:201-300batch: iter_time=8.433e-05, forward_time=0.195, loss_ctc=85.926, loss_att=67.198, acc=0.679, loss=72.817, backward_time=0.308, grad_norm=62.019, clip=100.000, loss_scale=1.298e+33, optim_step_time=0.138, optim0_lr0=1.032e-04, train_time=1.457 -[gpua002:0/64] 2023-12-07 07:44:16,764 (trainer:737) INFO: 16epoch:train:301-400batch: iter_time=8.068e-05, forward_time=0.146, loss_ctc=79.357, loss_att=67.279, acc=0.677, loss=70.902, backward_time=0.291, grad_norm=56.791, clip=100.000, loss_scale=1.298e+33, optim_step_time=0.134, optim0_lr0=1.032e-04, train_time=1.432 -[gpua002:0/64] 2023-12-07 07:46:46,991 (trainer:737) INFO: 16epoch:train:401-500batch: iter_time=8.307e-05, forward_time=0.147, loss_ctc=77.040, loss_att=66.984, acc=0.691, loss=70.001, backward_time=0.310, grad_norm=48.006, clip=100.000, loss_scale=1.298e+33, optim_step_time=0.134, optim0_lr0=1.032e-04, train_time=1.502 -[gpua002:0/64] 2023-12-07 07:49:06,084 (trainer:737) INFO: 16epoch:train:501-600batch: iter_time=8.533e-05, forward_time=0.163, loss_ctc=74.762, loss_att=63.059, acc=0.697, loss=66.570, backward_time=0.284, grad_norm=48.187, clip=100.000, loss_scale=1.298e+33, optim_step_time=0.137, optim0_lr0=1.032e-04, train_time=1.391 -[gpua002:0/64] 2023-12-07 07:51:50,922 (trainer:737) INFO: 16epoch:train:601-700batch: iter_time=8.526e-05, forward_time=0.223, loss_ctc=76.022, loss_att=63.852, acc=0.680, loss=67.503, backward_time=0.310, grad_norm=54.098, clip=100.000, loss_scale=1.298e+33, optim_step_time=0.142, optim0_lr0=1.031e-04, train_time=1.648 -[gpua002:0/64] 2023-12-07 07:54:32,103 (trainer:737) INFO: 16epoch:train:701-800batch: iter_time=8.176e-05, forward_time=0.146, loss_ctc=77.692, loss_att=61.671, acc=0.688, loss=66.477, backward_time=0.316, grad_norm=49.172, clip=100.000, loss_scale=1.298e+33, optim_step_time=0.134, optim0_lr0=1.031e-04, train_time=1.612 -[gpua002:0/64] 2023-12-07 07:55:58,034 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua002:0/64] 2023-12-07 07:56:57,942 (trainer:737) INFO: 16epoch:train:801-900batch: iter_time=8.836e-05, forward_time=0.147, loss_ctc=74.780, loss_att=62.271, acc=0.688, loss=66.023, backward_time=0.304, grad_norm=49.763, clip=100.000, loss_scale=1.042e+33, optim_step_time=0.134, optim0_lr0=1.031e-04, train_time=1.458 -[gpua002:0/64] 2023-12-07 07:59:23,726 (trainer:737) INFO: 16epoch:train:901-1000batch: iter_time=8.077e-05, forward_time=0.157, loss_ctc=73.652, loss_att=63.898, acc=0.671, loss=66.824, backward_time=0.298, grad_norm=51.399, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.031e-04, train_time=1.458 -[gpua002:0/64] 2023-12-07 08:02:19,337 (trainer:737) INFO: 16epoch:train:1001-1100batch: iter_time=8.327e-05, forward_time=0.257, loss_ctc=67.628, loss_att=44.214, acc=0.716, loss=51.238, backward_time=0.333, grad_norm=54.941, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.138, optim0_lr0=1.030e-04, train_time=1.756 -[gpua002:0/64] 2023-12-07 08:04:49,700 (trainer:737) INFO: 16epoch:train:1101-1200batch: iter_time=7.981e-05, forward_time=0.147, loss_ctc=75.062, loss_att=59.544, acc=0.692, loss=64.199, backward_time=0.303, grad_norm=50.633, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.030e-04, train_time=1.504 -[gpua002:0/64] 2023-12-07 08:06:18,441 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua002:0/64] 2023-12-07 08:06:37,180 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 08:06:41,329 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 08:06:41,329 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua002:0/64] 2023-12-07 08:06:41,334 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua002:0/64] 2023-12-07 08:11:31,057 (trainer:737) INFO: 16epoch:train:1201-1300batch: iter_time=2.340, forward_time=0.169, loss_ctc=70.330, loss_att=58.573, acc=0.693, loss=62.100, backward_time=0.294, grad_norm=46.980, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.135, optim0_lr0=1.030e-04, train_time=4.013 -[gpua002:0/64] 2023-12-07 08:13:51,325 (trainer:737) INFO: 16epoch:train:1301-1400batch: iter_time=7.580e-05, forward_time=0.149, loss_ctc=75.943, loss_att=60.548, acc=0.683, loss=65.166, backward_time=0.289, grad_norm=63.326, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.136, optim0_lr0=1.030e-04, train_time=1.403 -[gpua002:0/64] 2023-12-07 08:16:08,988 (trainer:737) INFO: 16epoch:train:1401-1500batch: iter_time=7.652e-05, forward_time=0.147, loss_ctc=68.924, loss_att=58.723, acc=0.688, loss=61.784, backward_time=0.282, grad_norm=47.083, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.135, optim0_lr0=1.030e-04, train_time=1.376 -[gpua002:0/64] 2023-12-07 08:18:38,965 (trainer:737) INFO: 16epoch:train:1501-1600batch: iter_time=7.978e-05, forward_time=0.147, loss_ctc=90.668, loss_att=74.385, acc=0.674, loss=79.270, backward_time=0.291, grad_norm=76.610, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.135, optim0_lr0=1.029e-04, train_time=1.500 -[gpua002:0/64] 2023-12-07 08:20:50,463 (trainer:737) INFO: 16epoch:train:1601-1700batch: iter_time=7.897e-05, forward_time=0.146, loss_ctc=79.897, loss_att=68.280, acc=0.694, loss=71.765, backward_time=0.279, grad_norm=47.499, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.135, optim0_lr0=1.029e-04, train_time=1.315 -[gpua002:0/64] 2023-12-07 08:23:22,119 (trainer:737) INFO: 16epoch:train:1701-1800batch: iter_time=7.960e-05, forward_time=0.147, loss_ctc=70.567, loss_att=58.175, acc=0.713, loss=61.892, backward_time=0.294, grad_norm=45.514, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.135, optim0_lr0=1.029e-04, train_time=1.516 -[gpua002:0/64] 2023-12-07 08:26:01,775 (trainer:737) INFO: 16epoch:train:1801-1900batch: iter_time=7.840e-05, forward_time=0.148, loss_ctc=73.817, loss_att=65.857, acc=0.696, loss=68.245, backward_time=0.301, grad_norm=47.426, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.135, optim0_lr0=1.029e-04, train_time=1.596 -[gpua002:0/64] 2023-12-07 08:28:25,977 (trainer:737) INFO: 16epoch:train:1901-2000batch: iter_time=7.990e-05, forward_time=0.146, loss_ctc=76.267, loss_att=67.906, acc=0.691, loss=70.414, backward_time=0.285, grad_norm=51.461, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.135, optim0_lr0=1.028e-04, train_time=1.442 -[gpua002:0/64] 2023-12-07 08:30:46,200 (trainer:737) INFO: 16epoch:train:2001-2100batch: iter_time=8.053e-05, forward_time=0.147, loss_ctc=78.609, loss_att=62.520, acc=0.695, loss=67.347, backward_time=0.297, grad_norm=47.678, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.135, optim0_lr0=1.028e-04, train_time=1.402 -[gpua002:0/64] 2023-12-07 08:33:47,813 (trainer:737) INFO: 16epoch:train:2101-2200batch: iter_time=8.158e-05, forward_time=0.221, loss_ctc=66.129, loss_att=61.937, acc=0.680, loss=63.195, backward_time=0.360, grad_norm=44.746, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.138, optim0_lr0=1.028e-04, train_time=1.816 -[gpua002:0/64] 2023-12-07 08:36:19,427 (trainer:737) INFO: 16epoch:train:2201-2300batch: iter_time=8.043e-05, forward_time=0.146, loss_ctc=73.028, loss_att=55.363, acc=0.704, loss=60.662, backward_time=0.307, grad_norm=49.558, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.028e-04, train_time=1.516 -[gpua002:0/64] 2023-12-07 08:38:49,124 (trainer:737) INFO: 16epoch:train:2301-2400batch: iter_time=8.083e-05, forward_time=0.147, loss_ctc=73.753, loss_att=53.631, acc=0.706, loss=59.667, backward_time=0.317, grad_norm=55.464, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.027e-04, train_time=1.497 -[gpua002:0/64] 2023-12-07 08:41:17,684 (trainer:737) INFO: 16epoch:train:2401-2500batch: iter_time=7.672e-05, forward_time=0.146, loss_ctc=71.733, loss_att=58.063, acc=0.701, loss=62.164, backward_time=0.297, grad_norm=51.573, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.027e-04, train_time=1.485 -[gpua002:0/64] 2023-12-07 08:41:37,713 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua002:0/64] 2023-12-07 08:41:56,741 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua002:0/64] 2023-12-07 08:42:00,278 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua002:0/64] 2023-12-07 08:42:00,278 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua002:0/64] 2023-12-07 08:42:00,281 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -srun: Job step aborted: Waiting up to 32 seconds for job step to finish. -slurmstepd: error: *** STEP 2730378.0 ON gpua002 CANCELLED AT 2023-12-07T08:44:22 *** diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.9.log b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.9.log deleted file mode 100644 index f80df85f27243585428838dc673fea96bd64f39f..0000000000000000000000000000000000000000 --- a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.9.log +++ /dev/null @@ -1,4087 +0,0 @@ -# Running on gpua005.delta.ncsa.illinois.edu -# Started at Sun Dec 3 12:53:43 CST 2023 -# SLURMD_NODENAME=gpua005 -# SLURM_CLUSTER_NAME=delta -# SLURM_CONF=/var/spool/slurmd/conf-cache/slurm.conf -# SLURM_CPUS_ON_NODE=64 -# SLURM_CPUS_PER_TASK=64 -# SLURM_EXPORT_ENV=PATH -# SLURM_GET_USER_ENV=1 -# SLURM_GPUS_ON_NODE=4 -# SLURM_GTIDS=0 -# SLURM_JOBID=2724912 -# SLURM_JOB_ACCOUNT=bbjs-delta-gpu -# SLURM_JOB_CPUS_PER_NODE='64(x16)' -# SLURM_JOB_END_TIME=1701802413 -# SLURM_JOB_GID=202 -# SLURM_JOB_GPUS=0,1,2,3 -# SLURM_JOB_ID=2724912 -# SLURM_JOB_NAME=exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.log -# SLURM_JOB_NODELIST='gpua[005,007,010-011,030-033,062,065-067,083,086,092-093]' -# SLURM_JOB_NUM_NODES=16 -# SLURM_JOB_PARTITION=gpuA100x4 -# SLURM_JOB_QOS=bbjs-delta-gpu -# SLURM_JOB_START_TIME=1701629613 -# SLURM_JOB_UID=68077 -# SLURM_JOB_USER=peng6 -# SLURM_LOCALID=0 -# SLURM_MEM_PER_NODE=240000 -# SLURM_NNODES=16 -# SLURM_NODEID=0 -# SLURM_NODELIST='gpua[005,007,010-011,030-033,062,065-067,083,086,092-093]' -# SLURM_NODE_ALIASES='(null)' -# SLURM_OPEN_MODE=a -# SLURM_PRIO_PROCESS=0 -# SLURM_PROCID=0 -# SLURM_SUBMIT_DIR=/scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1 -# SLURM_SUBMIT_HOST=dt-login01.delta.ncsa.illinois.edu -# SLURM_TASKS_PER_NODE='1(x16)' -# SLURM_TASK_PID=2239190 -# SLURM_TOPOLOGY_ADDR=ss00.ss05.gpua005 -# SLURM_TOPOLOGY_ADDR_PATTERN=switch.switch.node -# SLURM_WORKING_CLUSTER=delta:dt-sched:6817:9984:109 -# srun --export=ALL python3 -m espnet2.bin.s2t_train --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 -/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 -/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 -/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 -/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 -[gpua005:0/64] 2023-12-03 12:54:26,902 (distributed_c10d:319) INFO: Added key: store_based_barrier_key:1 to store for rank: 0 -[gpua005:0/64] 2023-12-03 12:54:37,092 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=44, timeout=0:30:00) -[gpua005:0/64] 2023-12-03 12:54:47,092 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=44, timeout=0:30:00) -[gpua005:0/64] 2023-12-03 12:54:57,109 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=44, timeout=0:30:00) -[gpua005:0/64] 2023-12-03 12:55:07,175 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=44, timeout=0:30:00) -[gpua005:0/64] 2023-12-03 12:55:17,220 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=44, timeout=0:30:00) -[gpua005:0/64] 2023-12-03 12:55:27,233 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=44, timeout=0:30:00) -[gpua005:0/64] 2023-12-03 12:55:37,256 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=44, timeout=0:30:00) -[gpua005:0/64] 2023-12-03 12:55:47,278 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=44, timeout=0:30:00) -[gpua005:0/64] 2023-12-03 12:55:57,311 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=44, timeout=0:30:00) -[gpua005:0/64] 2023-12-03 12:56:07,326 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=44, timeout=0:30:00) -[gpua005:0/64] 2023-12-03 12:56:17,369 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=44, timeout=0:30:00) -[gpua005:0/64] 2023-12-03 12:56:27,396 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=44, timeout=0:30:00) -[gpua005:0/64] 2023-12-03 12:56:37,423 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=44, timeout=0:30:00) -[gpua005:0/64] 2023-12-03 12:56:47,462 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=44, timeout=0:30:00) -/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 -[gpua005:0/64] 2023-12-03 12:56:57,517 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=44, timeout=0:30:00) -[gpua005:0/64] 2023-12-03 12:57:07,811 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=64, timeout=0:30:00) -[gpua005:0/64] 2023-12-03 12:57:07,811 (distributed_c10d:353) INFO: Rank 0: Completed store-based barrier for key:store_based_barrier_key:1 with 64 nodes. -[gpua005:0/64] 2023-12-03 12:57:07,859 (s2t:464) INFO: Vocabulary size: 50002 -[gpua005:0/64] 2023-12-03 12:57:17,658 (abs_task:1231) INFO: pytorch.version=1.13.1, cuda.available=True, cudnn.version=8500, cudnn.benchmark=False, cudnn.deterministic=True -[gpua005:0/64] 2023-12-03 12:57:17,669 (abs_task:1232) INFO: Model structure: -ESPnetS2TModel( - (frontend): DefaultFrontend( - (stft): Stft(n_fft=512, win_length=400, hop_length=160, center=True, normalized=False, onesided=True) - (frontend): Frontend() - (logmel): LogMel(sr=16000, n_fft=512, n_mels=80, fmin=0, fmax=8000.0, htk=False) - ) - (specaug): SpecAug( - (freq_mask): MaskAlongAxis(mask_width_range=[0, 27], num_mask=2, axis=freq) - (time_mask): MaskAlongAxisVariableMaxWidth(mask_width_ratio_range=[0.0, 0.05], num_mask=10, axis=time) - ) - (normalize): GlobalMVN(stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz, norm_means=True, norm_vars=True) - (encoder): EBranchformerEncoder( - (embed): Conv2dSubsampling( - (conv): Sequential( - (0): Conv2d(1, 1024, kernel_size=(3, 3), stride=(2, 2)) - (1): ReLU() - (2): Conv2d(1024, 1024, kernel_size=(3, 3), stride=(2, 2)) - (3): ReLU() - ) - (out): Sequential( - (0): Linear(in_features=19456, out_features=1024, bias=True) - (1): PositionalEncoding( - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - ) - (encoders): MultiSequential( - (0): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (1): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (2): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (3): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (4): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (5): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (6): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (7): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (8): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (9): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (10): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (11): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (12): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (13): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (14): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (15): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (16): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (17): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - ) - (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - ) - (decoder): TransformerDecoder( - (embed): Sequential( - (0): Embedding(50002, 1024) - (1): PositionalEncoding( - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (output_layer): Linear(in_features=1024, out_features=50002, bias=True) - (decoders): MultiSequential( - (0): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (1): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (2): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (3): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (4): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (5): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (6): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (7): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (8): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (9): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (10): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (11): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (12): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (13): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (14): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (15): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (16): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (17): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - ) - (criterion_att): LabelSmoothingLoss( - (criterion): KLDivLoss() - ) - (ctc): CTC( - (ctc_lo): Linear(in_features=1024, out_features=50002, bias=True) - (ctc_loss): CTCLoss() - ) -) - -Model summary: - Class Name: ESPnetS2TModel - Total Number of model parameters: 1.02 B - Number of trainable parameters: 1.02 B (100.0%) - Size: 4.07 GB - Type: torch.float32 -[gpua005:0/64] 2023-12-03 12:57:17,669 (abs_task:1235) INFO: Optimizer: -AdamW ( -Parameter Group 0 - amsgrad: False - betas: [0.9, 0.98] - capturable: False - eps: 1e-06 - foreach: None - initial_lr: 0.0002 - lr: 1.6666666666666667e-09 - maximize: False - weight_decay: 0.0 -) -[gpua005:0/64] 2023-12-03 12:57:17,669 (abs_task:1236) INFO: Scheduler: PiecewiseLinearWarmupLR(warmup_steps_list=[0, 30000, 60000], warmup_lr_list=[0.0, 5e-05, 0.0002]) -[gpua005:0/64] 2023-12-03 12:57:17,673 (abs_task:1245) INFO: Saving the configuration in exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/config.yaml -[gpua005:0/64] 2023-12-03 12:57:22,976 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-03 12:57:23,876 (abs_task:1616) INFO: [valid] dataset: -ESPnetDataset( - speech: {"path": "dump/raw/dev_v3/wav.scp", "type": "kaldi_ark"} - text_prev: {"path": "dump/raw/dev_v3/text.prev", "type": "text"} - text_ctc: {"path": "dump/raw/dev_v3/text.ctc", "type": "text"} - text: {"path": "dump/raw/dev_v3/text", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-03 12:57:23,877 (abs_task:1617) INFO: [valid] Batch sampler: UnsortedBatchSampler(N-batch=4671, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/valid/speech_shape, -[gpua005:0/64] 2023-12-03 12:57:23,878 (abs_task:1618) INFO: [valid] mini-batch sizes summary: N-batch=4671, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-03 12:57:38,881 (trainer:159) INFO: The training was resumed using exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/checkpoint.pth -gpua005:2239264:2239264 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> -gpua005:2239264:2239264 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua005:2239264:2239264 [0] NCCL INFO cudaDriverVersion 12020 -NCCL version 2.14.3+cuda11.7 -[gpua005:0/64] 2023-12-03 12:57:49,398 (trainer:284) INFO: 6/40epoch started -[gpua005:0/64] 2023-12-03 12:57:49,457 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua005:0/64] 2023-12-03 12:58:07,261 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-03 12:58:10,686 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-03 12:58:10,686 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua005:0/64] 2023-12-03 12:58:10,689 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -gpua031:539241:539241 [1] NCCL INFO cudaDriverVersion 12020 -gpua031:539241:539241 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> -gpua031:539241:539241 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua031:539241:539306 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> -gpua031:539241:539306 [1] NCCL INFO Using network IB -gpua031:539241:539306 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua031:539241:539306 [1] NCCL INFO Trees [0] 22/-1/-1->21->20 [1] 22/24/-1->21->20 -gpua031:539241:539306 [1] NCCL INFO Channel 00/0 : 21[46000] -> 22[85000] via P2P/IPC/read -gpua031:539241:539306 [1] NCCL INFO Channel 01/0 : 21[46000] -> 22[85000] via P2P/IPC/read -gpua031:539241:539306 [1] NCCL INFO Connected all rings -gpua031:539241:539306 [1] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [send] via NET/IB/0 -gpua031:539241:539306 [1] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [receive] via NET/IB/0 -gpua032:544523:544523 [1] NCCL INFO cudaDriverVersion 12020 -gpua032:544523:544523 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.32<0> -gpua032:544523:544523 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua032:544523:544591 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.32<0> -gpua032:544523:544591 [1] NCCL INFO Using network IB -gpua032:544523:544591 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua032:544523:544591 [1] NCCL INFO Trees [0] 26/20/-1->25->24 [1] 26/-1/-1->25->24 -gpua032:544523:544591 [1] NCCL INFO Channel 00/0 : 25[46000] -> 26[85000] via P2P/IPC/read -gpua032:544523:544591 [1] NCCL INFO Channel 01/0 : 25[46000] -> 26[85000] via P2P/IPC/read -gpua032:544523:544591 [1] NCCL INFO Connected all rings -gpua032:544523:544591 [1] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [receive] via NET/IB/0 -gpua032:544523:544591 [1] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [send] via NET/IB/0 -gpua031:539241:539306 [1] NCCL INFO Channel 00/0 : 21[46000] -> 20[7000] via P2P/IPC/read -gpua031:539241:539306 [1] NCCL INFO Channel 01/0 : 21[46000] -> 20[7000] via P2P/IPC/read -gpua031:539241:539306 [1] NCCL INFO Connected all trees -gpua031:539241:539306 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua031:539241:539306 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua031:539241:539306 [1] NCCL INFO comm 0x932d31e0 rank 21 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua032:544523:544591 [1] NCCL INFO Channel 00/0 : 25[46000] -> 24[7000] via P2P/IPC/read -gpua032:544523:544591 [1] NCCL INFO Channel 01/0 : 25[46000] -> 24[7000] via P2P/IPC/read -gpua032:544523:544591 [1] NCCL INFO Connected all trees -gpua032:544523:544591 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua032:544523:544591 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua032:544523:544591 [1] NCCL INFO comm 0xa041f410 rank 25 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua032:544524:544524 [2] NCCL INFO cudaDriverVersion 12020 -gpua032:544524:544524 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.32<0> -gpua032:544524:544524 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua032:544524:544593 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.32<0> -gpua032:544524:544593 [2] NCCL INFO Using network IB -gpua032:544524:544593 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua032:544524:544593 [2] NCCL INFO Trees [0] 27/-1/-1->26->25 [1] 27/-1/-1->26->25 -gpua032:544524:544593 [2] NCCL INFO Channel 00/0 : 26[85000] -> 27[c7000] via P2P/IPC/read -gpua032:544524:544593 [2] NCCL INFO Channel 01/0 : 26[85000] -> 27[c7000] via P2P/IPC/read -gpua032:544524:544593 [2] NCCL INFO Connected all rings -gpua032:544524:544593 [2] NCCL INFO Channel 00/0 : 26[85000] -> 25[46000] via P2P/IPC/read -gpua032:544524:544593 [2] NCCL INFO Channel 01/0 : 26[85000] -> 25[46000] via P2P/IPC/read -gpua032:544524:544593 [2] NCCL INFO Connected all trees -gpua032:544524:544593 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua032:544524:544593 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua032:544524:544593 [2] NCCL INFO comm 0x1e262810 rank 26 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua093:360448:360448 [3] NCCL INFO cudaDriverVersion 12020 -gpua093:360448:360448 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.93<0> -gpua093:360448:360448 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua093:360448:360510 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.93<0> -gpua093:360448:360510 [3] NCCL INFO Using network IB -gpua093:360448:360510 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua093:360448:360510 [3] NCCL INFO Trees [0] -1/-1/-1->63->62 [1] -1/-1/-1->63->62 -gpua093:360448:360510 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 -gpua093:360448:360510 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 -gpua093:360448:360510 [3] NCCL INFO Connected all rings -gpua093:360448:360510 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 62[85000] via P2P/IPC/read -gpua093:360448:360510 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 62[85000] via P2P/IPC/read -gpua093:360448:360510 [3] NCCL INFO Connected all trees -gpua093:360448:360510 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua093:360448:360510 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua093:360448:360510 [3] NCCL INFO comm 0x49abc140 rank 63 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua005:2239267:2239267 [3] NCCL INFO cudaDriverVersion 12020 -gpua005:2239267:2239267 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> -gpua005:2239267:2239267 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua005:2239267:2239342 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> -gpua005:2239267:2239342 [3] NCCL INFO Using network IB -gpua005:2239267:2239342 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua005:2239267:2239342 [3] NCCL INFO Trees [0] -1/-1/-1->3->2 [1] -1/-1/-1->3->2 -gpua005:2239267:2239342 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 -gpua005:2239267:2239342 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 -gpua005:2239267:2239342 [3] NCCL INFO Connected all rings -gpua005:2239267:2239342 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 2[85000] via P2P/IPC/read -gpua005:2239267:2239342 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 2[85000] via P2P/IPC/read -gpua005:2239267:2239342 [3] NCCL INFO Connected all trees -gpua005:2239267:2239342 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua005:2239267:2239342 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua005:2239267:2239342 [3] NCCL INFO comm 0xbfb97a0 rank 3 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua093:360447:360447 [2] NCCL INFO cudaDriverVersion 12020 -gpua093:360447:360447 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.93<0> -gpua093:360447:360447 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua093:360447:360508 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.93<0> -gpua093:360447:360508 [2] NCCL INFO Using network IB -gpua093:360447:360508 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua093:360447:360508 [2] NCCL INFO Trees [0] 63/-1/-1->62->61 [1] 63/-1/-1->62->61 -gpua093:360447:360508 [2] NCCL INFO Channel 00/0 : 62[85000] -> 63[c7000] via P2P/IPC/read -gpua093:360447:360508 [2] NCCL INFO Channel 01/0 : 62[85000] -> 63[c7000] via P2P/IPC/read -gpua093:360447:360508 [2] NCCL INFO Connected all rings -gpua093:360447:360508 [2] NCCL INFO Channel 00/0 : 62[85000] -> 61[46000] via P2P/IPC/read -gpua093:360447:360508 [2] NCCL INFO Channel 01/0 : 62[85000] -> 61[46000] via P2P/IPC/read -gpua093:360447:360508 [2] NCCL INFO Connected all trees -gpua093:360447:360508 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua093:360447:360508 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua093:360447:360508 [2] NCCL INFO comm 0xebc9a420 rank 62 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua065:569069:569069 [2] NCCL INFO cudaDriverVersion 12020 -gpua065:569069:569069 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.65<0> -gpua065:569069:569069 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua065:569069:569130 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.65<0> -gpua065:569069:569130 [2] NCCL INFO Using network IB -gpua065:569069:569130 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua065:569069:569130 [2] NCCL INFO Trees [0] 39/-1/-1->38->37 [1] 39/-1/-1->38->37 -gpua065:569069:569130 [2] NCCL INFO Channel 00/0 : 38[85000] -> 39[c7000] via P2P/IPC/read -gpua065:569069:569130 [2] NCCL INFO Channel 01/0 : 38[85000] -> 39[c7000] via P2P/IPC/read -gpua065:569069:569130 [2] NCCL INFO Connected all rings -gpua065:569069:569130 [2] NCCL INFO Channel 00/0 : 38[85000] -> 37[46000] via P2P/IPC/read -gpua065:569069:569130 [2] NCCL INFO Channel 01/0 : 38[85000] -> 37[46000] via P2P/IPC/read -gpua065:569069:569130 [2] NCCL INFO Connected all trees -gpua065:569069:569130 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua065:569069:569130 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua065:569069:569130 [2] NCCL INFO comm 0xfcbf9f0 rank 38 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua011:802532:802532 [2] NCCL INFO cudaDriverVersion 12020 -gpua011:802532:802532 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.11<0> -gpua011:802532:802532 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua011:802532:802593 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.11<0> -gpua011:802532:802593 [2] NCCL INFO Using network IB -gpua011:802532:802593 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua011:802532:802593 [2] NCCL INFO Trees [0] 15/-1/-1->14->13 [1] 15/-1/-1->14->13 -gpua011:802532:802593 [2] NCCL INFO Channel 00/0 : 14[85000] -> 15[c7000] via P2P/IPC/read -gpua011:802532:802593 [2] NCCL INFO Channel 01/0 : 14[85000] -> 15[c7000] via P2P/IPC/read -gpua011:802532:802593 [2] NCCL INFO Connected all rings -gpua011:802532:802593 [2] NCCL INFO Channel 00/0 : 14[85000] -> 13[46000] via P2P/IPC/read -gpua011:802532:802593 [2] NCCL INFO Channel 01/0 : 14[85000] -> 13[46000] via P2P/IPC/read -gpua011:802532:802593 [2] NCCL INFO Connected all trees -gpua011:802532:802593 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua011:802532:802593 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua011:802532:802593 [2] NCCL INFO comm 0xbef4ed0 rank 14 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua031:539242:539242 [2] NCCL INFO cudaDriverVersion 12020 -gpua031:539242:539242 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> -gpua031:539242:539242 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua031:539242:539305 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> -gpua031:539242:539305 [2] NCCL INFO Using network IB -gpua031:539242:539305 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua031:539242:539305 [2] NCCL INFO Trees [0] 23/-1/-1->22->21 [1] 23/-1/-1->22->21 -gpua031:539242:539305 [2] NCCL INFO Channel 00/0 : 22[85000] -> 23[c7000] via P2P/IPC/read -gpua031:539242:539305 [2] NCCL INFO Channel 01/0 : 22[85000] -> 23[c7000] via P2P/IPC/read -gpua031:539242:539305 [2] NCCL INFO Connected all rings -gpua031:539242:539305 [2] NCCL INFO Channel 00/0 : 22[85000] -> 21[46000] via P2P/IPC/read -gpua031:539242:539305 [2] NCCL INFO Channel 01/0 : 22[85000] -> 21[46000] via P2P/IPC/read -gpua031:539242:539305 [2] NCCL INFO Connected all trees -gpua031:539242:539305 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua031:539242:539305 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua031:539242:539305 [2] NCCL INFO comm 0xb7fc110 rank 22 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua011:802533:802533 [3] NCCL INFO cudaDriverVersion 12020 -gpua011:802533:802533 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.11<0> -gpua011:802533:802533 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua011:802533:802594 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.11<0> -gpua011:802533:802594 [3] NCCL INFO Using network IB -gpua011:802533:802594 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua011:802533:802594 [3] NCCL INFO Trees [0] -1/-1/-1->15->14 [1] -1/-1/-1->15->14 -gpua011:802533:802594 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 -gpua011:802533:802594 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 -gpua011:802533:802594 [3] NCCL INFO Connected all rings -gpua011:802533:802594 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 14[85000] via P2P/IPC/read -gpua011:802533:802594 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 14[85000] via P2P/IPC/read -gpua011:802533:802594 [3] NCCL INFO Connected all trees -gpua011:802533:802594 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua011:802533:802594 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua011:802533:802594 [3] NCCL INFO comm 0x1687a210 rank 15 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua067:315230:315230 [0] NCCL INFO cudaDriverVersion 12020 -gpua067:315230:315230 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.67<0> -gpua067:315230:315230 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua067:315230:315297 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.67<0> -gpua067:315230:315297 [0] NCCL INFO Using network IB -gpua067:315230:315297 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua067:315230:315297 [0] NCCL INFO Trees [0] 45/-1/-1->44->40 [1] 45/36/-1->44->29 -gpua067:315230:315297 [0] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 -gpua067:315230:315297 [0] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 -gpua067:315230:315297 [0] NCCL INFO Channel 00/0 : 44[7000] -> 45[46000] via P2P/IPC/read -gpua067:315230:315297 [0] NCCL INFO Channel 01/0 : 44[7000] -> 45[46000] via P2P/IPC/read -gpua067:315230:315297 [0] NCCL INFO Connected all rings -gpua067:315230:315297 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [receive] via NET/IB/0 -gpua067:315230:315297 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [receive] via NET/IB/0 -gpua067:315230:315297 [0] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [receive] via NET/IB/0 -gpua067:315230:315297 [0] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [send] via NET/IB/0 -gpua067:315230:315297 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [send] via NET/IB/0 -gpua067:315230:315297 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [send] via NET/IB/0 -gpua067:315230:315297 [0] NCCL INFO Connected all trees -gpua067:315230:315297 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua067:315230:315297 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua067:315230:315297 [0] NCCL INFO comm 0x11db9ad0 rank 44 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua067:315231:315231 [1] NCCL INFO cudaDriverVersion 12020 -gpua031:539240:539240 [0] NCCL INFO cudaDriverVersion 12020 -gpua031:539240:539240 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> -gpua031:539240:539240 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua031:539240:539304 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> -gpua031:539240:539304 [0] NCCL INFO Using network IB -gpua031:539240:539304 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua031:539240:539304 [0] NCCL INFO Trees [0] 21/-1/-1->20->25 [1] 21/16/-1->20->13 -gpua031:539240:539304 [0] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 -gpua031:539240:539304 [0] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 -gpua031:539240:539304 [0] NCCL INFO Channel 00/0 : 20[7000] -> 21[46000] via P2P/IPC/read -gpua031:539240:539304 [0] NCCL INFO Channel 01/0 : 20[7000] -> 21[46000] via P2P/IPC/read -gpua031:539240:539304 [0] NCCL INFO Connected all rings -gpua067:315231:315231 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.67<0> -gpua067:315231:315231 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua067:315231:315294 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.67<0> -gpua067:315231:315294 [1] NCCL INFO Using network IB -gpua067:315231:315294 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua067:315231:315294 [1] NCCL INFO Trees [0] 46/-1/-1->45->44 [1] 46/52/-1->45->44 -gpua067:315231:315294 [1] NCCL INFO Channel 00/0 : 45[46000] -> 46[85000] via P2P/IPC/read -gpua067:315231:315294 [1] NCCL INFO Channel 01/0 : 45[46000] -> 46[85000] via P2P/IPC/read -gpua067:315231:315294 [1] NCCL INFO Connected all rings -gpua067:315231:315294 [1] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [send] via NET/IB/0 -gpua067:315231:315294 [1] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [receive] via NET/IB/0 -gpua067:315231:315294 [1] NCCL INFO Channel 00/0 : 45[46000] -> 44[7000] via P2P/IPC/read -gpua031:539240:539304 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [receive] via NET/IB/0 -gpua031:539240:539304 [0] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [send] via NET/IB/0 -gpua031:539240:539304 [0] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [receive] via NET/IB/0 -gpua031:539240:539304 [0] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [send] via NET/IB/0 -gpua031:539240:539304 [0] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [receive] via NET/IB/0 -gpua031:539240:539304 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [send] via NET/IB/0 -gpua031:539240:539304 [0] NCCL INFO Connected all trees -gpua031:539240:539304 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua031:539240:539304 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua031:539240:539304 [0] NCCL INFO comm 0xc82dc10 rank 20 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua067:315231:315294 [1] NCCL INFO Channel 01/0 : 45[46000] -> 44[7000] via P2P/IPC/read -gpua067:315231:315294 [1] NCCL INFO Connected all trees -gpua067:315231:315294 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua067:315231:315294 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua067:315231:315294 [1] NCCL INFO comm 0x19653290 rank 45 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua067:315233:315233 [3] NCCL INFO cudaDriverVersion 12020 -gpua067:315233:315233 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.67<0> -gpua067:315233:315233 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua067:315233:315296 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.67<0> -gpua067:315233:315296 [3] NCCL INFO Using network IB -gpua067:315233:315296 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua067:315233:315296 [3] NCCL INFO Trees [0] -1/-1/-1->47->46 [1] -1/-1/-1->47->46 -gpua067:315233:315296 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 -gpua067:315233:315296 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 -gpua067:315233:315296 [3] NCCL INFO Connected all rings -gpua067:315233:315296 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 46[85000] via P2P/IPC/read -gpua067:315233:315296 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 46[85000] via P2P/IPC/read -gpua067:315233:315296 [3] NCCL INFO Connected all trees -gpua067:315233:315296 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua067:315233:315296 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua067:315233:315296 [3] NCCL INFO comm 0x16a54200 rank 47 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua066:441312:441312 [2] NCCL INFO cudaDriverVersion 12020 -gpua066:441312:441312 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.66<0> -gpua066:441312:441312 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua066:441312:441371 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.66<0> -gpua066:441312:441371 [2] NCCL INFO Using network IB -gpua066:441312:441371 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua066:441312:441371 [2] NCCL INFO Trees [0] 43/-1/-1->42->41 [1] 43/-1/-1->42->41 -gpua066:441312:441371 [2] NCCL INFO Channel 00/0 : 42[85000] -> 43[c7000] via P2P/IPC/read -gpua066:441312:441371 [2] NCCL INFO Channel 01/0 : 42[85000] -> 43[c7000] via P2P/IPC/read -gpua066:441312:441371 [2] NCCL INFO Connected all rings -gpua066:441312:441371 [2] NCCL INFO Channel 00/0 : 42[85000] -> 41[46000] via P2P/IPC/read -gpua066:441312:441371 [2] NCCL INFO Channel 01/0 : 42[85000] -> 41[46000] via P2P/IPC/read -gpua066:441312:441371 [2] NCCL INFO Connected all trees -gpua066:441312:441371 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua066:441312:441371 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua066:441312:441371 [2] NCCL INFO comm 0xe74fdc20 rank 42 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua083:1638533:1638533 [3] NCCL INFO cudaDriverVersion 12020 -gpua083:1638533:1638533 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> -gpua083:1638533:1638533 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua083:1638533:1638607 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> -gpua083:1638533:1638607 [3] NCCL INFO Using network IB -gpua083:1638533:1638607 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua083:1638533:1638607 [3] NCCL INFO Trees [0] -1/-1/-1->51->50 [1] -1/-1/-1->51->50 -gpua083:1638533:1638607 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 -gpua083:1638533:1638607 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 -gpua083:1638533:1638607 [3] NCCL INFO Connected all rings -gpua083:1638533:1638607 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 50[85000] via P2P/IPC/read -gpua083:1638533:1638607 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 50[85000] via P2P/IPC/read -gpua083:1638533:1638607 [3] NCCL INFO Connected all trees -gpua083:1638533:1638607 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua083:1638533:1638607 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua083:1638533:1638607 [3] NCCL INFO comm 0x9be4fce0 rank 51 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua083:1638531:1638531 [1] NCCL INFO cudaDriverVersion 12020 -gpua083:1638531:1638531 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> -gpua083:1638531:1638531 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua083:1638531:1638608 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> -gpua083:1638531:1638608 [1] NCCL INFO Using network IB -gpua083:1638531:1638608 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua083:1638531:1638608 [1] NCCL INFO Trees [0] 50/40/-1->49->48 [1] 50/-1/-1->49->48 -gpua083:1638531:1638608 [1] NCCL INFO Channel 00/0 : 49[46000] -> 50[85000] via P2P/IPC/read -gpua083:1638531:1638608 [1] NCCL INFO Channel 01/0 : 49[46000] -> 50[85000] via P2P/IPC/read -gpua083:1638531:1638608 [1] NCCL INFO Connected all rings -gpua083:1638531:1638608 [1] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [receive] via NET/IB/0 -gpua083:1638531:1638608 [1] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [send] via NET/IB/0 -gpua083:1638531:1638608 [1] NCCL INFO Channel 00/0 : 49[46000] -> 48[7000] via P2P/IPC/read -gpua083:1638531:1638608 [1] NCCL INFO Channel 01/0 : 49[46000] -> 48[7000] via P2P/IPC/read -gpua083:1638531:1638608 [1] NCCL INFO Connected all trees -gpua083:1638531:1638608 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua083:1638531:1638608 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua083:1638531:1638608 [1] NCCL INFO comm 0xc97e7e0 rank 49 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua066:441313:441313 [3] NCCL INFO cudaDriverVersion 12020 -gpua066:441313:441313 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.66<0> -gpua066:441313:441313 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua066:441313:441374 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.66<0> -gpua066:441313:441374 [3] NCCL INFO Using network IB -gpua066:441313:441374 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua066:441313:441374 [3] NCCL INFO Trees [0] -1/-1/-1->43->42 [1] -1/-1/-1->43->42 -gpua066:441313:441374 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 -gpua066:441313:441374 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 -gpua066:441313:441374 [3] NCCL INFO Connected all rings -gpua066:441313:441374 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 42[85000] via P2P/IPC/read -gpua066:441313:441374 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 42[85000] via P2P/IPC/read -gpua092:579002:579002 [1] NCCL INFO cudaDriverVersion 12020 -gpua092:579002:579002 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.92<0> -gpua092:579002:579002 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua092:579002:579061 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.92<0> -gpua092:579002:579061 [1] NCCL INFO Using network IB -gpua092:579002:579061 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua092:579002:579061 [1] NCCL INFO Trees [0] 58/52/-1->57->56 [1] 58/-1/-1->57->56 -gpua092:579002:579061 [1] NCCL INFO Channel 00/0 : 57[46000] -> 58[85000] via P2P/IPC/read -gpua092:579002:579061 [1] NCCL INFO Channel 01/0 : 57[46000] -> 58[85000] via P2P/IPC/read -gpua092:579002:579061 [1] NCCL INFO Connected all rings -gpua092:579002:579061 [1] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [receive] via NET/IB/0 -gpua092:579002:579061 [1] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [send] via NET/IB/0 -gpua066:441313:441374 [3] NCCL INFO Connected all trees -gpua066:441313:441374 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua066:441313:441374 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua066:441313:441374 [3] NCCL INFO comm 0x98ddd450 rank 43 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua092:579002:579061 [1] NCCL INFO Channel 00/0 : 57[46000] -> 56[7000] via P2P/IPC/read -gpua092:579002:579061 [1] NCCL INFO Channel 01/0 : 57[46000] -> 56[7000] via P2P/IPC/read -gpua092:579002:579061 [1] NCCL INFO Connected all trees -gpua092:579002:579061 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua092:579002:579061 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua092:579002:579061 [1] NCCL INFO comm 0xe94168a0 rank 57 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua032:544522:544522 [0] NCCL INFO cudaDriverVersion 12020 -gpua032:544522:544522 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.32<0> -gpua032:544522:544522 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua032:544522:544594 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.32<0> -gpua032:544522:544594 [0] NCCL INFO Using network IB -gpua032:544522:544594 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua032:544522:544594 [0] NCCL INFO Trees [0] 25/28/-1->24->16 [1] 25/-1/-1->24->21 -gpua032:544522:544594 [0] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 -gpua032:544522:544594 [0] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 -gpua032:544522:544594 [0] NCCL INFO Channel 00/0 : 24[7000] -> 25[46000] via P2P/IPC/read -gpua032:544522:544594 [0] NCCL INFO Channel 01/0 : 24[7000] -> 25[46000] via P2P/IPC/read -gpua032:544522:544594 [0] NCCL INFO Connected all rings -gpua032:544522:544594 [0] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [receive] via NET/IB/0 -gpua032:544522:544594 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [send] via NET/IB/0 -gpua032:544522:544594 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [receive] via NET/IB/0 -gpua032:544522:544594 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [send] via NET/IB/0 -gpua032:544522:544594 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [receive] via NET/IB/0 -gpua032:544522:544594 [0] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [send] via NET/IB/0 -gpua032:544522:544594 [0] NCCL INFO Connected all trees -gpua032:544522:544594 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua032:544522:544594 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua032:544522:544594 [0] NCCL INFO comm 0x1de6a2a0 rank 24 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua086:533626:533626 [1] NCCL INFO cudaDriverVersion 12020 -gpua086:533626:533626 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> -gpua086:533626:533626 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua086:533626:533705 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> -gpua086:533626:533705 [1] NCCL INFO Using network IB -gpua086:533626:533705 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua086:533626:533705 [1] NCCL INFO Trees [0] 54/-1/-1->53->52 [1] 54/56/-1->53->52 -gpua086:533626:533705 [1] NCCL INFO Channel 00/0 : 53[46000] -> 54[85000] via P2P/IPC/read -gpua086:533626:533705 [1] NCCL INFO Channel 01/0 : 53[46000] -> 54[85000] via P2P/IPC/read -gpua086:533626:533705 [1] NCCL INFO Connected all rings -gpua086:533626:533705 [1] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [send] via NET/IB/0 -gpua086:533626:533705 [1] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [receive] via NET/IB/0 -gpua066:441310:441310 [0] NCCL INFO cudaDriverVersion 12020 -gpua066:441310:441310 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.66<0> -gpua066:441310:441310 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua066:441310:441372 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.66<0> -gpua066:441310:441372 [0] NCCL INFO Using network IB -gpua066:441310:441372 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua066:441310:441372 [0] NCCL INFO Trees [0] 41/44/-1->40->49 [1] 41/-1/-1->40->37 -gpua066:441310:441372 [0] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 -gpua066:441310:441372 [0] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 -gpua066:441310:441372 [0] NCCL INFO Channel 00/0 : 40[7000] -> 41[46000] via P2P/IPC/read -gpua066:441310:441372 [0] NCCL INFO Channel 01/0 : 40[7000] -> 41[46000] via P2P/IPC/read -gpua066:441310:441372 [0] NCCL INFO Connected all rings -gpua086:533626:533705 [1] NCCL INFO Channel 00/0 : 53[46000] -> 52[7000] via P2P/IPC/read -gpua086:533626:533705 [1] NCCL INFO Channel 01/0 : 53[46000] -> 52[7000] via P2P/IPC/read -gpua086:533626:533705 [1] NCCL INFO Connected all trees -gpua086:533626:533705 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua086:533626:533705 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua086:533626:533705 [1] NCCL INFO comm 0xe1038e0 rank 53 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua066:441310:441372 [0] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [receive] via NET/IB/0 -gpua066:441310:441372 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [send] via NET/IB/0 -gpua066:441310:441372 [0] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [send] via NET/IB/0 -gpua066:441310:441372 [0] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [receive] via NET/IB/0 -gpua066:441310:441372 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [receive] via NET/IB/0 -gpua066:441310:441372 [0] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [send] via NET/IB/0 -gpua066:441310:441372 [0] NCCL INFO Connected all trees -gpua066:441310:441372 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua066:441310:441372 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua066:441310:441372 [0] NCCL INFO comm 0xc6e5760 rank 40 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua065:569067:569067 [0] NCCL INFO cudaDriverVersion 12020 -gpua065:569067:569067 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.65<0> -gpua065:569067:569067 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua065:569067:569128 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.65<0> -gpua065:569067:569128 [0] NCCL INFO Using network IB -gpua065:569067:569128 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua065:569067:569128 [0] NCCL INFO Trees [0] 37/-1/-1->36->41 [1] 37/32/-1->36->44 -gpua065:569067:569128 [0] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 -gpua065:569067:569128 [0] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 -gpua065:569067:569128 [0] NCCL INFO Channel 00/0 : 36[7000] -> 37[46000] via P2P/IPC/read -gpua065:569067:569128 [0] NCCL INFO Channel 01/0 : 36[7000] -> 37[46000] via P2P/IPC/read -gpua065:569067:569128 [0] NCCL INFO Connected all rings -gpua010:234972:234972 [3] NCCL INFO cudaDriverVersion 12020 -gpua010:234972:234972 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.10<0> -gpua010:234972:234972 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua010:234972:235042 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.10<0> -gpua010:234972:235042 [3] NCCL INFO Using network IB -gpua010:234972:235042 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua010:234972:235042 [3] NCCL INFO Trees [0] -1/-1/-1->11->10 [1] -1/-1/-1->11->10 -gpua010:234972:235042 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 -gpua010:234972:235042 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 -gpua010:234972:235042 [3] NCCL INFO Connected all rings -gpua010:234972:235042 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 10[85000] via P2P/IPC/read -gpua010:234972:235042 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 10[85000] via P2P/IPC/read -gpua065:569067:569128 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [receive] via NET/IB/0 -gpua065:569067:569128 [0] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [send] via NET/IB/0 -gpua065:569067:569128 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [send] via NET/IB/0 -gpua065:569067:569128 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [receive] via NET/IB/0 -gpua065:569067:569128 [0] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [receive] via NET/IB/0 -gpua065:569067:569128 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [send] via NET/IB/0 -gpua065:569067:569128 [0] NCCL INFO Connected all trees -gpua065:569067:569128 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua065:569067:569128 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua065:569067:569128 [0] NCCL INFO comm 0x16effd30 rank 36 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua010:234972:235042 [3] NCCL INFO Connected all trees -gpua010:234972:235042 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua010:234972:235042 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua010:234972:235042 [3] NCCL INFO comm 0xd5d7010 rank 11 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua032:544525:544525 [3] NCCL INFO cudaDriverVersion 12020 -gpua032:544525:544525 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.32<0> -gpua032:544525:544525 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua032:544525:544592 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.32<0> -gpua032:544525:544592 [3] NCCL INFO Using network IB -gpua032:544525:544592 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua032:544525:544592 [3] NCCL INFO Trees [0] -1/-1/-1->27->26 [1] -1/-1/-1->27->26 -gpua032:544525:544592 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 -gpua032:544525:544592 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 -gpua032:544525:544592 [3] NCCL INFO Connected all rings -gpua032:544525:544592 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 26[85000] via P2P/IPC/read -gpua032:544525:544592 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 26[85000] via P2P/IPC/read -gpua032:544525:544592 [3] NCCL INFO Connected all trees -gpua032:544525:544592 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua032:544525:544592 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua032:544525:544592 [3] NCCL INFO comm 0x39aa9e30 rank 27 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua005:2239265:2239265 [1] NCCL INFO cudaDriverVersion 12020 -gpua005:2239265:2239265 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> -gpua005:2239265:2239265 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua005:2239265:2239345 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> -gpua005:2239265:2239345 [1] NCCL INFO Using network IB -gpua005:2239265:2239345 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua005:2239265:2239345 [1] NCCL INFO Trees [0] 2/-1/-1->1->0 [1] 2/-1/-1->1->0 -gpua005:2239265:2239345 [1] NCCL INFO Channel 00/0 : 1[46000] -> 2[85000] via P2P/IPC/read -gpua005:2239265:2239345 [1] NCCL INFO Channel 01/0 : 1[46000] -> 2[85000] via P2P/IPC/read -gpua005:2239265:2239345 [1] NCCL INFO Connected all rings -gpua005:2239265:2239345 [1] NCCL INFO Channel 00/0 : 1[46000] -> 0[7000] via P2P/IPC/read -gpua005:2239265:2239345 [1] NCCL INFO Channel 01/0 : 1[46000] -> 0[7000] via P2P/IPC/read -gpua005:2239265:2239345 [1] NCCL INFO Connected all trees -gpua005:2239265:2239345 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua005:2239265:2239345 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua005:2239265:2239345 [1] NCCL INFO comm 0xe157ad0 rank 1 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua065:569070:569070 [3] NCCL INFO cudaDriverVersion 12020 -gpua065:569070:569070 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.65<0> -gpua065:569070:569070 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua065:569070:569129 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.65<0> -gpua065:569070:569129 [3] NCCL INFO Using network IB -gpua065:569070:569129 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua065:569070:569129 [3] NCCL INFO Trees [0] -1/-1/-1->39->38 [1] -1/-1/-1->39->38 -gpua065:569070:569129 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 -gpua065:569070:569129 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 -gpua065:569070:569129 [3] NCCL INFO Connected all rings -gpua065:569070:569129 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 38[85000] via P2P/IPC/read -gpua065:569070:569129 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 38[85000] via P2P/IPC/read -gpua065:569070:569129 [3] NCCL INFO Connected all trees -gpua065:569070:569129 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua065:569070:569129 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua065:569070:569129 [3] NCCL INFO comm 0x94c2d610 rank 39 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua083:1638530:1638530 [0] NCCL INFO cudaDriverVersion 12020 -gpua083:1638530:1638530 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> -gpua083:1638530:1638530 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua083:1638530:1638606 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> -gpua083:1638530:1638606 [0] NCCL INFO Using network IB -gpua083:1638530:1638606 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua083:1638530:1638606 [0] NCCL INFO Trees [0] 49/56/-1->48->32 [1] 49/-1/-1->48->52 -gpua083:1638530:1638606 [0] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 -gpua083:1638530:1638606 [0] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 -gpua083:1638530:1638606 [0] NCCL INFO Channel 00/0 : 48[7000] -> 49[46000] via P2P/IPC/read -gpua083:1638530:1638606 [0] NCCL INFO Channel 01/0 : 48[7000] -> 49[46000] via P2P/IPC/read -gpua083:1638530:1638606 [0] NCCL INFO Connected all rings -gpua005:2239266:2239266 [2] NCCL INFO cudaDriverVersion 12020 -gpua005:2239266:2239266 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> -gpua005:2239266:2239266 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua005:2239266:2239341 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> -gpua005:2239266:2239341 [2] NCCL INFO Using network IB -gpua005:2239266:2239341 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua005:2239266:2239341 [2] NCCL INFO Trees [0] 3/-1/-1->2->1 [1] 3/-1/-1->2->1 -gpua005:2239266:2239341 [2] NCCL INFO Channel 00/0 : 2[85000] -> 3[c7000] via P2P/IPC/read -gpua005:2239266:2239341 [2] NCCL INFO Channel 01/0 : 2[85000] -> 3[c7000] via P2P/IPC/read -gpua005:2239266:2239341 [2] NCCL INFO Connected all rings -gpua005:2239266:2239341 [2] NCCL INFO Channel 00/0 : 2[85000] -> 1[46000] via P2P/IPC/read -gpua005:2239266:2239341 [2] NCCL INFO Channel 01/0 : 2[85000] -> 1[46000] via P2P/IPC/read -gpua005:2239266:2239341 [2] NCCL INFO Connected all trees -gpua005:2239266:2239341 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua005:2239266:2239341 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua005:2239266:2239341 [2] NCCL INFO comm 0x2458ee90 rank 2 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua083:1638530:1638606 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [send] via NET/IB/0 -gpua083:1638530:1638606 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [send] via NET/IB/0 -gpua083:1638530:1638606 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [receive] via NET/IB/0 -gpua083:1638530:1638606 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [send] via NET/IB/0 -gpua083:1638530:1638606 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [receive] via NET/IB/0 -gpua083:1638530:1638606 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [receive] via NET/IB/0 -gpua083:1638530:1638606 [0] NCCL INFO Connected all trees -gpua083:1638530:1638606 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua083:1638530:1638606 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua083:1638530:1638606 [0] NCCL INFO comm 0x93d7c590 rank 48 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua093:360445:360445 [0] NCCL INFO cudaDriverVersion 12020 -gpua093:360445:360445 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.93<0> -gpua093:360445:360445 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua093:360445:360511 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.93<0> -gpua093:360445:360511 [0] NCCL INFO Using network IB -gpua093:360445:360511 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua093:360445:360511 [0] NCCL INFO Trees [0] 61/-1/-1->60->56 [1] 61/28/-1->60->-1 -gpua093:360445:360511 [0] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 -gpua093:360445:360511 [0] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 -gpua093:360445:360511 [0] NCCL INFO Channel 00/0 : 60[7000] -> 61[46000] via P2P/IPC/read -gpua093:360445:360511 [0] NCCL INFO Channel 01/0 : 60[7000] -> 61[46000] via P2P/IPC/read -gpua093:360445:360511 [0] NCCL INFO Connected all rings -gpua093:360445:360511 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [receive] via NET/IB/0 -gpua093:360445:360511 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [receive] via NET/IB/0 -gpua093:360445:360511 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [send] via NET/IB/0 -gpua093:360445:360511 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [send] via NET/IB/0 -gpua093:360445:360511 [0] NCCL INFO Connected all trees -gpua093:360445:360511 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua093:360445:360511 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua093:360445:360511 [0] NCCL INFO comm 0xf138fe60 rank 60 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua062:1330566:1330566 [1] NCCL INFO cudaDriverVersion 12020 -gpua062:1330566:1330566 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.62<0> -gpua062:1330566:1330566 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua062:1330566:1330633 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.62<0> -gpua062:1330566:1330633 [1] NCCL INFO Using network IB -gpua062:1330566:1330633 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua062:1330566:1330633 [1] NCCL INFO Trees [0] 34/16/-1->33->32 [1] 34/-1/-1->33->32 -gpua062:1330566:1330633 [1] NCCL INFO Channel 00/0 : 33[46000] -> 34[85000] via P2P/IPC/read -gpua062:1330566:1330633 [1] NCCL INFO Channel 01/0 : 33[46000] -> 34[85000] via P2P/IPC/read -gpua062:1330566:1330633 [1] NCCL INFO Connected all rings -gpua062:1330566:1330633 [1] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [receive] via NET/IB/0 -gpua062:1330566:1330633 [1] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [send] via NET/IB/0 -gpua062:1330566:1330633 [1] NCCL INFO Channel 00/0 : 33[46000] -> 32[7000] via P2P/IPC/read -gpua062:1330566:1330633 [1] NCCL INFO Channel 01/0 : 33[46000] -> 32[7000] via P2P/IPC/read -gpua062:1330566:1330633 [1] NCCL INFO Connected all trees -gpua062:1330566:1330633 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua062:1330566:1330633 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua062:1330566:1330633 [1] NCCL INFO comm 0xdd953a0 rank 33 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua031:539243:539243 [3] NCCL INFO cudaDriverVersion 12020 -gpua031:539243:539243 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> -gpua031:539243:539243 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua031:539243:539307 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> -gpua031:539243:539307 [3] NCCL INFO Using network IB -gpua031:539243:539307 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua031:539243:539307 [3] NCCL INFO Trees [0] -1/-1/-1->23->22 [1] -1/-1/-1->23->22 -gpua031:539243:539307 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 -gpua031:539243:539307 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 -gpua031:539243:539307 [3] NCCL INFO Connected all rings -gpua031:539243:539307 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 22[85000] via P2P/IPC/read -gpua031:539243:539307 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 22[85000] via P2P/IPC/read -gpua005:2239264:2239340 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> -gpua005:2239264:2239340 [0] NCCL INFO Using network IB -gpua005:2239264:2239340 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua005:2239264:2239340 [0] NCCL INFO Channel 00/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 -gpua005:2239264:2239340 [0] NCCL INFO Channel 01/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 -gpua005:2239264:2239340 [0] NCCL INFO Trees [0] 1/32/-1->0->-1 [1] 1/-1/-1->0->4 -gpua005:2239264:2239340 [0] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 -gpua005:2239264:2239340 [0] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 -gpua005:2239264:2239340 [0] NCCL INFO Channel 00/0 : 0[7000] -> 1[46000] via P2P/IPC/read -gpua005:2239264:2239340 [0] NCCL INFO Channel 01/0 : 0[7000] -> 1[46000] via P2P/IPC/read -gpua031:539243:539307 [3] NCCL INFO Connected all trees -gpua031:539243:539307 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua031:539243:539307 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua031:539243:539307 [3] NCCL INFO comm 0xce05890 rank 23 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua005:2239264:2239340 [0] NCCL INFO Connected all rings -gpua005:2239264:2239340 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [send] via NET/IB/0 -gpua005:2239264:2239340 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [receive] via NET/IB/0 -gpua005:2239264:2239340 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [send] via NET/IB/0 -gpua005:2239264:2239340 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [receive] via NET/IB/0 -gpua005:2239264:2239340 [0] NCCL INFO Connected all trees -gpua005:2239264:2239340 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua005:2239264:2239340 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua005:2239264:2239340 [0] NCCL INFO comm 0xf321130 rank 0 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua033:930016:930016 [0] NCCL INFO cudaDriverVersion 12020 -gpua033:930016:930016 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.33<0> -gpua033:930016:930016 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua033:930016:930077 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.33<0> -gpua033:930016:930077 [0] NCCL INFO Using network IB -gpua033:930016:930077 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua033:930016:930077 [0] NCCL INFO Trees [0] 29/-1/-1->28->24 [1] 29/12/-1->28->60 -gpua033:930016:930077 [0] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 -gpua033:930016:930077 [0] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 -gpua033:930016:930077 [0] NCCL INFO Channel 00/0 : 28[7000] -> 29[46000] via P2P/IPC/read -gpua033:930016:930077 [0] NCCL INFO Channel 01/0 : 28[7000] -> 29[46000] via P2P/IPC/read -gpua033:930016:930077 [0] NCCL INFO Connected all rings -gpua033:930016:930077 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [receive] via NET/IB/0 -gpua033:930016:930077 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [receive] via NET/IB/0 -gpua033:930016:930077 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [receive] via NET/IB/0 -gpua033:930016:930077 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [send] via NET/IB/0 -gpua033:930016:930077 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [send] via NET/IB/0 -gpua033:930016:930077 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [send] via NET/IB/0 -gpua033:930016:930077 [0] NCCL INFO Connected all trees -gpua033:930016:930077 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua033:930016:930077 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua033:930016:930077 [0] NCCL INFO comm 0x4df09520 rank 28 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua033:930017:930017 [1] NCCL INFO cudaDriverVersion 12020 -gpua033:930017:930017 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.33<0> -gpua033:930017:930017 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua033:930017:930079 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.33<0> -gpua033:930017:930079 [1] NCCL INFO Using network IB -gpua033:930017:930079 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua033:930017:930079 [1] NCCL INFO Trees [0] 30/-1/-1->29->28 [1] 30/44/-1->29->28 -gpua033:930017:930079 [1] NCCL INFO Channel 00/0 : 29[46000] -> 30[85000] via P2P/IPC/read -gpua033:930017:930079 [1] NCCL INFO Channel 01/0 : 29[46000] -> 30[85000] via P2P/IPC/read -gpua033:930017:930079 [1] NCCL INFO Connected all rings -gpua033:930017:930079 [1] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [send] via NET/IB/0 -gpua033:930017:930079 [1] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [receive] via NET/IB/0 -gpua033:930017:930079 [1] NCCL INFO Channel 00/0 : 29[46000] -> 28[7000] via P2P/IPC/read -gpua033:930017:930079 [1] NCCL INFO Channel 01/0 : 29[46000] -> 28[7000] via P2P/IPC/read -gpua033:930017:930079 [1] NCCL INFO Connected all trees -gpua033:930017:930079 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua033:930017:930079 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua033:930017:930079 [1] NCCL INFO comm 0x11ce42b0 rank 29 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua067:315232:315232 [2] NCCL INFO cudaDriverVersion 12020 -gpua067:315232:315232 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.67<0> -gpua067:315232:315232 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua067:315232:315295 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.67<0> -gpua067:315232:315295 [2] NCCL INFO Using network IB -gpua067:315232:315295 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua067:315232:315295 [2] NCCL INFO Trees [0] 47/-1/-1->46->45 [1] 47/-1/-1->46->45 -gpua067:315232:315295 [2] NCCL INFO Channel 00/0 : 46[85000] -> 47[c7000] via P2P/IPC/read -gpua067:315232:315295 [2] NCCL INFO Channel 01/0 : 46[85000] -> 47[c7000] via P2P/IPC/read -gpua067:315232:315295 [2] NCCL INFO Connected all rings -gpua067:315232:315295 [2] NCCL INFO Channel 00/0 : 46[85000] -> 45[46000] via P2P/IPC/read -gpua067:315232:315295 [2] NCCL INFO Channel 01/0 : 46[85000] -> 45[46000] via P2P/IPC/read -gpua067:315232:315295 [2] NCCL INFO Connected all trees -gpua067:315232:315295 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua067:315232:315295 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua067:315232:315295 [2] NCCL INFO comm 0x15c64120 rank 46 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua011:802531:802531 [1] NCCL INFO cudaDriverVersion 12020 -gpua011:802531:802531 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.11<0> -gpua011:802531:802531 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua011:802531:802595 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.11<0> -gpua011:802531:802595 [1] NCCL INFO Using network IB -gpua011:802531:802595 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua011:802531:802595 [1] NCCL INFO Trees [0] 14/-1/-1->13->12 [1] 14/20/-1->13->12 -gpua011:802531:802595 [1] NCCL INFO Channel 00/0 : 13[46000] -> 14[85000] via P2P/IPC/read -gpua011:802531:802595 [1] NCCL INFO Channel 01/0 : 13[46000] -> 14[85000] via P2P/IPC/read -gpua011:802531:802595 [1] NCCL INFO Connected all rings -gpua011:802531:802595 [1] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [send] via NET/IB/0 -gpua011:802531:802595 [1] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [receive] via NET/IB/0 -gpua011:802531:802595 [1] NCCL INFO Channel 00/0 : 13[46000] -> 12[7000] via P2P/IPC/read -gpua011:802531:802595 [1] NCCL INFO Channel 01/0 : 13[46000] -> 12[7000] via P2P/IPC/read -gpua011:802531:802595 [1] NCCL INFO Connected all trees -gpua011:802531:802595 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua011:802531:802595 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua011:802531:802595 [1] NCCL INFO comm 0xe7c07a0 rank 13 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua062:1330567:1330567 [2] NCCL INFO cudaDriverVersion 12020 -gpua062:1330567:1330567 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.62<0> -gpua062:1330567:1330567 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua062:1330567:1330631 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.62<0> -gpua062:1330567:1330631 [2] NCCL INFO Using network IB -gpua062:1330567:1330631 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua062:1330567:1330631 [2] NCCL INFO Trees [0] 35/-1/-1->34->33 [1] 35/-1/-1->34->33 -gpua062:1330567:1330631 [2] NCCL INFO Channel 00/0 : 34[85000] -> 35[c7000] via P2P/IPC/read -gpua062:1330567:1330631 [2] NCCL INFO Channel 01/0 : 34[85000] -> 35[c7000] via P2P/IPC/read -gpua062:1330567:1330631 [2] NCCL INFO Connected all rings -gpua062:1330567:1330631 [2] NCCL INFO Channel 00/0 : 34[85000] -> 33[46000] via P2P/IPC/read -gpua062:1330567:1330631 [2] NCCL INFO Channel 01/0 : 34[85000] -> 33[46000] via P2P/IPC/read -gpua062:1330567:1330631 [2] NCCL INFO Connected all trees -gpua062:1330567:1330631 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua062:1330567:1330631 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua062:1330567:1330631 [2] NCCL INFO comm 0xa701880 rank 34 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua092:579004:579004 [3] NCCL INFO cudaDriverVersion 12020 -gpua092:579004:579004 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.92<0> -gpua092:579004:579004 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua092:579004:579063 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.92<0> -gpua092:579004:579063 [3] NCCL INFO Using network IB -gpua092:579004:579063 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua092:579004:579063 [3] NCCL INFO Trees [0] -1/-1/-1->59->58 [1] -1/-1/-1->59->58 -gpua092:579004:579063 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 -gpua092:579004:579063 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 -gpua092:579004:579063 [3] NCCL INFO Connected all rings -gpua092:579004:579063 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 58[85000] via P2P/IPC/read -gpua092:579004:579063 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 58[85000] via P2P/IPC/read -gpua092:579004:579063 [3] NCCL INFO Connected all trees -gpua092:579004:579063 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua092:579004:579063 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua092:579004:579063 [3] NCCL INFO comm 0x9c3e3990 rank 59 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua083:1638532:1638532 [2] NCCL INFO cudaDriverVersion 12020 -gpua083:1638532:1638532 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> -gpua083:1638532:1638532 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua083:1638532:1638609 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> -gpua083:1638532:1638609 [2] NCCL INFO Using network IB -gpua083:1638532:1638609 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua083:1638532:1638609 [2] NCCL INFO Trees [0] 51/-1/-1->50->49 [1] 51/-1/-1->50->49 -gpua083:1638532:1638609 [2] NCCL INFO Channel 00/0 : 50[85000] -> 51[c7000] via P2P/IPC/read -gpua083:1638532:1638609 [2] NCCL INFO Channel 01/0 : 50[85000] -> 51[c7000] via P2P/IPC/read -gpua083:1638532:1638609 [2] NCCL INFO Connected all rings -gpua083:1638532:1638609 [2] NCCL INFO Channel 00/0 : 50[85000] -> 49[46000] via P2P/IPC/read -gpua083:1638532:1638609 [2] NCCL INFO Channel 01/0 : 50[85000] -> 49[46000] via P2P/IPC/read -gpua065:569068:569068 [1] NCCL INFO cudaDriverVersion 12020 -gpua065:569068:569068 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.65<0> -gpua065:569068:569068 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua065:569068:569131 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.65<0> -gpua065:569068:569131 [1] NCCL INFO Using network IB -gpua065:569068:569131 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua065:569068:569131 [1] NCCL INFO Trees [0] 38/-1/-1->37->36 [1] 38/40/-1->37->36 -gpua065:569068:569131 [1] NCCL INFO Channel 00/0 : 37[46000] -> 38[85000] via P2P/IPC/read -gpua065:569068:569131 [1] NCCL INFO Channel 01/0 : 37[46000] -> 38[85000] via P2P/IPC/read -gpua065:569068:569131 [1] NCCL INFO Connected all rings -gpua065:569068:569131 [1] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [send] via NET/IB/0 -gpua065:569068:569131 [1] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [receive] via NET/IB/0 -gpua083:1638532:1638609 [2] NCCL INFO Connected all trees -gpua083:1638532:1638609 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua083:1638532:1638609 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua083:1638532:1638609 [2] NCCL INFO comm 0x3dfd6800 rank 50 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua065:569068:569131 [1] NCCL INFO Channel 00/0 : 37[46000] -> 36[7000] via P2P/IPC/read -gpua065:569068:569131 [1] NCCL INFO Channel 01/0 : 37[46000] -> 36[7000] via P2P/IPC/read -gpua065:569068:569131 [1] NCCL INFO Connected all trees -gpua065:569068:569131 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua065:569068:569131 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua065:569068:569131 [1] NCCL INFO comm 0xd8cfec0 rank 37 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua092:579003:579003 [2] NCCL INFO cudaDriverVersion 12020 -gpua092:579003:579003 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.92<0> -gpua092:579003:579003 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua092:579003:579062 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.92<0> -gpua092:579003:579062 [2] NCCL INFO Using network IB -gpua092:579003:579062 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua092:579003:579062 [2] NCCL INFO Trees [0] 59/-1/-1->58->57 [1] 59/-1/-1->58->57 -gpua092:579003:579062 [2] NCCL INFO Channel 00/0 : 58[85000] -> 59[c7000] via P2P/IPC/read -gpua092:579003:579062 [2] NCCL INFO Channel 01/0 : 58[85000] -> 59[c7000] via P2P/IPC/read -gpua092:579003:579062 [2] NCCL INFO Connected all rings -gpua092:579003:579062 [2] NCCL INFO Channel 00/0 : 58[85000] -> 57[46000] via P2P/IPC/read -gpua092:579003:579062 [2] NCCL INFO Channel 01/0 : 58[85000] -> 57[46000] via P2P/IPC/read -gpua092:579003:579062 [2] NCCL INFO Connected all trees -gpua092:579003:579062 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua092:579003:579062 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua092:579003:579062 [2] NCCL INFO comm 0xe464820 rank 58 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua086:533627:533627 [2] NCCL INFO cudaDriverVersion 12020 -gpua086:533627:533627 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> -gpua086:533627:533627 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua086:533627:533703 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> -gpua086:533627:533703 [2] NCCL INFO Using network IB -gpua086:533627:533703 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua086:533627:533703 [2] NCCL INFO Trees [0] 55/-1/-1->54->53 [1] 55/-1/-1->54->53 -gpua086:533627:533703 [2] NCCL INFO Channel 00/0 : 54[85000] -> 55[c7000] via P2P/IPC/read -gpua086:533627:533703 [2] NCCL INFO Channel 01/0 : 54[85000] -> 55[c7000] via P2P/IPC/read -gpua086:533627:533703 [2] NCCL INFO Connected all rings -gpua086:533627:533703 [2] NCCL INFO Channel 00/0 : 54[85000] -> 53[46000] via P2P/IPC/read -gpua086:533627:533703 [2] NCCL INFO Channel 01/0 : 54[85000] -> 53[46000] via P2P/IPC/read -gpua086:533627:533703 [2] NCCL INFO Connected all trees -gpua086:533627:533703 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua086:533627:533703 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua086:533627:533703 [2] NCCL INFO comm 0x9bdca620 rank 54 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua086:533628:533628 [3] NCCL INFO cudaDriverVersion 12020 -gpua086:533628:533628 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> -gpua086:533628:533628 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua086:533628:533706 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> -gpua086:533628:533706 [3] NCCL INFO Using network IB -gpua086:533628:533706 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua086:533628:533706 [3] NCCL INFO Trees [0] -1/-1/-1->55->54 [1] -1/-1/-1->55->54 -gpua086:533628:533706 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 -gpua086:533628:533706 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 -gpua086:533628:533706 [3] NCCL INFO Connected all rings -gpua086:533628:533706 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 54[85000] via P2P/IPC/read -gpua086:533628:533706 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 54[85000] via P2P/IPC/read -gpua086:533628:533706 [3] NCCL INFO Connected all trees -gpua086:533628:533706 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua086:533628:533706 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua086:533628:533706 [3] NCCL INFO comm 0xe0b117e0 rank 55 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua086:533625:533625 [0] NCCL INFO cudaDriverVersion 12020 -gpua086:533625:533625 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> -gpua086:533625:533625 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua086:533625:533704 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> -gpua086:533625:533704 [0] NCCL INFO Using network IB -gpua086:533625:533704 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua086:533625:533704 [0] NCCL INFO Trees [0] 53/-1/-1->52->57 [1] 53/48/-1->52->45 -gpua086:533625:533704 [0] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 -gpua086:533625:533704 [0] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 -gpua086:533625:533704 [0] NCCL INFO Channel 00/0 : 52[7000] -> 53[46000] via P2P/IPC/read -gpua086:533625:533704 [0] NCCL INFO Channel 01/0 : 52[7000] -> 53[46000] via P2P/IPC/read -gpua086:533625:533704 [0] NCCL INFO Connected all rings -gpua086:533625:533704 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [receive] via NET/IB/0 -gpua086:533625:533704 [0] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [send] via NET/IB/0 -gpua086:533625:533704 [0] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [receive] via NET/IB/0 -gpua086:533625:533704 [0] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [send] via NET/IB/0 -gpua086:533625:533704 [0] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [receive] via NET/IB/0 -gpua086:533625:533704 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [send] via NET/IB/0 -gpua086:533625:533704 [0] NCCL INFO Connected all trees -gpua086:533625:533704 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua086:533625:533704 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua086:533625:533704 [0] NCCL INFO comm 0xeba76da0 rank 52 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua033:930019:930019 [3] NCCL INFO cudaDriverVersion 12020 -gpua033:930019:930019 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.33<0> -gpua033:930019:930019 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua033:930019:930078 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.33<0> -gpua033:930019:930078 [3] NCCL INFO Using network IB -gpua033:930019:930078 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua033:930019:930078 [3] NCCL INFO Trees [0] -1/-1/-1->31->30 [1] -1/-1/-1->31->30 -gpua033:930019:930078 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 -gpua033:930019:930078 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 -gpua033:930019:930078 [3] NCCL INFO Connected all rings -gpua033:930019:930078 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 30[85000] via P2P/IPC/read -gpua033:930019:930078 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 30[85000] via P2P/IPC/read -gpua033:930019:930078 [3] NCCL INFO Connected all trees -gpua033:930019:930078 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua033:930019:930078 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua033:930019:930078 [3] NCCL INFO comm 0xb63b290 rank 31 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua092:579001:579001 [0] NCCL INFO cudaDriverVersion 12020 -gpua092:579001:579001 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.92<0> -gpua092:579001:579001 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua092:579001:579064 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.92<0> -gpua092:579001:579064 [0] NCCL INFO Using network IB -gpua092:579001:579064 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua092:579001:579064 [0] NCCL INFO Trees [0] 57/60/-1->56->48 [1] 57/-1/-1->56->53 -gpua092:579001:579064 [0] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 -gpua092:579001:579064 [0] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 -gpua092:579001:579064 [0] NCCL INFO Channel 00/0 : 56[7000] -> 57[46000] via P2P/IPC/read -gpua092:579001:579064 [0] NCCL INFO Channel 01/0 : 56[7000] -> 57[46000] via P2P/IPC/read -gpua092:579001:579064 [0] NCCL INFO Connected all rings -gpua092:579001:579064 [0] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [receive] via NET/IB/0 -gpua092:579001:579064 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [send] via NET/IB/0 -gpua092:579001:579064 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [receive] via NET/IB/0 -gpua092:579001:579064 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [send] via NET/IB/0 -gpua092:579001:579064 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [receive] via NET/IB/0 -gpua092:579001:579064 [0] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [send] via NET/IB/0 -gpua092:579001:579064 [0] NCCL INFO Connected all trees -gpua092:579001:579064 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua092:579001:579064 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua092:579001:579064 [0] NCCL INFO comm 0x1ad95c50 rank 56 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua010:234969:234969 [0] NCCL INFO cudaDriverVersion 12020 -gpua010:234969:234969 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.10<0> -gpua010:234969:234969 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua010:234969:235043 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.10<0> -gpua010:234969:235043 [0] NCCL INFO Using network IB -gpua010:234969:235043 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua010:234969:235043 [0] NCCL INFO Trees [0] 9/12/-1->8->17 [1] 9/-1/-1->8->5 -gpua010:234969:235043 [0] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 -gpua010:234969:235043 [0] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 -gpua010:234969:235043 [0] NCCL INFO Channel 00/0 : 8[7000] -> 9[46000] via P2P/IPC/read -gpua010:234969:235043 [0] NCCL INFO Channel 01/0 : 8[7000] -> 9[46000] via P2P/IPC/read -gpua010:234969:235043 [0] NCCL INFO Connected all rings -gpua010:234969:235043 [0] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [receive] via NET/IB/0 -gpua010:234969:235043 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [send] via NET/IB/0 -gpua010:234969:235043 [0] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [send] via NET/IB/0 -gpua010:234969:235043 [0] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [receive] via NET/IB/0 -gpua010:234969:235043 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [receive] via NET/IB/0 -gpua010:234969:235043 [0] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [send] via NET/IB/0 -gpua010:234969:235043 [0] NCCL INFO Connected all trees -gpua010:234969:235043 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua010:234969:235043 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua010:234969:235043 [0] NCCL INFO comm 0xde016a0 rank 8 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua093:360446:360446 [1] NCCL INFO cudaDriverVersion 12020 -gpua093:360446:360446 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.93<0> -gpua093:360446:360446 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua093:360446:360509 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.93<0> -gpua093:360446:360509 [1] NCCL INFO Using network IB -gpua093:360446:360509 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua093:360446:360509 [1] NCCL INFO Trees [0] 62/-1/-1->61->60 [1] 62/-1/-1->61->60 -gpua093:360446:360509 [1] NCCL INFO Channel 00/0 : 61[46000] -> 62[85000] via P2P/IPC/read -gpua093:360446:360509 [1] NCCL INFO Channel 01/0 : 61[46000] -> 62[85000] via P2P/IPC/read -gpua093:360446:360509 [1] NCCL INFO Connected all rings -gpua093:360446:360509 [1] NCCL INFO Channel 00/0 : 61[46000] -> 60[7000] via P2P/IPC/read -gpua093:360446:360509 [1] NCCL INFO Channel 01/0 : 61[46000] -> 60[7000] via P2P/IPC/read -gpua093:360446:360509 [1] NCCL INFO Connected all trees -gpua093:360446:360509 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua093:360446:360509 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua093:360446:360509 [1] NCCL INFO comm 0x93484e80 rank 61 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua011:802530:802530 [0] NCCL INFO cudaDriverVersion 12020 -gpua011:802530:802530 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.11<0> -gpua011:802530:802530 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua011:802530:802596 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.11<0> -gpua011:802530:802596 [0] NCCL INFO Using network IB -gpua011:802530:802596 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua011:802530:802596 [0] NCCL INFO Trees [0] 13/-1/-1->12->8 [1] 13/4/-1->12->28 -gpua011:802530:802596 [0] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 -gpua011:802530:802596 [0] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 -gpua011:802530:802596 [0] NCCL INFO Channel 00/0 : 12[7000] -> 13[46000] via P2P/IPC/read -gpua011:802530:802596 [0] NCCL INFO Channel 01/0 : 12[7000] -> 13[46000] via P2P/IPC/read -gpua011:802530:802596 [0] NCCL INFO Connected all rings -gpua011:802530:802596 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [receive] via NET/IB/0 -gpua011:802530:802596 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [receive] via NET/IB/0 -gpua011:802530:802596 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [send] via NET/IB/0 -gpua011:802530:802596 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [receive] via NET/IB/0 -gpua011:802530:802596 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [send] via NET/IB/0 -gpua011:802530:802596 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [send] via NET/IB/0 -gpua011:802530:802596 [0] NCCL INFO Connected all trees -gpua011:802530:802596 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua011:802530:802596 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua011:802530:802596 [0] NCCL INFO comm 0xeb88a560 rank 12 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua066:441311:441311 [1] NCCL INFO cudaDriverVersion 12020 -gpua066:441311:441311 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.66<0> -gpua066:441311:441311 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua066:441311:441373 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.66<0> -gpua066:441311:441373 [1] NCCL INFO Using network IB -gpua066:441311:441373 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua066:441311:441373 [1] NCCL INFO Trees [0] 42/36/-1->41->40 [1] 42/-1/-1->41->40 -gpua066:441311:441373 [1] NCCL INFO Channel 00/0 : 41[46000] -> 42[85000] via P2P/IPC/read -gpua066:441311:441373 [1] NCCL INFO Channel 01/0 : 41[46000] -> 42[85000] via P2P/IPC/read -gpua066:441311:441373 [1] NCCL INFO Connected all rings -gpua066:441311:441373 [1] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [receive] via NET/IB/0 -gpua066:441311:441373 [1] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [send] via NET/IB/0 -gpua066:441311:441373 [1] NCCL INFO Channel 00/0 : 41[46000] -> 40[7000] via P2P/IPC/read -gpua066:441311:441373 [1] NCCL INFO Channel 01/0 : 41[46000] -> 40[7000] via P2P/IPC/read -gpua066:441311:441373 [1] NCCL INFO Connected all trees -gpua066:441311:441373 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua066:441311:441373 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua066:441311:441373 [1] NCCL INFO comm 0xe6a3bf40 rank 41 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua033:930018:930018 [2] NCCL INFO cudaDriverVersion 12020 -gpua033:930018:930018 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.33<0> -gpua033:930018:930018 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua033:930018:930076 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.33<0> -gpua033:930018:930076 [2] NCCL INFO Using network IB -gpua033:930018:930076 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua033:930018:930076 [2] NCCL INFO Trees [0] 31/-1/-1->30->29 [1] 31/-1/-1->30->29 -gpua033:930018:930076 [2] NCCL INFO Channel 00/0 : 30[85000] -> 31[c7000] via P2P/IPC/read -gpua033:930018:930076 [2] NCCL INFO Channel 01/0 : 30[85000] -> 31[c7000] via P2P/IPC/read -gpua033:930018:930076 [2] NCCL INFO Connected all rings -gpua033:930018:930076 [2] NCCL INFO Channel 00/0 : 30[85000] -> 29[46000] via P2P/IPC/read -gpua033:930018:930076 [2] NCCL INFO Channel 01/0 : 30[85000] -> 29[46000] via P2P/IPC/read -gpua033:930018:930076 [2] NCCL INFO Connected all trees -gpua033:930018:930076 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua033:930018:930076 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua033:930018:930076 [2] NCCL INFO comm 0xe89cd5a0 rank 30 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua010:234971:234971 [2] NCCL INFO cudaDriverVersion 12020 -gpua010:234971:234971 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.10<0> -gpua010:234971:234971 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua010:234971:235040 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.10<0> -gpua010:234971:235040 [2] NCCL INFO Using network IB -gpua010:234971:235040 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua010:234971:235040 [2] NCCL INFO Trees [0] 11/-1/-1->10->9 [1] 11/-1/-1->10->9 -gpua010:234971:235040 [2] NCCL INFO Channel 00/0 : 10[85000] -> 11[c7000] via P2P/IPC/read -gpua010:234971:235040 [2] NCCL INFO Channel 01/0 : 10[85000] -> 11[c7000] via P2P/IPC/read -gpua010:234971:235040 [2] NCCL INFO Connected all rings -gpua010:234971:235040 [2] NCCL INFO Channel 00/0 : 10[85000] -> 9[46000] via P2P/IPC/read -gpua010:234971:235040 [2] NCCL INFO Channel 01/0 : 10[85000] -> 9[46000] via P2P/IPC/read -gpua010:234971:235040 [2] NCCL INFO Connected all trees -gpua010:234971:235040 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua010:234971:235040 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua010:234971:235040 [2] NCCL INFO comm 0x18cc7db0 rank 10 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua010:234970:234970 [1] NCCL INFO cudaDriverVersion 12020 -gpua010:234970:234970 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.10<0> -gpua010:234970:234970 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua010:234970:235041 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.10<0> -gpua010:234970:235041 [1] NCCL INFO Using network IB -gpua010:234970:235041 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua010:234970:235041 [1] NCCL INFO Trees [0] 10/4/-1->9->8 [1] 10/-1/-1->9->8 -gpua010:234970:235041 [1] NCCL INFO Channel 00/0 : 9[46000] -> 10[85000] via P2P/IPC/read -gpua010:234970:235041 [1] NCCL INFO Channel 01/0 : 9[46000] -> 10[85000] via P2P/IPC/read -gpua010:234970:235041 [1] NCCL INFO Connected all rings -gpua010:234970:235041 [1] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [receive] via NET/IB/0 -gpua010:234970:235041 [1] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [send] via NET/IB/0 -gpua010:234970:235041 [1] NCCL INFO Channel 00/0 : 9[46000] -> 8[7000] via P2P/IPC/read -gpua010:234970:235041 [1] NCCL INFO Channel 01/0 : 9[46000] -> 8[7000] via P2P/IPC/read -gpua010:234970:235041 [1] NCCL INFO Connected all trees -gpua010:234970:235041 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua010:234970:235041 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua010:234970:235041 [1] NCCL INFO comm 0x1bf89b50 rank 9 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua062:1330565:1330565 [0] NCCL INFO cudaDriverVersion 12020 -gpua062:1330565:1330565 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.62<0> -gpua062:1330565:1330565 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua062:1330565:1330632 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.62<0> -gpua062:1330565:1330632 [0] NCCL INFO Using network IB -gpua062:1330565:1330632 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua062:1330565:1330632 [0] NCCL INFO Trees [0] 33/48/-1->32->0 [1] 33/-1/-1->32->36 -gpua062:1330565:1330632 [0] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 -gpua062:1330565:1330632 [0] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 -gpua062:1330565:1330632 [0] NCCL INFO Channel 00/0 : 32[7000] -> 33[46000] via P2P/IPC/read -gpua062:1330565:1330632 [0] NCCL INFO Channel 01/0 : 32[7000] -> 33[46000] via P2P/IPC/read -gpua062:1330565:1330632 [0] NCCL INFO Connected all rings -gpua062:1330565:1330632 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [send] via NET/IB/0 -gpua062:1330565:1330632 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [send] via NET/IB/0 -gpua062:1330565:1330632 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [receive] via NET/IB/0 -gpua062:1330565:1330632 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [send] via NET/IB/0 -gpua062:1330565:1330632 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [receive] via NET/IB/0 -gpua062:1330565:1330632 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [receive] via NET/IB/0 -gpua062:1330565:1330632 [0] NCCL INFO Connected all trees -gpua062:1330565:1330632 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua062:1330565:1330632 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua062:1330565:1330632 [0] NCCL INFO comm 0x47836f60 rank 32 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua062:1330568:1330568 [3] NCCL INFO cudaDriverVersion 12020 -gpua062:1330568:1330568 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.62<0> -gpua062:1330568:1330568 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua062:1330568:1330630 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.62<0> -gpua062:1330568:1330630 [3] NCCL INFO Using network IB -gpua062:1330568:1330630 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua062:1330568:1330630 [3] NCCL INFO Trees [0] -1/-1/-1->35->34 [1] -1/-1/-1->35->34 -gpua062:1330568:1330630 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 -gpua062:1330568:1330630 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 -gpua062:1330568:1330630 [3] NCCL INFO Connected all rings -gpua062:1330568:1330630 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 34[85000] via P2P/IPC/read -gpua062:1330568:1330630 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 34[85000] via P2P/IPC/read -gpua062:1330568:1330630 [3] NCCL INFO Connected all trees -gpua062:1330568:1330630 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua062:1330568:1330630 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua062:1330568:1330630 [3] NCCL INFO comm 0xea811960 rank 35 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua030:754765:754765 [2] NCCL INFO cudaDriverVersion 12020 -gpua030:754765:754765 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> -gpua030:754765:754765 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua030:754765:754831 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> -gpua030:754765:754831 [2] NCCL INFO Using network IB -gpua030:754765:754831 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua030:754765:754831 [2] NCCL INFO Trees [0] 19/-1/-1->18->17 [1] 19/-1/-1->18->17 -gpua030:754765:754831 [2] NCCL INFO Channel 00/0 : 18[85000] -> 19[c7000] via P2P/IPC/read -gpua030:754765:754831 [2] NCCL INFO Channel 01/0 : 18[85000] -> 19[c7000] via P2P/IPC/read -gpua030:754765:754831 [2] NCCL INFO Connected all rings -gpua030:754765:754831 [2] NCCL INFO Channel 00/0 : 18[85000] -> 17[46000] via P2P/IPC/read -gpua030:754765:754831 [2] NCCL INFO Channel 01/0 : 18[85000] -> 17[46000] via P2P/IPC/read -gpua030:754765:754831 [2] NCCL INFO Connected all trees -gpua030:754765:754831 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua030:754765:754831 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua030:754765:754831 [2] NCCL INFO comm 0x7f59917f9560 rank 18 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua030:754764:754764 [1] NCCL INFO cudaDriverVersion 12020 -gpua030:754764:754764 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> -gpua030:754764:754764 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua030:754764:754832 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> -gpua030:754764:754832 [1] NCCL INFO Using network IB -gpua030:754764:754832 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua030:754764:754832 [1] NCCL INFO Trees [0] 18/8/-1->17->16 [1] 18/-1/-1->17->16 -gpua030:754764:754832 [1] NCCL INFO Channel 00/0 : 17[46000] -> 18[85000] via P2P/IPC/read -gpua030:754764:754832 [1] NCCL INFO Channel 01/0 : 17[46000] -> 18[85000] via P2P/IPC/read -gpua030:754764:754832 [1] NCCL INFO Connected all rings -gpua030:754764:754832 [1] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [receive] via NET/IB/0 -gpua030:754764:754832 [1] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [send] via NET/IB/0 -gpua030:754764:754832 [1] NCCL INFO Channel 00/0 : 17[46000] -> 16[7000] via P2P/IPC/read -gpua030:754764:754832 [1] NCCL INFO Channel 01/0 : 17[46000] -> 16[7000] via P2P/IPC/read -gpua030:754764:754832 [1] NCCL INFO Connected all trees -gpua030:754764:754832 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua030:754764:754832 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua030:754764:754832 [1] NCCL INFO comm 0xea4cb00 rank 17 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua007:160526:160526 [3] NCCL INFO cudaDriverVersion 12020 -gpua007:160526:160526 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> -gpua007:160526:160526 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua007:160526:160638 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> -gpua007:160526:160638 [3] NCCL INFO Using network IB -gpua007:160526:160638 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua007:160526:160638 [3] NCCL INFO Trees [0] -1/-1/-1->7->6 [1] -1/-1/-1->7->6 -gpua007:160526:160638 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 -gpua007:160526:160638 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 -gpua007:160526:160638 [3] NCCL INFO Connected all rings -gpua007:160526:160638 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 6[85000] via P2P/IPC/read -gpua007:160526:160638 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 6[85000] via P2P/IPC/read -gpua007:160526:160638 [3] NCCL INFO Connected all trees -gpua007:160526:160638 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua007:160526:160638 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua007:160526:160638 [3] NCCL INFO comm 0xf030400 rank 7 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua030:754766:754766 [3] NCCL INFO cudaDriverVersion 12020 -gpua030:754766:754766 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> -gpua030:754766:754766 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua030:754766:754829 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> -gpua030:754766:754829 [3] NCCL INFO Using network IB -gpua030:754766:754829 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua030:754766:754829 [3] NCCL INFO Trees [0] -1/-1/-1->19->18 [1] -1/-1/-1->19->18 -gpua030:754766:754829 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 -gpua030:754766:754829 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 -gpua030:754766:754829 [3] NCCL INFO Connected all rings -gpua030:754766:754829 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 18[85000] via P2P/IPC/read -gpua030:754766:754829 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 18[85000] via P2P/IPC/read -gpua030:754766:754829 [3] NCCL INFO Connected all trees -gpua030:754766:754829 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua030:754766:754829 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua030:754766:754829 [3] NCCL INFO comm 0xe7d43120 rank 19 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua030:754763:754763 [0] NCCL INFO cudaDriverVersion 12020 -gpua030:754763:754763 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> -gpua030:754763:754763 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua030:754763:754830 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> -gpua030:754763:754830 [0] NCCL INFO Using network IB -gpua030:754763:754830 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua030:754763:754830 [0] NCCL INFO Trees [0] 17/24/-1->16->33 [1] 17/-1/-1->16->20 -gpua030:754763:754830 [0] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 -gpua007:160524:160524 [1] NCCL INFO cudaDriverVersion 12020 -gpua007:160524:160524 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> -gpua007:160524:160524 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua007:160524:160641 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> -gpua007:160524:160641 [1] NCCL INFO Using network IB -gpua007:160524:160641 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua007:160524:160641 [1] NCCL INFO Trees [0] 6/-1/-1->5->4 [1] 6/8/-1->5->4 -gpua007:160524:160641 [1] NCCL INFO Channel 00/0 : 5[46000] -> 6[85000] via P2P/IPC/read -gpua007:160524:160641 [1] NCCL INFO Channel 01/0 : 5[46000] -> 6[85000] via P2P/IPC/read -gpua007:160524:160641 [1] NCCL INFO Connected all rings -gpua007:160524:160641 [1] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [send] via NET/IB/0 -gpua007:160524:160641 [1] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [receive] via NET/IB/0 -gpua030:754763:754830 [0] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 -gpua030:754763:754830 [0] NCCL INFO Channel 00/0 : 16[7000] -> 17[46000] via P2P/IPC/read -gpua030:754763:754830 [0] NCCL INFO Channel 01/0 : 16[7000] -> 17[46000] via P2P/IPC/read -gpua030:754763:754830 [0] NCCL INFO Connected all rings -gpua030:754763:754830 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [send] via NET/IB/0 -gpua030:754763:754830 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [send] via NET/IB/0 -gpua030:754763:754830 [0] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [send] via NET/IB/0 -gpua030:754763:754830 [0] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [receive] via NET/IB/0 -gpua030:754763:754830 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [receive] via NET/IB/0 -gpua030:754763:754830 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [receive] via NET/IB/0 -gpua030:754763:754830 [0] NCCL INFO Connected all trees -gpua007:160524:160641 [1] NCCL INFO Channel 00/0 : 5[46000] -> 4[7000] via P2P/IPC/read -gpua007:160524:160641 [1] NCCL INFO Channel 01/0 : 5[46000] -> 4[7000] via P2P/IPC/read -gpua007:160524:160641 [1] NCCL INFO Connected all trees -gpua007:160524:160641 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua007:160524:160641 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua007:160524:160641 [1] NCCL INFO comm 0x10e0f6e0 rank 5 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua030:754763:754830 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua030:754763:754830 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua030:754763:754830 [0] NCCL INFO comm 0xe7c48da0 rank 16 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua007:160523:160523 [0] NCCL INFO cudaDriverVersion 12020 -gpua007:160523:160523 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> -gpua007:160523:160523 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua007:160523:160639 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> -gpua007:160523:160639 [0] NCCL INFO Using network IB -gpua007:160523:160639 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua007:160523:160639 [0] NCCL INFO Trees [0] 5/-1/-1->4->9 [1] 5/0/-1->4->12 -gpua007:160523:160639 [0] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 -gpua007:160523:160639 [0] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 -gpua007:160523:160639 [0] NCCL INFO Channel 00/0 : 4[7000] -> 5[46000] via P2P/IPC/read -gpua007:160523:160639 [0] NCCL INFO Channel 01/0 : 4[7000] -> 5[46000] via P2P/IPC/read -gpua007:160523:160639 [0] NCCL INFO Connected all rings -gpua007:160523:160639 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [receive] via NET/IB/0 -gpua007:160523:160639 [0] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [send] via NET/IB/0 -gpua007:160523:160639 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [send] via NET/IB/0 -gpua007:160523:160639 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [receive] via NET/IB/0 -gpua007:160523:160639 [0] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [receive] via NET/IB/0 -gpua007:160523:160639 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [send] via NET/IB/0 -gpua007:160523:160639 [0] NCCL INFO Connected all trees -gpua007:160523:160639 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua007:160523:160639 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua007:160523:160639 [0] NCCL INFO comm 0xa0233cd0 rank 4 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua007:160525:160525 [2] NCCL INFO cudaDriverVersion 12020 -gpua007:160525:160525 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> -gpua007:160525:160525 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua007:160525:160640 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> -gpua007:160525:160640 [2] NCCL INFO Using network IB -gpua007:160525:160640 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua007:160525:160640 [2] NCCL INFO Trees [0] 7/-1/-1->6->5 [1] 7/-1/-1->6->5 -gpua007:160525:160640 [2] NCCL INFO Channel 00/0 : 6[85000] -> 7[c7000] via P2P/IPC/read -gpua007:160525:160640 [2] NCCL INFO Channel 01/0 : 6[85000] -> 7[c7000] via P2P/IPC/read -gpua007:160525:160640 [2] NCCL INFO Connected all rings -gpua007:160525:160640 [2] NCCL INFO Channel 00/0 : 6[85000] -> 5[46000] via P2P/IPC/read -gpua007:160525:160640 [2] NCCL INFO Channel 01/0 : 6[85000] -> 5[46000] via P2P/IPC/read -gpua007:160525:160640 [2] NCCL INFO Connected all trees -gpua007:160525:160640 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua007:160525:160640 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua007:160525:160640 [2] NCCL INFO comm 0xdce9630 rank 6 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -[gpua005:0/64] 2023-12-03 13:05:52,458 (distributed:1027) INFO: Reducer buckets have been rebuilt in this iteration. -[gpua005:0/64] 2023-12-03 13:08:12,678 (trainer:737) INFO: 6epoch:train:1-100batch: iter_time=3.081, forward_time=0.230, loss_ctc=115.299, loss_att=102.740, acc=0.569, loss=106.508, backward_time=0.298, grad_norm=56.758, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.136, optim0_lr0=1.788e-04, train_time=6.231 -[gpua005:0/64] 2023-12-03 13:11:05,342 (trainer:737) INFO: 6epoch:train:101-200batch: iter_time=8.670e-05, forward_time=0.206, loss_ctc=97.558, loss_att=85.677, acc=0.566, loss=89.241, backward_time=0.325, grad_norm=48.623, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.136, optim0_lr0=1.787e-04, train_time=1.727 -[gpua005:0/64] 2023-12-03 13:14:27,249 (trainer:737) INFO: 6epoch:train:201-300batch: iter_time=8.929e-05, forward_time=0.143, loss_ctc=108.539, loss_att=87.325, acc=0.565, loss=93.689, backward_time=0.341, grad_norm=55.125, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.133, optim0_lr0=1.786e-04, train_time=2.019 -[gpua005:0/64] 2023-12-03 13:17:20,922 (trainer:737) INFO: 6epoch:train:301-400batch: iter_time=1.021e-04, forward_time=0.143, loss_ctc=103.713, loss_att=89.451, acc=0.568, loss=93.730, backward_time=0.310, grad_norm=51.795, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.133, optim0_lr0=1.785e-04, train_time=1.737 -[gpua005:0/64] 2023-12-03 13:20:50,113 (trainer:737) INFO: 6epoch:train:401-500batch: iter_time=9.883e-05, forward_time=0.144, loss_ctc=97.190, loss_att=82.669, acc=0.543, loss=87.025, backward_time=0.337, grad_norm=53.348, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.133, optim0_lr0=1.783e-04, train_time=2.092 -[gpua005:0/64] 2023-12-03 13:23:18,654 (trainer:737) INFO: 6epoch:train:501-600batch: iter_time=9.653e-05, forward_time=0.143, loss_ctc=114.819, loss_att=98.810, acc=0.558, loss=103.612, backward_time=0.278, grad_norm=57.757, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.133, optim0_lr0=1.782e-04, train_time=1.485 -[gpua005:0/64] 2023-12-03 13:26:18,151 (trainer:737) INFO: 6epoch:train:601-700batch: iter_time=9.416e-05, forward_time=0.245, loss_ctc=81.382, loss_att=71.943, acc=0.565, loss=74.775, backward_time=0.348, grad_norm=43.130, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.137, optim0_lr0=1.781e-04, train_time=1.795 -[gpua005:0/64] 2023-12-03 13:29:18,730 (trainer:737) INFO: 6epoch:train:701-800batch: iter_time=8.538e-05, forward_time=0.142, loss_ctc=81.923, loss_att=70.927, acc=0.584, loss=74.226, backward_time=0.335, grad_norm=43.106, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.132, optim0_lr0=1.780e-04, train_time=1.806 -[gpua005:0/64] 2023-12-03 13:31:53,098 (trainer:737) INFO: 6epoch:train:801-900batch: iter_time=8.522e-05, forward_time=0.142, loss_ctc=122.874, loss_att=118.366, acc=0.528, loss=119.718, backward_time=0.303, grad_norm=65.211, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.132, optim0_lr0=1.779e-04, train_time=1.543 -[gpua005:0/64] 2023-12-03 13:34:49,653 (trainer:737) INFO: 6epoch:train:901-1000batch: iter_time=8.392e-05, forward_time=0.142, loss_ctc=86.073, loss_att=74.198, acc=0.572, loss=77.760, backward_time=0.325, grad_norm=41.724, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.132, optim0_lr0=1.778e-04, train_time=1.765 -[gpua005:0/64] 2023-12-03 13:37:34,055 (trainer:737) INFO: 6epoch:train:1001-1100batch: iter_time=9.213e-05, forward_time=0.144, loss_ctc=88.255, loss_att=74.858, acc=0.595, loss=78.877, backward_time=0.326, grad_norm=39.958, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.132, optim0_lr0=1.776e-04, train_time=1.644 -[gpua005:0/64] 2023-12-03 13:40:33,049 (trainer:737) INFO: 6epoch:train:1101-1200batch: iter_time=8.659e-05, forward_time=0.142, loss_ctc=98.354, loss_att=90.780, acc=0.565, loss=93.052, backward_time=0.344, grad_norm=43.996, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.132, optim0_lr0=1.775e-04, train_time=1.790 -[gpua005:0/64] 2023-12-03 13:42:26,467 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua005:0/64] 2023-12-03 13:42:44,471 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-03 13:42:48,068 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-03 13:42:48,069 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua005:0/64] 2023-12-03 13:42:48,072 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-03 13:53:39,202 (trainer:737) INFO: 6epoch:train:1201-1300batch: iter_time=3.007, forward_time=0.145, loss_ctc=110.938, loss_att=98.749, acc=0.574, loss=102.406, backward_time=0.374, grad_norm=52.980, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.133, optim0_lr0=1.774e-04, train_time=7.861 -[gpua005:0/64] 2023-12-03 14:07:15,585 (trainer:737) INFO: 6epoch:train:1301-1400batch: iter_time=9.621e-05, forward_time=0.149, loss_ctc=106.640, loss_att=96.744, acc=0.573, loss=99.713, backward_time=1.097, grad_norm=52.538, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.133, optim0_lr0=1.773e-04, train_time=8.164 -[gpua005:0/64] 2023-12-03 14:22:00,233 (trainer:737) INFO: 6epoch:train:1401-1500batch: iter_time=9.461e-05, forward_time=0.146, loss_ctc=108.951, loss_att=89.375, acc=0.587, loss=95.248, backward_time=1.104, grad_norm=52.618, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.132, optim0_lr0=1.772e-04, train_time=8.846 -[gpua005:0/64] 2023-12-03 14:28:00,410 (trainer:737) INFO: 6epoch:train:1501-1600batch: iter_time=1.034e-04, forward_time=0.247, loss_ctc=92.372, loss_att=81.410, acc=0.575, loss=84.699, backward_time=0.519, grad_norm=48.074, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.136, optim0_lr0=1.771e-04, train_time=3.601 -[gpua005:0/64] 2023-12-03 14:32:10,588 (trainer:737) INFO: 6epoch:train:1601-1700batch: iter_time=9.748e-05, forward_time=0.147, loss_ctc=102.872, loss_att=85.868, acc=0.566, loss=90.969, backward_time=0.384, grad_norm=54.563, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.133, optim0_lr0=1.769e-04, train_time=2.502 -[gpua005:0/64] 2023-12-03 14:36:58,732 (trainer:737) INFO: 6epoch:train:1701-1800batch: iter_time=9.379e-05, forward_time=0.147, loss_ctc=102.417, loss_att=92.355, acc=0.576, loss=95.373, backward_time=0.435, grad_norm=50.403, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.132, optim0_lr0=1.768e-04, train_time=2.881 -[gpua005:0/64] 2023-12-03 14:40:54,448 (trainer:737) INFO: 6epoch:train:1801-1900batch: iter_time=1.012e-04, forward_time=0.146, loss_ctc=98.374, loss_att=78.783, acc=0.584, loss=84.660, backward_time=0.440, grad_norm=48.360, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.133, optim0_lr0=1.767e-04, train_time=2.357 -[gpua005:0/64] 2023-12-03 14:43:47,814 (trainer:737) INFO: 6epoch:train:1901-2000batch: iter_time=9.268e-05, forward_time=0.145, loss_ctc=75.761, loss_att=70.142, acc=0.578, loss=71.828, backward_time=0.348, grad_norm=40.330, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.133, optim0_lr0=1.766e-04, train_time=1.733 -[gpua005:0/64] 2023-12-03 14:47:23,256 (trainer:737) INFO: 6epoch:train:2001-2100batch: iter_time=9.187e-05, forward_time=0.146, loss_ctc=86.273, loss_att=78.472, acc=0.599, loss=80.812, backward_time=0.297, grad_norm=38.274, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.133, optim0_lr0=1.765e-04, train_time=2.154 -[gpua005:0/64] 2023-12-03 14:50:36,484 (trainer:737) INFO: 6epoch:train:2101-2200batch: iter_time=9.136e-05, forward_time=0.146, loss_ctc=113.802, loss_att=102.118, acc=0.539, loss=105.623, backward_time=0.347, grad_norm=58.726, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.133, optim0_lr0=1.764e-04, train_time=1.932 -[gpua005:0/64] 2023-12-03 14:53:57,760 (trainer:737) INFO: 6epoch:train:2201-2300batch: iter_time=8.873e-05, forward_time=0.147, loss_ctc=88.632, loss_att=76.578, acc=0.601, loss=80.194, backward_time=0.308, grad_norm=40.322, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.133, optim0_lr0=1.763e-04, train_time=2.013 -[gpua005:0/64] 2023-12-03 14:57:36,205 (trainer:737) INFO: 6epoch:train:2301-2400batch: iter_time=8.858e-05, forward_time=0.146, loss_ctc=94.191, loss_att=81.576, acc=0.589, loss=85.361, backward_time=0.342, grad_norm=45.305, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.133, optim0_lr0=1.761e-04, train_time=2.184 -[gpua005:0/64] 2023-12-03 15:00:50,412 (trainer:737) INFO: 6epoch:train:2401-2500batch: iter_time=8.597e-05, forward_time=0.146, loss_ctc=94.763, loss_att=89.268, acc=0.593, loss=90.917, backward_time=0.389, grad_norm=45.274, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.133, optim0_lr0=1.760e-04, train_time=1.942 -[gpua005:0/64] 2023-12-03 15:01:10,441 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua005:0/64] 2023-12-03 15:01:28,421 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-03 15:01:31,794 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-03 15:01:31,794 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua005:0/64] 2023-12-03 15:01:31,797 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-03 15:13:12,882 (trainer:737) INFO: 6epoch:train:2501-2600batch: iter_time=2.898, forward_time=0.209, loss_ctc=111.391, loss_att=95.981, acc=0.591, loss=100.604, backward_time=0.361, grad_norm=51.260, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.134, optim0_lr0=1.759e-04, train_time=7.424 -[gpua005:0/64] 2023-12-03 15:16:07,451 (trainer:737) INFO: 6epoch:train:2601-2700batch: iter_time=8.894e-05, forward_time=0.145, loss_ctc=96.337, loss_att=81.915, acc=0.595, loss=86.242, backward_time=0.314, grad_norm=52.330, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.132, optim0_lr0=1.758e-04, train_time=1.746 -[gpua005:0/64] 2023-12-03 15:18:32,701 (trainer:737) INFO: 6epoch:train:2701-2800batch: iter_time=8.612e-05, forward_time=0.146, loss_ctc=105.177, loss_att=85.280, acc=0.580, loss=91.249, backward_time=0.268, grad_norm=50.361, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.133, optim0_lr0=1.757e-04, train_time=1.452 -[gpua005:0/64] 2023-12-03 15:21:35,790 (trainer:737) INFO: 6epoch:train:2801-2900batch: iter_time=8.376e-05, forward_time=0.146, loss_ctc=97.975, loss_att=84.060, acc=0.589, loss=88.235, backward_time=0.308, grad_norm=48.537, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.133, optim0_lr0=1.756e-04, train_time=1.831 -[gpua005:0/64] 2023-12-03 15:24:35,375 (trainer:737) INFO: 6epoch:train:2901-3000batch: iter_time=8.912e-05, forward_time=0.146, loss_ctc=93.695, loss_att=78.816, acc=0.565, loss=83.280, backward_time=0.300, grad_norm=52.502, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.133, optim0_lr0=1.755e-04, train_time=1.796 -[gpua005:0/64] 2023-12-03 15:27:18,636 (trainer:737) INFO: 6epoch:train:3001-3100batch: iter_time=8.990e-05, forward_time=0.169, loss_ctc=111.050, loss_att=92.458, acc=0.585, loss=98.035, backward_time=0.295, grad_norm=52.640, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.134, optim0_lr0=1.754e-04, train_time=1.632 -[gpua005:0/64] 2023-12-03 15:29:52,067 (trainer:737) INFO: 6epoch:train:3101-3200batch: iter_time=8.782e-05, forward_time=0.221, loss_ctc=77.788, loss_att=69.492, acc=0.586, loss=71.981, backward_time=0.333, grad_norm=40.323, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.138, optim0_lr0=1.752e-04, train_time=1.534 -[gpua005:0/64] 2023-12-03 15:32:59,801 (trainer:737) INFO: 6epoch:train:3201-3300batch: iter_time=8.619e-05, forward_time=0.145, loss_ctc=79.455, loss_att=68.714, acc=0.601, loss=71.936, backward_time=0.306, grad_norm=39.064, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.131, optim0_lr0=1.751e-04, train_time=1.877 -[gpua005:0/64] 2023-12-03 15:35:58,301 (trainer:737) INFO: 6epoch:train:3301-3400batch: iter_time=8.802e-05, forward_time=0.145, loss_ctc=116.786, loss_att=110.931, acc=0.553, loss=112.688, backward_time=0.322, grad_norm=59.122, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.131, optim0_lr0=1.750e-04, train_time=1.785 -[gpua005:0/64] 2023-12-03 15:38:21,283 (trainer:737) INFO: 6epoch:train:3401-3500batch: iter_time=8.533e-05, forward_time=0.146, loss_ctc=83.928, loss_att=71.896, acc=0.590, loss=75.506, backward_time=0.277, grad_norm=39.095, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.132, optim0_lr0=1.749e-04, train_time=1.430 -[gpua005:0/64] 2023-12-03 15:41:12,445 (trainer:737) INFO: 6epoch:train:3501-3600batch: iter_time=8.692e-05, forward_time=0.146, loss_ctc=85.460, loss_att=71.666, acc=0.617, loss=75.804, backward_time=0.301, grad_norm=38.346, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.132, optim0_lr0=1.748e-04, train_time=1.711 -[gpua005:0/64] 2023-12-03 15:43:51,993 (trainer:737) INFO: 6epoch:train:3601-3700batch: iter_time=8.677e-05, forward_time=0.151, loss_ctc=96.381, loss_att=87.385, acc=0.586, loss=90.084, backward_time=0.312, grad_norm=41.555, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.131, optim0_lr0=1.747e-04, train_time=1.595 -[gpua005:0/64] 2023-12-03 15:45:29,196 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua005:0/64] 2023-12-03 15:45:47,554 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-03 15:45:50,916 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-03 15:45:50,916 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua005:0/64] 2023-12-03 15:45:51,005 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-03 15:54:54,662 (trainer:737) INFO: 6epoch:train:3701-3800batch: iter_time=3.298, forward_time=0.147, loss_ctc=106.623, loss_att=95.023, acc=0.590, loss=98.503, backward_time=0.272, grad_norm=50.073, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.132, optim0_lr0=1.746e-04, train_time=6.626 -[gpua005:0/64] 2023-12-03 15:57:29,220 (trainer:737) INFO: 6epoch:train:3801-3900batch: iter_time=9.028e-05, forward_time=0.160, loss_ctc=104.231, loss_att=92.190, acc=0.575, loss=95.802, backward_time=0.280, grad_norm=54.469, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.133, optim0_lr0=1.745e-04, train_time=1.545 -[gpua005:0/64] 2023-12-03 16:00:02,717 (trainer:737) INFO: 6epoch:train:3901-4000batch: iter_time=8.260e-05, forward_time=0.182, loss_ctc=106.070, loss_att=85.254, acc=0.589, loss=91.499, backward_time=0.281, grad_norm=50.375, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.135, optim0_lr0=1.744e-04, train_time=1.535 -[gpua005:0/64] 2023-12-03 16:03:14,797 (trainer:737) INFO: 6epoch:train:4001-4100batch: iter_time=8.507e-05, forward_time=0.192, loss_ctc=89.042, loss_att=77.980, acc=0.580, loss=81.298, backward_time=0.323, grad_norm=47.042, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.134, optim0_lr0=1.742e-04, train_time=1.920 -[gpua005:0/64] 2023-12-03 16:05:59,098 (trainer:737) INFO: 6epoch:train:4101-4200batch: iter_time=8.304e-05, forward_time=0.147, loss_ctc=99.993, loss_att=84.216, acc=0.573, loss=88.949, backward_time=0.306, grad_norm=50.866, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.132, optim0_lr0=1.741e-04, train_time=1.643 -[gpua005:0/64] 2023-12-03 16:08:24,542 (trainer:737) INFO: 6epoch:train:4201-4300batch: iter_time=9.745e-05, forward_time=0.147, loss_ctc=98.591, loss_att=90.351, acc=0.571, loss=92.823, backward_time=0.283, grad_norm=54.637, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.132, optim0_lr0=1.740e-04, train_time=1.454 -[gpua005:0/64] 2023-12-03 16:11:12,294 (trainer:737) INFO: 6epoch:train:4301-4400batch: iter_time=9.154e-05, forward_time=0.147, loss_ctc=97.031, loss_att=77.497, acc=0.584, loss=83.358, backward_time=0.312, grad_norm=48.886, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.132, optim0_lr0=1.739e-04, train_time=1.677 -[gpua005:0/64] 2023-12-03 16:13:50,627 (trainer:737) INFO: 6epoch:train:4401-4500batch: iter_time=8.860e-05, forward_time=0.145, loss_ctc=74.130, loss_att=66.147, acc=0.585, loss=68.542, backward_time=0.327, grad_norm=40.057, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.132, optim0_lr0=1.738e-04, train_time=1.583 -[gpua005:0/64] 2023-12-03 16:16:10,954 (trainer:737) INFO: 6epoch:train:4501-4600batch: iter_time=8.832e-05, forward_time=0.156, loss_ctc=84.559, loss_att=77.159, acc=0.600, loss=79.379, backward_time=0.303, grad_norm=40.208, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.132, optim0_lr0=1.737e-04, train_time=1.403 -[gpua005:0/64] 2023-12-03 16:18:41,652 (trainer:737) INFO: 6epoch:train:4601-4700batch: iter_time=8.994e-05, forward_time=0.145, loss_ctc=110.410, loss_att=98.970, acc=0.540, loss=102.402, backward_time=0.266, grad_norm=57.118, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.132, optim0_lr0=1.736e-04, train_time=1.507 -[gpua005:0/64] 2023-12-03 16:21:41,448 (trainer:737) INFO: 6epoch:train:4701-4800batch: iter_time=8.809e-05, forward_time=0.145, loss_ctc=86.532, loss_att=73.590, acc=0.605, loss=77.472, backward_time=0.333, grad_norm=39.948, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.132, optim0_lr0=1.735e-04, train_time=1.798 -[gpua005:0/64] 2023-12-03 16:24:04,758 (trainer:737) INFO: 6epoch:train:4801-4900batch: iter_time=9.177e-05, forward_time=0.155, loss_ctc=91.872, loss_att=79.059, acc=0.588, loss=82.903, backward_time=0.277, grad_norm=41.620, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.133, optim0_lr0=1.734e-04, train_time=1.433 -[gpua005:0/64] 2023-12-03 16:26:49,471 (trainer:737) INFO: 6epoch:train:4901-5000batch: iter_time=8.786e-05, forward_time=0.154, loss_ctc=94.250, loss_att=87.712, acc=0.590, loss=89.674, backward_time=0.318, grad_norm=47.901, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.134, optim0_lr0=1.733e-04, train_time=1.647 -[gpua005:0/64] 2023-12-03 16:27:09,507 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua005:0/64] 2023-12-03 16:27:27,535 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-03 16:27:30,910 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-03 16:27:30,910 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua005:0/64] 2023-12-03 16:27:30,916 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-03 16:37:47,740 (trainer:737) INFO: 6epoch:train:5001-5100batch: iter_time=2.984, forward_time=0.193, loss_ctc=109.724, loss_att=95.250, acc=0.598, loss=99.592, backward_time=0.270, grad_norm=87.529, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.133, optim0_lr0=1.731e-04, train_time=6.582 -[gpua005:0/64] 2023-12-03 16:40:42,994 (trainer:737) INFO: 6epoch:train:5101-5200batch: iter_time=9.061e-05, forward_time=0.196, loss_ctc=94.671, loss_att=81.168, acc=0.603, loss=85.219, backward_time=0.329, grad_norm=42.404, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.143, optim0_lr0=1.730e-04, train_time=1.752 -[gpua005:0/64] 2023-12-03 16:43:06,283 (trainer:737) INFO: 6epoch:train:5201-5300batch: iter_time=9.460e-05, forward_time=0.179, loss_ctc=100.633, loss_att=83.512, acc=0.589, loss=88.648, backward_time=0.272, grad_norm=49.846, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.134, optim0_lr0=1.729e-04, train_time=1.433 -[gpua005:0/64] 2023-12-03 16:45:27,087 (trainer:737) INFO: 6epoch:train:5301-5400batch: iter_time=9.922e-05, forward_time=0.150, loss_ctc=96.954, loss_att=82.945, acc=0.598, loss=87.148, backward_time=0.278, grad_norm=48.978, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.133, optim0_lr0=1.728e-04, train_time=1.408 -[gpua005:0/64] 2023-12-03 16:47:47,491 (trainer:737) INFO: 6epoch:train:5401-5500batch: iter_time=1.029e-04, forward_time=0.252, loss_ctc=90.004, loss_att=76.399, acc=0.577, loss=80.481, backward_time=0.288, grad_norm=52.219, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.136, optim0_lr0=1.727e-04, train_time=1.404 -[gpua005:0/64] 2023-12-03 16:49:58,353 (trainer:737) INFO: 6epoch:train:5501-5600batch: iter_time=9.696e-05, forward_time=0.147, loss_ctc=108.584, loss_att=90.656, acc=0.593, loss=96.034, backward_time=0.265, grad_norm=52.718, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.132, optim0_lr0=1.726e-04, train_time=1.309 -[gpua005:0/64] 2023-12-03 16:52:49,925 (trainer:737) INFO: 6epoch:train:5601-5700batch: iter_time=2.751e-04, forward_time=0.230, loss_ctc=77.359, loss_att=69.207, acc=0.589, loss=71.652, backward_time=0.291, grad_norm=42.049, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.136, optim0_lr0=1.725e-04, train_time=1.715 -[gpua005:0/64] 2023-12-03 16:55:28,213 (trainer:737) INFO: 6epoch:train:5701-5800batch: iter_time=9.829e-05, forward_time=0.169, loss_ctc=78.355, loss_att=67.573, acc=0.607, loss=70.808, backward_time=0.335, grad_norm=39.947, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.135, optim0_lr0=1.724e-04, train_time=1.583 -[gpua005:0/64] 2023-12-03 16:58:08,672 (trainer:737) INFO: 6epoch:train:5801-5900batch: iter_time=9.824e-05, forward_time=0.167, loss_ctc=115.300, loss_att=109.090, acc=0.562, loss=110.953, backward_time=0.322, grad_norm=56.944, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.134, optim0_lr0=1.723e-04, train_time=1.604 -[gpua005:0/64] 2023-12-03 17:01:04,262 (trainer:737) INFO: 6epoch:train:5901-6000batch: iter_time=9.760e-05, forward_time=0.173, loss_ctc=81.878, loss_att=70.077, acc=0.598, loss=73.618, backward_time=0.330, grad_norm=38.110, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.136, optim0_lr0=1.722e-04, train_time=1.756 -[gpua005:0/64] 2023-12-03 17:03:43,651 (trainer:737) INFO: 6epoch:train:6001-6100batch: iter_time=1.013e-04, forward_time=0.156, loss_ctc=83.613, loss_att=69.866, acc=0.625, loss=73.990, backward_time=0.295, grad_norm=38.185, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.133, optim0_lr0=1.721e-04, train_time=1.594 -[gpua005:0/64] 2023-12-03 17:06:26,547 (trainer:737) INFO: 6epoch:train:6101-6200batch: iter_time=3.868e-04, forward_time=0.222, loss_ctc=94.163, loss_att=85.333, acc=0.597, loss=87.982, backward_time=0.333, grad_norm=48.571, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.137, optim0_lr0=1.720e-04, train_time=1.627 -[gpua005:0/64] 2023-12-03 17:07:53,238 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua005:0/64] 2023-12-03 17:08:11,402 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-03 17:08:14,858 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-03 17:08:14,858 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua005:0/64] 2023-12-03 17:08:14,861 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-03 17:17:57,861 (trainer:737) INFO: 6epoch:train:6201-6300batch: iter_time=4.346, forward_time=0.200, loss_ctc=104.549, loss_att=92.980, acc=0.599, loss=96.451, backward_time=0.469, grad_norm=47.989, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.134, optim0_lr0=1.719e-04, train_time=6.915 -[gpua005:0/64] 2023-12-03 17:26:30,501 (trainer:737) INFO: 6epoch:train:6301-6400batch: iter_time=8.941e-05, forward_time=0.168, loss_ctc=102.713, loss_att=89.108, acc=0.594, loss=93.189, backward_time=0.593, grad_norm=47.884, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.134, optim0_lr0=1.718e-04, train_time=5.126 -[gpua005:0/64] 2023-12-03 17:35:19,820 (trainer:737) INFO: 6epoch:train:6401-6500batch: iter_time=9.148e-05, forward_time=0.176, loss_ctc=105.439, loss_att=83.660, acc=0.607, loss=90.194, backward_time=0.840, grad_norm=54.367, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.134, optim0_lr0=1.717e-04, train_time=5.293 -[gpua005:0/64] 2023-12-03 17:48:08,208 (trainer:737) INFO: 6epoch:train:6501-6600batch: iter_time=9.804e-05, forward_time=0.223, loss_ctc=86.498, loss_att=75.722, acc=0.595, loss=78.955, backward_time=1.233, grad_norm=44.124, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.136, optim0_lr0=1.715e-04, train_time=7.684 -[gpua005:0/64] 2023-12-03 18:20:18,598 (trainer:737) INFO: 6epoch:train:6601-6700batch: iter_time=3.031e-04, forward_time=0.239, loss_ctc=98.022, loss_att=81.339, acc=0.589, loss=86.344, backward_time=2.308, grad_norm=50.911, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.136, optim0_lr0=1.714e-04, train_time=19.303 -[gpua005:0/64] 2023-12-03 18:42:28,274 (trainer:737) INFO: 6epoch:train:6701-6800batch: iter_time=1.108e-04, forward_time=0.175, loss_ctc=96.707, loss_att=87.056, acc=0.596, loss=89.951, backward_time=1.879, grad_norm=50.842, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.134, optim0_lr0=1.713e-04, train_time=13.297 -[gpua005:0/64] 2023-12-03 18:49:40,363 (trainer:737) INFO: 6epoch:train:6801-6900batch: iter_time=9.992e-05, forward_time=0.228, loss_ctc=94.592, loss_att=74.050, acc=0.605, loss=80.212, backward_time=0.736, grad_norm=47.344, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.135, optim0_lr0=1.712e-04, train_time=4.321 -[gpua005:0/64] 2023-12-03 19:07:25,963 (trainer:737) INFO: 6epoch:train:6901-7000batch: iter_time=1.083e-04, forward_time=0.276, loss_ctc=73.139, loss_att=66.470, acc=0.598, loss=68.470, backward_time=1.373, grad_norm=39.862, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.139, optim0_lr0=1.711e-04, train_time=10.655 -[gpua005:0/64] 2023-12-03 19:19:18,949 (trainer:737) INFO: 6epoch:train:7001-7100batch: iter_time=1.027e-04, forward_time=0.218, loss_ctc=83.392, loss_att=74.675, acc=0.615, loss=77.290, backward_time=1.130, grad_norm=38.899, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.140, optim0_lr0=1.710e-04, train_time=7.130 -[gpua005:0/64] 2023-12-03 19:23:59,865 (trainer:737) INFO: 6epoch:train:7101-7200batch: iter_time=3.373e-04, forward_time=0.206, loss_ctc=107.917, loss_att=97.828, acc=0.559, loss=100.854, backward_time=0.453, grad_norm=57.124, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.138, optim0_lr0=1.709e-04, train_time=2.809 -[gpua005:0/64] 2023-12-03 19:28:23,393 (trainer:737) INFO: 6epoch:train:7201-7300batch: iter_time=5.111e-04, forward_time=0.245, loss_ctc=85.494, loss_att=72.239, acc=0.618, loss=76.215, backward_time=0.484, grad_norm=42.968, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.136, optim0_lr0=1.708e-04, train_time=2.634 -[gpua005:0/64] 2023-12-03 19:33:02,325 (trainer:737) INFO: 6epoch:train:7301-7400batch: iter_time=1.786e-04, forward_time=0.208, loss_ctc=90.660, loss_att=77.103, acc=0.606, loss=81.170, backward_time=0.487, grad_norm=42.563, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.136, optim0_lr0=1.707e-04, train_time=2.790 -[gpua005:0/64] 2023-12-03 19:37:49,962 (trainer:737) INFO: 6epoch:train:7401-7500batch: iter_time=9.518e-05, forward_time=0.198, loss_ctc=92.094, loss_att=85.431, acc=0.608, loss=87.430, backward_time=0.506, grad_norm=43.302, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.136, optim0_lr0=1.706e-04, train_time=2.876 -[gpua005:0/64] 2023-12-03 19:38:10,068 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua005:0/64] 2023-12-03 19:38:28,050 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-03 19:38:31,424 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-03 19:38:31,425 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua005:0/64] 2023-12-03 19:38:31,542 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-03 19:49:26,075 (trainer:737) INFO: 6epoch:train:7501-7600batch: iter_time=4.245, forward_time=0.182, loss_ctc=106.904, loss_att=94.079, acc=0.600, loss=97.926, backward_time=0.491, grad_norm=54.046, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.133, optim0_lr0=1.705e-04, train_time=6.961 -[gpua005:0/64] 2023-12-03 19:56:03,713 (trainer:737) INFO: 6epoch:train:7601-7700batch: iter_time=8.886e-05, forward_time=0.146, loss_ctc=93.108, loss_att=79.571, acc=0.597, loss=83.632, backward_time=0.661, grad_norm=44.378, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.133, optim0_lr0=1.704e-04, train_time=3.976 -[gpua005:0/64] 2023-12-03 20:03:27,845 (trainer:737) INFO: 6epoch:train:7701-7800batch: iter_time=8.919e-05, forward_time=0.159, loss_ctc=100.033, loss_att=80.558, acc=0.596, loss=86.400, backward_time=0.756, grad_norm=52.228, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.136, optim0_lr0=1.703e-04, train_time=4.441 -[gpua005:0/64] 2023-12-03 20:10:24,270 (trainer:737) INFO: 6epoch:train:7801-7900batch: iter_time=9.160e-05, forward_time=0.175, loss_ctc=95.023, loss_att=81.559, acc=0.599, loss=85.598, backward_time=0.717, grad_norm=47.702, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.134, optim0_lr0=1.702e-04, train_time=4.164 -[gpua005:0/64] 2023-12-03 20:14:30,200 (trainer:737) INFO: 6epoch:train:7901-8000batch: iter_time=9.915e-05, forward_time=0.145, loss_ctc=87.680, loss_att=75.708, acc=0.571, loss=79.300, backward_time=0.447, grad_norm=47.228, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.133, optim0_lr0=1.701e-04, train_time=2.459 -[gpua005:0/64] 2023-12-03 20:16:53,436 (trainer:737) INFO: 6epoch:train:8001-8100batch: iter_time=9.634e-05, forward_time=0.146, loss_ctc=105.458, loss_att=88.428, acc=0.592, loss=93.537, backward_time=0.266, grad_norm=53.610, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.132, optim0_lr0=1.700e-04, train_time=1.432 -[gpua005:0/64] 2023-12-03 20:19:58,660 (trainer:737) INFO: 6epoch:train:8101-8200batch: iter_time=9.550e-05, forward_time=0.145, loss_ctc=75.900, loss_att=66.166, acc=0.595, loss=69.086, backward_time=0.340, grad_norm=41.619, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.132, optim0_lr0=1.699e-04, train_time=1.852 -[gpua005:0/64] 2023-12-03 20:23:26,812 (trainer:737) INFO: 6epoch:train:8201-8300batch: iter_time=5.308e-04, forward_time=0.209, loss_ctc=76.935, loss_att=65.642, acc=0.610, loss=69.030, backward_time=0.483, grad_norm=39.036, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.142, optim0_lr0=1.698e-04, train_time=2.080 -[gpua005:0/64] 2023-12-03 20:26:28,579 (trainer:737) INFO: 6epoch:train:8301-8400batch: iter_time=9.113e-05, forward_time=0.146, loss_ctc=111.910, loss_att=107.379, acc=0.558, loss=108.738, backward_time=0.294, grad_norm=56.689, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.132, optim0_lr0=1.697e-04, train_time=1.819 -[gpua005:0/64] 2023-12-03 20:29:24,338 (trainer:737) INFO: 6epoch:train:8401-8500batch: iter_time=9.453e-05, forward_time=0.146, loss_ctc=80.592, loss_att=69.110, acc=0.598, loss=72.555, backward_time=0.383, grad_norm=38.752, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.133, optim0_lr0=1.696e-04, train_time=1.757 -[gpua005:0/64] 2023-12-03 20:32:43,064 (trainer:737) INFO: 6epoch:train:8501-8600batch: iter_time=8.893e-05, forward_time=0.145, loss_ctc=82.461, loss_att=68.536, acc=0.622, loss=72.713, backward_time=0.341, grad_norm=38.813, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.133, optim0_lr0=1.695e-04, train_time=1.987 -[gpua005:0/64] 2023-12-03 20:36:02,980 (trainer:737) INFO: 6epoch:train:8601-8700batch: iter_time=6.378e-04, forward_time=0.246, loss_ctc=92.896, loss_att=83.834, acc=0.591, loss=86.553, backward_time=0.424, grad_norm=43.324, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.142, optim0_lr0=1.694e-04, train_time=1.999 -[gpua005:0/64] 2023-12-03 20:37:54,555 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua005:0/64] 2023-12-03 20:38:12,463 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-03 20:38:15,817 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-03 20:38:15,817 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua005:0/64] 2023-12-03 20:38:15,890 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-03 20:50:42,919 (trainer:737) INFO: 6epoch:train:8701-8800batch: iter_time=7.208, forward_time=0.190, loss_ctc=102.502, loss_att=91.185, acc=0.601, loss=94.580, backward_time=0.303, grad_norm=49.353, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.134, optim0_lr0=1.693e-04, train_time=8.799 -[gpua005:0/64] 2023-12-03 20:53:37,611 (trainer:737) INFO: 6epoch:train:8801-8900batch: iter_time=0.001, forward_time=0.192, loss_ctc=101.359, loss_att=88.743, acc=0.600, loss=92.528, backward_time=0.315, grad_norm=50.513, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.140, optim0_lr0=1.692e-04, train_time=1.747 -[gpua005:0/64] 2023-12-03 20:57:34,092 (trainer:737) INFO: 6epoch:train:8901-9000batch: iter_time=9.242e-05, forward_time=0.240, loss_ctc=102.390, loss_att=82.874, acc=0.611, loss=88.729, backward_time=0.368, grad_norm=52.922, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.138, optim0_lr0=1.691e-04, train_time=2.365 -[gpua005:0/64] 2023-12-03 21:00:22,167 (trainer:737) INFO: 6epoch:train:9001-9100batch: iter_time=9.185e-05, forward_time=0.146, loss_ctc=85.626, loss_att=73.939, acc=0.604, loss=77.445, backward_time=0.304, grad_norm=45.427, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.133, optim0_lr0=1.690e-04, train_time=1.680 -[gpua005:0/64] 2023-12-03 21:04:04,328 (trainer:737) INFO: 6epoch:train:9101-9200batch: iter_time=1.006e-04, forward_time=0.155, loss_ctc=96.733, loss_att=80.575, acc=0.591, loss=85.423, backward_time=0.327, grad_norm=52.980, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.132, optim0_lr0=1.689e-04, train_time=2.221 -[gpua005:0/64] 2023-12-03 21:07:36,410 (trainer:737) INFO: 6epoch:train:9201-9300batch: iter_time=9.407e-05, forward_time=0.253, loss_ctc=95.338, loss_att=85.265, acc=0.605, loss=88.287, backward_time=0.376, grad_norm=49.074, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.133, optim0_lr0=1.688e-04, train_time=2.121 -[gpua005:0/64] 2023-12-03 21:10:32,064 (trainer:737) INFO: 6epoch:train:9301-9400batch: iter_time=9.599e-05, forward_time=0.146, loss_ctc=92.383, loss_att=73.123, acc=0.606, loss=78.901, backward_time=0.320, grad_norm=49.614, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.132, optim0_lr0=1.687e-04, train_time=1.756 -[gpua005:0/64] 2023-12-03 21:14:04,960 (trainer:737) INFO: 6epoch:train:9401-9500batch: iter_time=9.924e-05, forward_time=0.146, loss_ctc=72.454, loss_att=65.698, acc=0.605, loss=67.725, backward_time=0.394, grad_norm=39.408, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.132, optim0_lr0=1.686e-04, train_time=2.129 -[gpua005:0/64] 2023-12-03 21:18:06,105 (trainer:737) INFO: 6epoch:train:9501-9600batch: iter_time=2.615e-04, forward_time=0.225, loss_ctc=82.787, loss_att=74.090, acc=0.621, loss=76.699, backward_time=0.437, grad_norm=39.080, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.142, optim0_lr0=1.685e-04, train_time=2.411 -[gpua005:0/64] 2023-12-03 21:20:58,900 (trainer:737) INFO: 6epoch:train:9601-9700batch: iter_time=9.896e-05, forward_time=0.146, loss_ctc=106.068, loss_att=93.909, acc=0.570, loss=97.556, backward_time=0.305, grad_norm=57.973, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.133, optim0_lr0=1.684e-04, train_time=1.728 -[gpua005:0/64] 2023-12-03 21:24:17,443 (trainer:737) INFO: 6epoch:train:9701-9800batch: iter_time=9.197e-05, forward_time=0.146, loss_ctc=84.430, loss_att=72.134, acc=0.621, loss=75.822, backward_time=0.397, grad_norm=40.433, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.133, optim0_lr0=1.683e-04, train_time=1.985 -[gpua005:0/64] 2023-12-03 21:27:25,287 (trainer:737) INFO: 6epoch:train:9801-9900batch: iter_time=6.129e-04, forward_time=0.220, loss_ctc=89.233, loss_att=75.080, acc=0.616, loss=79.326, backward_time=0.366, grad_norm=41.054, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.139, optim0_lr0=1.682e-04, train_time=1.878 -[gpua005:0/64] 2023-12-03 21:30:10,638 (trainer:737) INFO: 6epoch:train:9901-10000batch: iter_time=9.512e-05, forward_time=0.147, loss_ctc=90.542, loss_att=84.899, acc=0.612, loss=86.592, backward_time=0.335, grad_norm=41.775, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.133, optim0_lr0=1.681e-04, train_time=1.653 -[gpua005:0/64] 2023-12-03 21:30:30,834 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua005:0/64] 2023-12-03 21:30:48,997 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-03 21:30:52,769 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-03 21:30:52,769 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua005:0/64] 2023-12-03 21:30:52,772 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-03 21:40:01,166 (trainer:737) INFO: 6epoch:train:10001-10100batch: iter_time=2.846, forward_time=0.159, loss_ctc=105.075, loss_att=91.883, acc=0.607, loss=95.840, backward_time=0.268, grad_norm=50.812, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.134, optim0_lr0=1.680e-04, train_time=5.905 -[gpua005:0/64] 2023-12-03 21:42:46,657 (trainer:737) INFO: 6epoch:train:10101-10200batch: iter_time=8.900e-05, forward_time=0.203, loss_ctc=91.720, loss_att=77.676, acc=0.603, loss=81.889, backward_time=0.328, grad_norm=45.899, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.136, optim0_lr0=1.679e-04, train_time=1.654 -[gpua005:0/64] 2023-12-03 21:45:39,462 (trainer:737) INFO: 6epoch:train:10201-10300batch: iter_time=8.877e-05, forward_time=0.147, loss_ctc=99.103, loss_att=79.782, acc=0.601, loss=85.578, backward_time=0.331, grad_norm=56.532, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.133, optim0_lr0=1.678e-04, train_time=1.728 -[gpua005:0/64] 2023-12-03 21:47:53,776 (trainer:737) INFO: 6epoch:train:10301-10400batch: iter_time=9.038e-05, forward_time=0.152, loss_ctc=93.213, loss_att=80.048, acc=0.605, loss=83.998, backward_time=0.265, grad_norm=49.563, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.133, optim0_lr0=1.677e-04, train_time=1.344 -[gpua005:0/64] 2023-12-03 21:50:53,327 (trainer:737) INFO: 6epoch:train:10401-10500batch: iter_time=9.549e-05, forward_time=0.158, loss_ctc=85.928, loss_att=74.124, acc=0.580, loss=77.665, backward_time=0.294, grad_norm=49.521, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.133, optim0_lr0=1.676e-04, train_time=1.795 -[gpua005:0/64] 2023-12-03 21:53:12,035 (trainer:737) INFO: 6epoch:train:10501-10600batch: iter_time=9.447e-05, forward_time=0.148, loss_ctc=104.386, loss_att=86.849, acc=0.599, loss=92.110, backward_time=0.266, grad_norm=52.772, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.133, optim0_lr0=1.675e-04, train_time=1.387 -[gpua005:0/64] 2023-12-03 21:56:07,884 (trainer:737) INFO: 6epoch:train:10601-10700batch: iter_time=9.704e-05, forward_time=0.252, loss_ctc=73.912, loss_att=64.947, acc=0.602, loss=67.636, backward_time=0.309, grad_norm=39.795, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.135, optim0_lr0=1.674e-04, train_time=1.758 -[gpua005:0/64] 2023-12-03 21:58:31,152 (trainer:737) INFO: 6epoch:train:10701-10800batch: iter_time=8.815e-05, forward_time=0.146, loss_ctc=75.955, loss_att=64.525, acc=0.617, loss=67.954, backward_time=0.275, grad_norm=39.972, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.132, optim0_lr0=1.673e-04, train_time=1.432 -[gpua005:0/64] 2023-12-03 22:01:34,527 (trainer:737) INFO: 6epoch:train:10801-10900batch: iter_time=9.094e-05, forward_time=0.156, loss_ctc=109.544, loss_att=105.016, acc=0.565, loss=106.374, backward_time=0.297, grad_norm=56.880, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.132, optim0_lr0=1.672e-04, train_time=1.834 -[gpua005:0/64] 2023-12-03 22:03:51,373 (trainer:737) INFO: 6epoch:train:10901-11000batch: iter_time=8.810e-05, forward_time=0.154, loss_ctc=79.572, loss_att=67.639, acc=0.606, loss=71.219, backward_time=0.279, grad_norm=40.644, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.134, optim0_lr0=1.671e-04, train_time=1.369 -[gpua005:0/64] 2023-12-03 22:06:58,226 (trainer:737) INFO: 6epoch:train:11001-11100batch: iter_time=8.897e-05, forward_time=0.238, loss_ctc=81.222, loss_att=67.834, acc=0.627, loss=71.850, backward_time=0.321, grad_norm=38.119, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.135, optim0_lr0=1.670e-04, train_time=1.868 -[gpua005:0/64] 2023-12-03 22:09:24,486 (trainer:737) INFO: 6epoch:train:11101-11200batch: iter_time=8.646e-05, forward_time=0.146, loss_ctc=91.137, loss_att=82.104, acc=0.600, loss=84.814, backward_time=0.265, grad_norm=44.743, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.132, optim0_lr0=1.669e-04, train_time=1.462 -[gpua005:0/64] 2023-12-03 22:10:56,472 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua005:0/64] 2023-12-03 22:11:14,370 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-03 22:11:17,788 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-03 22:11:17,788 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua005:0/64] 2023-12-03 22:11:17,794 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-03 22:16:43,912 (trainer:737) INFO: 6epoch:train:11201-11300batch: iter_time=2.793, forward_time=0.146, loss_ctc=102.059, loss_att=91.148, acc=0.605, loss=94.421, backward_time=0.288, grad_norm=48.629, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.133, optim0_lr0=1.668e-04, train_time=4.394 -[gpua005:0/64] 2023-12-03 22:18:59,452 (trainer:737) INFO: 6epoch:train:11301-11400batch: iter_time=1.154e-04, forward_time=0.149, loss_ctc=99.889, loss_att=87.102, acc=0.605, loss=90.938, backward_time=0.268, grad_norm=47.909, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.137, optim0_lr0=1.667e-04, train_time=1.354 -[gpua005:0/64] 2023-12-03 22:21:32,215 (trainer:737) INFO: 6epoch:train:11401-11500batch: iter_time=9.220e-05, forward_time=0.211, loss_ctc=102.149, loss_att=82.219, acc=0.618, loss=88.198, backward_time=0.354, grad_norm=52.709, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.137, optim0_lr0=1.666e-04, train_time=1.528 -[gpua005:0/64] 2023-12-03 22:24:03,339 (trainer:737) INFO: 6epoch:train:11501-11600batch: iter_time=9.096e-05, forward_time=0.160, loss_ctc=84.617, loss_att=72.949, acc=0.610, loss=76.449, backward_time=0.281, grad_norm=43.834, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.133, optim0_lr0=1.665e-04, train_time=1.511 -[gpua005:0/64] 2023-12-03 22:26:21,803 (trainer:737) INFO: 6epoch:train:11601-11700batch: iter_time=9.695e-05, forward_time=0.148, loss_ctc=94.418, loss_att=78.776, acc=0.599, loss=83.468, backward_time=0.274, grad_norm=49.093, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.133, optim0_lr0=1.664e-04, train_time=1.384 -[gpua005:0/64] 2023-12-03 22:28:46,888 (trainer:737) INFO: 6epoch:train:11701-11800batch: iter_time=9.764e-05, forward_time=0.147, loss_ctc=93.851, loss_att=84.533, acc=0.608, loss=87.328, backward_time=0.279, grad_norm=52.989, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.133, optim0_lr0=1.663e-04, train_time=1.451 -[gpua005:0/64] 2023-12-03 22:31:25,723 (trainer:737) INFO: 6epoch:train:11801-11900batch: iter_time=8.494e-05, forward_time=0.147, loss_ctc=91.575, loss_att=72.512, acc=0.613, loss=78.231, backward_time=0.299, grad_norm=47.697, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.132, optim0_lr0=1.662e-04, train_time=1.588 -[gpua005:0/64] 2023-12-03 22:33:37,567 (trainer:737) INFO: 6epoch:train:11901-12000batch: iter_time=9.380e-05, forward_time=0.155, loss_ctc=70.479, loss_att=64.254, acc=0.610, loss=66.121, backward_time=0.266, grad_norm=37.904, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.134, optim0_lr0=1.661e-04, train_time=1.318 -[gpua005:0/64] 2023-12-03 22:36:13,411 (trainer:737) INFO: 6epoch:train:12001-12100batch: iter_time=9.161e-05, forward_time=0.153, loss_ctc=80.965, loss_att=72.946, acc=0.628, loss=75.352, backward_time=0.288, grad_norm=38.005, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.133, optim0_lr0=1.660e-04, train_time=1.557 -[gpua005:0/64] 2023-12-03 22:39:16,212 (trainer:737) INFO: 6epoch:train:12101-12200batch: iter_time=9.325e-05, forward_time=0.245, loss_ctc=104.475, loss_att=93.583, acc=0.575, loss=96.851, backward_time=0.369, grad_norm=57.870, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.135, optim0_lr0=1.659e-04, train_time=1.829 -[gpua005:0/64] 2023-12-03 22:42:02,487 (trainer:737) INFO: 6epoch:train:12201-12300batch: iter_time=9.428e-05, forward_time=0.157, loss_ctc=82.914, loss_att=70.310, acc=0.627, loss=74.091, backward_time=0.318, grad_norm=41.264, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.133, optim0_lr0=1.659e-04, train_time=1.663 -[gpua005:0/64] 2023-12-03 22:44:17,040 (trainer:737) INFO: 6epoch:train:12301-12400batch: iter_time=8.930e-05, forward_time=0.147, loss_ctc=88.012, loss_att=74.426, acc=0.620, loss=78.502, backward_time=0.272, grad_norm=40.158, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.132, optim0_lr0=1.658e-04, train_time=1.345 -[gpua005:0/64] 2023-12-03 22:46:38,153 (trainer:737) INFO: 6epoch:train:12401-12500batch: iter_time=9.142e-05, forward_time=0.147, loss_ctc=89.759, loss_att=83.082, acc=0.616, loss=85.085, backward_time=0.289, grad_norm=45.074, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.132, optim0_lr0=1.657e-04, train_time=1.411 -[gpua005:0/64] 2023-12-03 22:46:58,186 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua005:0/64] 2023-12-03 22:47:16,562 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-03 22:47:19,921 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-03 22:47:19,921 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua005:0/64] 2023-12-03 22:47:19,926 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-03 22:57:50,055 (trainer:737) INFO: 6epoch:train:12501-12600batch: iter_time=5.400, forward_time=0.200, loss_ctc=104.928, loss_att=91.053, acc=0.612, loss=95.215, backward_time=0.271, grad_norm=49.332, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.133, optim0_lr0=1.656e-04, train_time=6.719 -[gpua005:0/64] 2023-12-03 23:00:13,880 (trainer:737) INFO: 6epoch:train:12601-12700batch: iter_time=9.014e-05, forward_time=0.148, loss_ctc=90.333, loss_att=75.616, acc=0.611, loss=80.031, backward_time=0.282, grad_norm=44.155, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.132, optim0_lr0=1.655e-04, train_time=1.438 -[gpua005:0/64] 2023-12-03 23:03:04,978 (trainer:737) INFO: 6epoch:train:12701-12800batch: iter_time=0.001, forward_time=0.266, loss_ctc=97.080, loss_att=77.479, acc=0.610, loss=83.360, backward_time=0.291, grad_norm=50.085, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.135, optim0_lr0=1.654e-04, train_time=1.710 -[gpua005:0/64] 2023-12-03 23:06:06,637 (trainer:737) INFO: 6epoch:train:12801-12900batch: iter_time=8.918e-05, forward_time=0.150, loss_ctc=92.495, loss_att=78.611, acc=0.612, loss=82.776, backward_time=0.298, grad_norm=48.567, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.132, optim0_lr0=1.653e-04, train_time=1.817 -[gpua005:0/64] 2023-12-03 23:08:43,861 (trainer:737) INFO: 6epoch:train:12901-13000batch: iter_time=9.448e-05, forward_time=0.145, loss_ctc=84.958, loss_att=73.206, acc=0.584, loss=76.731, backward_time=0.279, grad_norm=51.771, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.132, optim0_lr0=1.652e-04, train_time=1.572 -[gpua005:0/64] 2023-12-03 23:11:29,621 (trainer:737) INFO: 6epoch:train:13001-13100batch: iter_time=9.159e-05, forward_time=0.145, loss_ctc=103.285, loss_att=85.728, acc=0.603, loss=90.995, backward_time=0.275, grad_norm=54.089, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.132, optim0_lr0=1.651e-04, train_time=1.657 -[gpua005:0/64] 2023-12-03 23:13:51,838 (trainer:737) INFO: 6epoch:train:13101-13200batch: iter_time=0.005, forward_time=0.189, loss_ctc=73.794, loss_att=63.509, acc=0.610, loss=66.595, backward_time=0.277, grad_norm=40.995, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.134, optim0_lr0=1.650e-04, train_time=1.422 -[gpua005:0/64] 2023-12-03 23:16:59,034 (trainer:737) INFO: 6epoch:train:13201-13300batch: iter_time=9.024e-05, forward_time=0.210, loss_ctc=75.269, loss_att=63.579, acc=0.623, loss=67.086, backward_time=0.310, grad_norm=39.352, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.136, optim0_lr0=1.649e-04, train_time=1.872 -[gpua005:0/64] 2023-12-03 23:19:50,558 (trainer:737) INFO: 6epoch:train:13301-13400batch: iter_time=9.276e-05, forward_time=0.146, loss_ctc=109.118, loss_att=103.488, acc=0.570, loss=105.177, backward_time=0.281, grad_norm=58.759, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.132, optim0_lr0=1.648e-04, train_time=1.716 -[gpua005:0/64] 2023-12-03 23:22:23,600 (trainer:737) INFO: 6epoch:train:13401-13500batch: iter_time=8.803e-05, forward_time=0.145, loss_ctc=78.167, loss_att=66.665, acc=0.614, loss=70.116, backward_time=0.299, grad_norm=38.336, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.132, optim0_lr0=1.647e-04, train_time=1.530 -[gpua005:0/64] 2023-12-03 23:25:13,415 (trainer:737) INFO: 6epoch:train:13501-13600batch: iter_time=9.916e-05, forward_time=0.167, loss_ctc=80.262, loss_att=66.777, acc=0.634, loss=70.823, backward_time=0.313, grad_norm=38.225, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.135, optim0_lr0=1.646e-04, train_time=1.697 -[gpua005:0/64] 2023-12-03 23:27:42,049 (trainer:737) INFO: 6epoch:train:13601-13700batch: iter_time=9.147e-05, forward_time=0.217, loss_ctc=91.124, loss_att=80.735, acc=0.605, loss=83.851, backward_time=0.292, grad_norm=43.011, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.134, optim0_lr0=1.645e-04, train_time=1.487 -[gpua005:0/64] 2023-12-03 23:29:33,398 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua005:0/64] 2023-12-03 23:29:51,797 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-03 23:29:55,260 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-03 23:29:55,260 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua005:0/64] 2023-12-03 23:29:55,291 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-03 23:39:49,961 (trainer:737) INFO: 6epoch:train:13701-13800batch: iter_time=4.543, forward_time=0.932, loss_ctc=100.429, loss_att=88.532, acc=0.611, loss=92.101, backward_time=0.532, grad_norm=47.402, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.163, optim0_lr0=1.644e-04, train_time=7.277 -[gpua005:0/64] 2023-12-03 23:43:40,464 (trainer:737) INFO: 6epoch:train:13801-13900batch: iter_time=0.002, forward_time=0.625, loss_ctc=97.675, loss_att=83.536, acc=0.604, loss=87.778, backward_time=0.442, grad_norm=50.721, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.153, optim0_lr0=1.644e-04, train_time=2.306 -[gpua005:0/64] 2023-12-03 23:48:13,060 (trainer:737) INFO: 6epoch:train:13901-14000batch: iter_time=0.002, forward_time=0.964, loss_ctc=100.718, loss_att=78.157, acc=0.618, loss=84.925, backward_time=0.455, grad_norm=53.457, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.188, optim0_lr0=1.643e-04, train_time=2.726 -[gpua005:0/64] 2023-12-03 23:53:14,581 (trainer:737) INFO: 6epoch:train:14001-14100batch: iter_time=0.004, forward_time=0.858, loss_ctc=83.212, loss_att=71.957, acc=0.609, loss=75.333, backward_time=0.663, grad_norm=43.945, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.185, optim0_lr0=1.642e-04, train_time=3.014 -[gpua005:0/64] 2023-12-03 23:58:03,161 (trainer:737) INFO: 6epoch:train:14101-14200batch: iter_time=0.002, forward_time=0.994, loss_ctc=93.203, loss_att=77.364, acc=0.603, loss=82.115, backward_time=0.515, grad_norm=48.846, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.172, optim0_lr0=1.641e-04, train_time=2.886 -[gpua005:0/64] 2023-12-04 00:03:05,109 (trainer:737) INFO: 6epoch:train:14201-14300batch: iter_time=0.003, forward_time=1.033, loss_ctc=91.888, loss_att=82.133, acc=0.604, loss=85.059, backward_time=0.716, grad_norm=49.804, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.176, optim0_lr0=1.640e-04, train_time=3.018 -[gpua005:0/64] 2023-12-04 00:07:51,953 (trainer:737) INFO: 6epoch:train:14301-14400batch: iter_time=0.003, forward_time=0.822, loss_ctc=90.475, loss_att=71.508, acc=0.611, loss=77.198, backward_time=0.662, grad_norm=48.216, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.174, optim0_lr0=1.639e-04, train_time=2.870 -[gpua005:0/64] 2023-12-04 00:12:04,423 (trainer:737) INFO: 6epoch:train:14401-14500batch: iter_time=0.001, forward_time=0.710, loss_ctc=69.482, loss_att=60.066, acc=0.615, loss=62.891, backward_time=0.553, grad_norm=41.010, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.159, optim0_lr0=1.638e-04, train_time=2.524 -[gpua005:0/64] 2023-12-04 00:19:05,676 (trainer:737) INFO: 6epoch:train:14501-14600batch: iter_time=0.005, forward_time=1.849, loss_ctc=80.186, loss_att=71.337, acc=0.626, loss=73.992, backward_time=0.960, grad_norm=38.910, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.208, optim0_lr0=1.637e-04, train_time=4.214 -[gpua005:0/64] 2023-12-04 00:25:28,151 (trainer:737) INFO: 6epoch:train:14601-14700batch: iter_time=0.003, forward_time=1.346, loss_ctc=102.217, loss_att=90.602, acc=0.571, loss=94.086, backward_time=1.048, grad_norm=54.744, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.211, optim0_lr0=1.636e-04, train_time=3.822 -[gpua005:0/64] 2023-12-04 00:33:46,836 (trainer:737) INFO: 6epoch:train:14701-14800batch: iter_time=0.015, forward_time=2.258, loss_ctc=81.761, loss_att=69.307, acc=0.629, loss=73.043, backward_time=1.218, grad_norm=39.783, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.236, optim0_lr0=1.635e-04, train_time=4.989 -[gpua005:0/64] 2023-12-04 00:41:05,564 (trainer:737) INFO: 6epoch:train:14801-14900batch: iter_time=0.008, forward_time=2.012, loss_ctc=87.404, loss_att=73.513, acc=0.613, loss=77.680, backward_time=1.004, grad_norm=41.026, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.206, optim0_lr0=1.634e-04, train_time=4.385 -[gpua005:0/64] 2023-12-04 00:48:01,852 (trainer:737) INFO: 6epoch:train:14901-15000batch: iter_time=0.006, forward_time=1.640, loss_ctc=88.688, loss_att=81.813, acc=0.613, loss=83.875, backward_time=0.992, grad_norm=43.541, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.210, optim0_lr0=1.633e-04, train_time=4.164 -[gpua005:0/64] 2023-12-04 01:13:30,132 (trainer:343) INFO: 6epoch results: [train] iter_time=0.311, forward_time=0.264, loss_ctc=93.720, loss_att=81.269, acc=0.595, loss=85.004, backward_time=0.431, grad_norm=47.439, clip=100.000, loss_scale=3.056e+17, optim_step_time=0.139, optim0_lr0=1.707e-04, train_time=2.841, time=11 hours, 50 minutes and 36.31 seconds, total_count=90000, gpu_max_cached_mem_GB=34.008, [valid] loss_ctc=68.877, cer_ctc=0.340, loss_att=61.776, acc=0.547, cer=0.372, wer=1.000, loss=63.906, time=25 minutes and 4.08 seconds, total_count=28026, gpu_max_cached_mem_GB=34.008 -[gpua005:0/64] 2023-12-04 01:13:52,234 (trainer:391) INFO: The best model has been updated: valid.acc, valid.total_count -[gpua005:0/64] 2023-12-04 01:13:52,315 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/1epoch.pth -[gpua005:0/64] 2023-12-04 01:13:52,315 (trainer:272) INFO: 7/40epoch started. Estimated time to finish: 2 weeks, 3 days and 9 hours -[gpua005:0/64] 2023-12-04 01:13:52,326 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua005:0/64] 2023-12-04 01:14:10,353 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 01:14:13,931 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 01:14:13,931 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua005:0/64] 2023-12-04 01:14:13,949 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 01:23:01,374 (trainer:737) INFO: 7epoch:train:1-100batch: iter_time=3.938, forward_time=0.210, loss_ctc=109.780, loss_att=90.996, acc=0.590, loss=96.631, backward_time=0.275, grad_norm=61.466, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.136, optim0_lr0=1.633e-04, train_time=5.490 -[gpua005:0/64] 2023-12-04 01:25:11,628 (trainer:737) INFO: 7epoch:train:101-200batch: iter_time=8.466e-05, forward_time=0.146, loss_ctc=94.273, loss_att=80.862, acc=0.578, loss=84.886, backward_time=0.276, grad_norm=50.286, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.134, optim0_lr0=1.632e-04, train_time=1.302 -[gpua005:0/64] 2023-12-04 01:28:06,017 (trainer:737) INFO: 7epoch:train:201-300batch: iter_time=9.089e-05, forward_time=0.147, loss_ctc=91.992, loss_att=83.404, acc=0.595, loss=85.981, backward_time=0.307, grad_norm=47.281, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.134, optim0_lr0=1.631e-04, train_time=1.744 -[gpua005:0/64] 2023-12-04 01:30:23,182 (trainer:737) INFO: 7epoch:train:301-400batch: iter_time=9.430e-05, forward_time=0.148, loss_ctc=86.582, loss_att=78.694, acc=0.588, loss=81.061, backward_time=0.270, grad_norm=44.812, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.135, optim0_lr0=1.630e-04, train_time=1.371 -[gpua005:0/64] 2023-12-04 01:33:02,530 (trainer:737) INFO: 7epoch:train:401-500batch: iter_time=8.708e-05, forward_time=0.147, loss_ctc=95.209, loss_att=83.234, acc=0.610, loss=86.826, backward_time=0.293, grad_norm=54.064, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.134, optim0_lr0=1.629e-04, train_time=1.593 -[gpua005:0/64] 2023-12-04 01:35:50,202 (trainer:737) INFO: 7epoch:train:501-600batch: iter_time=9.492e-05, forward_time=0.147, loss_ctc=89.711, loss_att=81.506, acc=0.602, loss=83.967, backward_time=0.306, grad_norm=42.803, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.134, optim0_lr0=1.628e-04, train_time=1.676 -[gpua005:0/64] 2023-12-04 01:38:31,522 (trainer:737) INFO: 7epoch:train:601-700batch: iter_time=9.529e-05, forward_time=0.147, loss_ctc=101.859, loss_att=86.431, acc=0.594, loss=91.059, backward_time=0.292, grad_norm=52.759, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.134, optim0_lr0=1.627e-04, train_time=1.613 -[gpua005:0/64] 2023-12-04 01:40:55,855 (trainer:737) INFO: 7epoch:train:701-800batch: iter_time=9.919e-05, forward_time=0.147, loss_ctc=91.231, loss_att=78.323, acc=0.595, loss=82.195, backward_time=0.300, grad_norm=48.936, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.134, optim0_lr0=1.626e-04, train_time=1.443 -[gpua005:0/64] 2023-12-04 01:43:26,634 (trainer:737) INFO: 7epoch:train:801-900batch: iter_time=9.498e-05, forward_time=0.147, loss_ctc=82.578, loss_att=64.839, acc=0.628, loss=70.161, backward_time=0.277, grad_norm=44.031, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.134, optim0_lr0=1.625e-04, train_time=1.508 -[gpua005:0/64] 2023-12-04 01:46:14,378 (trainer:737) INFO: 7epoch:train:901-1000batch: iter_time=9.440e-05, forward_time=0.147, loss_ctc=88.835, loss_att=85.090, acc=0.598, loss=86.214, backward_time=0.295, grad_norm=48.081, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.134, optim0_lr0=1.624e-04, train_time=1.677 -[gpua005:0/64] 2023-12-04 01:48:46,286 (trainer:737) INFO: 7epoch:train:1001-1100batch: iter_time=9.791e-05, forward_time=0.147, loss_ctc=85.495, loss_att=75.660, acc=0.611, loss=78.610, backward_time=0.279, grad_norm=45.177, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.134, optim0_lr0=1.624e-04, train_time=1.519 -[gpua005:0/64] 2023-12-04 01:51:36,023 (trainer:737) INFO: 7epoch:train:1101-1200batch: iter_time=9.107e-05, forward_time=0.147, loss_ctc=89.213, loss_att=75.429, acc=0.602, loss=79.564, backward_time=0.292, grad_norm=47.224, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.134, optim0_lr0=1.623e-04, train_time=1.697 -[gpua005:0/64] 2023-12-04 01:53:17,281 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua005:0/64] 2023-12-04 01:53:35,429 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 01:53:39,072 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 01:53:39,072 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua005:0/64] 2023-12-04 01:53:39,075 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 02:01:18,682 (trainer:737) INFO: 7epoch:train:1201-1300batch: iter_time=1.543, forward_time=0.193, loss_ctc=112.180, loss_att=90.809, acc=0.594, loss=97.220, backward_time=0.279, grad_norm=55.163, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.135, optim0_lr0=1.622e-04, train_time=5.826 -[gpua005:0/64] 2023-12-04 02:04:00,766 (trainer:737) INFO: 7epoch:train:1301-1400batch: iter_time=8.757e-05, forward_time=0.150, loss_ctc=96.404, loss_att=84.211, acc=0.589, loss=87.869, backward_time=0.289, grad_norm=51.648, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.133, optim0_lr0=1.621e-04, train_time=1.621 -[gpua005:0/64] 2023-12-04 02:06:36,387 (trainer:737) INFO: 7epoch:train:1401-1500batch: iter_time=8.707e-05, forward_time=0.148, loss_ctc=91.361, loss_att=78.012, acc=0.594, loss=82.017, backward_time=0.306, grad_norm=45.910, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.134, optim0_lr0=1.620e-04, train_time=1.556 -[gpua005:0/64] 2023-12-04 02:09:44,088 (trainer:737) INFO: 7epoch:train:1501-1600batch: iter_time=9.052e-05, forward_time=0.148, loss_ctc=79.024, loss_att=74.920, acc=0.620, loss=76.151, backward_time=0.296, grad_norm=40.866, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.134, optim0_lr0=1.619e-04, train_time=1.877 -[gpua005:0/64] 2023-12-04 02:12:15,985 (trainer:737) INFO: 7epoch:train:1601-1700batch: iter_time=9.157e-05, forward_time=0.148, loss_ctc=91.262, loss_att=81.785, acc=0.616, loss=84.628, backward_time=0.276, grad_norm=43.364, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.134, optim0_lr0=1.618e-04, train_time=1.519 -[gpua005:0/64] 2023-12-04 02:14:45,726 (trainer:737) INFO: 7epoch:train:1701-1800batch: iter_time=9.207e-05, forward_time=0.148, loss_ctc=93.224, loss_att=82.466, acc=0.622, loss=85.693, backward_time=0.280, grad_norm=45.476, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.134, optim0_lr0=1.617e-04, train_time=1.497 -[gpua005:0/64] 2023-12-04 02:17:26,994 (trainer:737) INFO: 7epoch:train:1801-1900batch: iter_time=9.375e-05, forward_time=0.148, loss_ctc=93.870, loss_att=85.697, acc=0.609, loss=88.149, backward_time=0.285, grad_norm=45.524, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.134, optim0_lr0=1.616e-04, train_time=1.612 -[gpua005:0/64] 2023-12-04 02:20:35,057 (trainer:737) INFO: 7epoch:train:1901-2000batch: iter_time=9.591e-05, forward_time=0.148, loss_ctc=94.374, loss_att=89.007, acc=0.577, loss=90.617, backward_time=0.322, grad_norm=57.966, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.134, optim0_lr0=1.616e-04, train_time=1.880 -[gpua005:0/64] 2023-12-04 02:23:15,348 (trainer:737) INFO: 7epoch:train:2001-2100batch: iter_time=9.032e-05, forward_time=0.148, loss_ctc=83.761, loss_att=70.520, acc=0.641, loss=74.493, backward_time=0.272, grad_norm=43.718, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.134, optim0_lr0=1.615e-04, train_time=1.603 -[gpua005:0/64] 2023-12-04 02:26:02,961 (trainer:737) INFO: 7epoch:train:2101-2200batch: iter_time=9.314e-05, forward_time=0.148, loss_ctc=84.355, loss_att=73.509, acc=0.629, loss=76.763, backward_time=0.306, grad_norm=44.112, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.134, optim0_lr0=1.614e-04, train_time=1.676 -[gpua005:0/64] 2023-12-04 02:29:19,521 (trainer:737) INFO: 7epoch:train:2201-2300batch: iter_time=1.020e-04, forward_time=0.148, loss_ctc=92.545, loss_att=87.200, acc=0.605, loss=88.804, backward_time=0.291, grad_norm=44.838, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.134, optim0_lr0=1.613e-04, train_time=1.965 -[gpua005:0/64] 2023-12-04 02:32:01,268 (trainer:737) INFO: 7epoch:train:2301-2400batch: iter_time=9.899e-05, forward_time=0.148, loss_ctc=74.627, loss_att=64.336, acc=0.627, loss=67.423, backward_time=0.290, grad_norm=39.869, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.134, optim0_lr0=1.612e-04, train_time=1.617 -[gpua005:0/64] 2023-12-04 02:34:14,705 (trainer:737) INFO: 7epoch:train:2401-2500batch: iter_time=9.654e-05, forward_time=0.148, loss_ctc=101.108, loss_att=84.667, acc=0.597, loss=89.599, backward_time=0.278, grad_norm=50.705, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.134, optim0_lr0=1.611e-04, train_time=1.334 -[gpua005:0/64] 2023-12-04 02:34:32,507 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua005:0/64] 2023-12-04 02:34:51,035 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 02:34:54,412 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 02:34:54,412 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua005:0/64] 2023-12-04 02:34:54,416 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 02:44:22,959 (trainer:737) INFO: 7epoch:train:2501-2600batch: iter_time=1.891, forward_time=0.208, loss_ctc=106.808, loss_att=88.325, acc=0.599, loss=93.870, backward_time=0.275, grad_norm=53.145, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.136, optim0_lr0=1.610e-04, train_time=6.082 -[gpua005:0/64] 2023-12-04 02:47:08,310 (trainer:737) INFO: 7epoch:train:2601-2700batch: iter_time=8.739e-05, forward_time=0.147, loss_ctc=90.839, loss_att=76.426, acc=0.589, loss=80.750, backward_time=0.302, grad_norm=45.400, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.133, optim0_lr0=1.609e-04, train_time=1.653 -[gpua005:0/64] 2023-12-04 02:49:37,574 (trainer:737) INFO: 7epoch:train:2701-2800batch: iter_time=8.926e-05, forward_time=0.147, loss_ctc=89.072, loss_att=81.728, acc=0.604, loss=83.931, backward_time=0.289, grad_norm=44.049, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.133, optim0_lr0=1.609e-04, train_time=1.492 -[gpua005:0/64] 2023-12-04 02:52:11,904 (trainer:737) INFO: 7epoch:train:2801-2900batch: iter_time=8.752e-05, forward_time=0.147, loss_ctc=84.681, loss_att=76.328, acc=0.599, loss=78.834, backward_time=0.286, grad_norm=42.879, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.133, optim0_lr0=1.608e-04, train_time=1.543 -[gpua005:0/64] 2023-12-04 02:55:02,713 (trainer:737) INFO: 7epoch:train:2901-3000batch: iter_time=8.813e-05, forward_time=0.147, loss_ctc=91.931, loss_att=80.018, acc=0.622, loss=83.592, backward_time=0.345, grad_norm=47.151, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.133, optim0_lr0=1.607e-04, train_time=1.708 -[gpua005:0/64] 2023-12-04 02:57:54,679 (trainer:737) INFO: 7epoch:train:3001-3100batch: iter_time=8.758e-05, forward_time=0.148, loss_ctc=87.380, loss_att=79.071, acc=0.612, loss=81.564, backward_time=0.305, grad_norm=45.776, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.133, optim0_lr0=1.606e-04, train_time=1.719 -[gpua005:0/64] 2023-12-04 03:00:51,523 (trainer:737) INFO: 7epoch:train:3101-3200batch: iter_time=9.427e-05, forward_time=0.147, loss_ctc=98.686, loss_att=83.604, acc=0.603, loss=88.129, backward_time=0.335, grad_norm=52.372, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.133, optim0_lr0=1.605e-04, train_time=1.768 -[gpua005:0/64] 2023-12-04 03:03:33,981 (trainer:737) INFO: 7epoch:train:3201-3300batch: iter_time=9.157e-05, forward_time=0.147, loss_ctc=88.326, loss_att=75.228, acc=0.607, loss=79.157, backward_time=0.313, grad_norm=43.000, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.133, optim0_lr0=1.604e-04, train_time=1.624 -[gpua005:0/64] 2023-12-04 03:06:12,648 (trainer:737) INFO: 7epoch:train:3301-3400batch: iter_time=9.161e-05, forward_time=0.147, loss_ctc=80.134, loss_att=63.189, acc=0.640, loss=68.272, backward_time=0.306, grad_norm=40.090, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.133, optim0_lr0=1.603e-04, train_time=1.586 -[gpua005:0/64] 2023-12-04 03:08:38,242 (trainer:737) INFO: 7epoch:train:3401-3500batch: iter_time=8.975e-05, forward_time=0.147, loss_ctc=86.636, loss_att=82.553, acc=0.609, loss=83.778, backward_time=0.312, grad_norm=42.980, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.133, optim0_lr0=1.603e-04, train_time=1.456 -[gpua005:0/64] 2023-12-04 03:11:16,993 (trainer:737) INFO: 7epoch:train:3501-3600batch: iter_time=8.863e-05, forward_time=0.147, loss_ctc=82.437, loss_att=73.386, acc=0.621, loss=76.101, backward_time=0.293, grad_norm=39.933, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.133, optim0_lr0=1.602e-04, train_time=1.587 -[gpua005:0/64] 2023-12-04 03:14:03,459 (trainer:737) INFO: 7epoch:train:3601-3700batch: iter_time=8.849e-05, forward_time=0.147, loss_ctc=86.782, loss_att=73.743, acc=0.613, loss=77.655, backward_time=0.312, grad_norm=47.751, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.133, optim0_lr0=1.601e-04, train_time=1.664 -[gpua005:0/64] 2023-12-04 03:15:35,613 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua005:0/64] 2023-12-04 03:15:54,020 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 03:15:57,567 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 03:15:57,567 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua005:0/64] 2023-12-04 03:15:57,570 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 03:24:09,120 (trainer:737) INFO: 7epoch:train:3701-3800batch: iter_time=2.426, forward_time=0.190, loss_ctc=109.516, loss_att=85.401, acc=0.606, loss=92.635, backward_time=0.272, grad_norm=56.025, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.134, optim0_lr0=1.600e-04, train_time=6.056 -[gpua005:0/64] 2023-12-04 03:26:37,623 (trainer:737) INFO: 7epoch:train:3801-3900batch: iter_time=8.775e-05, forward_time=0.147, loss_ctc=94.474, loss_att=78.595, acc=0.602, loss=83.359, backward_time=0.283, grad_norm=51.128, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.135, optim0_lr0=1.599e-04, train_time=1.485 -[gpua005:0/64] 2023-12-04 03:29:17,994 (trainer:737) INFO: 7epoch:train:3901-4000batch: iter_time=8.767e-05, forward_time=0.148, loss_ctc=89.316, loss_att=73.095, acc=0.602, loss=77.961, backward_time=0.272, grad_norm=46.414, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.134, optim0_lr0=1.598e-04, train_time=1.603 -[gpua005:0/64] 2023-12-04 03:31:58,597 (trainer:737) INFO: 7epoch:train:4001-4100batch: iter_time=9.188e-05, forward_time=0.147, loss_ctc=77.028, loss_att=70.727, acc=0.619, loss=72.618, backward_time=0.271, grad_norm=40.134, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.135, optim0_lr0=1.597e-04, train_time=1.606 -[gpua005:0/64] 2023-12-04 03:34:47,500 (trainer:737) INFO: 7epoch:train:4101-4200batch: iter_time=9.300e-05, forward_time=0.146, loss_ctc=89.995, loss_att=77.786, acc=0.620, loss=81.449, backward_time=0.306, grad_norm=43.197, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.134, optim0_lr0=1.597e-04, train_time=1.689 -[gpua005:0/64] 2023-12-04 03:37:17,648 (trainer:737) INFO: 7epoch:train:4201-4300batch: iter_time=9.674e-05, forward_time=0.147, loss_ctc=91.639, loss_att=78.873, acc=0.620, loss=82.702, backward_time=0.310, grad_norm=48.213, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.134, optim0_lr0=1.596e-04, train_time=1.501 -[gpua005:0/64] 2023-12-04 03:39:56,518 (trainer:737) INFO: 7epoch:train:4301-4400batch: iter_time=9.654e-05, forward_time=0.148, loss_ctc=92.633, loss_att=81.040, acc=0.612, loss=84.518, backward_time=0.281, grad_norm=47.472, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.135, optim0_lr0=1.595e-04, train_time=1.588 -[gpua005:0/64] 2023-12-04 03:42:25,177 (trainer:737) INFO: 7epoch:train:4401-4500batch: iter_time=9.441e-05, forward_time=0.148, loss_ctc=93.015, loss_att=83.186, acc=0.585, loss=86.135, backward_time=0.285, grad_norm=48.530, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.135, optim0_lr0=1.594e-04, train_time=1.486 -[gpua005:0/64] 2023-12-04 03:45:04,773 (trainer:737) INFO: 7epoch:train:4501-4600batch: iter_time=9.692e-05, forward_time=0.148, loss_ctc=81.724, loss_att=67.851, acc=0.647, loss=72.013, backward_time=0.297, grad_norm=41.572, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.135, optim0_lr0=1.593e-04, train_time=1.596 -[gpua005:0/64] 2023-12-04 03:47:35,945 (trainer:737) INFO: 7epoch:train:4601-4700batch: iter_time=9.673e-05, forward_time=0.148, loss_ctc=81.030, loss_att=71.294, acc=0.633, loss=74.215, backward_time=0.287, grad_norm=55.049, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.135, optim0_lr0=1.592e-04, train_time=1.511 -[gpua005:0/64] 2023-12-04 03:50:15,916 (trainer:737) INFO: 7epoch:train:4701-4800batch: iter_time=9.118e-05, forward_time=0.147, loss_ctc=90.997, loss_att=84.884, acc=0.603, loss=86.718, backward_time=0.307, grad_norm=43.248, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.134, optim0_lr0=1.592e-04, train_time=1.599 -[gpua005:0/64] 2023-12-04 03:52:56,973 (trainer:737) INFO: 7epoch:train:4801-4900batch: iter_time=9.808e-05, forward_time=0.179, loss_ctc=73.219, loss_att=62.565, acc=0.631, loss=65.761, backward_time=0.288, grad_norm=38.860, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.135, optim0_lr0=1.591e-04, train_time=1.610 -[gpua005:0/64] 2023-12-04 03:55:41,777 (trainer:737) INFO: 7epoch:train:4901-5000batch: iter_time=9.530e-05, forward_time=0.175, loss_ctc=98.124, loss_att=77.990, acc=0.608, loss=84.030, backward_time=0.309, grad_norm=49.639, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.137, optim0_lr0=1.590e-04, train_time=1.647 -[gpua005:0/64] 2023-12-04 03:56:01,819 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua005:0/64] 2023-12-04 03:56:20,312 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 03:56:23,721 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 03:56:23,721 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua005:0/64] 2023-12-04 03:56:23,727 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 04:02:42,501 (trainer:737) INFO: 7epoch:train:5001-5100batch: iter_time=2.861, forward_time=0.163, loss_ctc=104.854, loss_att=84.499, acc=0.610, loss=90.605, backward_time=0.267, grad_norm=54.709, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.134, optim0_lr0=1.589e-04, train_time=4.207 -[gpua005:0/64] 2023-12-04 04:04:46,496 (trainer:737) INFO: 7epoch:train:5101-5200batch: iter_time=8.862e-05, forward_time=0.147, loss_ctc=88.239, loss_att=73.620, acc=0.600, loss=78.006, backward_time=0.267, grad_norm=44.962, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.134, optim0_lr0=1.588e-04, train_time=1.240 -[gpua005:0/64] 2023-12-04 04:06:53,127 (trainer:737) INFO: 7epoch:train:5201-5300batch: iter_time=9.267e-05, forward_time=0.148, loss_ctc=88.999, loss_att=79.289, acc=0.613, loss=82.202, backward_time=0.269, grad_norm=47.439, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.135, optim0_lr0=1.587e-04, train_time=1.266 -[gpua005:0/64] 2023-12-04 04:09:16,220 (trainer:737) INFO: 7epoch:train:5301-5400batch: iter_time=9.713e-05, forward_time=0.148, loss_ctc=83.537, loss_att=74.161, acc=0.609, loss=76.974, backward_time=0.302, grad_norm=39.977, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.135, optim0_lr0=1.587e-04, train_time=1.431 -[gpua005:0/64] 2023-12-04 04:11:48,387 (trainer:737) INFO: 7epoch:train:5401-5500batch: iter_time=9.911e-05, forward_time=0.149, loss_ctc=91.366, loss_att=78.213, acc=0.627, loss=82.159, backward_time=0.297, grad_norm=50.719, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.135, optim0_lr0=1.586e-04, train_time=1.521 -[gpua005:0/64] 2023-12-04 04:14:22,550 (trainer:737) INFO: 7epoch:train:5501-5600batch: iter_time=1.055e-04, forward_time=0.149, loss_ctc=85.607, loss_att=77.140, acc=0.620, loss=79.680, backward_time=0.290, grad_norm=41.334, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.135, optim0_lr0=1.585e-04, train_time=1.541 -[gpua005:0/64] 2023-12-04 04:16:59,925 (trainer:737) INFO: 7epoch:train:5601-5700batch: iter_time=0.002, forward_time=0.171, loss_ctc=97.415, loss_att=82.526, acc=0.610, loss=86.993, backward_time=0.282, grad_norm=52.925, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.135, optim0_lr0=1.584e-04, train_time=1.574 -[gpua005:0/64] 2023-12-04 04:19:41,863 (trainer:737) INFO: 7epoch:train:5701-5800batch: iter_time=9.486e-05, forward_time=0.152, loss_ctc=86.186, loss_att=73.530, acc=0.613, loss=77.327, backward_time=0.340, grad_norm=44.733, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.134, optim0_lr0=1.583e-04, train_time=1.619 -[gpua005:0/64] 2023-12-04 04:22:22,380 (trainer:737) INFO: 7epoch:train:5801-5900batch: iter_time=8.575e-04, forward_time=0.175, loss_ctc=79.459, loss_att=61.969, acc=0.647, loss=67.216, backward_time=0.309, grad_norm=40.949, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.137, optim0_lr0=1.582e-04, train_time=1.604 -[gpua005:0/64] 2023-12-04 04:24:35,500 (trainer:737) INFO: 7epoch:train:5901-6000batch: iter_time=9.372e-05, forward_time=0.147, loss_ctc=85.618, loss_att=81.481, acc=0.613, loss=82.722, backward_time=0.275, grad_norm=43.353, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.134, optim0_lr0=1.582e-04, train_time=1.332 -[gpua005:0/64] 2023-12-04 04:27:02,736 (trainer:737) INFO: 7epoch:train:6001-6100batch: iter_time=8.883e-05, forward_time=0.149, loss_ctc=82.242, loss_att=72.185, acc=0.629, loss=75.202, backward_time=0.301, grad_norm=43.532, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.135, optim0_lr0=1.581e-04, train_time=1.472 -[gpua005:0/64] 2023-12-04 04:29:44,283 (trainer:737) INFO: 7epoch:train:6101-6200batch: iter_time=8.924e-05, forward_time=0.154, loss_ctc=85.972, loss_att=72.693, acc=0.618, loss=76.676, backward_time=0.320, grad_norm=47.548, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.134, optim0_lr0=1.580e-04, train_time=1.615 -[gpua005:0/64] 2023-12-04 04:31:20,632 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua005:0/64] 2023-12-04 04:31:38,931 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 04:31:42,334 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 04:31:42,334 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua005:0/64] 2023-12-04 04:31:42,360 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 04:37:28,498 (trainer:737) INFO: 7epoch:train:6201-6300batch: iter_time=3.088, forward_time=0.148, loss_ctc=106.360, loss_att=83.165, acc=0.611, loss=90.124, backward_time=0.281, grad_norm=52.727, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.135, optim0_lr0=1.579e-04, train_time=4.641 -[gpua005:0/64] 2023-12-04 04:39:41,108 (trainer:737) INFO: 7epoch:train:6301-6400batch: iter_time=8.636e-05, forward_time=0.148, loss_ctc=93.103, loss_att=77.163, acc=0.609, loss=81.945, backward_time=0.267, grad_norm=48.846, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.135, optim0_lr0=1.578e-04, train_time=1.326 -[gpua005:0/64] 2023-12-04 04:41:53,817 (trainer:737) INFO: 7epoch:train:6401-6500batch: iter_time=8.385e-05, forward_time=0.149, loss_ctc=87.455, loss_att=70.927, acc=0.610, loss=75.886, backward_time=0.268, grad_norm=44.748, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.134, optim0_lr0=1.577e-04, train_time=1.327 -[gpua005:0/64] 2023-12-04 04:44:13,573 (trainer:737) INFO: 7epoch:train:6501-6600batch: iter_time=8.765e-05, forward_time=0.148, loss_ctc=76.317, loss_att=69.765, acc=0.626, loss=71.731, backward_time=0.288, grad_norm=38.765, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.134, optim0_lr0=1.577e-04, train_time=1.397 -[gpua005:0/64] 2023-12-04 04:46:46,239 (trainer:737) INFO: 7epoch:train:6601-6700batch: iter_time=9.440e-05, forward_time=0.147, loss_ctc=88.993, loss_att=76.104, acc=0.629, loss=79.971, backward_time=0.276, grad_norm=64.429, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.134, optim0_lr0=1.576e-04, train_time=1.526 -[gpua005:0/64] 2023-12-04 04:49:27,843 (trainer:737) INFO: 7epoch:train:6701-6800batch: iter_time=8.757e-05, forward_time=0.170, loss_ctc=90.806, loss_att=76.867, acc=0.628, loss=81.048, backward_time=0.315, grad_norm=46.177, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.134, optim0_lr0=1.575e-04, train_time=1.616 -[gpua005:0/64] 2023-12-04 04:52:05,715 (trainer:737) INFO: 7epoch:train:6801-6900batch: iter_time=9.145e-05, forward_time=0.174, loss_ctc=92.638, loss_att=79.185, acc=0.617, loss=83.221, backward_time=0.306, grad_norm=51.125, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.134, optim0_lr0=1.574e-04, train_time=1.579 -[gpua005:0/64] 2023-12-04 04:54:37,837 (trainer:737) INFO: 7epoch:train:6901-7000batch: iter_time=9.606e-05, forward_time=0.170, loss_ctc=90.563, loss_att=80.697, acc=0.595, loss=83.657, backward_time=0.290, grad_norm=46.153, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.134, optim0_lr0=1.573e-04, train_time=1.521 -[gpua005:0/64] 2023-12-04 04:56:51,546 (trainer:737) INFO: 7epoch:train:7001-7100batch: iter_time=9.291e-05, forward_time=0.147, loss_ctc=81.088, loss_att=67.370, acc=0.652, loss=71.486, backward_time=0.273, grad_norm=42.941, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.134, optim0_lr0=1.573e-04, train_time=1.337 -[gpua005:0/64] 2023-12-04 04:59:27,057 (trainer:737) INFO: 7epoch:train:7101-7200batch: iter_time=9.566e-05, forward_time=0.166, loss_ctc=79.706, loss_att=70.590, acc=0.634, loss=73.325, backward_time=0.300, grad_norm=39.702, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.134, optim0_lr0=1.572e-04, train_time=1.555 -[gpua005:0/64] 2023-12-04 05:02:03,576 (trainer:737) INFO: 7epoch:train:7201-7300batch: iter_time=9.314e-05, forward_time=0.148, loss_ctc=90.087, loss_att=82.847, acc=0.611, loss=85.019, backward_time=0.283, grad_norm=41.982, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.134, optim0_lr0=1.571e-04, train_time=1.565 -[gpua005:0/64] 2023-12-04 05:04:42,465 (trainer:737) INFO: 7epoch:train:7301-7400batch: iter_time=8.790e-05, forward_time=0.146, loss_ctc=72.840, loss_att=61.685, acc=0.635, loss=65.032, backward_time=0.280, grad_norm=40.910, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.134, optim0_lr0=1.570e-04, train_time=1.589 -[gpua005:0/64] 2023-12-04 05:06:57,387 (trainer:737) INFO: 7epoch:train:7401-7500batch: iter_time=8.917e-05, forward_time=0.146, loss_ctc=96.725, loss_att=77.235, acc=0.614, loss=83.082, backward_time=0.280, grad_norm=47.451, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.134, optim0_lr0=1.569e-04, train_time=1.349 -[gpua005:0/64] 2023-12-04 05:07:17,416 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua005:0/64] 2023-12-04 05:07:36,115 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 05:07:39,448 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 05:07:39,449 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua005:0/64] 2023-12-04 05:07:39,596 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 05:17:29,165 (trainer:737) INFO: 7epoch:train:7501-7600batch: iter_time=3.073, forward_time=0.173, loss_ctc=103.302, loss_att=87.622, acc=0.617, loss=92.326, backward_time=0.277, grad_norm=56.189, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.134, optim0_lr0=1.569e-04, train_time=6.317 -[gpua005:0/64] 2023-12-04 05:20:09,566 (trainer:737) INFO: 7epoch:train:7601-7700batch: iter_time=9.076e-05, forward_time=0.186, loss_ctc=86.829, loss_att=74.973, acc=0.604, loss=78.530, backward_time=0.315, grad_norm=47.979, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.137, optim0_lr0=1.568e-04, train_time=1.604 -[gpua005:0/64] 2023-12-04 05:22:41,404 (trainer:737) INFO: 7epoch:train:7701-7800batch: iter_time=9.369e-05, forward_time=0.162, loss_ctc=87.318, loss_att=81.239, acc=0.625, loss=83.063, backward_time=0.328, grad_norm=43.297, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.135, optim0_lr0=1.567e-04, train_time=1.518 -[gpua005:0/64] 2023-12-04 05:25:10,462 (trainer:737) INFO: 7epoch:train:7801-7900batch: iter_time=9.925e-05, forward_time=0.149, loss_ctc=82.683, loss_att=75.936, acc=0.621, loss=77.960, backward_time=0.292, grad_norm=42.282, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.134, optim0_lr0=1.566e-04, train_time=1.490 -[gpua005:0/64] 2023-12-04 05:28:13,402 (trainer:737) INFO: 7epoch:train:7901-8000batch: iter_time=9.918e-05, forward_time=0.149, loss_ctc=90.251, loss_att=80.149, acc=0.637, loss=83.180, backward_time=0.316, grad_norm=46.668, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.134, optim0_lr0=1.565e-04, train_time=1.829 -[gpua005:0/64] 2023-12-04 05:30:39,402 (trainer:737) INFO: 7epoch:train:8001-8100batch: iter_time=1.005e-04, forward_time=0.148, loss_ctc=85.007, loss_att=78.639, acc=0.628, loss=80.549, backward_time=0.281, grad_norm=39.949, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.133, optim0_lr0=1.565e-04, train_time=1.460 -[gpua005:0/64] 2023-12-04 05:33:26,545 (trainer:737) INFO: 7epoch:train:8101-8200batch: iter_time=9.906e-05, forward_time=0.147, loss_ctc=95.829, loss_att=84.131, acc=0.618, loss=87.640, backward_time=0.281, grad_norm=54.007, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.133, optim0_lr0=1.564e-04, train_time=1.671 -[gpua005:0/64] 2023-12-04 05:36:26,923 (trainer:737) INFO: 7epoch:train:8201-8300batch: iter_time=9.890e-05, forward_time=0.147, loss_ctc=85.087, loss_att=74.054, acc=0.620, loss=77.364, backward_time=0.290, grad_norm=45.268, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.133, optim0_lr0=1.563e-04, train_time=1.804 -[gpua005:0/64] 2023-12-04 05:39:21,337 (trainer:737) INFO: 7epoch:train:8301-8400batch: iter_time=9.222e-05, forward_time=0.147, loss_ctc=77.588, loss_att=62.091, acc=0.658, loss=66.740, backward_time=0.281, grad_norm=39.024, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.133, optim0_lr0=1.562e-04, train_time=1.744 -[gpua005:0/64] 2023-12-04 05:41:57,879 (trainer:737) INFO: 7epoch:train:8401-8500batch: iter_time=9.417e-05, forward_time=0.147, loss_ctc=84.559, loss_att=81.354, acc=0.622, loss=82.316, backward_time=0.304, grad_norm=39.747, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.133, optim0_lr0=1.561e-04, train_time=1.565 -[gpua005:0/64] 2023-12-04 05:44:38,492 (trainer:737) INFO: 7epoch:train:8501-8600batch: iter_time=9.589e-05, forward_time=0.147, loss_ctc=80.698, loss_att=72.723, acc=0.634, loss=75.116, backward_time=0.292, grad_norm=40.327, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.133, optim0_lr0=1.561e-04, train_time=1.606 -[gpua005:0/64] 2023-12-04 05:47:22,888 (trainer:737) INFO: 7epoch:train:8601-8700batch: iter_time=9.857e-05, forward_time=0.168, loss_ctc=83.078, loss_att=73.348, acc=0.626, loss=76.267, backward_time=0.288, grad_norm=44.184, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.135, optim0_lr0=1.560e-04, train_time=1.643 -[gpua005:0/64] 2023-12-04 05:48:49,156 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua005:0/64] 2023-12-04 05:49:07,372 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 05:49:10,796 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 05:49:10,796 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua005:0/64] 2023-12-04 05:49:10,799 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 05:55:05,289 (trainer:737) INFO: 7epoch:train:8701-8800batch: iter_time=3.000, forward_time=0.200, loss_ctc=103.684, loss_att=84.856, acc=0.620, loss=90.504, backward_time=0.278, grad_norm=52.766, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.135, optim0_lr0=1.559e-04, train_time=4.624 -[gpua005:0/64] 2023-12-04 05:57:17,825 (trainer:737) INFO: 7epoch:train:8801-8900batch: iter_time=8.684e-05, forward_time=0.150, loss_ctc=92.428, loss_att=77.788, acc=0.618, loss=82.180, backward_time=0.270, grad_norm=49.675, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.134, optim0_lr0=1.558e-04, train_time=1.325 -[gpua005:0/64] 2023-12-04 05:59:34,699 (trainer:737) INFO: 7epoch:train:8901-9000batch: iter_time=8.742e-05, forward_time=0.147, loss_ctc=86.432, loss_att=71.549, acc=0.622, loss=76.014, backward_time=0.274, grad_norm=45.311, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.133, optim0_lr0=1.557e-04, train_time=1.369 -[gpua005:0/64] 2023-12-04 06:02:03,105 (trainer:737) INFO: 7epoch:train:9001-9100batch: iter_time=9.477e-05, forward_time=0.149, loss_ctc=75.756, loss_att=70.211, acc=0.642, loss=71.874, backward_time=0.305, grad_norm=37.733, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.134, optim0_lr0=1.557e-04, train_time=1.484 -[gpua005:0/64] 2023-12-04 06:04:36,275 (trainer:737) INFO: 7epoch:train:9101-9200batch: iter_time=8.977e-05, forward_time=0.149, loss_ctc=87.797, loss_att=77.260, acc=0.637, loss=80.421, backward_time=0.291, grad_norm=43.474, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.134, optim0_lr0=1.556e-04, train_time=1.531 -[gpua005:0/64] 2023-12-04 06:06:53,708 (trainer:737) INFO: 7epoch:train:9201-9300batch: iter_time=9.472e-05, forward_time=0.147, loss_ctc=88.608, loss_att=77.185, acc=0.635, loss=80.612, backward_time=0.277, grad_norm=43.200, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.134, optim0_lr0=1.555e-04, train_time=1.374 -[gpua005:0/64] 2023-12-04 06:09:28,998 (trainer:737) INFO: 7epoch:train:9301-9400batch: iter_time=9.569e-05, forward_time=0.147, loss_ctc=90.353, loss_att=81.143, acc=0.627, loss=83.906, backward_time=0.309, grad_norm=48.203, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.134, optim0_lr0=1.554e-04, train_time=1.553 -[gpua005:0/64] 2023-12-04 06:12:38,912 (trainer:737) INFO: 7epoch:train:9401-9500batch: iter_time=1.004e-04, forward_time=0.147, loss_ctc=90.814, loss_att=82.596, acc=0.601, loss=85.061, backward_time=0.360, grad_norm=51.226, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.134, optim0_lr0=1.553e-04, train_time=1.899 -[gpua005:0/64] 2023-12-04 06:15:00,759 (trainer:737) INFO: 7epoch:train:9501-9600batch: iter_time=9.403e-05, forward_time=0.147, loss_ctc=79.281, loss_att=66.581, acc=0.659, loss=70.391, backward_time=0.267, grad_norm=42.158, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.134, optim0_lr0=1.553e-04, train_time=1.418 -[gpua005:0/64] 2023-12-04 06:17:26,528 (trainer:737) INFO: 7epoch:train:9601-9700batch: iter_time=0.001, forward_time=0.168, loss_ctc=78.363, loss_att=69.179, acc=0.649, loss=71.934, backward_time=0.291, grad_norm=38.195, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.134, optim0_lr0=1.552e-04, train_time=1.457 -[gpua005:0/64] 2023-12-04 06:19:52,489 (trainer:737) INFO: 7epoch:train:9701-9800batch: iter_time=9.191e-05, forward_time=0.157, loss_ctc=88.914, loss_att=84.157, acc=0.618, loss=85.584, backward_time=0.273, grad_norm=44.661, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.134, optim0_lr0=1.551e-04, train_time=1.459 -[gpua005:0/64] 2023-12-04 06:22:57,063 (trainer:737) INFO: 7epoch:train:9801-9900batch: iter_time=9.291e-05, forward_time=0.151, loss_ctc=71.982, loss_att=60.997, acc=0.644, loss=64.292, backward_time=0.370, grad_norm=39.045, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.135, optim0_lr0=1.550e-04, train_time=1.846 -[gpua005:0/64] 2023-12-04 06:25:17,920 (trainer:737) INFO: 7epoch:train:9901-10000batch: iter_time=8.687e-05, forward_time=0.220, loss_ctc=95.918, loss_att=80.536, acc=0.618, loss=85.150, backward_time=0.288, grad_norm=49.655, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.137, optim0_lr0=1.550e-04, train_time=1.408 -[gpua005:0/64] 2023-12-04 06:25:37,963 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua005:0/64] 2023-12-04 06:25:56,746 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 06:26:00,239 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 06:26:00,239 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua005:0/64] 2023-12-04 06:26:00,242 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 06:35:56,830 (trainer:737) INFO: 7epoch:train:10001-10100batch: iter_time=3.094, forward_time=0.148, loss_ctc=103.001, loss_att=84.196, acc=0.618, loss=89.837, backward_time=0.272, grad_norm=59.825, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.134, optim0_lr0=1.549e-04, train_time=6.389 -[gpua005:0/64] 2023-12-04 06:38:14,500 (trainer:737) INFO: 7epoch:train:10101-10200batch: iter_time=8.821e-05, forward_time=0.147, loss_ctc=86.083, loss_att=72.867, acc=0.607, loss=76.832, backward_time=0.284, grad_norm=46.859, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.134, optim0_lr0=1.548e-04, train_time=1.376 -[gpua005:0/64] 2023-12-04 06:40:42,519 (trainer:737) INFO: 7epoch:train:10201-10300batch: iter_time=8.849e-05, forward_time=0.147, loss_ctc=86.134, loss_att=78.034, acc=0.621, loss=80.464, backward_time=0.282, grad_norm=43.513, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.134, optim0_lr0=1.547e-04, train_time=1.480 -[gpua005:0/64] 2023-12-04 06:43:03,925 (trainer:737) INFO: 7epoch:train:10301-10400batch: iter_time=9.477e-05, forward_time=0.146, loss_ctc=81.714, loss_att=72.991, acc=0.615, loss=75.608, backward_time=0.281, grad_norm=42.963, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.134, optim0_lr0=1.546e-04, train_time=1.414 -[gpua005:0/64] 2023-12-04 06:45:28,668 (trainer:737) INFO: 7epoch:train:10401-10500batch: iter_time=9.045e-05, forward_time=0.147, loss_ctc=89.053, loss_att=75.717, acc=0.639, loss=79.718, backward_time=0.281, grad_norm=51.541, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.134, optim0_lr0=1.546e-04, train_time=1.447 -[gpua005:0/64] 2023-12-04 06:48:10,609 (trainer:737) INFO: 7epoch:train:10501-10600batch: iter_time=9.487e-05, forward_time=0.147, loss_ctc=83.865, loss_att=76.042, acc=0.626, loss=78.389, backward_time=0.293, grad_norm=40.746, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.134, optim0_lr0=1.545e-04, train_time=1.619 -[gpua005:0/64] 2023-12-04 06:50:56,446 (trainer:737) INFO: 7epoch:train:10601-10700batch: iter_time=1.020e-04, forward_time=0.159, loss_ctc=94.100, loss_att=79.924, acc=0.621, loss=84.177, backward_time=0.291, grad_norm=48.036, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.133, optim0_lr0=1.544e-04, train_time=1.658 -[gpua005:0/64] 2023-12-04 06:53:44,034 (trainer:737) INFO: 7epoch:train:10701-10800batch: iter_time=9.712e-05, forward_time=0.159, loss_ctc=83.264, loss_att=71.493, acc=0.624, loss=75.024, backward_time=0.314, grad_norm=45.808, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.134, optim0_lr0=1.543e-04, train_time=1.675 -[gpua005:0/64] 2023-12-04 06:56:22,064 (trainer:737) INFO: 7epoch:train:10801-10900batch: iter_time=9.284e-05, forward_time=0.154, loss_ctc=77.394, loss_att=60.604, acc=0.654, loss=65.641, backward_time=0.295, grad_norm=37.271, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.133, optim0_lr0=1.543e-04, train_time=1.580 -[gpua005:0/64] 2023-12-04 06:58:52,390 (trainer:737) INFO: 7epoch:train:10901-11000batch: iter_time=0.002, forward_time=0.213, loss_ctc=83.653, loss_att=79.283, acc=0.622, loss=80.594, backward_time=0.288, grad_norm=42.114, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.137, optim0_lr0=1.542e-04, train_time=1.502 -[gpua005:0/64] 2023-12-04 07:01:25,164 (trainer:737) INFO: 7epoch:train:11001-11100batch: iter_time=9.360e-05, forward_time=0.146, loss_ctc=80.268, loss_att=70.883, acc=0.635, loss=73.698, backward_time=0.299, grad_norm=41.704, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.133, optim0_lr0=1.541e-04, train_time=1.528 -[gpua005:0/64] 2023-12-04 07:03:57,933 (trainer:737) INFO: 7epoch:train:11101-11200batch: iter_time=8.599e-05, forward_time=0.146, loss_ctc=82.914, loss_att=70.614, acc=0.630, loss=74.304, backward_time=0.281, grad_norm=46.347, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.133, optim0_lr0=1.540e-04, train_time=1.527 -[gpua005:0/64] 2023-12-04 07:05:22,159 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua005:0/64] 2023-12-04 07:05:40,397 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 07:05:43,827 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 07:05:43,828 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua005:0/64] 2023-12-04 07:05:43,831 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 07:11:25,398 (trainer:737) INFO: 7epoch:train:11201-11300batch: iter_time=3.090, forward_time=0.148, loss_ctc=103.637, loss_att=82.839, acc=0.626, loss=89.078, backward_time=0.270, grad_norm=53.260, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.134, optim0_lr0=1.540e-04, train_time=4.474 -[gpua005:0/64] 2023-12-04 07:13:29,084 (trainer:737) INFO: 7epoch:train:11301-11400batch: iter_time=9.078e-05, forward_time=0.148, loss_ctc=90.716, loss_att=77.122, acc=0.621, loss=81.200, backward_time=0.265, grad_norm=48.462, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.134, optim0_lr0=1.539e-04, train_time=1.237 -[gpua005:0/64] 2023-12-04 07:15:40,023 (trainer:737) INFO: 7epoch:train:11401-11500batch: iter_time=9.028e-05, forward_time=0.148, loss_ctc=86.721, loss_att=71.130, acc=0.626, loss=75.808, backward_time=0.274, grad_norm=44.463, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.134, optim0_lr0=1.538e-04, train_time=1.309 -[gpua005:0/64] 2023-12-04 07:18:03,469 (trainer:737) INFO: 7epoch:train:11501-11600batch: iter_time=9.042e-05, forward_time=0.157, loss_ctc=75.363, loss_att=70.113, acc=0.646, loss=71.688, backward_time=0.274, grad_norm=39.352, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.134, optim0_lr0=1.537e-04, train_time=1.434 -[gpua005:0/64] 2023-12-04 07:20:50,293 (trainer:737) INFO: 7epoch:train:11601-11700batch: iter_time=9.041e-05, forward_time=0.171, loss_ctc=87.729, loss_att=76.900, acc=0.640, loss=80.149, backward_time=0.303, grad_norm=46.714, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.134, optim0_lr0=1.537e-04, train_time=1.668 -[gpua005:0/64] 2023-12-04 07:23:08,329 (trainer:737) INFO: 7epoch:train:11701-11800batch: iter_time=8.946e-05, forward_time=0.156, loss_ctc=88.713, loss_att=76.445, acc=0.640, loss=80.125, backward_time=0.269, grad_norm=43.886, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.134, optim0_lr0=1.536e-04, train_time=1.380 -[gpua005:0/64] 2023-12-04 07:25:53,090 (trainer:737) INFO: 7epoch:train:11801-11900batch: iter_time=9.348e-05, forward_time=0.161, loss_ctc=89.755, loss_att=80.274, acc=0.632, loss=83.118, backward_time=0.322, grad_norm=47.608, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.135, optim0_lr0=1.535e-04, train_time=1.648 -[gpua005:0/64] 2023-12-04 07:28:29,035 (trainer:737) INFO: 7epoch:train:11901-12000batch: iter_time=9.309e-05, forward_time=0.203, loss_ctc=89.182, loss_att=81.234, acc=0.606, loss=83.619, backward_time=0.305, grad_norm=50.939, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.138, optim0_lr0=1.534e-04, train_time=1.559 -[gpua005:0/64] 2023-12-04 07:31:00,411 (trainer:737) INFO: 7epoch:train:12001-12100batch: iter_time=9.442e-05, forward_time=0.148, loss_ctc=79.062, loss_att=66.482, acc=0.661, loss=70.256, backward_time=0.267, grad_norm=41.855, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.134, optim0_lr0=1.534e-04, train_time=1.514 -[gpua005:0/64] 2023-12-04 07:33:19,033 (trainer:737) INFO: 7epoch:train:12101-12200batch: iter_time=9.342e-05, forward_time=0.149, loss_ctc=77.958, loss_att=69.047, acc=0.653, loss=71.720, backward_time=0.285, grad_norm=39.373, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.134, optim0_lr0=1.533e-04, train_time=1.386 -[gpua005:0/64] 2023-12-04 07:36:12,578 (trainer:737) INFO: 7epoch:train:12201-12300batch: iter_time=9.489e-05, forward_time=0.147, loss_ctc=87.548, loss_att=82.373, acc=0.623, loss=83.926, backward_time=0.348, grad_norm=44.296, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.134, optim0_lr0=1.532e-04, train_time=1.735 -[gpua005:0/64] 2023-12-04 07:38:46,603 (trainer:737) INFO: 7epoch:train:12301-12400batch: iter_time=9.290e-05, forward_time=0.147, loss_ctc=71.313, loss_att=60.701, acc=0.647, loss=63.885, backward_time=0.322, grad_norm=37.443, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.134, optim0_lr0=1.531e-04, train_time=1.540 -[gpua005:0/64] 2023-12-04 07:41:07,232 (trainer:737) INFO: 7epoch:train:12401-12500batch: iter_time=9.152e-05, forward_time=0.147, loss_ctc=94.707, loss_att=79.724, acc=0.623, loss=84.219, backward_time=0.276, grad_norm=49.238, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.134, optim0_lr0=1.531e-04, train_time=1.406 -[gpua005:0/64] 2023-12-04 07:41:27,261 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua005:0/64] 2023-12-04 07:41:45,580 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 07:41:48,967 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 07:41:48,967 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua005:0/64] 2023-12-04 07:41:49,036 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 07:51:15,972 (trainer:737) INFO: 7epoch:train:12501-12600batch: iter_time=2.981, forward_time=0.158, loss_ctc=100.351, loss_att=81.761, acc=0.631, loss=87.338, backward_time=0.267, grad_norm=53.431, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.134, optim0_lr0=1.530e-04, train_time=6.087 -[gpua005:0/64] 2023-12-04 07:53:43,934 (trainer:737) INFO: 7epoch:train:12601-12700batch: iter_time=8.949e-05, forward_time=0.152, loss_ctc=84.896, loss_att=71.696, acc=0.618, loss=75.656, backward_time=0.283, grad_norm=48.203, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.134, optim0_lr0=1.529e-04, train_time=1.479 -[gpua005:0/64] 2023-12-04 07:55:57,053 (trainer:737) INFO: 7epoch:train:12701-12800batch: iter_time=8.879e-05, forward_time=0.201, loss_ctc=85.082, loss_att=76.846, acc=0.638, loss=79.317, backward_time=0.302, grad_norm=43.630, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.143, optim0_lr0=1.528e-04, train_time=1.331 -[gpua005:0/64] 2023-12-04 07:58:40,162 (trainer:737) INFO: 7epoch:train:12801-12900batch: iter_time=9.203e-05, forward_time=0.148, loss_ctc=80.637, loss_att=72.114, acc=0.634, loss=74.671, backward_time=0.368, grad_norm=40.150, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.134, optim0_lr0=1.528e-04, train_time=1.631 -[gpua005:0/64] 2023-12-04 08:01:34,318 (trainer:737) INFO: 7epoch:train:12901-13000batch: iter_time=8.855e-05, forward_time=0.147, loss_ctc=88.470, loss_att=75.561, acc=0.653, loss=79.434, backward_time=0.291, grad_norm=47.759, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.133, optim0_lr0=1.527e-04, train_time=1.741 -[gpua005:0/64] 2023-12-04 08:05:24,945 (trainer:737) INFO: 7epoch:train:13001-13100batch: iter_time=8.916e-05, forward_time=0.146, loss_ctc=83.567, loss_att=75.569, acc=0.640, loss=77.968, backward_time=0.333, grad_norm=39.792, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.133, optim0_lr0=1.526e-04, train_time=2.306 -[gpua005:0/64] 2023-12-04 08:08:46,876 (trainer:737) INFO: 7epoch:train:13101-13200batch: iter_time=8.837e-05, forward_time=0.147, loss_ctc=93.566, loss_att=82.179, acc=0.624, loss=85.595, backward_time=0.400, grad_norm=53.259, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.133, optim0_lr0=1.525e-04, train_time=2.019 -[gpua005:0/64] 2023-12-04 08:11:43,180 (trainer:737) INFO: 7epoch:train:13201-13300batch: iter_time=9.545e-05, forward_time=0.147, loss_ctc=82.174, loss_att=71.681, acc=0.629, loss=74.829, backward_time=0.311, grad_norm=42.325, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.134, optim0_lr0=1.525e-04, train_time=1.763 -[gpua005:0/64] 2023-12-04 08:15:06,449 (trainer:737) INFO: 7epoch:train:13301-13400batch: iter_time=9.410e-05, forward_time=0.148, loss_ctc=76.624, loss_att=60.300, acc=0.664, loss=65.197, backward_time=0.374, grad_norm=38.104, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.134, optim0_lr0=1.524e-04, train_time=2.032 -[gpua005:0/64] 2023-12-04 08:18:16,263 (trainer:737) INFO: 7epoch:train:13401-13500batch: iter_time=9.462e-05, forward_time=0.148, loss_ctc=82.466, loss_att=77.983, acc=0.637, loss=79.328, backward_time=0.395, grad_norm=41.891, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.134, optim0_lr0=1.523e-04, train_time=1.898 -[gpua005:0/64] 2023-12-04 08:21:25,181 (trainer:737) INFO: 7epoch:train:13501-13600batch: iter_time=1.004e-04, forward_time=0.157, loss_ctc=79.426, loss_att=70.632, acc=0.643, loss=73.271, backward_time=0.358, grad_norm=44.755, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.136, optim0_lr0=1.522e-04, train_time=1.889 -[gpua005:0/64] 2023-12-04 08:24:22,010 (trainer:737) INFO: 7epoch:train:13601-13700batch: iter_time=9.506e-05, forward_time=0.147, loss_ctc=81.517, loss_att=71.436, acc=0.634, loss=74.461, backward_time=0.314, grad_norm=54.216, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.134, optim0_lr0=1.522e-04, train_time=1.768 -[gpua005:0/64] 2023-12-04 08:26:04,710 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua005:0/64] 2023-12-04 08:26:23,346 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 08:26:26,813 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 08:26:26,813 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua005:0/64] 2023-12-04 08:26:26,816 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 08:32:12,000 (trainer:737) INFO: 7epoch:train:13701-13800batch: iter_time=3.108, forward_time=0.183, loss_ctc=102.304, loss_att=82.325, acc=0.630, loss=88.319, backward_time=0.283, grad_norm=53.970, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.135, optim0_lr0=1.521e-04, train_time=4.699 -[gpua005:0/64] 2023-12-04 08:34:35,587 (trainer:737) INFO: 7epoch:train:13801-13900batch: iter_time=8.943e-05, forward_time=0.148, loss_ctc=90.824, loss_att=75.942, acc=0.625, loss=80.407, backward_time=0.286, grad_norm=50.596, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.134, optim0_lr0=1.520e-04, train_time=1.437 -[gpua005:0/64] 2023-12-04 08:37:06,591 (trainer:737) INFO: 7epoch:train:13901-14000batch: iter_time=9.037e-05, forward_time=0.148, loss_ctc=84.147, loss_att=69.047, acc=0.632, loss=73.577, backward_time=0.275, grad_norm=44.827, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.133, optim0_lr0=1.519e-04, train_time=1.510 -[gpua005:0/64] 2023-12-04 08:39:18,466 (trainer:737) INFO: 7epoch:train:14001-14100batch: iter_time=9.340e-05, forward_time=0.147, loss_ctc=74.600, loss_att=68.142, acc=0.652, loss=70.079, backward_time=0.290, grad_norm=37.573, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.134, optim0_lr0=1.519e-04, train_time=1.319 -[gpua005:0/64] 2023-12-04 08:41:49,717 (trainer:737) INFO: 7epoch:train:14101-14200batch: iter_time=9.139e-05, forward_time=0.148, loss_ctc=86.785, loss_att=75.374, acc=0.647, loss=78.797, backward_time=0.278, grad_norm=44.757, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.134, optim0_lr0=1.518e-04, train_time=1.512 -[gpua005:0/64] 2023-12-04 08:44:26,716 (trainer:737) INFO: 7epoch:train:14201-14300batch: iter_time=9.501e-05, forward_time=0.148, loss_ctc=88.035, loss_att=74.155, acc=0.650, loss=78.319, backward_time=0.291, grad_norm=43.986, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.134, optim0_lr0=1.517e-04, train_time=1.570 -[gpua005:0/64] 2023-12-04 08:47:27,726 (trainer:737) INFO: 7epoch:train:14301-14400batch: iter_time=8.773e-05, forward_time=0.147, loss_ctc=88.376, loss_att=79.344, acc=0.636, loss=82.053, backward_time=0.360, grad_norm=46.459, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.133, optim0_lr0=1.517e-04, train_time=1.810 -[gpua005:0/64] 2023-12-04 08:49:46,545 (trainer:737) INFO: 7epoch:train:14401-14500batch: iter_time=8.532e-05, forward_time=0.185, loss_ctc=87.879, loss_att=80.435, acc=0.609, loss=82.669, backward_time=0.274, grad_norm=49.227, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.135, optim0_lr0=1.516e-04, train_time=1.388 -[gpua005:0/64] 2023-12-04 08:52:25,624 (trainer:737) INFO: 7epoch:train:14501-14600batch: iter_time=9.054e-05, forward_time=0.148, loss_ctc=78.227, loss_att=65.265, acc=0.669, loss=69.154, backward_time=0.287, grad_norm=41.735, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.134, optim0_lr0=1.515e-04, train_time=1.591 -[gpua005:0/64] 2023-12-04 08:55:23,292 (trainer:737) INFO: 7epoch:train:14601-14700batch: iter_time=8.787e-05, forward_time=0.184, loss_ctc=76.920, loss_att=67.474, acc=0.658, loss=70.308, backward_time=0.304, grad_norm=37.386, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.135, optim0_lr0=1.514e-04, train_time=1.776 -[gpua005:0/64] 2023-12-04 08:57:59,800 (trainer:737) INFO: 7epoch:train:14701-14800batch: iter_time=9.009e-05, forward_time=0.179, loss_ctc=87.207, loss_att=81.278, acc=0.631, loss=83.057, backward_time=0.312, grad_norm=44.027, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.137, optim0_lr0=1.514e-04, train_time=1.565 -[gpua005:0/64] 2023-12-04 09:00:14,494 (trainer:737) INFO: 7epoch:train:14801-14900batch: iter_time=9.977e-05, forward_time=0.149, loss_ctc=70.737, loss_att=60.125, acc=0.651, loss=63.309, backward_time=0.274, grad_norm=39.808, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.134, optim0_lr0=1.513e-04, train_time=1.347 -[gpua005:0/64] 2023-12-04 09:02:45,429 (trainer:737) INFO: 7epoch:train:14901-15000batch: iter_time=9.605e-05, forward_time=0.149, loss_ctc=93.835, loss_att=79.321, acc=0.626, loss=83.676, backward_time=0.306, grad_norm=50.102, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.134, optim0_lr0=1.512e-04, train_time=1.509 -[gpua005:0/64] 2023-12-04 09:29:39,588 (trainer:343) INFO: 7epoch results: [train] iter_time=0.227, forward_time=0.155, loss_ctc=87.950, loss_att=76.311, acc=0.622, loss=79.803, backward_time=0.296, grad_norm=45.987, clip=100.000, loss_scale=5.872e+19, optim_step_time=0.134, optim0_lr0=1.570e-04, train_time=1.875, time=7 hours, 49 minutes and 18.12 seconds, total_count=105000, gpu_max_cached_mem_GB=35.223, [valid] loss_ctc=61.810, cer_ctc=0.311, loss_att=52.875, acc=0.576, cer=0.412, wer=1.000, loss=55.555, time=26 minutes and 29 seconds, total_count=32697, gpu_max_cached_mem_GB=35.223 -[gpua005:0/64] 2023-12-04 09:30:00,364 (trainer:391) INFO: The best model has been updated: valid.acc, valid.total_count -[gpua005:0/64] 2023-12-04 09:30:00,368 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/2epoch.pth -[gpua005:0/64] 2023-12-04 09:30:00,368 (trainer:272) INFO: 8/40epoch started. Estimated time to finish: 2 weeks, 2 hours and 51 minutes -[gpua005:0/64] 2023-12-04 09:30:01,190 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua005:0/64] 2023-12-04 09:30:18,689 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 09:30:22,243 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 09:30:22,243 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua005:0/64] 2023-12-04 09:30:22,247 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 09:39:18,663 (trainer:737) INFO: 8epoch:train:1-100batch: iter_time=2.782, forward_time=0.183, loss_ctc=88.253, loss_att=74.010, acc=0.612, loss=78.283, backward_time=0.275, grad_norm=49.351, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.134, optim0_lr0=1.511e-04, train_time=5.580 -[gpua005:0/64] 2023-12-04 09:41:40,543 (trainer:737) INFO: 8epoch:train:101-200batch: iter_time=8.722e-05, forward_time=0.147, loss_ctc=82.052, loss_att=73.382, acc=0.635, loss=75.983, backward_time=0.325, grad_norm=38.887, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.134, optim0_lr0=1.511e-04, train_time=1.419 -[gpua005:0/64] 2023-12-04 09:43:47,771 (trainer:737) INFO: 8epoch:train:201-300batch: iter_time=8.781e-05, forward_time=0.147, loss_ctc=89.932, loss_att=79.296, acc=0.626, loss=82.487, backward_time=0.265, grad_norm=48.876, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.134, optim0_lr0=1.510e-04, train_time=1.272 -[gpua005:0/64] 2023-12-04 09:46:28,359 (trainer:737) INFO: 8epoch:train:301-400batch: iter_time=8.972e-05, forward_time=0.147, loss_ctc=84.079, loss_att=71.760, acc=0.636, loss=75.456, backward_time=0.280, grad_norm=45.787, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.134, optim0_lr0=1.509e-04, train_time=1.606 -[gpua005:0/64] 2023-12-04 09:48:49,454 (trainer:737) INFO: 8epoch:train:401-500batch: iter_time=9.063e-05, forward_time=0.147, loss_ctc=78.579, loss_att=68.560, acc=0.619, loss=71.565, backward_time=0.276, grad_norm=42.487, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.134, optim0_lr0=1.509e-04, train_time=1.411 -[gpua005:0/64] 2023-12-04 09:51:29,102 (trainer:737) INFO: 8epoch:train:501-600batch: iter_time=8.971e-05, forward_time=0.147, loss_ctc=83.291, loss_att=67.027, acc=0.632, loss=71.906, backward_time=0.286, grad_norm=45.030, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.134, optim0_lr0=1.508e-04, train_time=1.596 -[gpua005:0/64] 2023-12-04 09:54:22,396 (trainer:737) INFO: 8epoch:train:601-700batch: iter_time=1.008e-04, forward_time=0.147, loss_ctc=89.437, loss_att=82.873, acc=0.609, loss=84.842, backward_time=0.305, grad_norm=49.210, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.134, optim0_lr0=1.507e-04, train_time=1.733 -[gpua005:0/64] 2023-12-04 09:56:40,178 (trainer:737) INFO: 8epoch:train:701-800batch: iter_time=9.300e-05, forward_time=0.151, loss_ctc=96.542, loss_att=80.053, acc=0.607, loss=85.000, backward_time=0.281, grad_norm=54.504, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.134, optim0_lr0=1.506e-04, train_time=1.378 -[gpua005:0/64] 2023-12-04 09:59:20,158 (trainer:737) INFO: 8epoch:train:801-900batch: iter_time=9.081e-05, forward_time=0.148, loss_ctc=89.737, loss_att=81.434, acc=0.634, loss=83.925, backward_time=0.297, grad_norm=46.299, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.134, optim0_lr0=1.506e-04, train_time=1.600 -[gpua005:0/64] 2023-12-04 10:01:40,506 (trainer:737) INFO: 8epoch:train:901-1000batch: iter_time=8.397e-05, forward_time=0.157, loss_ctc=93.690, loss_att=80.107, acc=0.611, loss=84.182, backward_time=0.282, grad_norm=53.003, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.134, optim0_lr0=1.505e-04, train_time=1.403 -[gpua005:0/64] 2023-12-04 10:04:33,630 (trainer:737) INFO: 8epoch:train:1001-1100batch: iter_time=9.764e-05, forward_time=0.146, loss_ctc=85.913, loss_att=68.559, acc=0.639, loss=73.765, backward_time=0.317, grad_norm=44.730, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.134, optim0_lr0=1.504e-04, train_time=1.731 -[gpua005:0/64] 2023-12-04 10:07:10,429 (trainer:737) INFO: 8epoch:train:1101-1200batch: iter_time=8.961e-05, forward_time=0.148, loss_ctc=95.779, loss_att=74.870, acc=0.621, loss=81.142, backward_time=0.319, grad_norm=51.931, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.134, optim0_lr0=1.504e-04, train_time=1.568 -[gpua005:0/64] 2023-12-04 10:08:44,792 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua005:0/64] 2023-12-04 10:09:04,557 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 10:09:07,966 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 10:09:07,966 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua005:0/64] 2023-12-04 10:09:07,985 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 10:18:20,105 (trainer:737) INFO: 8epoch:train:1201-1300batch: iter_time=2.159, forward_time=0.194, loss_ctc=93.124, loss_att=72.750, acc=0.640, loss=78.862, backward_time=0.303, grad_norm=48.008, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.136, optim0_lr0=1.503e-04, train_time=6.697 -[gpua005:0/64] 2023-12-04 10:23:47,577 (trainer:737) INFO: 8epoch:train:1301-1400batch: iter_time=9.527e-05, forward_time=0.147, loss_ctc=91.590, loss_att=80.080, acc=0.624, loss=83.533, backward_time=0.599, grad_norm=44.210, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.134, optim0_lr0=1.502e-04, train_time=3.275 -[gpua005:0/64] 2023-12-04 10:31:24,825 (trainer:737) INFO: 8epoch:train:1401-1500batch: iter_time=8.929e-05, forward_time=0.151, loss_ctc=79.724, loss_att=66.487, acc=0.631, loss=70.458, backward_time=0.596, grad_norm=43.868, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.135, optim0_lr0=1.502e-04, train_time=4.572 -[gpua005:0/64] 2023-12-04 10:39:41,663 (trainer:737) INFO: 8epoch:train:1501-1600batch: iter_time=9.308e-05, forward_time=0.152, loss_ctc=80.764, loss_att=72.544, acc=0.646, loss=75.010, backward_time=0.968, grad_norm=39.513, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.135, optim0_lr0=1.501e-04, train_time=4.968 -[gpua005:0/64] 2023-12-04 10:49:12,951 (trainer:737) INFO: 8epoch:train:1601-1700batch: iter_time=9.515e-05, forward_time=0.153, loss_ctc=87.121, loss_att=71.960, acc=0.633, loss=76.508, backward_time=1.061, grad_norm=43.702, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.135, optim0_lr0=1.500e-04, train_time=5.713 -[gpua005:0/64] 2023-12-04 10:57:27,847 (trainer:737) INFO: 8epoch:train:1701-1800batch: iter_time=9.611e-05, forward_time=0.151, loss_ctc=70.888, loss_att=61.548, acc=0.623, loss=64.350, backward_time=0.760, grad_norm=41.017, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.134, optim0_lr0=1.499e-04, train_time=4.949 -[gpua005:0/64] 2023-12-04 11:03:35,110 (trainer:737) INFO: 8epoch:train:1801-1900batch: iter_time=9.529e-05, forward_time=0.180, loss_ctc=87.119, loss_att=74.701, acc=0.650, loss=78.427, backward_time=0.628, grad_norm=46.327, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.134, optim0_lr0=1.499e-04, train_time=3.672 -[gpua005:0/64] 2023-12-04 11:11:12,083 (trainer:737) INFO: 8epoch:train:1901-2000batch: iter_time=9.916e-05, forward_time=0.164, loss_ctc=95.411, loss_att=85.004, acc=0.589, loss=88.126, backward_time=0.722, grad_norm=57.502, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.135, optim0_lr0=1.498e-04, train_time=4.570 -[gpua005:0/64] 2023-12-04 11:19:36,479 (trainer:737) INFO: 8epoch:train:2001-2100batch: iter_time=3.680e-04, forward_time=0.180, loss_ctc=89.102, loss_att=70.996, acc=0.635, loss=76.428, backward_time=0.761, grad_norm=49.089, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.138, optim0_lr0=1.497e-04, train_time=5.044 -[gpua005:0/64] 2023-12-04 11:26:49,232 (trainer:737) INFO: 8epoch:train:2101-2200batch: iter_time=9.710e-05, forward_time=0.148, loss_ctc=94.245, loss_att=82.507, acc=0.643, loss=86.028, backward_time=0.675, grad_norm=47.080, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.134, optim0_lr0=1.497e-04, train_time=4.328 -[gpua005:0/64] 2023-12-04 11:33:17,754 (trainer:737) INFO: 8epoch:train:2201-2300batch: iter_time=9.374e-05, forward_time=0.148, loss_ctc=86.084, loss_att=71.535, acc=0.613, loss=75.900, backward_time=0.576, grad_norm=46.179, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.134, optim0_lr0=1.496e-04, train_time=3.885 -[gpua005:0/64] 2023-12-04 11:39:08,591 (trainer:737) INFO: 8epoch:train:2301-2400batch: iter_time=9.364e-05, forward_time=0.149, loss_ctc=81.469, loss_att=67.067, acc=0.652, loss=71.388, backward_time=0.593, grad_norm=38.793, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.134, optim0_lr0=1.495e-04, train_time=3.508 -[gpua005:0/64] 2023-12-04 11:43:22,925 (trainer:737) INFO: 8epoch:train:2401-2500batch: iter_time=9.201e-05, forward_time=0.154, loss_ctc=106.230, loss_att=77.205, acc=0.636, loss=85.913, backward_time=0.460, grad_norm=54.478, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.134, optim0_lr0=1.495e-04, train_time=2.543 -[gpua005:0/64] 2023-12-04 11:43:42,567 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua005:0/64] 2023-12-04 11:44:00,537 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 11:44:03,873 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 11:44:03,873 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua005:0/64] 2023-12-04 11:44:03,913 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 11:52:51,905 (trainer:737) INFO: 8epoch:train:2501-2600batch: iter_time=2.575, forward_time=0.159, loss_ctc=85.014, loss_att=71.651, acc=0.635, loss=75.660, backward_time=0.274, grad_norm=46.403, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.134, optim0_lr0=1.494e-04, train_time=5.690 -[gpua005:0/64] 2023-12-04 11:55:25,924 (trainer:737) INFO: 8epoch:train:2601-2700batch: iter_time=9.159e-05, forward_time=0.187, loss_ctc=80.425, loss_att=72.647, acc=0.644, loss=74.980, backward_time=0.287, grad_norm=39.647, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.145, optim0_lr0=1.493e-04, train_time=1.540 -[gpua005:0/64] 2023-12-04 11:57:41,239 (trainer:737) INFO: 8epoch:train:2701-2800batch: iter_time=9.540e-05, forward_time=0.147, loss_ctc=87.698, loss_att=77.625, acc=0.645, loss=80.647, backward_time=0.270, grad_norm=48.029, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.134, optim0_lr0=1.492e-04, train_time=1.353 -[gpua005:0/64] 2023-12-04 12:00:23,004 (trainer:737) INFO: 8epoch:train:2801-2900batch: iter_time=9.348e-05, forward_time=0.165, loss_ctc=81.393, loss_att=69.579, acc=0.652, loss=73.123, backward_time=0.296, grad_norm=42.766, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.134, optim0_lr0=1.492e-04, train_time=1.617 -[gpua005:0/64] 2023-12-04 12:02:57,676 (trainer:737) INFO: 8epoch:train:2901-3000batch: iter_time=9.387e-05, forward_time=0.216, loss_ctc=76.600, loss_att=66.001, acc=0.637, loss=69.181, backward_time=0.301, grad_norm=40.568, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.137, optim0_lr0=1.491e-04, train_time=1.546 -[gpua005:0/64] 2023-12-04 12:06:00,010 (trainer:737) INFO: 8epoch:train:3001-3100batch: iter_time=1.031e-04, forward_time=0.147, loss_ctc=82.361, loss_att=66.291, acc=0.646, loss=71.112, backward_time=0.306, grad_norm=43.978, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.134, optim0_lr0=1.490e-04, train_time=1.823 -[gpua005:0/64] 2023-12-04 12:08:33,143 (trainer:737) INFO: 8epoch:train:3101-3200batch: iter_time=9.812e-05, forward_time=0.153, loss_ctc=87.962, loss_att=80.041, acc=0.633, loss=82.418, backward_time=0.304, grad_norm=48.291, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.134, optim0_lr0=1.490e-04, train_time=1.531 -[gpua005:0/64] 2023-12-04 12:11:11,919 (trainer:737) INFO: 8epoch:train:3201-3300batch: iter_time=1.023e-04, forward_time=0.148, loss_ctc=92.762, loss_att=78.440, acc=0.619, loss=82.737, backward_time=0.283, grad_norm=50.443, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.134, optim0_lr0=1.489e-04, train_time=1.588 -[gpua005:0/64] 2023-12-04 12:14:04,152 (trainer:737) INFO: 8epoch:train:3301-3400batch: iter_time=1.045e-04, forward_time=0.167, loss_ctc=87.831, loss_att=82.173, acc=0.645, loss=83.870, backward_time=0.342, grad_norm=42.487, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.134, optim0_lr0=1.488e-04, train_time=1.722 -[gpua005:0/64] 2023-12-04 12:16:58,924 (trainer:737) INFO: 8epoch:train:3401-3500batch: iter_time=1.018e-04, forward_time=0.153, loss_ctc=91.821, loss_att=78.604, acc=0.630, loss=82.569, backward_time=0.290, grad_norm=49.395, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.134, optim0_lr0=1.488e-04, train_time=1.747 -[gpua005:0/64] 2023-12-04 12:19:30,254 (trainer:737) INFO: 8epoch:train:3501-3600batch: iter_time=1.054e-04, forward_time=0.176, loss_ctc=84.291, loss_att=67.760, acc=0.651, loss=72.720, backward_time=0.290, grad_norm=44.389, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.136, optim0_lr0=1.487e-04, train_time=1.513 -[gpua005:0/64] 2023-12-04 12:22:03,483 (trainer:737) INFO: 8epoch:train:3601-3700batch: iter_time=1.066e-04, forward_time=0.148, loss_ctc=91.688, loss_att=73.768, acc=0.628, loss=79.144, backward_time=0.287, grad_norm=52.391, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.134, optim0_lr0=1.486e-04, train_time=1.532 -[gpua005:0/64] 2023-12-04 12:23:32,435 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua005:0/64] 2023-12-04 12:23:50,599 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 12:23:54,033 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 12:23:54,034 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua005:0/64] 2023-12-04 12:23:54,085 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 12:29:15,594 (trainer:737) INFO: 8epoch:train:3701-3800batch: iter_time=2.885, forward_time=0.176, loss_ctc=91.378, loss_att=71.620, acc=0.654, loss=77.547, backward_time=0.272, grad_norm=44.494, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.135, optim0_lr0=1.486e-04, train_time=4.321 -[gpua005:0/64] 2023-12-04 12:31:34,161 (trainer:737) INFO: 8epoch:train:3801-3900batch: iter_time=8.655e-05, forward_time=0.147, loss_ctc=90.052, loss_att=79.322, acc=0.638, loss=82.541, backward_time=0.277, grad_norm=45.290, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.134, optim0_lr0=1.485e-04, train_time=1.386 -[gpua005:0/64] 2023-12-04 12:34:20,330 (trainer:737) INFO: 8epoch:train:3901-4000batch: iter_time=8.584e-05, forward_time=0.147, loss_ctc=77.778, loss_att=66.184, acc=0.645, loss=69.662, backward_time=0.278, grad_norm=41.251, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.134, optim0_lr0=1.484e-04, train_time=1.661 -[gpua005:0/64] 2023-12-04 12:36:28,297 (trainer:737) INFO: 8epoch:train:4001-4100batch: iter_time=8.781e-05, forward_time=0.148, loss_ctc=79.170, loss_att=70.790, acc=0.656, loss=73.304, backward_time=0.271, grad_norm=38.360, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.134, optim0_lr0=1.484e-04, train_time=1.279 -[gpua005:0/64] 2023-12-04 12:39:03,723 (trainer:737) INFO: 8epoch:train:4101-4200batch: iter_time=8.678e-05, forward_time=0.153, loss_ctc=86.407, loss_att=71.679, acc=0.647, loss=76.097, backward_time=0.295, grad_norm=42.229, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.134, optim0_lr0=1.483e-04, train_time=1.554 -[gpua005:0/64] 2023-12-04 12:41:43,392 (trainer:737) INFO: 8epoch:train:4201-4300batch: iter_time=8.640e-05, forward_time=0.147, loss_ctc=69.821, loss_att=61.435, acc=0.632, loss=63.950, backward_time=0.343, grad_norm=41.606, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.134, optim0_lr0=1.482e-04, train_time=1.596 -[gpua005:0/64] 2023-12-04 12:45:01,983 (trainer:737) INFO: 8epoch:train:4301-4400batch: iter_time=9.537e-05, forward_time=0.155, loss_ctc=86.617, loss_att=74.675, acc=0.657, loss=78.257, backward_time=0.313, grad_norm=42.692, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.134, optim0_lr0=1.481e-04, train_time=1.986 -[gpua005:0/64] 2023-12-04 12:47:35,007 (trainer:737) INFO: 8epoch:train:4401-4500batch: iter_time=9.182e-05, forward_time=0.181, loss_ctc=93.316, loss_att=82.375, acc=0.612, loss=85.657, backward_time=0.289, grad_norm=58.141, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.139, optim0_lr0=1.481e-04, train_time=1.530 -[gpua005:0/64] 2023-12-04 12:49:54,876 (trainer:737) INFO: 8epoch:train:4501-4600batch: iter_time=9.780e-05, forward_time=0.148, loss_ctc=86.514, loss_att=71.332, acc=0.642, loss=75.886, backward_time=0.277, grad_norm=45.463, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.135, optim0_lr0=1.480e-04, train_time=1.398 -[gpua005:0/64] 2023-12-04 12:52:20,752 (trainer:737) INFO: 8epoch:train:4601-4700batch: iter_time=9.296e-05, forward_time=0.168, loss_ctc=92.033, loss_att=81.423, acc=0.657, loss=84.606, backward_time=0.314, grad_norm=46.287, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.136, optim0_lr0=1.479e-04, train_time=1.459 -[gpua005:0/64] 2023-12-04 12:54:41,586 (trainer:737) INFO: 8epoch:train:4701-4800batch: iter_time=9.289e-05, forward_time=0.147, loss_ctc=83.717, loss_att=71.492, acc=0.625, loss=75.159, backward_time=0.289, grad_norm=44.872, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.133, optim0_lr0=1.479e-04, train_time=1.408 -[gpua005:0/64] 2023-12-04 12:56:57,554 (trainer:737) INFO: 8epoch:train:4801-4900batch: iter_time=8.781e-05, forward_time=0.147, loss_ctc=80.411, loss_att=66.092, acc=0.662, loss=70.388, backward_time=0.270, grad_norm=39.541, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.133, optim0_lr0=1.478e-04, train_time=1.359 -[gpua005:0/64] 2023-12-04 12:59:48,580 (trainer:737) INFO: 8epoch:train:4901-5000batch: iter_time=9.071e-05, forward_time=0.147, loss_ctc=102.722, loss_att=76.310, acc=0.638, loss=84.233, backward_time=0.300, grad_norm=56.609, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.134, optim0_lr0=1.477e-04, train_time=1.710 -[gpua005:0/64] 2023-12-04 13:00:07,203 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua005:0/64] 2023-12-04 13:00:25,568 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 13:00:28,973 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 13:00:28,973 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua005:0/64] 2023-12-04 13:00:28,988 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 13:09:40,409 (trainer:737) INFO: 8epoch:train:5001-5100batch: iter_time=4.652, forward_time=0.170, loss_ctc=84.761, loss_att=70.395, acc=0.632, loss=74.705, backward_time=0.268, grad_norm=45.523, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.134, optim0_lr0=1.477e-04, train_time=5.918 -[gpua005:0/64] 2023-12-04 13:11:49,290 (trainer:737) INFO: 8epoch:train:5101-5200batch: iter_time=8.967e-05, forward_time=0.147, loss_ctc=79.131, loss_att=70.233, acc=0.649, loss=72.902, backward_time=0.269, grad_norm=38.826, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.134, optim0_lr0=1.476e-04, train_time=1.288 -[gpua005:0/64] 2023-12-04 13:14:25,452 (trainer:737) INFO: 8epoch:train:5201-5300batch: iter_time=9.606e-05, forward_time=0.223, loss_ctc=86.943, loss_att=76.427, acc=0.642, loss=79.582, backward_time=0.305, grad_norm=46.351, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.142, optim0_lr0=1.475e-04, train_time=1.561 -[gpua005:0/64] 2023-12-04 13:16:36,810 (trainer:737) INFO: 8epoch:train:5301-5400batch: iter_time=9.834e-05, forward_time=0.147, loss_ctc=79.881, loss_att=68.367, acc=0.652, loss=71.821, backward_time=0.268, grad_norm=38.728, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.134, optim0_lr0=1.475e-04, train_time=1.314 -[gpua005:0/64] 2023-12-04 13:18:55,582 (trainer:737) INFO: 8epoch:train:5401-5500batch: iter_time=1.038e-04, forward_time=0.149, loss_ctc=75.148, loss_att=65.398, acc=0.635, loss=68.323, backward_time=0.278, grad_norm=38.581, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.135, optim0_lr0=1.474e-04, train_time=1.388 -[gpua005:0/64] 2023-12-04 13:21:44,180 (trainer:737) INFO: 8epoch:train:5501-5600batch: iter_time=9.150e-05, forward_time=0.215, loss_ctc=80.196, loss_att=63.717, acc=0.648, loss=68.661, backward_time=0.362, grad_norm=42.520, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.142, optim0_lr0=1.473e-04, train_time=1.685 -[gpua005:0/64] 2023-12-04 13:24:15,364 (trainer:737) INFO: 8epoch:train:5601-5700batch: iter_time=9.324e-05, forward_time=0.155, loss_ctc=86.714, loss_att=78.046, acc=0.628, loss=80.646, backward_time=0.296, grad_norm=48.963, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.134, optim0_lr0=1.473e-04, train_time=1.512 -[gpua005:0/64] 2023-12-04 13:26:32,733 (trainer:737) INFO: 8epoch:train:5701-5800batch: iter_time=9.325e-05, forward_time=0.148, loss_ctc=91.467, loss_att=76.500, acc=0.623, loss=80.990, backward_time=0.272, grad_norm=60.827, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.134, optim0_lr0=1.472e-04, train_time=1.374 -[gpua005:0/64] 2023-12-04 13:29:19,417 (trainer:737) INFO: 8epoch:train:5801-5900batch: iter_time=8.977e-05, forward_time=0.153, loss_ctc=86.047, loss_att=78.061, acc=0.648, loss=80.457, backward_time=0.311, grad_norm=44.863, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.134, optim0_lr0=1.471e-04, train_time=1.667 -[gpua005:0/64] 2023-12-04 13:31:54,771 (trainer:737) INFO: 8epoch:train:5901-6000batch: iter_time=9.396e-05, forward_time=0.246, loss_ctc=90.473, loss_att=76.960, acc=0.625, loss=81.014, backward_time=0.327, grad_norm=46.467, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.139, optim0_lr0=1.471e-04, train_time=1.553 -[gpua005:0/64] 2023-12-04 13:34:09,641 (trainer:737) INFO: 8epoch:train:6001-6100batch: iter_time=8.864e-05, forward_time=0.148, loss_ctc=82.859, loss_att=66.190, acc=0.654, loss=71.191, backward_time=0.269, grad_norm=43.450, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.134, optim0_lr0=1.470e-04, train_time=1.349 -[gpua005:0/64] 2023-12-04 13:36:30,028 (trainer:737) INFO: 8epoch:train:6101-6200batch: iter_time=9.301e-05, forward_time=0.154, loss_ctc=91.055, loss_att=71.468, acc=0.636, loss=77.344, backward_time=0.274, grad_norm=48.306, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.135, optim0_lr0=1.469e-04, train_time=1.404 -[gpua005:0/64] 2023-12-04 13:38:05,224 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua005:0/64] 2023-12-04 13:38:23,755 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 13:38:27,178 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 13:38:27,178 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua005:0/64] 2023-12-04 13:38:27,183 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 13:46:39,482 (trainer:737) INFO: 8epoch:train:6201-6300batch: iter_time=2.778, forward_time=0.148, loss_ctc=90.926, loss_att=70.572, acc=0.654, loss=76.679, backward_time=0.285, grad_norm=45.058, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.135, optim0_lr0=1.469e-04, train_time=6.094 -[gpua005:0/64] 2023-12-04 13:48:41,712 (trainer:737) INFO: 8epoch:train:6301-6400batch: iter_time=8.983e-05, forward_time=0.146, loss_ctc=88.782, loss_att=77.679, acc=0.636, loss=81.010, backward_time=0.265, grad_norm=41.721, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.134, optim0_lr0=1.468e-04, train_time=1.222 -[gpua005:0/64] 2023-12-04 13:50:59,774 (trainer:737) INFO: 8epoch:train:6401-6500batch: iter_time=8.410e-05, forward_time=0.259, loss_ctc=78.379, loss_att=64.277, acc=0.645, loss=68.507, backward_time=0.297, grad_norm=44.639, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.137, optim0_lr0=1.467e-04, train_time=1.380 -[gpua005:0/64] 2023-12-04 13:53:15,129 (trainer:737) INFO: 8epoch:train:6501-6600batch: iter_time=9.013e-05, forward_time=0.147, loss_ctc=79.084, loss_att=70.704, acc=0.656, loss=73.218, backward_time=0.290, grad_norm=38.163, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.133, optim0_lr0=1.467e-04, train_time=1.353 -[gpua005:0/64] 2023-12-04 13:55:54,880 (trainer:737) INFO: 8epoch:train:6601-6700batch: iter_time=9.400e-05, forward_time=0.147, loss_ctc=85.166, loss_att=70.257, acc=0.645, loss=74.730, backward_time=0.293, grad_norm=44.327, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.133, optim0_lr0=1.466e-04, train_time=1.598 -[gpua005:0/64] 2023-12-04 13:58:29,394 (trainer:737) INFO: 8epoch:train:6701-6800batch: iter_time=9.183e-05, forward_time=0.147, loss_ctc=68.900, loss_att=59.706, acc=0.634, loss=62.464, backward_time=0.284, grad_norm=41.133, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.133, optim0_lr0=1.465e-04, train_time=1.545 -[gpua005:0/64] 2023-12-04 14:01:13,186 (trainer:737) INFO: 8epoch:train:6801-6900batch: iter_time=5.860e-04, forward_time=0.148, loss_ctc=84.884, loss_att=72.469, acc=0.660, loss=76.194, backward_time=0.319, grad_norm=43.154, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.133, optim0_lr0=1.465e-04, train_time=1.637 -[gpua005:0/64] 2023-12-04 14:03:24,456 (trainer:737) INFO: 8epoch:train:6901-7000batch: iter_time=9.119e-05, forward_time=0.148, loss_ctc=92.027, loss_att=81.828, acc=0.602, loss=84.888, backward_time=0.289, grad_norm=56.798, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.134, optim0_lr0=1.464e-04, train_time=1.313 -[gpua005:0/64] 2023-12-04 14:05:54,626 (trainer:737) INFO: 8epoch:train:7001-7100batch: iter_time=9.235e-05, forward_time=0.146, loss_ctc=85.754, loss_att=68.614, acc=0.647, loss=73.756, backward_time=0.280, grad_norm=44.750, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.133, optim0_lr0=1.464e-04, train_time=1.501 -[gpua005:0/64] 2023-12-04 14:08:33,586 (trainer:737) INFO: 8epoch:train:7101-7200batch: iter_time=8.785e-05, forward_time=0.147, loss_ctc=91.472, loss_att=80.077, acc=0.654, loss=83.496, backward_time=0.294, grad_norm=45.711, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.133, optim0_lr0=1.463e-04, train_time=1.589 -[gpua005:0/64] 2023-12-04 14:11:07,890 (trainer:737) INFO: 8epoch:train:7201-7300batch: iter_time=8.815e-05, forward_time=0.200, loss_ctc=83.809, loss_att=69.041, acc=0.624, loss=73.471, backward_time=0.316, grad_norm=48.299, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.137, optim0_lr0=1.462e-04, train_time=1.543 -[gpua005:0/64] 2023-12-04 14:13:24,571 (trainer:737) INFO: 8epoch:train:7301-7400batch: iter_time=9.282e-05, forward_time=0.187, loss_ctc=80.170, loss_att=64.953, acc=0.663, loss=69.518, backward_time=0.284, grad_norm=41.488, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.136, optim0_lr0=1.462e-04, train_time=1.367 -[gpua005:0/64] 2023-12-04 14:16:20,773 (trainer:737) INFO: 8epoch:train:7401-7500batch: iter_time=8.738e-05, forward_time=0.147, loss_ctc=99.923, loss_att=74.341, acc=0.647, loss=82.016, backward_time=0.291, grad_norm=51.136, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.134, optim0_lr0=1.461e-04, train_time=1.761 -[gpua005:0/64] 2023-12-04 14:16:38,561 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua005:0/64] 2023-12-04 14:16:56,941 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 14:17:00,327 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 14:17:00,327 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua005:0/64] 2023-12-04 14:17:00,333 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 14:26:33,185 (trainer:737) INFO: 8epoch:train:7501-7600batch: iter_time=2.685, forward_time=0.146, loss_ctc=83.385, loss_att=67.138, acc=0.639, loss=72.012, backward_time=0.287, grad_norm=46.840, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.134, optim0_lr0=1.460e-04, train_time=6.124 -[gpua005:0/64] 2023-12-04 14:29:07,057 (trainer:737) INFO: 8epoch:train:7601-7700batch: iter_time=8.902e-05, forward_time=0.147, loss_ctc=78.466, loss_att=68.813, acc=0.653, loss=71.709, backward_time=0.305, grad_norm=40.757, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.134, optim0_lr0=1.460e-04, train_time=1.538 -[gpua005:0/64] 2023-12-04 14:32:04,533 (trainer:737) INFO: 8epoch:train:7701-7800batch: iter_time=8.845e-05, forward_time=0.147, loss_ctc=85.330, loss_att=73.530, acc=0.651, loss=77.070, backward_time=0.285, grad_norm=45.774, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.134, optim0_lr0=1.459e-04, train_time=1.774 -[gpua005:0/64] 2023-12-04 14:34:53,173 (trainer:737) INFO: 8epoch:train:7801-7900batch: iter_time=9.134e-05, forward_time=0.152, loss_ctc=79.412, loss_att=67.410, acc=0.657, loss=71.011, backward_time=0.285, grad_norm=38.759, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.134, optim0_lr0=1.458e-04, train_time=1.687 -[gpua005:0/64] 2023-12-04 14:37:38,284 (trainer:737) INFO: 8epoch:train:7901-8000batch: iter_time=9.250e-05, forward_time=0.147, loss_ctc=75.258, loss_att=64.716, acc=0.638, loss=67.879, backward_time=0.299, grad_norm=39.518, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.134, optim0_lr0=1.458e-04, train_time=1.651 -[gpua005:0/64] 2023-12-04 14:40:52,713 (trainer:737) INFO: 8epoch:train:8001-8100batch: iter_time=9.272e-05, forward_time=0.147, loss_ctc=79.835, loss_att=62.771, acc=0.650, loss=67.890, backward_time=0.370, grad_norm=42.459, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.134, optim0_lr0=1.457e-04, train_time=1.944 -[gpua005:0/64] 2023-12-04 14:43:22,870 (trainer:737) INFO: 8epoch:train:8101-8200batch: iter_time=9.019e-05, forward_time=0.147, loss_ctc=86.615, loss_att=77.503, acc=0.630, loss=80.236, backward_time=0.276, grad_norm=52.260, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.134, optim0_lr0=1.456e-04, train_time=1.501 -[gpua005:0/64] 2023-12-04 14:46:18,005 (trainer:737) INFO: 8epoch:train:8201-8300batch: iter_time=9.026e-05, forward_time=0.164, loss_ctc=89.185, loss_att=75.279, acc=0.629, loss=79.451, backward_time=0.334, grad_norm=51.254, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.135, optim0_lr0=1.456e-04, train_time=1.751 -[gpua005:0/64] 2023-12-04 14:49:08,577 (trainer:737) INFO: 8epoch:train:8301-8400batch: iter_time=9.200e-05, forward_time=0.204, loss_ctc=85.603, loss_att=77.163, acc=0.654, loss=79.695, backward_time=0.301, grad_norm=43.071, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.136, optim0_lr0=1.455e-04, train_time=1.705 -[gpua005:0/64] 2023-12-04 14:51:43,450 (trainer:737) INFO: 8epoch:train:8401-8500batch: iter_time=8.471e-05, forward_time=0.148, loss_ctc=88.814, loss_att=74.989, acc=0.633, loss=79.136, backward_time=0.280, grad_norm=47.405, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.134, optim0_lr0=1.454e-04, train_time=1.548 -[gpua005:0/64] 2023-12-04 14:54:59,698 (trainer:737) INFO: 8epoch:train:8501-8600batch: iter_time=9.260e-05, forward_time=0.147, loss_ctc=82.416, loss_att=64.786, acc=0.660, loss=70.075, backward_time=0.345, grad_norm=44.091, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.134, optim0_lr0=1.454e-04, train_time=1.963 -[gpua005:0/64] 2023-12-04 14:57:55,070 (trainer:737) INFO: 8epoch:train:8601-8700batch: iter_time=9.126e-05, forward_time=0.148, loss_ctc=89.411, loss_att=69.528, acc=0.642, loss=75.493, backward_time=0.354, grad_norm=49.121, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.134, optim0_lr0=1.453e-04, train_time=1.754 -[gpua005:0/64] 2023-12-04 14:59:28,483 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua005:0/64] 2023-12-04 14:59:46,788 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 14:59:50,278 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 14:59:50,278 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua005:0/64] 2023-12-04 14:59:50,281 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 15:08:27,155 (trainer:737) INFO: 8epoch:train:8701-8800batch: iter_time=2.991, forward_time=0.149, loss_ctc=89.980, loss_att=70.885, acc=0.661, loss=76.614, backward_time=0.282, grad_norm=46.534, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.134, optim0_lr0=1.453e-04, train_time=6.321 -[gpua005:0/64] 2023-12-04 15:10:48,482 (trainer:737) INFO: 8epoch:train:8801-8900batch: iter_time=9.711e-05, forward_time=0.149, loss_ctc=88.109, loss_att=78.929, acc=0.643, loss=81.683, backward_time=0.270, grad_norm=48.046, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.134, optim0_lr0=1.452e-04, train_time=1.413 -[gpua005:0/64] 2023-12-04 15:12:57,581 (trainer:737) INFO: 8epoch:train:8901-9000batch: iter_time=9.293e-05, forward_time=0.149, loss_ctc=77.981, loss_att=66.452, acc=0.650, loss=69.911, backward_time=0.270, grad_norm=43.964, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.134, optim0_lr0=1.451e-04, train_time=1.291 -[gpua005:0/64] 2023-12-04 15:16:01,484 (trainer:737) INFO: 8epoch:train:9001-9100batch: iter_time=1.026e-04, forward_time=0.147, loss_ctc=78.196, loss_att=70.472, acc=0.661, loss=72.789, backward_time=0.348, grad_norm=38.111, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.134, optim0_lr0=1.451e-04, train_time=1.839 -[gpua005:0/64] 2023-12-04 15:19:10,540 (trainer:737) INFO: 8epoch:train:9101-9200batch: iter_time=9.103e-05, forward_time=0.212, loss_ctc=83.955, loss_att=69.719, acc=0.656, loss=73.990, backward_time=0.465, grad_norm=42.664, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.140, optim0_lr0=1.450e-04, train_time=1.890 -[gpua005:0/64] 2023-12-04 15:21:41,846 (trainer:737) INFO: 8epoch:train:9201-9300batch: iter_time=9.530e-05, forward_time=0.155, loss_ctc=67.942, loss_att=59.423, acc=0.644, loss=61.979, backward_time=0.304, grad_norm=40.234, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.136, optim0_lr0=1.449e-04, train_time=1.513 -[gpua005:0/64] 2023-12-04 15:23:56,198 (trainer:737) INFO: 8epoch:train:9301-9400batch: iter_time=8.616e-05, forward_time=0.159, loss_ctc=84.144, loss_att=73.247, acc=0.666, loss=76.516, backward_time=0.275, grad_norm=41.148, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.134, optim0_lr0=1.449e-04, train_time=1.343 -[gpua005:0/64] 2023-12-04 15:26:45,341 (trainer:737) INFO: 8epoch:train:9401-9500batch: iter_time=8.913e-05, forward_time=0.148, loss_ctc=90.823, loss_att=81.561, acc=0.617, loss=84.339, backward_time=0.284, grad_norm=54.552, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.135, optim0_lr0=1.448e-04, train_time=1.692 -[gpua005:0/64] 2023-12-04 15:29:10,476 (trainer:737) INFO: 8epoch:train:9501-9600batch: iter_time=9.220e-05, forward_time=0.147, loss_ctc=85.660, loss_att=70.579, acc=0.648, loss=75.103, backward_time=0.290, grad_norm=47.249, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.134, optim0_lr0=1.447e-04, train_time=1.451 -[gpua005:0/64] 2023-12-04 15:31:53,472 (trainer:737) INFO: 8epoch:train:9601-9700batch: iter_time=1.029e-04, forward_time=0.151, loss_ctc=90.251, loss_att=80.254, acc=0.664, loss=83.253, backward_time=0.298, grad_norm=43.801, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.135, optim0_lr0=1.447e-04, train_time=1.629 -[gpua005:0/64] 2023-12-04 15:34:37,595 (trainer:737) INFO: 8epoch:train:9701-9800batch: iter_time=8.902e-05, forward_time=0.149, loss_ctc=82.199, loss_att=69.979, acc=0.636, loss=73.645, backward_time=0.285, grad_norm=44.844, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.135, optim0_lr0=1.446e-04, train_time=1.641 -[gpua005:0/64] 2023-12-04 15:37:29,222 (trainer:737) INFO: 8epoch:train:9801-9900batch: iter_time=1.003e-04, forward_time=0.147, loss_ctc=78.872, loss_att=65.770, acc=0.666, loss=69.701, backward_time=0.303, grad_norm=38.260, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.134, optim0_lr0=1.446e-04, train_time=1.716 -[gpua005:0/64] 2023-12-04 15:39:47,298 (trainer:737) INFO: 8epoch:train:9901-10000batch: iter_time=1.065e-04, forward_time=0.148, loss_ctc=98.929, loss_att=75.306, acc=0.644, loss=82.393, backward_time=0.272, grad_norm=55.099, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.134, optim0_lr0=1.445e-04, train_time=1.380 -[gpua005:0/64] 2023-12-04 15:40:07,327 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua005:0/64] 2023-12-04 15:40:25,686 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 15:40:29,129 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 15:40:29,129 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua005:0/64] 2023-12-04 15:40:29,132 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 15:49:43,605 (trainer:737) INFO: 8epoch:train:10001-10100batch: iter_time=4.120, forward_time=0.179, loss_ctc=82.637, loss_att=67.450, acc=0.653, loss=72.006, backward_time=0.269, grad_norm=42.785, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.135, optim0_lr0=1.444e-04, train_time=5.963 -[gpua005:0/64] 2023-12-04 15:52:06,295 (trainer:737) INFO: 8epoch:train:10101-10200batch: iter_time=9.812e-05, forward_time=0.147, loss_ctc=77.560, loss_att=69.423, acc=0.656, loss=71.864, backward_time=0.271, grad_norm=38.493, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.134, optim0_lr0=1.444e-04, train_time=1.427 -[gpua005:0/64] 2023-12-04 15:54:42,822 (trainer:737) INFO: 8epoch:train:10201-10300batch: iter_time=4.484e-04, forward_time=0.219, loss_ctc=84.403, loss_att=73.720, acc=0.661, loss=76.925, backward_time=0.288, grad_norm=43.376, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.136, optim0_lr0=1.443e-04, train_time=1.565 -[gpua005:0/64] 2023-12-04 15:57:55,340 (trainer:737) INFO: 8epoch:train:10301-10400batch: iter_time=9.891e-05, forward_time=0.183, loss_ctc=79.096, loss_att=66.455, acc=0.665, loss=70.248, backward_time=0.305, grad_norm=45.541, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.135, optim0_lr0=1.442e-04, train_time=1.925 -[gpua005:0/64] 2023-12-04 16:00:24,836 (trainer:737) INFO: 8epoch:train:10401-10500batch: iter_time=1.017e-04, forward_time=0.148, loss_ctc=73.755, loss_att=63.333, acc=0.650, loss=66.460, backward_time=0.281, grad_norm=37.656, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.134, optim0_lr0=1.442e-04, train_time=1.495 -[gpua005:0/64] 2023-12-04 16:02:55,882 (trainer:737) INFO: 8epoch:train:10501-10600batch: iter_time=9.760e-05, forward_time=0.148, loss_ctc=79.103, loss_att=63.417, acc=0.658, loss=68.123, backward_time=0.306, grad_norm=43.248, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.134, optim0_lr0=1.441e-04, train_time=1.510 -[gpua005:0/64] 2023-12-04 16:05:38,268 (trainer:737) INFO: 8epoch:train:10601-10700batch: iter_time=9.583e-05, forward_time=0.148, loss_ctc=85.365, loss_att=77.452, acc=0.646, loss=79.826, backward_time=0.299, grad_norm=46.622, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.134, optim0_lr0=1.441e-04, train_time=1.624 -[gpua005:0/64] 2023-12-04 16:08:26,444 (trainer:737) INFO: 8epoch:train:10701-10800batch: iter_time=9.120e-05, forward_time=0.168, loss_ctc=87.824, loss_att=74.556, acc=0.633, loss=78.536, backward_time=0.308, grad_norm=49.289, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.134, optim0_lr0=1.440e-04, train_time=1.681 -[gpua005:0/64] 2023-12-04 16:11:05,298 (trainer:737) INFO: 8epoch:train:10801-10900batch: iter_time=9.665e-05, forward_time=0.203, loss_ctc=84.848, loss_att=79.054, acc=0.661, loss=80.792, backward_time=0.356, grad_norm=41.922, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.137, optim0_lr0=1.439e-04, train_time=1.587 -[gpua005:0/64] 2023-12-04 16:13:23,814 (trainer:737) INFO: 8epoch:train:10901-11000batch: iter_time=9.782e-05, forward_time=0.148, loss_ctc=88.334, loss_att=75.320, acc=0.644, loss=79.224, backward_time=0.266, grad_norm=48.104, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.134, optim0_lr0=1.439e-04, train_time=1.386 -[gpua005:0/64] 2023-12-04 16:16:07,035 (trainer:737) INFO: 8epoch:train:11001-11100batch: iter_time=9.718e-05, forward_time=0.147, loss_ctc=81.420, loss_att=65.469, acc=0.664, loss=70.254, backward_time=0.283, grad_norm=40.544, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.134, optim0_lr0=1.438e-04, train_time=1.632 -[gpua005:0/64] 2023-12-04 16:18:50,241 (trainer:737) INFO: 8epoch:train:11101-11200batch: iter_time=1.010e-04, forward_time=0.147, loss_ctc=88.776, loss_att=71.067, acc=0.643, loss=76.380, backward_time=0.336, grad_norm=48.226, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.134, optim0_lr0=1.437e-04, train_time=1.632 -[gpua005:0/64] 2023-12-04 16:20:35,791 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua005:0/64] 2023-12-04 16:20:54,857 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 16:20:58,293 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 16:20:58,293 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua005:0/64] 2023-12-04 16:20:58,298 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 16:26:47,884 (trainer:737) INFO: 8epoch:train:11201-11300batch: iter_time=3.214, forward_time=0.179, loss_ctc=88.887, loss_att=69.711, acc=0.667, loss=75.464, backward_time=0.293, grad_norm=45.269, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.134, optim0_lr0=1.437e-04, train_time=4.776 -[gpua005:0/64] 2023-12-04 16:28:51,104 (trainer:737) INFO: 8epoch:train:11301-11400batch: iter_time=9.311e-05, forward_time=0.146, loss_ctc=86.436, loss_att=76.158, acc=0.651, loss=79.242, backward_time=0.264, grad_norm=41.193, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.134, optim0_lr0=1.436e-04, train_time=1.232 -[gpua005:0/64] 2023-12-04 16:31:21,189 (trainer:737) INFO: 8epoch:train:11401-11500batch: iter_time=9.886e-05, forward_time=0.147, loss_ctc=76.186, loss_att=63.464, acc=0.658, loss=67.281, backward_time=0.283, grad_norm=41.047, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.134, optim0_lr0=1.436e-04, train_time=1.501 -[gpua005:0/64] 2023-12-04 16:34:13,848 (trainer:737) INFO: 8epoch:train:11501-11600batch: iter_time=9.645e-05, forward_time=0.147, loss_ctc=76.878, loss_att=68.945, acc=0.668, loss=71.325, backward_time=0.297, grad_norm=35.262, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.134, optim0_lr0=1.435e-04, train_time=1.726 -[gpua005:0/64] 2023-12-04 16:36:46,593 (trainer:737) INFO: 8epoch:train:11601-11700batch: iter_time=9.971e-05, forward_time=0.275, loss_ctc=83.280, loss_att=68.484, acc=0.661, loss=72.922, backward_time=0.289, grad_norm=40.898, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.138, optim0_lr0=1.434e-04, train_time=1.527 -[gpua005:0/64] 2023-12-04 16:39:20,660 (trainer:737) INFO: 8epoch:train:11701-11800batch: iter_time=9.828e-05, forward_time=0.153, loss_ctc=67.071, loss_att=59.233, acc=0.645, loss=61.585, backward_time=0.292, grad_norm=39.628, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.133, optim0_lr0=1.434e-04, train_time=1.540 -[gpua005:0/64] 2023-12-04 16:42:09,597 (trainer:737) INFO: 8epoch:train:11801-11900batch: iter_time=9.485e-05, forward_time=0.147, loss_ctc=83.790, loss_att=72.494, acc=0.669, loss=75.883, backward_time=0.340, grad_norm=42.678, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.133, optim0_lr0=1.433e-04, train_time=1.690 -[gpua005:0/64] 2023-12-04 16:44:56,948 (trainer:737) INFO: 8epoch:train:11901-12000batch: iter_time=9.363e-05, forward_time=0.147, loss_ctc=89.023, loss_att=79.228, acc=0.624, loss=82.166, backward_time=0.325, grad_norm=50.075, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.133, optim0_lr0=1.433e-04, train_time=1.673 -[gpua005:0/64] 2023-12-04 16:47:33,018 (trainer:737) INFO: 8epoch:train:12001-12100batch: iter_time=9.476e-05, forward_time=0.146, loss_ctc=83.433, loss_att=68.830, acc=0.654, loss=73.211, backward_time=0.297, grad_norm=43.860, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.133, optim0_lr0=1.432e-04, train_time=1.560 -[gpua005:0/64] 2023-12-04 16:50:14,170 (trainer:737) INFO: 8epoch:train:12101-12200batch: iter_time=9.414e-05, forward_time=0.147, loss_ctc=89.766, loss_att=78.686, acc=0.670, loss=82.010, backward_time=0.276, grad_norm=44.150, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.133, optim0_lr0=1.431e-04, train_time=1.611 -[gpua005:0/64] 2023-12-04 16:53:19,131 (trainer:737) INFO: 8epoch:train:12201-12300batch: iter_time=9.422e-05, forward_time=0.249, loss_ctc=81.694, loss_att=69.308, acc=0.637, loss=73.024, backward_time=0.302, grad_norm=44.041, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.167, optim0_lr0=1.431e-04, train_time=1.849 -[gpua005:0/64] 2023-12-04 16:55:59,087 (trainer:737) INFO: 8epoch:train:12301-12400batch: iter_time=9.520e-05, forward_time=0.149, loss_ctc=77.974, loss_att=63.742, acc=0.674, loss=68.012, backward_time=0.306, grad_norm=40.737, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.135, optim0_lr0=1.430e-04, train_time=1.599 -[gpua005:0/64] 2023-12-04 16:58:21,445 (trainer:737) INFO: 8epoch:train:12401-12500batch: iter_time=8.950e-05, forward_time=0.147, loss_ctc=98.532, loss_att=74.303, acc=0.647, loss=81.572, backward_time=0.267, grad_norm=52.694, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.134, optim0_lr0=1.429e-04, train_time=1.424 -[gpua005:0/64] 2023-12-04 16:58:41,475 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua005:0/64] 2023-12-04 16:59:00,071 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 16:59:03,481 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 16:59:03,481 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua005:0/64] 2023-12-04 16:59:03,537 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 17:08:34,023 (trainer:737) INFO: 8epoch:train:12501-12600batch: iter_time=3.043, forward_time=0.147, loss_ctc=80.966, loss_att=67.587, acc=0.643, loss=71.601, backward_time=0.267, grad_norm=41.535, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.135, optim0_lr0=1.429e-04, train_time=6.126 -[gpua005:0/64] 2023-12-04 17:11:02,255 (trainer:737) INFO: 8epoch:train:12601-12700batch: iter_time=9.481e-05, forward_time=0.147, loss_ctc=77.216, loss_att=68.637, acc=0.659, loss=71.210, backward_time=0.282, grad_norm=42.237, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.135, optim0_lr0=1.428e-04, train_time=1.482 -[gpua005:0/64] 2023-12-04 17:13:36,648 (trainer:737) INFO: 8epoch:train:12701-12800batch: iter_time=3.511e-04, forward_time=0.282, loss_ctc=83.454, loss_att=73.032, acc=0.657, loss=76.159, backward_time=0.297, grad_norm=43.279, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.142, optim0_lr0=1.428e-04, train_time=1.543 -[gpua005:0/64] 2023-12-04 17:16:41,567 (trainer:737) INFO: 8epoch:train:12801-12900batch: iter_time=1.073e-04, forward_time=0.147, loss_ctc=78.231, loss_att=67.276, acc=0.662, loss=70.563, backward_time=0.318, grad_norm=39.906, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.134, optim0_lr0=1.427e-04, train_time=1.849 -[gpua005:0/64] 2023-12-04 17:19:40,096 (trainer:737) INFO: 8epoch:train:12901-13000batch: iter_time=9.853e-05, forward_time=0.147, loss_ctc=73.447, loss_att=63.753, acc=0.646, loss=66.661, backward_time=0.353, grad_norm=40.199, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.134, optim0_lr0=1.426e-04, train_time=1.785 -[gpua005:0/64] 2023-12-04 17:21:57,151 (trainer:737) INFO: 8epoch:train:13001-13100batch: iter_time=9.517e-05, forward_time=0.148, loss_ctc=78.188, loss_att=61.719, acc=0.658, loss=66.660, backward_time=0.282, grad_norm=43.009, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.134, optim0_lr0=1.426e-04, train_time=1.370 -[gpua005:0/64] 2023-12-04 17:24:37,157 (trainer:737) INFO: 8epoch:train:13101-13200batch: iter_time=9.476e-05, forward_time=0.151, loss_ctc=83.857, loss_att=76.385, acc=0.637, loss=78.627, backward_time=0.310, grad_norm=51.040, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.134, optim0_lr0=1.425e-04, train_time=1.600 -[gpua005:0/64] 2023-12-04 17:27:01,753 (trainer:737) INFO: 8epoch:train:13201-13300batch: iter_time=9.720e-05, forward_time=0.147, loss_ctc=87.855, loss_att=74.140, acc=0.633, loss=78.254, backward_time=0.308, grad_norm=53.222, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.134, optim0_lr0=1.425e-04, train_time=1.446 -[gpua005:0/64] 2023-12-04 17:29:33,402 (trainer:737) INFO: 8epoch:train:13301-13400batch: iter_time=9.581e-05, forward_time=0.149, loss_ctc=83.899, loss_att=75.755, acc=0.659, loss=78.198, backward_time=0.311, grad_norm=41.954, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.134, optim0_lr0=1.424e-04, train_time=1.516 -[gpua005:0/64] 2023-12-04 17:32:00,758 (trainer:737) INFO: 8epoch:train:13401-13500batch: iter_time=0.002, forward_time=0.169, loss_ctc=87.687, loss_att=74.074, acc=0.639, loss=78.158, backward_time=0.280, grad_norm=47.490, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.143, optim0_lr0=1.423e-04, train_time=1.473 -[gpua005:0/64] 2023-12-04 17:34:30,543 (trainer:737) INFO: 8epoch:train:13501-13600batch: iter_time=9.220e-05, forward_time=0.222, loss_ctc=81.098, loss_att=64.550, acc=0.663, loss=69.515, backward_time=0.295, grad_norm=44.825, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.134, optim0_lr0=1.423e-04, train_time=1.497 -[gpua005:0/64] 2023-12-04 17:37:06,313 (trainer:737) INFO: 8epoch:train:13601-13700batch: iter_time=9.971e-05, forward_time=0.146, loss_ctc=87.322, loss_att=67.887, acc=0.651, loss=73.718, backward_time=0.347, grad_norm=47.601, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.133, optim0_lr0=1.422e-04, train_time=1.557 -[gpua005:0/64] 2023-12-04 17:38:56,094 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua005:0/64] 2023-12-04 17:39:14,448 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 17:39:17,825 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 17:39:17,825 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua005:0/64] 2023-12-04 17:39:17,875 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 17:44:56,067 (trainer:737) INFO: 8epoch:train:13701-13800batch: iter_time=3.139, forward_time=0.189, loss_ctc=87.874, loss_att=69.138, acc=0.666, loss=74.759, backward_time=0.276, grad_norm=44.277, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.134, optim0_lr0=1.422e-04, train_time=4.698 -[gpua005:0/64] 2023-12-04 17:47:16,404 (trainer:737) INFO: 8epoch:train:13801-13900batch: iter_time=9.552e-05, forward_time=0.147, loss_ctc=86.775, loss_att=76.248, acc=0.652, loss=79.406, backward_time=0.282, grad_norm=49.362, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.134, optim0_lr0=1.421e-04, train_time=1.403 -[gpua005:0/64] 2023-12-04 17:49:21,734 (trainer:737) INFO: 8epoch:train:13901-14000batch: iter_time=9.308e-05, forward_time=0.148, loss_ctc=75.868, loss_att=63.908, acc=0.659, loss=67.496, backward_time=0.268, grad_norm=40.409, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.134, optim0_lr0=1.420e-04, train_time=1.253 -[gpua005:0/64] 2023-12-04 17:51:55,745 (trainer:737) INFO: 8epoch:train:14001-14100batch: iter_time=9.580e-05, forward_time=0.147, loss_ctc=76.953, loss_att=69.123, acc=0.670, loss=71.472, backward_time=0.284, grad_norm=44.126, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.134, optim0_lr0=1.420e-04, train_time=1.540 -[gpua005:0/64] 2023-12-04 17:55:07,191 (trainer:737) INFO: 8epoch:train:14101-14200batch: iter_time=1.127e-04, forward_time=0.272, loss_ctc=82.869, loss_att=68.281, acc=0.662, loss=72.657, backward_time=0.323, grad_norm=42.345, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.138, optim0_lr0=1.419e-04, train_time=1.913 -[gpua005:0/64] 2023-12-04 17:57:54,224 (trainer:737) INFO: 8epoch:train:14201-14300batch: iter_time=1.090e-04, forward_time=0.147, loss_ctc=67.036, loss_att=59.317, acc=0.644, loss=61.633, backward_time=0.302, grad_norm=43.937, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.134, optim0_lr0=1.419e-04, train_time=1.671 -[gpua005:0/64] 2023-12-04 18:00:33,067 (trainer:737) INFO: 8epoch:train:14301-14400batch: iter_time=1.120e-04, forward_time=0.148, loss_ctc=82.710, loss_att=71.762, acc=0.670, loss=75.046, backward_time=0.280, grad_norm=42.885, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.134, optim0_lr0=1.418e-04, train_time=1.588 -[gpua005:0/64] 2023-12-04 18:02:55,248 (trainer:737) INFO: 8epoch:train:14401-14500batch: iter_time=9.779e-05, forward_time=0.147, loss_ctc=88.047, loss_att=79.053, acc=0.628, loss=81.751, backward_time=0.269, grad_norm=54.523, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.134, optim0_lr0=1.417e-04, train_time=1.422 -[gpua005:0/64] 2023-12-04 18:05:34,260 (trainer:737) INFO: 8epoch:train:14501-14600batch: iter_time=9.787e-05, forward_time=0.147, loss_ctc=83.702, loss_att=69.008, acc=0.656, loss=73.416, backward_time=0.277, grad_norm=42.527, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.134, optim0_lr0=1.417e-04, train_time=1.590 -[gpua005:0/64] 2023-12-04 18:08:30,233 (trainer:737) INFO: 8epoch:train:14601-14700batch: iter_time=9.277e-05, forward_time=0.170, loss_ctc=89.484, loss_att=78.799, acc=0.670, loss=82.004, backward_time=0.302, grad_norm=47.936, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.135, optim0_lr0=1.416e-04, train_time=1.759 -[gpua005:0/64] 2023-12-04 18:11:26,789 (trainer:737) INFO: 8epoch:train:14701-14800batch: iter_time=9.383e-05, forward_time=0.274, loss_ctc=81.169, loss_att=68.733, acc=0.640, loss=72.464, backward_time=0.293, grad_norm=46.619, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.136, optim0_lr0=1.416e-04, train_time=1.764 -[gpua005:0/64] 2023-12-04 18:14:13,748 (trainer:737) INFO: 8epoch:train:14801-14900batch: iter_time=9.711e-05, forward_time=0.148, loss_ctc=77.125, loss_att=63.075, acc=0.676, loss=67.290, backward_time=0.304, grad_norm=36.656, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.134, optim0_lr0=1.415e-04, train_time=1.671 -[gpua005:0/64] 2023-12-04 18:16:30,013 (trainer:737) INFO: 8epoch:train:14901-15000batch: iter_time=9.288e-05, forward_time=0.148, loss_ctc=97.270, loss_att=73.241, acc=0.652, loss=80.450, backward_time=0.287, grad_norm=50.964, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.134, optim0_lr0=1.414e-04, train_time=1.362 -[gpua005:0/64] 2023-12-04 18:43:17,826 (trainer:343) INFO: 8epoch results: [train] iter_time=0.247, forward_time=0.162, loss_ctc=84.739, loss_att=71.679, acc=0.644, loss=75.597, backward_time=0.329, grad_norm=45.142, clip=100.000, loss_scale=1.002e+22, optim_step_time=0.135, optim0_lr0=1.461e-04, train_time=2.106, time=8 hours, 46 minutes and 53.57 seconds, total_count=120000, gpu_max_cached_mem_GB=35.223, [valid] loss_ctc=56.726, cer_ctc=0.294, loss_att=51.027, acc=0.601, cer=0.303, wer=1.000, loss=52.737, time=26 minutes and 23.65 seconds, total_count=37368, gpu_max_cached_mem_GB=35.223 -[gpua005:0/64] 2023-12-04 18:43:37,705 (trainer:391) INFO: The best model has been updated: valid.acc, valid.total_count -[gpua005:0/64] 2023-12-04 18:43:37,751 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/3epoch.pth -[gpua005:0/64] 2023-12-04 18:43:37,751 (trainer:272) INFO: 9/40epoch started. Estimated time to finish: 1 week, 6 days and 5 hours -[gpua005:0/64] 2023-12-04 18:43:37,761 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua005:0/64] 2023-12-04 18:43:55,477 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 18:43:58,814 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 18:43:58,814 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua005:0/64] 2023-12-04 18:43:58,817 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 18:53:04,906 (trainer:737) INFO: 9epoch:train:1-100batch: iter_time=4.342, forward_time=0.181, loss_ctc=80.004, loss_att=71.754, acc=0.636, loss=74.229, backward_time=0.272, grad_norm=45.643, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.134, optim0_lr0=1.414e-04, train_time=5.671 -[gpua005:0/64] 2023-12-04 18:55:06,211 (trainer:737) INFO: 9epoch:train:101-200batch: iter_time=8.726e-05, forward_time=0.147, loss_ctc=86.258, loss_att=68.418, acc=0.652, loss=73.770, backward_time=0.265, grad_norm=45.106, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.134, optim0_lr0=1.413e-04, train_time=1.213 -[gpua005:0/64] 2023-12-04 18:57:09,806 (trainer:737) INFO: 9epoch:train:201-300batch: iter_time=9.029e-05, forward_time=0.152, loss_ctc=95.519, loss_att=93.201, acc=0.602, loss=93.896, backward_time=0.266, grad_norm=58.579, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.134, optim0_lr0=1.413e-04, train_time=1.236 -[gpua005:0/64] 2023-12-04 18:59:52,753 (trainer:737) INFO: 9epoch:train:301-400batch: iter_time=9.266e-05, forward_time=0.146, loss_ctc=100.595, loss_att=77.760, acc=0.633, loss=84.611, backward_time=0.344, grad_norm=58.495, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.133, optim0_lr0=1.412e-04, train_time=1.629 -[gpua005:0/64] 2023-12-04 19:02:43,753 (trainer:737) INFO: 9epoch:train:401-500batch: iter_time=5.281e-04, forward_time=0.209, loss_ctc=76.947, loss_att=63.346, acc=0.663, loss=67.426, backward_time=0.390, grad_norm=39.483, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.144, optim0_lr0=1.412e-04, train_time=1.710 -[gpua005:0/64] 2023-12-04 19:05:00,583 (trainer:737) INFO: 9epoch:train:501-600batch: iter_time=1.021e-04, forward_time=0.147, loss_ctc=82.313, loss_att=66.786, acc=0.643, loss=71.444, backward_time=0.296, grad_norm=46.845, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.134, optim0_lr0=1.411e-04, train_time=1.368 -[gpua005:0/64] 2023-12-04 19:07:20,455 (trainer:737) INFO: 9epoch:train:601-700batch: iter_time=1.039e-04, forward_time=0.147, loss_ctc=79.677, loss_att=64.070, acc=0.635, loss=68.752, backward_time=0.275, grad_norm=46.734, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.134, optim0_lr0=1.410e-04, train_time=1.398 -[gpua005:0/64] 2023-12-04 19:09:50,108 (trainer:737) INFO: 9epoch:train:701-800batch: iter_time=1.007e-04, forward_time=0.146, loss_ctc=72.962, loss_att=54.089, acc=0.678, loss=59.751, backward_time=0.277, grad_norm=40.245, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.133, optim0_lr0=1.410e-04, train_time=1.496 -[gpua005:0/64] 2023-12-04 19:12:33,569 (trainer:737) INFO: 9epoch:train:801-900batch: iter_time=1.741e-04, forward_time=0.152, loss_ctc=87.218, loss_att=79.084, acc=0.633, loss=81.524, backward_time=0.302, grad_norm=48.471, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.133, optim0_lr0=1.409e-04, train_time=1.634 -[gpua005:0/64] 2023-12-04 19:15:18,613 (trainer:737) INFO: 9epoch:train:901-1000batch: iter_time=9.317e-05, forward_time=0.147, loss_ctc=77.603, loss_att=74.130, acc=0.634, loss=75.172, backward_time=0.317, grad_norm=44.190, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.133, optim0_lr0=1.409e-04, train_time=1.650 -[gpua005:0/64] 2023-12-04 19:18:02,448 (trainer:737) INFO: 9epoch:train:1001-1100batch: iter_time=1.080e-04, forward_time=0.148, loss_ctc=89.664, loss_att=75.720, acc=0.609, loss=79.903, backward_time=0.290, grad_norm=51.977, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.134, optim0_lr0=1.408e-04, train_time=1.638 -[gpua005:0/64] 2023-12-04 19:21:05,586 (trainer:737) INFO: 9epoch:train:1101-1200batch: iter_time=1.052e-04, forward_time=0.246, loss_ctc=88.438, loss_att=75.479, acc=0.632, loss=79.367, backward_time=0.319, grad_norm=48.818, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.136, optim0_lr0=1.407e-04, train_time=1.831 -[gpua005:0/64] 2023-12-04 19:22:43,632 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua005:0/64] 2023-12-04 19:23:01,731 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 19:23:05,377 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 19:23:05,377 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua005:0/64] 2023-12-04 19:23:05,380 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 19:28:48,991 (trainer:737) INFO: 9epoch:train:1201-1300batch: iter_time=3.071, forward_time=0.147, loss_ctc=75.428, loss_att=66.594, acc=0.647, loss=69.245, backward_time=0.283, grad_norm=45.632, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.134, optim0_lr0=1.407e-04, train_time=4.634 -[gpua005:0/64] 2023-12-04 19:30:51,257 (trainer:737) INFO: 9epoch:train:1301-1400batch: iter_time=8.921e-05, forward_time=0.148, loss_ctc=86.673, loss_att=69.512, acc=0.654, loss=74.660, backward_time=0.267, grad_norm=47.931, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.133, optim0_lr0=1.406e-04, train_time=1.222 -[gpua005:0/64] 2023-12-04 19:32:58,944 (trainer:737) INFO: 9epoch:train:1401-1500batch: iter_time=8.868e-05, forward_time=0.150, loss_ctc=87.163, loss_att=79.490, acc=0.635, loss=81.792, backward_time=0.270, grad_norm=45.393, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.134, optim0_lr0=1.406e-04, train_time=1.277 -[gpua005:0/64] 2023-12-04 19:35:22,382 (trainer:737) INFO: 9epoch:train:1501-1600batch: iter_time=9.552e-05, forward_time=0.149, loss_ctc=101.554, loss_att=89.279, acc=0.641, loss=92.962, backward_time=0.277, grad_norm=52.045, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.135, optim0_lr0=1.405e-04, train_time=1.434 -[gpua005:0/64] 2023-12-04 19:38:05,119 (trainer:737) INFO: 9epoch:train:1601-1700batch: iter_time=9.337e-05, forward_time=0.149, loss_ctc=83.924, loss_att=70.318, acc=0.647, loss=74.400, backward_time=0.287, grad_norm=47.473, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.134, optim0_lr0=1.405e-04, train_time=1.627 -[gpua005:0/64] 2023-12-04 19:40:54,973 (trainer:737) INFO: 9epoch:train:1701-1800batch: iter_time=8.928e-05, forward_time=0.147, loss_ctc=74.569, loss_att=59.680, acc=0.676, loss=64.147, backward_time=0.300, grad_norm=55.516, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.134, optim0_lr0=1.404e-04, train_time=1.698 -[gpua005:0/64] 2023-12-04 19:43:50,799 (trainer:737) INFO: 9epoch:train:1801-1900batch: iter_time=8.904e-05, forward_time=0.225, loss_ctc=83.898, loss_att=70.742, acc=0.654, loss=74.689, backward_time=0.329, grad_norm=46.402, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.142, optim0_lr0=1.403e-04, train_time=1.758 -[gpua005:0/64] 2023-12-04 19:46:33,151 (trainer:737) INFO: 9epoch:train:1901-2000batch: iter_time=8.990e-05, forward_time=0.148, loss_ctc=72.192, loss_att=52.209, acc=0.677, loss=58.204, backward_time=0.289, grad_norm=40.707, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.134, optim0_lr0=1.403e-04, train_time=1.623 -[gpua005:0/64] 2023-12-04 19:48:46,818 (trainer:737) INFO: 9epoch:train:2001-2100batch: iter_time=8.748e-05, forward_time=0.147, loss_ctc=76.076, loss_att=63.230, acc=0.669, loss=67.084, backward_time=0.267, grad_norm=49.485, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.133, optim0_lr0=1.402e-04, train_time=1.336 -[gpua005:0/64] 2023-12-04 19:51:00,130 (trainer:737) INFO: 9epoch:train:2101-2200batch: iter_time=9.158e-05, forward_time=0.147, loss_ctc=82.298, loss_att=77.195, acc=0.633, loss=78.726, backward_time=0.274, grad_norm=44.608, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.133, optim0_lr0=1.402e-04, train_time=1.333 -[gpua005:0/64] 2023-12-04 19:53:31,318 (trainer:737) INFO: 9epoch:train:2201-2300batch: iter_time=9.035e-05, forward_time=0.147, loss_ctc=84.026, loss_att=72.989, acc=0.639, loss=76.300, backward_time=0.284, grad_norm=45.538, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.134, optim0_lr0=1.401e-04, train_time=1.512 -[gpua005:0/64] 2023-12-04 19:55:56,410 (trainer:737) INFO: 9epoch:train:2301-2400batch: iter_time=9.252e-05, forward_time=0.148, loss_ctc=94.381, loss_att=86.205, acc=0.626, loss=88.658, backward_time=0.297, grad_norm=50.834, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.134, optim0_lr0=1.401e-04, train_time=1.451 -[gpua005:0/64] 2023-12-04 19:58:09,582 (trainer:737) INFO: 9epoch:train:2401-2500batch: iter_time=8.713e-05, forward_time=0.146, loss_ctc=76.749, loss_att=61.200, acc=0.659, loss=65.865, backward_time=0.280, grad_norm=41.341, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.133, optim0_lr0=1.400e-04, train_time=1.332 -[gpua005:0/64] 2023-12-04 19:58:29,610 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua005:0/64] 2023-12-04 19:58:48,138 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 19:58:51,582 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 19:58:51,582 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua005:0/64] 2023-12-04 19:58:51,587 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 20:05:33,988 (trainer:737) INFO: 9epoch:train:2501-2600batch: iter_time=3.078, forward_time=0.149, loss_ctc=77.748, loss_att=69.813, acc=0.645, loss=72.193, backward_time=0.275, grad_norm=45.624, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.134, optim0_lr0=1.399e-04, train_time=4.444 -[gpua005:0/64] 2023-12-04 20:07:46,221 (trainer:737) INFO: 9epoch:train:2601-2700batch: iter_time=8.934e-05, forward_time=0.150, loss_ctc=85.770, loss_att=67.610, acc=0.660, loss=73.058, backward_time=0.267, grad_norm=46.635, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.134, optim0_lr0=1.399e-04, train_time=1.322 -[gpua005:0/64] 2023-12-04 20:10:10,841 (trainer:737) INFO: 9epoch:train:2701-2800batch: iter_time=9.564e-05, forward_time=0.249, loss_ctc=93.949, loss_att=91.139, acc=0.612, loss=91.982, backward_time=0.312, grad_norm=49.122, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.143, optim0_lr0=1.398e-04, train_time=1.446 -[gpua005:0/64] 2023-12-04 20:12:34,479 (trainer:737) INFO: 9epoch:train:2801-2900batch: iter_time=9.594e-05, forward_time=0.146, loss_ctc=97.590, loss_att=75.763, acc=0.640, loss=82.311, backward_time=0.282, grad_norm=54.631, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.133, optim0_lr0=1.398e-04, train_time=1.436 -[gpua005:0/64] 2023-12-04 20:15:12,181 (trainer:737) INFO: 9epoch:train:2901-3000batch: iter_time=9.196e-05, forward_time=0.146, loss_ctc=75.479, loss_att=62.029, acc=0.668, loss=66.064, backward_time=0.295, grad_norm=38.630, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.133, optim0_lr0=1.397e-04, train_time=1.577 -[gpua005:0/64] 2023-12-04 20:17:28,323 (trainer:737) INFO: 9epoch:train:3001-3100batch: iter_time=9.298e-05, forward_time=0.148, loss_ctc=80.827, loss_att=65.513, acc=0.652, loss=70.107, backward_time=0.269, grad_norm=45.266, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.134, optim0_lr0=1.397e-04, train_time=1.361 -[gpua005:0/64] 2023-12-04 20:19:40,041 (trainer:737) INFO: 9epoch:train:3101-3200batch: iter_time=1.019e-04, forward_time=0.147, loss_ctc=78.433, loss_att=63.239, acc=0.643, loss=67.797, backward_time=0.272, grad_norm=44.595, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.134, optim0_lr0=1.396e-04, train_time=1.317 -[gpua005:0/64] 2023-12-04 20:22:24,548 (trainer:737) INFO: 9epoch:train:3201-3300batch: iter_time=9.630e-05, forward_time=0.147, loss_ctc=71.665, loss_att=52.359, acc=0.689, loss=58.151, backward_time=0.301, grad_norm=38.532, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.134, optim0_lr0=1.395e-04, train_time=1.645 -[gpua005:0/64] 2023-12-04 20:24:53,146 (trainer:737) INFO: 9epoch:train:3301-3400batch: iter_time=1.022e-04, forward_time=0.148, loss_ctc=85.408, loss_att=76.751, acc=0.643, loss=79.348, backward_time=0.302, grad_norm=45.663, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.134, optim0_lr0=1.395e-04, train_time=1.486 -[gpua005:0/64] 2023-12-04 20:27:10,153 (trainer:737) INFO: 9epoch:train:3401-3500batch: iter_time=9.554e-05, forward_time=0.147, loss_ctc=76.797, loss_att=72.621, acc=0.644, loss=73.874, backward_time=0.282, grad_norm=41.104, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.133, optim0_lr0=1.394e-04, train_time=1.370 -[gpua005:0/64] 2023-12-04 20:29:33,573 (trainer:737) INFO: 9epoch:train:3501-3600batch: iter_time=9.440e-05, forward_time=0.147, loss_ctc=87.304, loss_att=72.292, acc=0.625, loss=76.795, backward_time=0.320, grad_norm=54.859, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.133, optim0_lr0=1.394e-04, train_time=1.434 -[gpua005:0/64] 2023-12-04 20:32:03,707 (trainer:737) INFO: 9epoch:train:3601-3700batch: iter_time=9.863e-05, forward_time=0.152, loss_ctc=85.520, loss_att=72.804, acc=0.644, loss=76.619, backward_time=0.291, grad_norm=43.304, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.134, optim0_lr0=1.393e-04, train_time=1.501 -[gpua005:0/64] 2023-12-04 20:33:48,485 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua005:0/64] 2023-12-04 20:34:06,794 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 20:34:10,208 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 20:34:10,208 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua005:0/64] 2023-12-04 20:34:10,211 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 20:42:23,818 (trainer:737) INFO: 9epoch:train:3701-3800batch: iter_time=4.682, forward_time=0.187, loss_ctc=74.201, loss_att=65.318, acc=0.657, loss=67.983, backward_time=0.307, grad_norm=43.114, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.133, optim0_lr0=1.393e-04, train_time=6.201 -[gpua005:0/64] 2023-12-04 20:44:24,351 (trainer:737) INFO: 9epoch:train:3801-3900batch: iter_time=1.100e-04, forward_time=0.149, loss_ctc=85.693, loss_att=68.726, acc=0.662, loss=73.816, backward_time=0.267, grad_norm=45.640, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.134, optim0_lr0=1.392e-04, train_time=1.205 -[gpua005:0/64] 2023-12-04 20:46:47,263 (trainer:737) INFO: 9epoch:train:3901-4000batch: iter_time=9.308e-05, forward_time=0.147, loss_ctc=86.379, loss_att=78.640, acc=0.643, loss=80.962, backward_time=0.277, grad_norm=50.474, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.133, optim0_lr0=1.391e-04, train_time=1.429 -[gpua005:0/64] 2023-12-04 20:49:48,667 (trainer:737) INFO: 9epoch:train:4001-4100batch: iter_time=2.443e-04, forward_time=0.230, loss_ctc=100.346, loss_att=87.824, acc=0.648, loss=91.581, backward_time=0.412, grad_norm=50.130, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.149, optim0_lr0=1.391e-04, train_time=1.813 -[gpua005:0/64] 2023-12-04 20:52:00,234 (trainer:737) INFO: 9epoch:train:4101-4200batch: iter_time=9.210e-05, forward_time=0.146, loss_ctc=82.843, loss_att=70.160, acc=0.654, loss=73.965, backward_time=0.264, grad_norm=48.004, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.133, optim0_lr0=1.390e-04, train_time=1.316 -[gpua005:0/64] 2023-12-04 20:54:42,659 (trainer:737) INFO: 9epoch:train:4201-4300batch: iter_time=9.248e-05, forward_time=0.146, loss_ctc=73.418, loss_att=58.928, acc=0.679, loss=63.275, backward_time=0.285, grad_norm=43.392, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.134, optim0_lr0=1.390e-04, train_time=1.624 -[gpua005:0/64] 2023-12-04 20:57:09,210 (trainer:737) INFO: 9epoch:train:4301-4400batch: iter_time=9.371e-05, forward_time=0.146, loss_ctc=83.437, loss_att=70.509, acc=0.660, loss=74.388, backward_time=0.287, grad_norm=43.728, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.134, optim0_lr0=1.389e-04, train_time=1.465 -[gpua005:0/64] 2023-12-04 20:59:54,109 (trainer:737) INFO: 9epoch:train:4401-4500batch: iter_time=8.957e-05, forward_time=0.146, loss_ctc=70.702, loss_att=51.330, acc=0.682, loss=57.142, backward_time=0.325, grad_norm=38.597, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.133, optim0_lr0=1.389e-04, train_time=1.649 -[gpua005:0/64] 2023-12-04 21:02:19,574 (trainer:737) INFO: 9epoch:train:4501-4600batch: iter_time=8.830e-05, forward_time=0.146, loss_ctc=75.115, loss_att=62.240, acc=0.672, loss=66.102, backward_time=0.275, grad_norm=43.594, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.134, optim0_lr0=1.388e-04, train_time=1.454 -[gpua005:0/64] 2023-12-04 21:04:50,982 (trainer:737) INFO: 9epoch:train:4601-4700batch: iter_time=2.842e-04, forward_time=0.228, loss_ctc=80.987, loss_att=76.339, acc=0.638, loss=77.734, backward_time=0.334, grad_norm=43.124, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.139, optim0_lr0=1.388e-04, train_time=1.513 -[gpua005:0/64] 2023-12-04 21:07:13,362 (trainer:737) INFO: 9epoch:train:4701-4800batch: iter_time=9.028e-05, forward_time=0.148, loss_ctc=83.063, loss_att=71.930, acc=0.645, loss=75.270, backward_time=0.288, grad_norm=45.847, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.134, optim0_lr0=1.387e-04, train_time=1.424 -[gpua005:0/64] 2023-12-04 21:10:25,423 (trainer:737) INFO: 9epoch:train:4801-4900batch: iter_time=9.013e-05, forward_time=0.147, loss_ctc=92.913, loss_att=85.330, acc=0.628, loss=87.605, backward_time=0.310, grad_norm=48.900, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.134, optim0_lr0=1.386e-04, train_time=1.921 -[gpua005:0/64] 2023-12-04 21:13:00,444 (trainer:737) INFO: 9epoch:train:4901-5000batch: iter_time=8.980e-05, forward_time=0.147, loss_ctc=75.368, loss_att=60.517, acc=0.663, loss=64.972, backward_time=0.308, grad_norm=40.891, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.133, optim0_lr0=1.386e-04, train_time=1.550 -[gpua005:0/64] 2023-12-04 21:13:20,473 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua005:0/64] 2023-12-04 21:13:38,887 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 21:13:42,294 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 21:13:42,294 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua005:0/64] 2023-12-04 21:13:42,312 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 21:20:25,600 (trainer:737) INFO: 9epoch:train:5001-5100batch: iter_time=3.131, forward_time=0.146, loss_ctc=76.188, loss_att=68.203, acc=0.654, loss=70.598, backward_time=0.265, grad_norm=42.783, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.133, optim0_lr0=1.385e-04, train_time=4.451 -[gpua005:0/64] 2023-12-04 21:22:29,153 (trainer:737) INFO: 9epoch:train:5101-5200batch: iter_time=8.988e-05, forward_time=0.149, loss_ctc=84.586, loss_att=66.876, acc=0.665, loss=72.189, backward_time=0.266, grad_norm=47.321, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.133, optim0_lr0=1.385e-04, train_time=1.235 -[gpua005:0/64] 2023-12-04 21:24:31,646 (trainer:737) INFO: 9epoch:train:5201-5300batch: iter_time=8.851e-05, forward_time=0.150, loss_ctc=92.553, loss_att=89.237, acc=0.618, loss=90.232, backward_time=0.267, grad_norm=79.704, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.133, optim0_lr0=1.384e-04, train_time=1.225 -[gpua005:0/64] 2023-12-04 21:26:36,155 (trainer:737) INFO: 9epoch:train:5301-5400batch: iter_time=9.473e-05, forward_time=0.146, loss_ctc=94.844, loss_att=74.102, acc=0.646, loss=80.325, backward_time=0.266, grad_norm=50.909, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.133, optim0_lr0=1.384e-04, train_time=1.245 -[gpua005:0/64] 2023-12-04 21:29:38,645 (trainer:737) INFO: 9epoch:train:5401-5500batch: iter_time=8.523e-05, forward_time=0.251, loss_ctc=74.214, loss_att=60.592, acc=0.676, loss=64.679, backward_time=0.338, grad_norm=37.155, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.136, optim0_lr0=1.383e-04, train_time=1.825 -[gpua005:0/64] 2023-12-04 21:32:04,802 (trainer:737) INFO: 9epoch:train:5501-5600batch: iter_time=9.367e-05, forward_time=0.159, loss_ctc=78.435, loss_att=63.594, acc=0.661, loss=68.046, backward_time=0.289, grad_norm=42.051, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.133, optim0_lr0=1.383e-04, train_time=1.461 -[gpua005:0/64] 2023-12-04 21:34:53,579 (trainer:737) INFO: 9epoch:train:5601-5700batch: iter_time=8.223e-05, forward_time=0.148, loss_ctc=76.412, loss_att=61.122, acc=0.652, loss=65.709, backward_time=0.327, grad_norm=43.966, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.134, optim0_lr0=1.382e-04, train_time=1.688 -[gpua005:0/64] 2023-12-04 21:37:14,346 (trainer:737) INFO: 9epoch:train:5701-5800batch: iter_time=8.941e-05, forward_time=0.148, loss_ctc=70.804, loss_att=51.334, acc=0.693, loss=57.175, backward_time=0.272, grad_norm=42.792, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.134, optim0_lr0=1.381e-04, train_time=1.408 -[gpua005:0/64] 2023-12-04 21:40:14,773 (trainer:737) INFO: 9epoch:train:5801-5900batch: iter_time=8.980e-05, forward_time=0.147, loss_ctc=84.259, loss_att=76.645, acc=0.647, loss=78.930, backward_time=0.308, grad_norm=51.797, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.133, optim0_lr0=1.381e-04, train_time=1.804 -[gpua005:0/64] 2023-12-04 21:42:27,630 (trainer:737) INFO: 9epoch:train:5901-6000batch: iter_time=8.938e-05, forward_time=0.146, loss_ctc=75.463, loss_att=71.371, acc=0.644, loss=72.599, backward_time=0.265, grad_norm=42.188, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.133, optim0_lr0=1.380e-04, train_time=1.328 -[gpua005:0/64] 2023-12-04 21:44:44,503 (trainer:737) INFO: 9epoch:train:6001-6100batch: iter_time=9.357e-05, forward_time=0.147, loss_ctc=86.205, loss_att=72.033, acc=0.624, loss=76.285, backward_time=0.295, grad_norm=48.484, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.133, optim0_lr0=1.380e-04, train_time=1.369 -[gpua005:0/64] 2023-12-04 21:46:50,826 (trainer:737) INFO: 9epoch:train:6101-6200batch: iter_time=9.277e-05, forward_time=0.147, loss_ctc=85.288, loss_att=71.927, acc=0.648, loss=75.935, backward_time=0.275, grad_norm=46.780, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.133, optim0_lr0=1.379e-04, train_time=1.263 -[gpua005:0/64] 2023-12-04 21:48:14,433 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua005:0/64] 2023-12-04 21:48:33,135 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 21:48:36,502 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 21:48:36,502 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua005:0/64] 2023-12-04 21:48:36,521 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 21:53:56,610 (trainer:737) INFO: 9epoch:train:6201-6300batch: iter_time=2.873, forward_time=0.147, loss_ctc=73.016, loss_att=64.444, acc=0.661, loss=67.016, backward_time=0.266, grad_norm=46.697, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.133, optim0_lr0=1.379e-04, train_time=4.258 -[gpua005:0/64] 2023-12-04 21:56:15,597 (trainer:737) INFO: 9epoch:train:6301-6400batch: iter_time=9.018e-05, forward_time=0.148, loss_ctc=84.769, loss_att=67.757, acc=0.664, loss=72.861, backward_time=0.282, grad_norm=43.021, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.134, optim0_lr0=1.378e-04, train_time=1.390 -[gpua005:0/64] 2023-12-04 21:58:36,779 (trainer:737) INFO: 9epoch:train:6401-6500batch: iter_time=3.361e-04, forward_time=0.240, loss_ctc=85.523, loss_att=78.335, acc=0.643, loss=80.491, backward_time=0.331, grad_norm=50.653, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.140, optim0_lr0=1.378e-04, train_time=1.411 -[gpua005:0/64] 2023-12-04 22:01:04,357 (trainer:737) INFO: 9epoch:train:6501-6600batch: iter_time=9.395e-05, forward_time=0.148, loss_ctc=99.384, loss_att=86.483, acc=0.653, loss=90.353, backward_time=0.294, grad_norm=52.979, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.133, optim0_lr0=1.377e-04, train_time=1.476 -[gpua005:0/64] 2023-12-04 22:03:26,989 (trainer:737) INFO: 9epoch:train:6601-6700batch: iter_time=9.244e-05, forward_time=0.148, loss_ctc=81.453, loss_att=69.351, acc=0.658, loss=72.981, backward_time=0.278, grad_norm=47.747, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.134, optim0_lr0=1.377e-04, train_time=1.426 -[gpua005:0/64] 2023-12-04 22:06:31,405 (trainer:737) INFO: 9epoch:train:6701-6800batch: iter_time=9.728e-05, forward_time=0.148, loss_ctc=72.412, loss_att=58.117, acc=0.688, loss=62.406, backward_time=0.290, grad_norm=36.327, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.133, optim0_lr0=1.376e-04, train_time=1.844 -[gpua005:0/64] 2023-12-04 22:09:01,607 (trainer:737) INFO: 9epoch:train:6801-6900batch: iter_time=9.564e-05, forward_time=0.147, loss_ctc=82.320, loss_att=69.061, acc=0.666, loss=73.038, backward_time=0.306, grad_norm=48.956, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.133, optim0_lr0=1.375e-04, train_time=1.502 -[gpua005:0/64] 2023-12-04 22:11:21,057 (trainer:737) INFO: 9epoch:train:6901-7000batch: iter_time=9.489e-05, forward_time=0.147, loss_ctc=69.316, loss_att=50.529, acc=0.685, loss=56.165, backward_time=0.286, grad_norm=34.349, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.134, optim0_lr0=1.375e-04, train_time=1.394 -[gpua005:0/64] 2023-12-04 22:13:28,786 (trainer:737) INFO: 9epoch:train:7001-7100batch: iter_time=8.847e-05, forward_time=0.147, loss_ctc=74.410, loss_att=61.331, acc=0.678, loss=65.255, backward_time=0.274, grad_norm=42.516, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.133, optim0_lr0=1.374e-04, train_time=1.277 -[gpua005:0/64] 2023-12-04 22:15:53,143 (trainer:737) INFO: 9epoch:train:7101-7200batch: iter_time=9.018e-05, forward_time=0.148, loss_ctc=80.250, loss_att=75.706, acc=0.639, loss=77.069, backward_time=0.275, grad_norm=44.759, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.133, optim0_lr0=1.374e-04, train_time=1.443 -[gpua005:0/64] 2023-12-04 22:18:27,631 (trainer:737) INFO: 9epoch:train:7201-7300batch: iter_time=9.133e-05, forward_time=0.148, loss_ctc=82.161, loss_att=71.294, acc=0.645, loss=74.554, backward_time=0.287, grad_norm=48.867, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.133, optim0_lr0=1.373e-04, train_time=1.545 -[gpua005:0/64] 2023-12-04 22:21:43,100 (trainer:737) INFO: 9epoch:train:7301-7400batch: iter_time=9.205e-05, forward_time=0.148, loss_ctc=91.830, loss_att=84.608, acc=0.632, loss=86.775, backward_time=0.301, grad_norm=48.200, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.134, optim0_lr0=1.373e-04, train_time=1.954 -[gpua005:0/64] 2023-12-04 22:24:28,392 (trainer:737) INFO: 9epoch:train:7401-7500batch: iter_time=9.275e-05, forward_time=0.160, loss_ctc=74.970, loss_att=59.811, acc=0.667, loss=64.359, backward_time=0.293, grad_norm=49.714, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.145, optim0_lr0=1.372e-04, train_time=1.653 -[gpua005:0/64] 2023-12-04 22:24:48,421 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua005:0/64] 2023-12-04 22:25:06,461 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 22:25:09,923 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 22:25:09,923 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua005:0/64] 2023-12-04 22:25:09,926 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 22:35:58,193 (trainer:737) INFO: 9epoch:train:7501-7600batch: iter_time=3.275, forward_time=0.186, loss_ctc=75.878, loss_att=67.822, acc=0.662, loss=70.239, backward_time=0.288, grad_norm=47.365, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.134, optim0_lr0=1.372e-04, train_time=6.897 -[gpua005:0/64] 2023-12-04 22:38:15,925 (trainer:737) INFO: 9epoch:train:7601-7700batch: iter_time=8.781e-05, forward_time=0.148, loss_ctc=83.938, loss_att=67.737, acc=0.664, loss=72.597, backward_time=0.277, grad_norm=52.281, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.134, optim0_lr0=1.371e-04, train_time=1.377 -[gpua005:0/64] 2023-12-04 22:41:45,775 (trainer:737) INFO: 9epoch:train:7701-7800batch: iter_time=8.727e-05, forward_time=0.149, loss_ctc=92.307, loss_att=90.349, acc=0.628, loss=90.937, backward_time=0.309, grad_norm=57.206, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.134, optim0_lr0=1.371e-04, train_time=2.098 -[gpua005:0/64] 2023-12-04 22:44:09,864 (trainer:737) INFO: 9epoch:train:7801-7900batch: iter_time=8.576e-05, forward_time=0.147, loss_ctc=95.010, loss_att=75.959, acc=0.655, loss=81.674, backward_time=0.276, grad_norm=51.840, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.133, optim0_lr0=1.370e-04, train_time=1.441 -[gpua005:0/64] 2023-12-04 22:46:52,501 (trainer:737) INFO: 9epoch:train:7901-8000batch: iter_time=9.455e-05, forward_time=0.147, loss_ctc=73.490, loss_att=60.868, acc=0.683, loss=64.655, backward_time=0.348, grad_norm=35.659, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.133, optim0_lr0=1.370e-04, train_time=1.626 -[gpua005:0/64] 2023-12-04 22:49:24,847 (trainer:737) INFO: 9epoch:train:8001-8100batch: iter_time=8.603e-05, forward_time=0.147, loss_ctc=78.698, loss_att=63.212, acc=0.675, loss=67.858, backward_time=0.284, grad_norm=41.567, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.133, optim0_lr0=1.369e-04, train_time=1.523 -[gpua005:0/64] 2023-12-04 22:52:51,604 (trainer:737) INFO: 9epoch:train:8101-8200batch: iter_time=9.419e-05, forward_time=0.147, loss_ctc=76.038, loss_att=62.410, acc=0.660, loss=66.498, backward_time=0.317, grad_norm=41.133, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.133, optim0_lr0=1.368e-04, train_time=2.067 -[gpua005:0/64] 2023-12-04 22:55:40,412 (trainer:737) INFO: 9epoch:train:8201-8300batch: iter_time=8.645e-05, forward_time=0.147, loss_ctc=70.478, loss_att=51.442, acc=0.699, loss=57.153, backward_time=0.279, grad_norm=38.614, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.133, optim0_lr0=1.368e-04, train_time=1.688 -[gpua005:0/64] 2023-12-04 22:58:37,219 (trainer:737) INFO: 9epoch:train:8301-8400batch: iter_time=9.106e-05, forward_time=0.148, loss_ctc=83.435, loss_att=76.369, acc=0.653, loss=78.489, backward_time=0.314, grad_norm=45.919, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.133, optim0_lr0=1.367e-04, train_time=1.768 -[gpua005:0/64] 2023-12-04 23:01:10,299 (trainer:737) INFO: 9epoch:train:8401-8500batch: iter_time=4.056e-04, forward_time=0.166, loss_ctc=75.111, loss_att=71.713, acc=0.652, loss=72.733, backward_time=0.353, grad_norm=39.326, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.136, optim0_lr0=1.367e-04, train_time=1.531 -[gpua005:0/64] 2023-12-04 23:04:14,010 (trainer:737) INFO: 9epoch:train:8501-8600batch: iter_time=9.079e-05, forward_time=0.190, loss_ctc=85.411, loss_att=72.700, acc=0.634, loss=76.513, backward_time=0.356, grad_norm=47.817, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.135, optim0_lr0=1.366e-04, train_time=1.836 -[gpua005:0/64] 2023-12-04 23:06:48,049 (trainer:737) INFO: 9epoch:train:8601-8700batch: iter_time=8.273e-05, forward_time=0.148, loss_ctc=83.979, loss_att=74.014, acc=0.651, loss=77.003, backward_time=0.304, grad_norm=45.131, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.133, optim0_lr0=1.366e-04, train_time=1.541 -[gpua005:0/64] 2023-12-04 23:08:28,973 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua005:0/64] 2023-12-04 23:08:47,367 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 23:08:50,743 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 23:08:50,743 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua005:0/64] 2023-12-04 23:08:50,769 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 23:14:22,037 (trainer:737) INFO: 9epoch:train:8701-8800batch: iter_time=2.990, forward_time=0.147, loss_ctc=72.266, loss_att=63.643, acc=0.665, loss=66.230, backward_time=0.280, grad_norm=41.736, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.134, optim0_lr0=1.365e-04, train_time=4.540 -[gpua005:0/64] 2023-12-04 23:16:56,386 (trainer:737) INFO: 9epoch:train:8801-8900batch: iter_time=8.677e-05, forward_time=0.146, loss_ctc=83.359, loss_att=65.367, acc=0.664, loss=70.765, backward_time=0.318, grad_norm=48.180, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.133, optim0_lr0=1.365e-04, train_time=1.543 -[gpua005:0/64] 2023-12-04 23:19:01,087 (trainer:737) INFO: 9epoch:train:8901-9000batch: iter_time=8.591e-05, forward_time=0.147, loss_ctc=84.743, loss_att=76.998, acc=0.641, loss=79.322, backward_time=0.266, grad_norm=44.746, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.133, optim0_lr0=1.364e-04, train_time=1.247 -[gpua005:0/64] 2023-12-04 23:21:06,943 (trainer:737) INFO: 9epoch:train:9001-9100batch: iter_time=8.606e-05, forward_time=0.147, loss_ctc=98.056, loss_att=83.781, acc=0.647, loss=88.064, backward_time=0.271, grad_norm=50.911, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.133, optim0_lr0=1.364e-04, train_time=1.258 -[gpua005:0/64] 2023-12-04 23:23:20,829 (trainer:737) INFO: 9epoch:train:9101-9200batch: iter_time=9.365e-05, forward_time=0.147, loss_ctc=80.464, loss_att=68.611, acc=0.648, loss=72.167, backward_time=0.271, grad_norm=45.767, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.133, optim0_lr0=1.363e-04, train_time=1.339 -[gpua005:0/64] 2023-12-04 23:26:21,766 (trainer:737) INFO: 9epoch:train:9201-9300batch: iter_time=8.970e-05, forward_time=0.147, loss_ctc=71.895, loss_att=57.904, acc=0.681, loss=62.101, backward_time=0.291, grad_norm=35.804, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.133, optim0_lr0=1.363e-04, train_time=1.809 -[gpua005:0/64] 2023-12-04 23:28:35,530 (trainer:737) INFO: 9epoch:train:9301-9400batch: iter_time=8.813e-05, forward_time=0.147, loss_ctc=81.830, loss_att=67.274, acc=0.660, loss=71.641, backward_time=0.266, grad_norm=45.539, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.133, optim0_lr0=1.362e-04, train_time=1.337 -[gpua005:0/64] 2023-12-04 23:31:30,208 (trainer:737) INFO: 9epoch:train:9401-9500batch: iter_time=8.840e-05, forward_time=0.195, loss_ctc=69.651, loss_att=49.994, acc=0.688, loss=55.891, backward_time=0.367, grad_norm=37.353, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.135, optim0_lr0=1.362e-04, train_time=1.747 -[gpua005:0/64] 2023-12-04 23:34:04,853 (trainer:737) INFO: 9epoch:train:9501-9600batch: iter_time=8.574e-05, forward_time=0.196, loss_ctc=73.245, loss_att=60.289, acc=0.672, loss=64.176, backward_time=0.292, grad_norm=42.927, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.134, optim0_lr0=1.361e-04, train_time=1.545 -[gpua005:0/64] 2023-12-04 23:36:23,543 (trainer:737) INFO: 9epoch:train:9601-9700batch: iter_time=8.381e-05, forward_time=0.147, loss_ctc=79.820, loss_att=74.268, acc=0.639, loss=75.934, backward_time=0.273, grad_norm=42.362, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.133, optim0_lr0=1.361e-04, train_time=1.387 -[gpua005:0/64] 2023-12-04 23:38:47,112 (trainer:737) INFO: 9epoch:train:9701-9800batch: iter_time=8.990e-05, forward_time=0.149, loss_ctc=81.364, loss_att=69.593, acc=0.655, loss=73.124, backward_time=0.273, grad_norm=44.563, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.133, optim0_lr0=1.360e-04, train_time=1.435 -[gpua005:0/64] 2023-12-04 23:41:38,160 (trainer:737) INFO: 9epoch:train:9801-9900batch: iter_time=8.797e-05, forward_time=0.146, loss_ctc=90.850, loss_att=81.041, acc=0.633, loss=83.983, backward_time=0.315, grad_norm=49.419, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.133, optim0_lr0=1.360e-04, train_time=1.710 -[gpua005:0/64] 2023-12-04 23:44:08,628 (trainer:737) INFO: 9epoch:train:9901-10000batch: iter_time=8.555e-05, forward_time=0.148, loss_ctc=73.788, loss_att=57.837, acc=0.670, loss=62.622, backward_time=0.298, grad_norm=42.163, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.133, optim0_lr0=1.359e-04, train_time=1.504 -[gpua005:0/64] 2023-12-04 23:44:28,657 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua005:0/64] 2023-12-04 23:44:46,777 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-04 23:44:50,170 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-04 23:44:50,170 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua005:0/64] 2023-12-04 23:44:50,198 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-04 23:54:10,362 (trainer:737) INFO: 9epoch:train:10001-10100batch: iter_time=2.959, forward_time=0.191, loss_ctc=75.065, loss_att=68.279, acc=0.665, loss=70.315, backward_time=0.274, grad_norm=41.061, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.134, optim0_lr0=1.358e-04, train_time=6.017 -[gpua005:0/64] 2023-12-04 23:56:22,255 (trainer:737) INFO: 9epoch:train:10101-10200batch: iter_time=8.945e-05, forward_time=0.148, loss_ctc=82.945, loss_att=66.264, acc=0.675, loss=71.268, backward_time=0.266, grad_norm=44.940, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.133, optim0_lr0=1.358e-04, train_time=1.319 -[gpua005:0/64] 2023-12-04 23:58:41,364 (trainer:737) INFO: 9epoch:train:10201-10300batch: iter_time=8.699e-05, forward_time=0.149, loss_ctc=91.630, loss_att=89.170, acc=0.636, loss=89.908, backward_time=0.272, grad_norm=49.924, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.133, optim0_lr0=1.357e-04, train_time=1.391 -[gpua005:0/64] 2023-12-05 00:01:20,874 (trainer:737) INFO: 9epoch:train:10301-10400batch: iter_time=9.162e-05, forward_time=0.147, loss_ctc=93.138, loss_att=75.325, acc=0.659, loss=80.669, backward_time=0.268, grad_norm=53.460, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.133, optim0_lr0=1.357e-04, train_time=1.595 -[gpua005:0/64] 2023-12-05 00:03:53,331 (trainer:737) INFO: 9epoch:train:10401-10500batch: iter_time=9.112e-05, forward_time=0.146, loss_ctc=73.064, loss_att=60.393, acc=0.686, loss=64.194, backward_time=0.273, grad_norm=38.346, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.133, optim0_lr0=1.356e-04, train_time=1.523 -[gpua005:0/64] 2023-12-05 00:06:24,185 (trainer:737) INFO: 9epoch:train:10501-10600batch: iter_time=9.208e-05, forward_time=0.148, loss_ctc=77.876, loss_att=62.649, acc=0.676, loss=67.217, backward_time=0.287, grad_norm=43.563, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.133, optim0_lr0=1.356e-04, train_time=1.509 -[gpua005:0/64] 2023-12-05 00:09:41,648 (trainer:737) INFO: 9epoch:train:10601-10700batch: iter_time=9.414e-05, forward_time=0.147, loss_ctc=76.080, loss_att=62.268, acc=0.663, loss=66.411, backward_time=0.344, grad_norm=41.294, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.133, optim0_lr0=1.355e-04, train_time=1.974 -[gpua005:0/64] 2023-12-05 00:12:36,544 (trainer:737) INFO: 9epoch:train:10701-10800batch: iter_time=9.058e-05, forward_time=0.146, loss_ctc=70.417, loss_att=51.505, acc=0.701, loss=57.179, backward_time=0.314, grad_norm=40.182, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.133, optim0_lr0=1.355e-04, train_time=1.749 -[gpua005:0/64] 2023-12-05 00:15:16,884 (trainer:737) INFO: 9epoch:train:10801-10900batch: iter_time=9.011e-05, forward_time=0.146, loss_ctc=82.770, loss_att=76.153, acc=0.656, loss=78.138, backward_time=0.315, grad_norm=44.910, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.133, optim0_lr0=1.354e-04, train_time=1.603 -[gpua005:0/64] 2023-12-05 00:17:55,000 (trainer:737) INFO: 9epoch:train:10901-11000batch: iter_time=9.216e-05, forward_time=0.253, loss_ctc=74.231, loss_att=69.968, acc=0.656, loss=71.247, backward_time=0.298, grad_norm=42.514, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.138, optim0_lr0=1.354e-04, train_time=1.581 -[gpua005:0/64] 2023-12-05 00:20:20,299 (trainer:737) INFO: 9epoch:train:11001-11100batch: iter_time=8.946e-05, forward_time=0.147, loss_ctc=85.541, loss_att=72.244, acc=0.637, loss=76.233, backward_time=0.333, grad_norm=49.711, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.134, optim0_lr0=1.353e-04, train_time=1.453 -[gpua005:0/64] 2023-12-05 00:23:12,901 (trainer:737) INFO: 9epoch:train:11101-11200batch: iter_time=8.880e-05, forward_time=0.147, loss_ctc=83.015, loss_att=73.422, acc=0.653, loss=76.300, backward_time=0.309, grad_norm=45.048, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.134, optim0_lr0=1.353e-04, train_time=1.726 -[gpua005:0/64] 2023-12-05 00:24:53,212 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua005:0/64] 2023-12-05 00:25:11,773 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-05 00:25:15,163 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-05 00:25:15,163 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua005:0/64] 2023-12-05 00:25:15,169 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-05 00:33:27,908 (trainer:737) INFO: 9epoch:train:11201-11300batch: iter_time=2.884, forward_time=0.147, loss_ctc=71.812, loss_att=63.096, acc=0.673, loss=65.711, backward_time=0.269, grad_norm=38.926, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.133, optim0_lr0=1.352e-04, train_time=6.149 -[gpua005:0/64] 2023-12-05 00:35:30,144 (trainer:737) INFO: 9epoch:train:11301-11400batch: iter_time=8.458e-05, forward_time=0.151, loss_ctc=82.778, loss_att=65.470, acc=0.674, loss=70.663, backward_time=0.266, grad_norm=40.675, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.134, optim0_lr0=1.352e-04, train_time=1.223 -[gpua005:0/64] 2023-12-05 00:37:38,196 (trainer:737) INFO: 9epoch:train:11401-11500batch: iter_time=8.544e-05, forward_time=0.147, loss_ctc=84.792, loss_att=75.655, acc=0.652, loss=78.396, backward_time=0.266, grad_norm=47.104, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.133, optim0_lr0=1.351e-04, train_time=1.280 -[gpua005:0/64] 2023-12-05 00:39:54,924 (trainer:737) INFO: 9epoch:train:11501-11600batch: iter_time=8.570e-05, forward_time=0.150, loss_ctc=96.439, loss_att=83.201, acc=0.662, loss=87.173, backward_time=0.279, grad_norm=49.782, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.134, optim0_lr0=1.351e-04, train_time=1.367 -[gpua005:0/64] 2023-12-05 00:42:19,958 (trainer:737) INFO: 9epoch:train:11601-11700batch: iter_time=9.189e-05, forward_time=0.149, loss_ctc=80.288, loss_att=67.402, acc=0.665, loss=71.268, backward_time=0.273, grad_norm=45.056, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.134, optim0_lr0=1.350e-04, train_time=1.450 -[gpua005:0/64] 2023-12-05 00:45:24,729 (trainer:737) INFO: 9epoch:train:11701-11800batch: iter_time=9.720e-05, forward_time=0.236, loss_ctc=71.689, loss_att=57.311, acc=0.691, loss=61.625, backward_time=0.372, grad_norm=41.812, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.139, optim0_lr0=1.350e-04, train_time=1.847 -[gpua005:0/64] 2023-12-05 00:48:03,449 (trainer:737) INFO: 9epoch:train:11801-11900batch: iter_time=9.472e-05, forward_time=0.154, loss_ctc=81.322, loss_att=68.141, acc=0.671, loss=72.095, backward_time=0.278, grad_norm=44.838, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.133, optim0_lr0=1.349e-04, train_time=1.587 -[gpua005:0/64] 2023-12-05 00:50:44,412 (trainer:737) INFO: 9epoch:train:11901-12000batch: iter_time=9.209e-05, forward_time=0.146, loss_ctc=69.162, loss_att=49.444, acc=0.693, loss=55.359, backward_time=0.291, grad_norm=38.785, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.133, optim0_lr0=1.349e-04, train_time=1.609 -[gpua005:0/64] 2023-12-05 00:53:32,652 (trainer:737) INFO: 9epoch:train:12001-12100batch: iter_time=9.497e-05, forward_time=0.149, loss_ctc=72.405, loss_att=59.818, acc=0.683, loss=63.594, backward_time=0.304, grad_norm=40.331, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.134, optim0_lr0=1.348e-04, train_time=1.682 -[gpua005:0/64] 2023-12-05 00:56:12,444 (trainer:737) INFO: 9epoch:train:12101-12200batch: iter_time=9.207e-05, forward_time=0.147, loss_ctc=79.153, loss_att=73.584, acc=0.649, loss=75.255, backward_time=0.282, grad_norm=49.057, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.133, optim0_lr0=1.348e-04, train_time=1.596 -[gpua005:0/64] 2023-12-05 00:58:44,974 (trainer:737) INFO: 9epoch:train:12201-12300batch: iter_time=9.225e-05, forward_time=0.147, loss_ctc=80.293, loss_att=69.706, acc=0.656, loss=72.882, backward_time=0.276, grad_norm=45.039, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.133, optim0_lr0=1.347e-04, train_time=1.526 -[gpua005:0/64] 2023-12-05 01:01:19,879 (trainer:737) INFO: 9epoch:train:12301-12400batch: iter_time=9.088e-05, forward_time=0.148, loss_ctc=90.228, loss_att=82.891, acc=0.639, loss=85.092, backward_time=0.284, grad_norm=49.387, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.133, optim0_lr0=1.347e-04, train_time=1.549 -[gpua005:0/64] 2023-12-05 01:03:36,794 (trainer:737) INFO: 9epoch:train:12401-12500batch: iter_time=9.545e-05, forward_time=0.147, loss_ctc=73.677, loss_att=58.702, acc=0.674, loss=63.195, backward_time=0.284, grad_norm=39.024, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.133, optim0_lr0=1.346e-04, train_time=1.369 -[gpua005:0/64] 2023-12-05 01:03:56,823 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua005:0/64] 2023-12-05 01:04:15,627 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-05 01:04:19,020 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-05 01:04:19,020 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua005:0/64] 2023-12-05 01:04:19,023 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-05 01:10:51,636 (trainer:737) INFO: 9epoch:train:12501-12600batch: iter_time=2.967, forward_time=0.183, loss_ctc=74.628, loss_att=66.993, acc=0.662, loss=69.284, backward_time=0.272, grad_norm=44.009, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.135, optim0_lr0=1.346e-04, train_time=4.348 -[gpua005:0/64] 2023-12-05 01:13:04,312 (trainer:737) INFO: 9epoch:train:12601-12700batch: iter_time=9.548e-05, forward_time=0.148, loss_ctc=82.474, loss_att=65.940, acc=0.672, loss=70.900, backward_time=0.271, grad_norm=45.506, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.134, optim0_lr0=1.345e-04, train_time=1.327 -[gpua005:0/64] 2023-12-05 01:15:49,157 (trainer:737) INFO: 9epoch:train:12701-12800batch: iter_time=9.254e-05, forward_time=0.148, loss_ctc=90.669, loss_att=89.051, acc=0.624, loss=89.536, backward_time=0.313, grad_norm=50.088, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.134, optim0_lr0=1.345e-04, train_time=1.648 -[gpua005:0/64] 2023-12-05 01:18:14,320 (trainer:737) INFO: 9epoch:train:12801-12900batch: iter_time=9.178e-05, forward_time=0.147, loss_ctc=91.860, loss_att=72.490, acc=0.654, loss=78.301, backward_time=0.289, grad_norm=49.552, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.134, optim0_lr0=1.344e-04, train_time=1.451 -[gpua005:0/64] 2023-12-05 01:20:32,068 (trainer:737) INFO: 9epoch:train:12901-13000batch: iter_time=9.484e-05, forward_time=0.146, loss_ctc=72.018, loss_att=59.036, acc=0.684, loss=62.930, backward_time=0.269, grad_norm=39.007, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.133, optim0_lr0=1.344e-04, train_time=1.377 -[gpua005:0/64] 2023-12-05 01:23:09,559 (trainer:737) INFO: 9epoch:train:13001-13100batch: iter_time=1.019e-04, forward_time=0.147, loss_ctc=76.879, loss_att=62.134, acc=0.668, loss=66.557, backward_time=0.278, grad_norm=44.512, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.134, optim0_lr0=1.343e-04, train_time=1.574 -[gpua005:0/64] 2023-12-05 01:26:01,240 (trainer:737) INFO: 9epoch:train:13101-13200batch: iter_time=1.066e-04, forward_time=0.148, loss_ctc=75.755, loss_att=60.243, acc=0.659, loss=64.897, backward_time=0.302, grad_norm=44.940, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.134, optim0_lr0=1.343e-04, train_time=1.717 -[gpua005:0/64] 2023-12-05 01:28:38,224 (trainer:737) INFO: 9epoch:train:13201-13300batch: iter_time=1.013e-04, forward_time=0.146, loss_ctc=69.749, loss_att=50.154, acc=0.700, loss=56.033, backward_time=0.272, grad_norm=41.297, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.133, optim0_lr0=1.342e-04, train_time=1.570 -[gpua005:0/64] 2023-12-05 01:31:26,059 (trainer:737) INFO: 9epoch:train:13301-13400batch: iter_time=1.008e-04, forward_time=0.146, loss_ctc=82.258, loss_att=74.958, acc=0.655, loss=77.148, backward_time=0.284, grad_norm=47.140, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.133, optim0_lr0=1.342e-04, train_time=1.678 -[gpua005:0/64] 2023-12-05 01:34:17,979 (trainer:737) INFO: 9epoch:train:13401-13500batch: iter_time=2.120e-04, forward_time=0.218, loss_ctc=73.547, loss_att=69.693, acc=0.655, loss=70.850, backward_time=0.322, grad_norm=42.075, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.141, optim0_lr0=1.341e-04, train_time=1.719 -[gpua005:0/64] 2023-12-05 01:36:46,143 (trainer:737) INFO: 9epoch:train:13501-13600batch: iter_time=9.163e-05, forward_time=0.147, loss_ctc=84.159, loss_att=71.066, acc=0.632, loss=74.994, backward_time=0.323, grad_norm=50.394, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.133, optim0_lr0=1.341e-04, train_time=1.481 -[gpua005:0/64] 2023-12-05 01:38:50,020 (trainer:737) INFO: 9epoch:train:13601-13700batch: iter_time=9.483e-05, forward_time=0.146, loss_ctc=82.946, loss_att=70.940, acc=0.655, loss=74.542, backward_time=0.265, grad_norm=44.237, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.133, optim0_lr0=1.340e-04, train_time=1.239 -[gpua005:0/64] 2023-12-05 01:40:09,992 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua005:0/64] 2023-12-05 01:40:28,642 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-05 01:40:32,074 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-05 01:40:32,074 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua005:0/64] 2023-12-05 01:40:32,077 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-05 01:46:02,770 (trainer:737) INFO: 9epoch:train:13701-13800batch: iter_time=2.967, forward_time=0.147, loss_ctc=71.152, loss_att=61.554, acc=0.667, loss=64.434, backward_time=0.266, grad_norm=45.424, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.133, optim0_lr0=1.340e-04, train_time=4.326 -[gpua005:0/64] 2023-12-05 01:48:21,643 (trainer:737) INFO: 9epoch:train:13801-13900batch: iter_time=9.079e-05, forward_time=0.149, loss_ctc=81.423, loss_att=63.325, acc=0.670, loss=68.755, backward_time=0.278, grad_norm=45.860, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.134, optim0_lr0=1.339e-04, train_time=1.389 -[gpua005:0/64] 2023-12-05 01:50:47,329 (trainer:737) INFO: 9epoch:train:13901-14000batch: iter_time=8.842e-05, forward_time=0.147, loss_ctc=83.696, loss_att=74.484, acc=0.649, loss=77.247, backward_time=0.279, grad_norm=51.910, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.133, optim0_lr0=1.339e-04, train_time=1.457 -[gpua005:0/64] 2023-12-05 01:53:27,133 (trainer:737) INFO: 9epoch:train:14001-14100batch: iter_time=9.455e-05, forward_time=0.148, loss_ctc=96.943, loss_att=81.888, acc=0.652, loss=86.405, backward_time=0.304, grad_norm=51.538, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.133, optim0_lr0=1.338e-04, train_time=1.598 -[gpua005:0/64] 2023-12-05 01:56:12,233 (trainer:737) INFO: 9epoch:train:14101-14200batch: iter_time=9.208e-05, forward_time=0.181, loss_ctc=78.814, loss_att=66.939, acc=0.656, loss=70.502, backward_time=0.282, grad_norm=46.081, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.150, optim0_lr0=1.338e-04, train_time=1.651 -[gpua005:0/64] 2023-12-05 01:58:24,222 (trainer:737) INFO: 9epoch:train:14201-14300batch: iter_time=9.307e-05, forward_time=0.182, loss_ctc=71.347, loss_att=56.590, acc=0.688, loss=61.017, backward_time=0.312, grad_norm=37.215, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.137, optim0_lr0=1.337e-04, train_time=1.319 -[gpua005:0/64] 2023-12-05 02:01:05,225 (trainer:737) INFO: 9epoch:train:14301-14400batch: iter_time=9.352e-05, forward_time=0.147, loss_ctc=80.552, loss_att=65.977, acc=0.666, loss=70.349, backward_time=0.275, grad_norm=43.552, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.134, optim0_lr0=1.337e-04, train_time=1.610 -[gpua005:0/64] 2023-12-05 02:03:40,222 (trainer:737) INFO: 9epoch:train:14401-14500batch: iter_time=8.766e-05, forward_time=0.147, loss_ctc=69.257, loss_att=49.886, acc=0.691, loss=55.697, backward_time=0.326, grad_norm=39.298, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.134, optim0_lr0=1.336e-04, train_time=1.550 -[gpua005:0/64] 2023-12-05 02:06:16,056 (trainer:737) INFO: 9epoch:train:14501-14600batch: iter_time=8.549e-05, forward_time=0.148, loss_ctc=72.107, loss_att=58.637, acc=0.678, loss=62.678, backward_time=0.294, grad_norm=46.198, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.135, optim0_lr0=1.336e-04, train_time=1.558 -[gpua005:0/64] 2023-12-05 02:09:14,176 (trainer:737) INFO: 9epoch:train:14601-14700batch: iter_time=9.026e-05, forward_time=0.148, loss_ctc=78.308, loss_att=73.049, acc=0.643, loss=74.627, backward_time=0.365, grad_norm=43.140, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.135, optim0_lr0=1.335e-04, train_time=1.780 -[gpua005:0/64] 2023-12-05 02:12:05,962 (trainer:737) INFO: 9epoch:train:14701-14800batch: iter_time=1.021e-04, forward_time=0.147, loss_ctc=79.697, loss_att=68.574, acc=0.659, loss=71.911, backward_time=0.294, grad_norm=46.835, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.134, optim0_lr0=1.335e-04, train_time=1.718 -[gpua005:0/64] 2023-12-05 02:14:30,709 (trainer:737) INFO: 9epoch:train:14801-14900batch: iter_time=9.311e-05, forward_time=0.148, loss_ctc=89.881, loss_att=79.445, acc=0.637, loss=82.576, backward_time=0.275, grad_norm=51.948, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.134, optim0_lr0=1.334e-04, train_time=1.447 -[gpua005:0/64] 2023-12-05 02:16:49,388 (trainer:737) INFO: 9epoch:train:14901-15000batch: iter_time=9.242e-05, forward_time=0.147, loss_ctc=72.648, loss_att=56.918, acc=0.675, loss=61.637, backward_time=0.289, grad_norm=45.636, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.135, optim0_lr0=1.334e-04, train_time=1.387 -[gpua005:0/64] 2023-12-05 02:43:37,722 (trainer:343) INFO: 9epoch results: [train] iter_time=0.262, forward_time=0.157, loss_ctc=81.239, loss_att=68.929, acc=0.657, loss=72.622, backward_time=0.293, grad_norm=45.661, clip=100.000, loss_scale=1.924e+24, optim_step_time=0.134, optim0_lr0=1.373e-04, train_time=1.813, time=7 hours, 33 minutes and 36.2 seconds, total_count=135000, gpu_max_cached_mem_GB=35.223, [valid] loss_ctc=59.031, cer_ctc=0.290, loss_att=53.119, acc=0.605, cer=0.327, wer=1.000, loss=54.892, time=26 minutes and 23.56 seconds, total_count=42039, gpu_max_cached_mem_GB=35.223 -[gpua005:0/64] 2023-12-05 02:43:59,916 (trainer:391) INFO: The best model has been updated: valid.acc, valid.total_count -[gpua005:0/64] 2023-12-05 02:44:00,018 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/4epoch.pth -[gpua005:0/64] 2023-12-05 02:44:00,098 (trainer:272) INFO: 10/40epoch started. Estimated time to finish: 1 week, 5 days and 4 hours -[gpua005:0/64] 2023-12-05 02:44:00,658 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua005:0/64] 2023-12-05 02:44:18,320 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-05 02:44:21,624 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-05 02:44:21,625 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua005:0/64] 2023-12-05 02:44:21,628 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-05 02:51:21,722 (trainer:737) INFO: 10epoch:train:1-100batch: iter_time=2.681, forward_time=0.178, loss_ctc=81.753, loss_att=70.886, acc=0.631, loss=74.146, backward_time=0.272, grad_norm=50.551, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.135, optim0_lr0=1.333e-04, train_time=4.410 -[gpua005:0/64] 2023-12-05 02:53:23,354 (trainer:737) INFO: 10epoch:train:101-200batch: iter_time=8.831e-05, forward_time=0.146, loss_ctc=70.168, loss_att=56.131, acc=0.660, loss=60.342, backward_time=0.266, grad_norm=43.626, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.134, optim0_lr0=1.333e-04, train_time=1.216 -[gpua005:0/64] 2023-12-05 02:55:31,363 (trainer:737) INFO: 10epoch:train:201-300batch: iter_time=8.598e-05, forward_time=0.146, loss_ctc=93.867, loss_att=86.460, acc=0.620, loss=88.682, backward_time=0.280, grad_norm=58.906, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.133, optim0_lr0=1.332e-04, train_time=1.280 -[gpua005:0/64] 2023-12-05 02:57:41,898 (trainer:737) INFO: 10epoch:train:301-400batch: iter_time=9.305e-05, forward_time=0.147, loss_ctc=93.036, loss_att=78.487, acc=0.633, loss=82.852, backward_time=0.274, grad_norm=57.552, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.133, optim0_lr0=1.332e-04, train_time=1.305 -[gpua005:0/64] 2023-12-05 03:00:13,367 (trainer:737) INFO: 10epoch:train:401-500batch: iter_time=9.623e-05, forward_time=0.149, loss_ctc=69.621, loss_att=57.108, acc=0.660, loss=60.862, backward_time=0.295, grad_norm=46.417, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.135, optim0_lr0=1.331e-04, train_time=1.513 -[gpua005:0/64] 2023-12-05 03:02:34,068 (trainer:737) INFO: 10epoch:train:501-600batch: iter_time=8.690e-05, forward_time=0.173, loss_ctc=76.957, loss_att=66.926, acc=0.654, loss=69.935, backward_time=0.280, grad_norm=46.112, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.134, optim0_lr0=1.331e-04, train_time=1.408 -[gpua005:0/64] 2023-12-05 03:05:11,370 (trainer:737) INFO: 10epoch:train:601-700batch: iter_time=2.145e-04, forward_time=0.171, loss_ctc=81.452, loss_att=66.050, acc=0.658, loss=70.671, backward_time=0.306, grad_norm=45.254, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.134, optim0_lr0=1.330e-04, train_time=1.573 -[gpua005:0/64] 2023-12-05 03:07:46,280 (trainer:737) INFO: 10epoch:train:701-800batch: iter_time=9.470e-05, forward_time=0.179, loss_ctc=76.051, loss_att=64.816, acc=0.655, loss=68.186, backward_time=0.359, grad_norm=50.173, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.138, optim0_lr0=1.330e-04, train_time=1.549 -[gpua005:0/64] 2023-12-05 03:10:32,253 (trainer:737) INFO: 10epoch:train:801-900batch: iter_time=9.160e-05, forward_time=0.147, loss_ctc=79.827, loss_att=67.208, acc=0.641, loss=70.994, backward_time=0.320, grad_norm=49.299, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.133, optim0_lr0=1.329e-04, train_time=1.660 -[gpua005:0/64] 2023-12-05 03:12:58,422 (trainer:737) INFO: 10epoch:train:901-1000batch: iter_time=9.396e-05, forward_time=0.147, loss_ctc=78.722, loss_att=60.568, acc=0.670, loss=66.014, backward_time=0.293, grad_norm=48.328, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.134, optim0_lr0=1.329e-04, train_time=1.461 -[gpua005:0/64] 2023-12-05 03:15:20,305 (trainer:737) INFO: 10epoch:train:1001-1100batch: iter_time=9.605e-05, forward_time=0.147, loss_ctc=105.760, loss_att=77.499, acc=0.624, loss=85.978, backward_time=0.283, grad_norm=65.063, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.134, optim0_lr0=1.328e-04, train_time=1.418 -[gpua005:0/64] 2023-12-05 03:17:44,029 (trainer:737) INFO: 10epoch:train:1101-1200batch: iter_time=0.001, forward_time=0.170, loss_ctc=76.971, loss_att=61.021, acc=0.663, loss=65.806, backward_time=0.310, grad_norm=43.222, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.136, optim0_lr0=1.328e-04, train_time=1.437 -[gpua005:0/64] 2023-12-05 03:19:11,566 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua005:0/64] 2023-12-05 03:19:29,804 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-05 03:19:33,159 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-05 03:19:33,159 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua005:0/64] 2023-12-05 03:19:33,180 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-05 03:26:58,403 (trainer:737) INFO: 10epoch:train:1201-1300batch: iter_time=2.388, forward_time=0.148, loss_ctc=75.393, loss_att=67.276, acc=0.655, loss=69.711, backward_time=0.271, grad_norm=45.962, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.134, optim0_lr0=1.327e-04, train_time=5.545 -[gpua005:0/64] 2023-12-05 03:29:13,465 (trainer:737) INFO: 10epoch:train:1301-1400batch: iter_time=8.639e-05, forward_time=0.158, loss_ctc=79.596, loss_att=70.129, acc=0.644, loss=72.969, backward_time=0.266, grad_norm=46.266, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.134, optim0_lr0=1.327e-04, train_time=1.350 -[gpua005:0/64] 2023-12-05 03:31:44,631 (trainer:737) INFO: 10epoch:train:1401-1500batch: iter_time=7.919e-05, forward_time=0.163, loss_ctc=79.219, loss_att=64.935, acc=0.670, loss=69.220, backward_time=0.277, grad_norm=47.655, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.140, optim0_lr0=1.326e-04, train_time=1.511 -[gpua005:0/64] 2023-12-05 03:34:23,872 (trainer:737) INFO: 10epoch:train:1501-1600batch: iter_time=9.056e-05, forward_time=0.215, loss_ctc=92.463, loss_att=89.423, acc=0.627, loss=90.335, backward_time=0.295, grad_norm=50.050, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.135, optim0_lr0=1.326e-04, train_time=1.592 -[gpua005:0/64] 2023-12-05 03:36:37,685 (trainer:737) INFO: 10epoch:train:1601-1700batch: iter_time=9.330e-05, forward_time=0.173, loss_ctc=75.319, loss_att=60.734, acc=0.675, loss=65.109, backward_time=0.271, grad_norm=43.008, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.135, optim0_lr0=1.325e-04, train_time=1.338 -[gpua005:0/64] 2023-12-05 03:38:58,622 (trainer:737) INFO: 10epoch:train:1701-1800batch: iter_time=7.937e-05, forward_time=0.147, loss_ctc=73.759, loss_att=67.609, acc=0.653, loss=69.454, backward_time=0.282, grad_norm=44.811, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.134, optim0_lr0=1.325e-04, train_time=1.409 -[gpua005:0/64] 2023-12-05 03:41:51,895 (trainer:737) INFO: 10epoch:train:1801-1900batch: iter_time=0.005, forward_time=0.147, loss_ctc=74.531, loss_att=64.490, acc=0.681, loss=67.502, backward_time=0.364, grad_norm=41.073, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.134, optim0_lr0=1.324e-04, train_time=1.731 -[gpua005:0/64] 2023-12-05 03:44:47,629 (trainer:737) INFO: 10epoch:train:1901-2000batch: iter_time=8.784e-05, forward_time=0.147, loss_ctc=77.655, loss_att=64.844, acc=0.670, loss=68.687, backward_time=0.309, grad_norm=45.156, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.135, optim0_lr0=1.324e-04, train_time=1.758 -[gpua005:0/64] 2023-12-05 03:47:15,872 (trainer:737) INFO: 10epoch:train:2001-2100batch: iter_time=8.687e-05, forward_time=0.171, loss_ctc=77.400, loss_att=69.972, acc=0.651, loss=72.200, backward_time=0.288, grad_norm=46.074, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.141, optim0_lr0=1.323e-04, train_time=1.482 -[gpua005:0/64] 2023-12-05 03:49:36,265 (trainer:737) INFO: 10epoch:train:2101-2200batch: iter_time=8.688e-05, forward_time=0.149, loss_ctc=78.361, loss_att=62.838, acc=0.664, loss=67.494, backward_time=0.297, grad_norm=41.993, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.134, optim0_lr0=1.323e-04, train_time=1.404 -[gpua005:0/64] 2023-12-05 03:52:09,855 (trainer:737) INFO: 10epoch:train:2201-2300batch: iter_time=8.835e-05, forward_time=0.147, loss_ctc=93.676, loss_att=68.077, acc=0.662, loss=75.757, backward_time=0.294, grad_norm=57.099, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.133, optim0_lr0=1.322e-04, train_time=1.536 -[gpua005:0/64] 2023-12-05 03:54:28,206 (trainer:737) INFO: 10epoch:train:2301-2400batch: iter_time=9.574e-05, forward_time=0.146, loss_ctc=79.466, loss_att=60.456, acc=0.659, loss=66.159, backward_time=0.289, grad_norm=47.929, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.133, optim0_lr0=1.322e-04, train_time=1.383 -[gpua005:0/64] 2023-12-05 03:57:01,715 (trainer:737) INFO: 10epoch:train:2401-2500batch: iter_time=0.001, forward_time=0.162, loss_ctc=77.112, loss_att=63.013, acc=0.670, loss=67.242, backward_time=0.283, grad_norm=42.995, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.133, optim0_lr0=1.321e-04, train_time=1.535 -[gpua005:0/64] 2023-12-05 03:57:21,914 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua005:0/64] 2023-12-05 03:57:39,774 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-05 03:57:43,178 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-05 03:57:43,178 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua005:0/64] 2023-12-05 03:57:43,181 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-05 04:04:16,076 (trainer:737) INFO: 10epoch:train:2501-2600batch: iter_time=2.973, forward_time=0.171, loss_ctc=79.354, loss_att=68.889, acc=0.656, loss=72.028, backward_time=0.270, grad_norm=47.705, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.135, optim0_lr0=1.321e-04, train_time=4.343 -[gpua005:0/64] 2023-12-05 04:06:19,516 (trainer:737) INFO: 10epoch:train:2601-2700batch: iter_time=9.314e-05, forward_time=0.147, loss_ctc=69.105, loss_att=55.150, acc=0.678, loss=59.337, backward_time=0.267, grad_norm=42.826, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.134, optim0_lr0=1.320e-04, train_time=1.234 -[gpua005:0/64] 2023-12-05 04:08:25,738 (trainer:737) INFO: 10epoch:train:2701-2800batch: iter_time=9.497e-05, forward_time=0.147, loss_ctc=89.607, loss_att=84.626, acc=0.642, loss=86.121, backward_time=0.267, grad_norm=50.187, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.134, optim0_lr0=1.320e-04, train_time=1.262 -[gpua005:0/64] 2023-12-05 04:10:34,788 (trainer:737) INFO: 10epoch:train:2801-2900batch: iter_time=9.229e-05, forward_time=0.151, loss_ctc=90.146, loss_att=76.364, acc=0.654, loss=80.499, backward_time=0.267, grad_norm=49.956, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.134, optim0_lr0=1.319e-04, train_time=1.290 -[gpua005:0/64] 2023-12-05 04:13:05,228 (trainer:737) INFO: 10epoch:train:2901-3000batch: iter_time=1.010e-04, forward_time=0.148, loss_ctc=67.592, loss_att=55.774, acc=0.676, loss=59.319, backward_time=0.296, grad_norm=40.226, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.134, optim0_lr0=1.319e-04, train_time=1.503 -[gpua005:0/64] 2023-12-05 04:15:49,294 (trainer:737) INFO: 10epoch:train:3001-3100batch: iter_time=1.042e-04, forward_time=0.168, loss_ctc=76.054, loss_att=67.148, acc=0.672, loss=69.820, backward_time=0.296, grad_norm=41.556, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.136, optim0_lr0=1.319e-04, train_time=1.642 -[gpua005:0/64] 2023-12-05 04:18:48,283 (trainer:737) INFO: 10epoch:train:3101-3200batch: iter_time=9.755e-05, forward_time=0.149, loss_ctc=78.595, loss_att=64.728, acc=0.675, loss=68.888, backward_time=0.340, grad_norm=45.123, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.133, optim0_lr0=1.318e-04, train_time=1.790 -[gpua005:0/64] 2023-12-05 04:21:13,274 (trainer:737) INFO: 10epoch:train:3201-3300batch: iter_time=9.777e-05, forward_time=0.148, loss_ctc=74.701, loss_att=64.577, acc=0.674, loss=67.614, backward_time=0.297, grad_norm=41.959, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.133, optim0_lr0=1.318e-04, train_time=1.450 -[gpua005:0/64] 2023-12-05 04:23:45,100 (trainer:737) INFO: 10epoch:train:3301-3400batch: iter_time=9.712e-05, forward_time=0.151, loss_ctc=77.502, loss_att=65.775, acc=0.651, loss=69.293, backward_time=0.272, grad_norm=46.082, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.133, optim0_lr0=1.317e-04, train_time=1.518 -[gpua005:0/64] 2023-12-05 04:26:18,198 (trainer:737) INFO: 10epoch:train:3401-3500batch: iter_time=8.833e-05, forward_time=0.167, loss_ctc=76.829, loss_att=60.625, acc=0.681, loss=65.486, backward_time=0.301, grad_norm=44.364, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.133, optim0_lr0=1.317e-04, train_time=1.531 -[gpua005:0/64] 2023-12-05 04:28:42,094 (trainer:737) INFO: 10epoch:train:3501-3600batch: iter_time=9.809e-05, forward_time=0.218, loss_ctc=97.174, loss_att=72.353, acc=0.646, loss=79.799, backward_time=0.303, grad_norm=61.733, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.138, optim0_lr0=1.316e-04, train_time=1.439 -[gpua005:0/64] 2023-12-05 04:30:55,249 (trainer:737) INFO: 10epoch:train:3601-3700batch: iter_time=8.873e-05, forward_time=0.147, loss_ctc=75.399, loss_att=60.313, acc=0.673, loss=64.839, backward_time=0.266, grad_norm=43.992, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.133, optim0_lr0=1.316e-04, train_time=1.331 -[gpua005:0/64] 2023-12-05 04:32:17,006 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua005:0/64] 2023-12-05 04:32:35,152 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-05 04:32:38,570 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-05 04:32:38,570 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua005:0/64] 2023-12-05 04:32:38,573 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-05 04:38:00,892 (trainer:737) INFO: 10epoch:train:3701-3800batch: iter_time=2.615, forward_time=0.150, loss_ctc=73.959, loss_att=63.104, acc=0.673, loss=66.361, backward_time=0.269, grad_norm=42.428, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.133, optim0_lr0=1.315e-04, train_time=4.256 -[gpua005:0/64] 2023-12-05 04:40:03,041 (trainer:737) INFO: 10epoch:train:3801-3900batch: iter_time=8.920e-05, forward_time=0.148, loss_ctc=79.284, loss_att=67.145, acc=0.652, loss=70.787, backward_time=0.265, grad_norm=46.989, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.134, optim0_lr0=1.315e-04, train_time=1.222 -[gpua005:0/64] 2023-12-05 04:42:10,737 (trainer:737) INFO: 10epoch:train:3901-4000batch: iter_time=9.087e-05, forward_time=0.179, loss_ctc=77.718, loss_att=63.326, acc=0.678, loss=67.643, backward_time=0.265, grad_norm=58.510, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.134, optim0_lr0=1.314e-04, train_time=1.277 -[gpua005:0/64] 2023-12-05 04:44:36,032 (trainer:737) INFO: 10epoch:train:4001-4100batch: iter_time=1.008e-04, forward_time=0.152, loss_ctc=90.864, loss_att=86.016, acc=0.636, loss=87.470, backward_time=0.285, grad_norm=52.895, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.134, optim0_lr0=1.314e-04, train_time=1.453 -[gpua005:0/64] 2023-12-05 04:46:46,895 (trainer:737) INFO: 10epoch:train:4101-4200batch: iter_time=1.608e-04, forward_time=0.149, loss_ctc=74.318, loss_att=58.992, acc=0.684, loss=63.590, backward_time=0.265, grad_norm=44.091, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.134, optim0_lr0=1.313e-04, train_time=1.308 -[gpua005:0/64] 2023-12-05 04:49:17,835 (trainer:737) INFO: 10epoch:train:4201-4300batch: iter_time=9.829e-05, forward_time=0.148, loss_ctc=73.171, loss_att=65.064, acc=0.662, loss=67.496, backward_time=0.294, grad_norm=48.099, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.134, optim0_lr0=1.313e-04, train_time=1.509 -[gpua005:0/64] 2023-12-05 04:51:51,765 (trainer:737) INFO: 10epoch:train:4301-4400batch: iter_time=9.964e-05, forward_time=0.151, loss_ctc=73.668, loss_att=63.323, acc=0.686, loss=66.427, backward_time=0.288, grad_norm=39.848, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.135, optim0_lr0=1.312e-04, train_time=1.539 -[gpua005:0/64] 2023-12-05 04:54:32,355 (trainer:737) INFO: 10epoch:train:4401-4500batch: iter_time=1.049e-04, forward_time=0.157, loss_ctc=77.001, loss_att=63.343, acc=0.678, loss=67.441, backward_time=0.314, grad_norm=41.608, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.135, optim0_lr0=1.312e-04, train_time=1.606 -[gpua005:0/64] 2023-12-05 04:57:10,404 (trainer:737) INFO: 10epoch:train:4501-4600batch: iter_time=9.160e-05, forward_time=0.188, loss_ctc=76.550, loss_att=68.185, acc=0.661, loss=70.694, backward_time=0.299, grad_norm=44.986, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.138, optim0_lr0=1.311e-04, train_time=1.580 -[gpua005:0/64] 2023-12-05 04:59:46,951 (trainer:737) INFO: 10epoch:train:4601-4700batch: iter_time=1.003e-04, forward_time=0.147, loss_ctc=77.579, loss_att=62.120, acc=0.669, loss=66.758, backward_time=0.329, grad_norm=55.368, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.134, optim0_lr0=1.311e-04, train_time=1.565 -[gpua005:0/64] 2023-12-05 05:02:23,727 (trainer:737) INFO: 10epoch:train:4701-4800batch: iter_time=9.503e-05, forward_time=0.147, loss_ctc=91.938, loss_att=67.046, acc=0.668, loss=74.513, backward_time=0.292, grad_norm=63.554, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.134, optim0_lr0=1.310e-04, train_time=1.568 -[gpua005:0/64] 2023-12-05 05:04:54,908 (trainer:737) INFO: 10epoch:train:4801-4900batch: iter_time=9.381e-05, forward_time=0.147, loss_ctc=78.020, loss_att=59.454, acc=0.664, loss=65.024, backward_time=0.278, grad_norm=47.086, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.134, optim0_lr0=1.310e-04, train_time=1.512 -[gpua005:0/64] 2023-12-05 05:07:19,069 (trainer:737) INFO: 10epoch:train:4901-5000batch: iter_time=1.073e-04, forward_time=0.149, loss_ctc=75.379, loss_att=61.420, acc=0.675, loss=65.607, backward_time=0.275, grad_norm=43.653, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.135, optim0_lr0=1.310e-04, train_time=1.441 -[gpua005:0/64] 2023-12-05 05:07:39,099 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua005:0/64] 2023-12-05 05:07:57,193 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-05 05:08:00,568 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-05 05:08:00,568 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua005:0/64] 2023-12-05 05:08:00,605 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-05 05:17:00,058 (trainer:737) INFO: 10epoch:train:5001-5100batch: iter_time=2.881, forward_time=0.167, loss_ctc=79.639, loss_att=68.800, acc=0.660, loss=72.052, backward_time=0.269, grad_norm=46.284, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.133, optim0_lr0=1.309e-04, train_time=5.810 -[gpua005:0/64] 2023-12-05 05:19:01,184 (trainer:737) INFO: 10epoch:train:5101-5200batch: iter_time=8.913e-05, forward_time=0.148, loss_ctc=68.222, loss_att=54.112, acc=0.684, loss=58.345, backward_time=0.270, grad_norm=40.966, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.134, optim0_lr0=1.309e-04, train_time=1.211 -[gpua005:0/64] 2023-12-05 05:21:10,631 (trainer:737) INFO: 10epoch:train:5201-5300batch: iter_time=8.958e-05, forward_time=0.147, loss_ctc=88.856, loss_att=83.936, acc=0.648, loss=85.412, backward_time=0.270, grad_norm=59.615, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.134, optim0_lr0=1.308e-04, train_time=1.294 -[gpua005:0/64] 2023-12-05 05:23:35,564 (trainer:737) INFO: 10epoch:train:5301-5400batch: iter_time=9.622e-05, forward_time=0.153, loss_ctc=88.690, loss_att=75.116, acc=0.659, loss=79.188, backward_time=0.277, grad_norm=47.591, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.134, optim0_lr0=1.308e-04, train_time=1.449 -[gpua005:0/64] 2023-12-05 05:25:56,785 (trainer:737) INFO: 10epoch:train:5401-5500batch: iter_time=9.500e-05, forward_time=0.217, loss_ctc=66.894, loss_att=55.370, acc=0.681, loss=58.827, backward_time=0.298, grad_norm=43.770, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.144, optim0_lr0=1.307e-04, train_time=1.412 -[gpua005:0/64] 2023-12-05 05:28:59,079 (trainer:737) INFO: 10epoch:train:5501-5600batch: iter_time=9.383e-05, forward_time=0.148, loss_ctc=75.193, loss_att=65.248, acc=0.678, loss=68.232, backward_time=0.338, grad_norm=43.201, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.133, optim0_lr0=1.307e-04, train_time=1.823 -[gpua005:0/64] 2023-12-05 05:31:35,481 (trainer:737) INFO: 10epoch:train:5601-5700batch: iter_time=1.008e-04, forward_time=0.147, loss_ctc=78.131, loss_att=64.025, acc=0.680, loss=68.257, backward_time=0.301, grad_norm=44.227, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.133, optim0_lr0=1.306e-04, train_time=1.564 -[gpua005:0/64] 2023-12-05 05:34:00,748 (trainer:737) INFO: 10epoch:train:5701-5800batch: iter_time=1.063e-04, forward_time=0.147, loss_ctc=74.615, loss_att=63.945, acc=0.677, loss=67.146, backward_time=0.325, grad_norm=43.925, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.133, optim0_lr0=1.306e-04, train_time=1.452 -[gpua005:0/64] 2023-12-05 05:36:34,428 (trainer:737) INFO: 10epoch:train:5801-5900batch: iter_time=1.039e-04, forward_time=0.148, loss_ctc=75.655, loss_att=64.515, acc=0.655, loss=67.857, backward_time=0.282, grad_norm=42.918, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.135, optim0_lr0=1.305e-04, train_time=1.537 -[gpua005:0/64] 2023-12-05 05:39:03,876 (trainer:737) INFO: 10epoch:train:5901-6000batch: iter_time=9.523e-05, forward_time=0.172, loss_ctc=75.593, loss_att=59.347, acc=0.685, loss=64.220, backward_time=0.310, grad_norm=45.658, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.136, optim0_lr0=1.305e-04, train_time=1.494 -[gpua005:0/64] 2023-12-05 05:41:28,607 (trainer:737) INFO: 10epoch:train:6001-6100batch: iter_time=9.537e-05, forward_time=0.147, loss_ctc=95.614, loss_att=71.211, acc=0.651, loss=78.532, backward_time=0.292, grad_norm=59.626, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.133, optim0_lr0=1.304e-04, train_time=1.448 -[gpua005:0/64] 2023-12-05 05:43:38,238 (trainer:737) INFO: 10epoch:train:6101-6200batch: iter_time=9.677e-05, forward_time=0.147, loss_ctc=74.923, loss_att=59.710, acc=0.675, loss=64.274, backward_time=0.266, grad_norm=43.613, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.133, optim0_lr0=1.304e-04, train_time=1.296 -[gpua005:0/64] 2023-12-05 05:45:01,518 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua005:0/64] 2023-12-05 05:45:19,814 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-05 05:45:23,198 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-05 05:45:23,198 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua005:0/64] 2023-12-05 05:45:23,201 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-05 05:50:32,466 (trainer:737) INFO: 10epoch:train:6201-6300batch: iter_time=2.632, forward_time=0.181, loss_ctc=72.412, loss_att=63.919, acc=0.668, loss=66.467, backward_time=0.272, grad_norm=57.088, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.135, optim0_lr0=1.303e-04, train_time=4.142 -[gpua005:0/64] 2023-12-05 05:52:33,890 (trainer:737) INFO: 10epoch:train:6301-6400batch: iter_time=8.808e-05, forward_time=0.147, loss_ctc=78.679, loss_att=69.241, acc=0.631, loss=72.072, backward_time=0.264, grad_norm=50.237, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.134, optim0_lr0=1.303e-04, train_time=1.214 -[gpua005:0/64] 2023-12-05 05:54:46,262 (trainer:737) INFO: 10epoch:train:6401-6500batch: iter_time=8.942e-05, forward_time=0.147, loss_ctc=76.413, loss_att=63.624, acc=0.673, loss=67.460, backward_time=0.269, grad_norm=54.173, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.134, optim0_lr0=1.303e-04, train_time=1.324 -[gpua005:0/64] 2023-12-05 05:57:19,143 (trainer:737) INFO: 10epoch:train:6501-6600batch: iter_time=9.571e-05, forward_time=0.149, loss_ctc=89.798, loss_att=85.521, acc=0.626, loss=86.804, backward_time=0.294, grad_norm=54.451, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.134, optim0_lr0=1.302e-04, train_time=1.529 -[gpua005:0/64] 2023-12-05 05:59:34,671 (trainer:737) INFO: 10epoch:train:6601-6700batch: iter_time=8.738e-05, forward_time=0.165, loss_ctc=73.127, loss_att=58.520, acc=0.678, loss=62.902, backward_time=0.294, grad_norm=40.806, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.136, optim0_lr0=1.302e-04, train_time=1.355 -[gpua005:0/64] 2023-12-05 06:02:21,568 (trainer:737) INFO: 10epoch:train:6701-6800batch: iter_time=9.166e-05, forward_time=0.147, loss_ctc=72.535, loss_att=65.055, acc=0.650, loss=67.299, backward_time=0.287, grad_norm=46.639, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.134, optim0_lr0=1.301e-04, train_time=1.669 -[gpua005:0/64] 2023-12-05 06:04:40,412 (trainer:737) INFO: 10epoch:train:6801-6900batch: iter_time=8.609e-05, forward_time=0.147, loss_ctc=72.843, loss_att=63.097, acc=0.680, loss=66.020, backward_time=0.283, grad_norm=44.202, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.134, optim0_lr0=1.301e-04, train_time=1.388 -[gpua005:0/64] 2023-12-05 06:07:17,893 (trainer:737) INFO: 10epoch:train:6901-7000batch: iter_time=8.924e-05, forward_time=0.177, loss_ctc=76.367, loss_att=64.046, acc=0.662, loss=67.742, backward_time=0.308, grad_norm=54.391, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.138, optim0_lr0=1.300e-04, train_time=1.575 -[gpua005:0/64] 2023-12-05 06:09:55,009 (trainer:737) INFO: 10epoch:train:7001-7100batch: iter_time=9.539e-05, forward_time=0.161, loss_ctc=75.835, loss_att=66.432, acc=0.655, loss=69.253, backward_time=0.320, grad_norm=49.525, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.135, optim0_lr0=1.300e-04, train_time=1.571 -[gpua005:0/64] 2023-12-05 06:12:19,683 (trainer:737) INFO: 10epoch:train:7101-7200batch: iter_time=8.993e-05, forward_time=0.148, loss_ctc=76.931, loss_att=60.809, acc=0.671, loss=65.646, backward_time=0.290, grad_norm=43.308, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.133, optim0_lr0=1.299e-04, train_time=1.447 -[gpua005:0/64] 2023-12-05 06:15:20,209 (trainer:737) INFO: 10epoch:train:7201-7300batch: iter_time=9.219e-05, forward_time=0.147, loss_ctc=87.835, loss_att=66.608, acc=0.669, loss=72.976, backward_time=0.313, grad_norm=56.387, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.133, optim0_lr0=1.299e-04, train_time=1.805 -[gpua005:0/64] 2023-12-05 06:17:37,272 (trainer:737) INFO: 10epoch:train:7301-7400batch: iter_time=9.036e-05, forward_time=0.146, loss_ctc=76.973, loss_att=58.432, acc=0.664, loss=63.994, backward_time=0.282, grad_norm=47.294, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.133, optim0_lr0=1.298e-04, train_time=1.370 -[gpua005:0/64] 2023-12-05 06:19:59,015 (trainer:737) INFO: 10epoch:train:7401-7500batch: iter_time=5.145e-04, forward_time=0.151, loss_ctc=74.994, loss_att=61.812, acc=0.666, loss=65.767, backward_time=0.286, grad_norm=45.198, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.135, optim0_lr0=1.298e-04, train_time=1.417 -[gpua005:0/64] 2023-12-05 06:20:19,044 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua005:0/64] 2023-12-05 06:20:37,319 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-05 06:20:40,721 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-05 06:20:40,721 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua005:0/64] 2023-12-05 06:20:40,738 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-05 06:27:37,099 (trainer:737) INFO: 10epoch:train:7501-7600batch: iter_time=2.913, forward_time=0.170, loss_ctc=79.032, loss_att=70.456, acc=0.657, loss=73.029, backward_time=0.276, grad_norm=50.260, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.134, optim0_lr0=1.298e-04, train_time=4.580 -[gpua005:0/64] 2023-12-05 06:30:01,179 (trainer:737) INFO: 10epoch:train:7601-7700batch: iter_time=9.223e-05, forward_time=0.149, loss_ctc=68.142, loss_att=54.172, acc=0.685, loss=58.363, backward_time=0.295, grad_norm=41.743, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.135, optim0_lr0=1.297e-04, train_time=1.441 -[gpua005:0/64] 2023-12-05 06:32:45,504 (trainer:737) INFO: 10epoch:train:7701-7800batch: iter_time=8.970e-05, forward_time=0.150, loss_ctc=87.405, loss_att=82.760, acc=0.651, loss=84.154, backward_time=0.324, grad_norm=54.256, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.133, optim0_lr0=1.297e-04, train_time=1.643 -[gpua005:0/64] 2023-12-05 06:35:06,182 (trainer:737) INFO: 10epoch:train:7801-7900batch: iter_time=9.686e-05, forward_time=0.147, loss_ctc=87.436, loss_att=73.924, acc=0.663, loss=77.978, backward_time=0.269, grad_norm=49.583, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.133, optim0_lr0=1.296e-04, train_time=1.407 -[gpua005:0/64] 2023-12-05 06:37:45,383 (trainer:737) INFO: 10epoch:train:7901-8000batch: iter_time=9.279e-05, forward_time=0.183, loss_ctc=67.199, loss_att=55.022, acc=0.683, loss=58.675, backward_time=0.295, grad_norm=40.639, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.136, optim0_lr0=1.296e-04, train_time=1.592 -[gpua005:0/64] 2023-12-05 06:40:24,827 (trainer:737) INFO: 10epoch:train:8001-8100batch: iter_time=9.036e-05, forward_time=0.186, loss_ctc=74.779, loss_att=65.850, acc=0.678, loss=68.529, backward_time=0.308, grad_norm=41.589, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.134, optim0_lr0=1.295e-04, train_time=1.594 -[gpua005:0/64] 2023-12-05 06:43:03,624 (trainer:737) INFO: 10epoch:train:8101-8200batch: iter_time=9.802e-05, forward_time=0.148, loss_ctc=76.762, loss_att=62.633, acc=0.684, loss=66.872, backward_time=0.301, grad_norm=41.515, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.134, optim0_lr0=1.295e-04, train_time=1.588 -[gpua005:0/64] 2023-12-05 06:45:26,914 (trainer:737) INFO: 10epoch:train:8201-8300batch: iter_time=9.148e-05, forward_time=0.147, loss_ctc=74.122, loss_att=64.324, acc=0.677, loss=67.264, backward_time=0.288, grad_norm=41.839, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.133, optim0_lr0=1.294e-04, train_time=1.433 -[gpua005:0/64] 2023-12-05 06:48:01,509 (trainer:737) INFO: 10epoch:train:8301-8400batch: iter_time=9.494e-05, forward_time=0.147, loss_ctc=75.514, loss_att=63.806, acc=0.661, loss=67.318, backward_time=0.350, grad_norm=44.320, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.134, optim0_lr0=1.294e-04, train_time=1.546 -[gpua005:0/64] 2023-12-05 06:50:56,501 (trainer:737) INFO: 10epoch:train:8401-8500batch: iter_time=9.346e-05, forward_time=0.156, loss_ctc=75.787, loss_att=58.962, acc=0.691, loss=64.009, backward_time=0.287, grad_norm=44.434, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.134, optim0_lr0=1.293e-04, train_time=1.749 -[gpua005:0/64] 2023-12-05 06:53:42,844 (trainer:737) INFO: 10epoch:train:8501-8600batch: iter_time=9.435e-05, forward_time=0.172, loss_ctc=93.110, loss_att=71.348, acc=0.652, loss=77.876, backward_time=0.305, grad_norm=58.324, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.134, optim0_lr0=1.293e-04, train_time=1.663 -[gpua005:0/64] 2023-12-05 06:55:55,398 (trainer:737) INFO: 10epoch:train:8601-8700batch: iter_time=9.342e-05, forward_time=0.147, loss_ctc=74.850, loss_att=58.502, acc=0.681, loss=63.406, backward_time=0.272, grad_norm=42.167, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.133, optim0_lr0=1.293e-04, train_time=1.324 -[gpua005:0/64] 2023-12-05 06:57:31,057 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua005:0/64] 2023-12-05 06:57:49,507 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-05 06:57:52,941 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-05 06:57:52,941 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua005:0/64] 2023-12-05 06:57:52,944 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-05 07:03:22,790 (trainer:737) INFO: 10epoch:train:8701-8800batch: iter_time=2.956, forward_time=0.174, loss_ctc=72.644, loss_att=63.425, acc=0.672, loss=66.191, backward_time=0.279, grad_norm=43.897, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.134, optim0_lr0=1.292e-04, train_time=4.475 -[gpua005:0/64] 2023-12-05 07:05:23,785 (trainer:737) INFO: 10epoch:train:8801-8900batch: iter_time=8.439e-05, forward_time=0.149, loss_ctc=77.303, loss_att=66.583, acc=0.640, loss=69.799, backward_time=0.267, grad_norm=46.400, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.133, optim0_lr0=1.292e-04, train_time=1.210 -[gpua005:0/64] 2023-12-05 07:07:44,139 (trainer:737) INFO: 10epoch:train:8901-9000batch: iter_time=8.398e-05, forward_time=0.146, loss_ctc=77.109, loss_att=63.130, acc=0.673, loss=67.324, backward_time=0.284, grad_norm=49.252, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.133, optim0_lr0=1.291e-04, train_time=1.403 -[gpua005:0/64] 2023-12-05 07:09:48,708 (trainer:737) INFO: 10epoch:train:9001-9100batch: iter_time=8.207e-05, forward_time=0.149, loss_ctc=89.700, loss_att=84.076, acc=0.631, loss=85.763, backward_time=0.273, grad_norm=48.472, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.134, optim0_lr0=1.291e-04, train_time=1.245 -[gpua005:0/64] 2023-12-05 07:12:12,582 (trainer:737) INFO: 10epoch:train:9101-9200batch: iter_time=8.584e-05, forward_time=0.147, loss_ctc=72.722, loss_att=57.443, acc=0.684, loss=62.027, backward_time=0.277, grad_norm=39.675, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.134, optim0_lr0=1.290e-04, train_time=1.439 -[gpua005:0/64] 2023-12-05 07:15:15,641 (trainer:737) INFO: 10epoch:train:9201-9300batch: iter_time=8.304e-05, forward_time=0.148, loss_ctc=71.900, loss_att=63.643, acc=0.656, loss=66.120, backward_time=0.317, grad_norm=46.372, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.133, optim0_lr0=1.290e-04, train_time=1.830 -[gpua005:0/64] 2023-12-05 07:17:43,836 (trainer:737) INFO: 10epoch:train:9301-9400batch: iter_time=8.602e-05, forward_time=0.157, loss_ctc=72.468, loss_att=62.479, acc=0.685, loss=65.476, backward_time=0.289, grad_norm=38.643, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.134, optim0_lr0=1.289e-04, train_time=1.481 -[gpua005:0/64] 2023-12-05 07:20:22,852 (trainer:737) INFO: 10epoch:train:9401-9500batch: iter_time=5.350e-04, forward_time=0.202, loss_ctc=75.038, loss_att=62.358, acc=0.669, loss=66.162, backward_time=0.292, grad_norm=42.148, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.137, optim0_lr0=1.289e-04, train_time=1.590 -[gpua005:0/64] 2023-12-05 07:22:47,796 (trainer:737) INFO: 10epoch:train:9501-9600batch: iter_time=8.479e-05, forward_time=0.150, loss_ctc=75.261, loss_att=66.140, acc=0.658, loss=68.876, backward_time=0.282, grad_norm=48.099, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.134, optim0_lr0=1.289e-04, train_time=1.449 -[gpua005:0/64] 2023-12-05 07:25:38,264 (trainer:737) INFO: 10epoch:train:9601-9700batch: iter_time=9.866e-05, forward_time=0.147, loss_ctc=75.946, loss_att=60.900, acc=0.670, loss=65.414, backward_time=0.344, grad_norm=43.658, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.134, optim0_lr0=1.288e-04, train_time=1.704 -[gpua005:0/64] 2023-12-05 07:28:00,827 (trainer:737) INFO: 10epoch:train:9701-9800batch: iter_time=8.903e-05, forward_time=0.149, loss_ctc=88.012, loss_att=65.684, acc=0.673, loss=72.382, backward_time=0.280, grad_norm=53.716, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.134, optim0_lr0=1.288e-04, train_time=1.426 -[gpua005:0/64] 2023-12-05 07:30:24,119 (trainer:737) INFO: 10epoch:train:9801-9900batch: iter_time=9.431e-05, forward_time=0.185, loss_ctc=76.265, loss_att=58.286, acc=0.665, loss=63.680, backward_time=0.290, grad_norm=42.988, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.136, optim0_lr0=1.287e-04, train_time=1.433 -[gpua005:0/64] 2023-12-05 07:32:32,009 (trainer:737) INFO: 10epoch:train:9901-10000batch: iter_time=8.392e-05, forward_time=0.167, loss_ctc=74.307, loss_att=61.237, acc=0.669, loss=65.158, backward_time=0.274, grad_norm=44.314, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.135, optim0_lr0=1.287e-04, train_time=1.279 -[gpua005:0/64] 2023-12-05 07:32:52,062 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua005:0/64] 2023-12-05 07:33:10,411 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-05 07:33:13,823 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-05 07:33:13,823 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua005:0/64] 2023-12-05 07:33:13,827 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-05 07:40:09,819 (trainer:737) INFO: 10epoch:train:10001-10100batch: iter_time=3.199, forward_time=0.149, loss_ctc=78.285, loss_att=69.528, acc=0.660, loss=72.155, backward_time=0.270, grad_norm=46.824, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.136, optim0_lr0=1.286e-04, train_time=4.578 -[gpua005:0/64] 2023-12-05 07:42:13,963 (trainer:737) INFO: 10epoch:train:10101-10200batch: iter_time=9.204e-05, forward_time=0.148, loss_ctc=67.140, loss_att=53.413, acc=0.687, loss=57.531, backward_time=0.268, grad_norm=39.673, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.134, optim0_lr0=1.286e-04, train_time=1.241 -[gpua005:0/64] 2023-12-05 07:44:37,926 (trainer:737) INFO: 10epoch:train:10201-10300batch: iter_time=9.107e-05, forward_time=0.147, loss_ctc=86.549, loss_att=82.941, acc=0.654, loss=84.024, backward_time=0.271, grad_norm=51.951, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.134, optim0_lr0=1.285e-04, train_time=1.439 -[gpua005:0/64] 2023-12-05 07:46:42,273 (trainer:737) INFO: 10epoch:train:10301-10400batch: iter_time=9.130e-05, forward_time=0.150, loss_ctc=87.153, loss_att=73.876, acc=0.664, loss=77.859, backward_time=0.268, grad_norm=50.732, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.134, optim0_lr0=1.285e-04, train_time=1.243 -[gpua005:0/64] 2023-12-05 07:49:33,446 (trainer:737) INFO: 10epoch:train:10401-10500batch: iter_time=9.102e-05, forward_time=0.197, loss_ctc=66.343, loss_att=54.966, acc=0.682, loss=58.379, backward_time=0.302, grad_norm=41.609, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.135, optim0_lr0=1.285e-04, train_time=1.711 -[gpua005:0/64] 2023-12-05 07:52:01,491 (trainer:737) INFO: 10epoch:train:10501-10600batch: iter_time=8.933e-05, forward_time=0.147, loss_ctc=74.246, loss_att=65.319, acc=0.679, loss=67.997, backward_time=0.284, grad_norm=42.340, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.134, optim0_lr0=1.284e-04, train_time=1.480 -[gpua005:0/64] 2023-12-05 07:54:22,321 (trainer:737) INFO: 10epoch:train:10601-10700batch: iter_time=9.728e-05, forward_time=0.147, loss_ctc=76.261, loss_att=62.410, acc=0.686, loss=66.565, backward_time=0.282, grad_norm=39.074, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.133, optim0_lr0=1.284e-04, train_time=1.407 -[gpua005:0/64] 2023-12-05 07:57:23,434 (trainer:737) INFO: 10epoch:train:10701-10800batch: iter_time=9.179e-05, forward_time=0.184, loss_ctc=73.494, loss_att=63.602, acc=0.679, loss=66.570, backward_time=0.319, grad_norm=41.946, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.135, optim0_lr0=1.283e-04, train_time=1.812 -[gpua005:0/64] 2023-12-05 08:00:10,628 (trainer:737) INFO: 10epoch:train:10801-10900batch: iter_time=9.345e-05, forward_time=0.172, loss_ctc=75.207, loss_att=63.532, acc=0.663, loss=67.035, backward_time=0.336, grad_norm=46.792, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.135, optim0_lr0=1.283e-04, train_time=1.672 -[gpua005:0/64] 2023-12-05 08:03:02,411 (trainer:737) INFO: 10epoch:train:10901-11000batch: iter_time=8.828e-05, forward_time=0.146, loss_ctc=74.799, loss_att=58.134, acc=0.691, loss=63.134, backward_time=0.314, grad_norm=90.673, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.133, optim0_lr0=1.282e-04, train_time=1.718 -[gpua005:0/64] 2023-12-05 08:05:12,322 (trainer:737) INFO: 10epoch:train:11001-11100batch: iter_time=8.965e-05, forward_time=0.151, loss_ctc=91.414, loss_att=70.730, acc=0.655, loss=76.935, backward_time=0.268, grad_norm=59.125, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.134, optim0_lr0=1.282e-04, train_time=1.299 -[gpua005:0/64] 2023-12-05 08:07:47,734 (trainer:737) INFO: 10epoch:train:11101-11200batch: iter_time=9.817e-05, forward_time=0.148, loss_ctc=73.867, loss_att=58.238, acc=0.683, loss=62.927, backward_time=0.275, grad_norm=41.607, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.133, optim0_lr0=1.281e-04, train_time=1.554 -[gpua005:0/64] 2023-12-05 08:09:22,905 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua005:0/64] 2023-12-05 08:09:42,172 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-05 08:09:45,621 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-05 08:09:45,621 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua005:0/64] 2023-12-05 08:09:45,624 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-05 08:15:20,937 (trainer:737) INFO: 10epoch:train:11201-11300batch: iter_time=3.064, forward_time=0.176, loss_ctc=71.972, loss_att=62.497, acc=0.675, loss=65.340, backward_time=0.274, grad_norm=44.194, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.134, optim0_lr0=1.281e-04, train_time=4.532 -[gpua005:0/64] 2023-12-05 08:17:23,325 (trainer:737) INFO: 10epoch:train:11301-11400batch: iter_time=8.605e-05, forward_time=0.149, loss_ctc=77.431, loss_att=66.149, acc=0.642, loss=69.533, backward_time=0.266, grad_norm=50.884, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.133, optim0_lr0=1.281e-04, train_time=1.224 -[gpua005:0/64] 2023-12-05 08:19:30,337 (trainer:737) INFO: 10epoch:train:11401-11500batch: iter_time=8.992e-05, forward_time=0.147, loss_ctc=75.808, loss_att=62.719, acc=0.675, loss=66.646, backward_time=0.270, grad_norm=51.432, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.133, optim0_lr0=1.280e-04, train_time=1.270 -[gpua005:0/64] 2023-12-05 08:21:54,635 (trainer:737) INFO: 10epoch:train:11501-11600batch: iter_time=9.172e-05, forward_time=0.146, loss_ctc=88.764, loss_att=83.266, acc=0.634, loss=84.915, backward_time=0.272, grad_norm=55.129, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.133, optim0_lr0=1.280e-04, train_time=1.443 -[gpua005:0/64] 2023-12-05 08:24:22,204 (trainer:737) INFO: 10epoch:train:11601-11700batch: iter_time=9.547e-05, forward_time=0.173, loss_ctc=72.376, loss_att=57.224, acc=0.686, loss=61.770, backward_time=0.279, grad_norm=41.058, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.133, optim0_lr0=1.279e-04, train_time=1.474 -[gpua005:0/64] 2023-12-05 08:27:13,964 (trainer:737) INFO: 10epoch:train:11701-11800batch: iter_time=9.210e-05, forward_time=0.190, loss_ctc=71.701, loss_att=63.383, acc=0.656, loss=65.878, backward_time=0.304, grad_norm=46.559, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.135, optim0_lr0=1.279e-04, train_time=1.719 -[gpua005:0/64] 2023-12-05 08:29:50,265 (trainer:737) INFO: 10epoch:train:11801-11900batch: iter_time=9.236e-05, forward_time=0.147, loss_ctc=72.303, loss_att=62.152, acc=0.685, loss=65.197, backward_time=0.296, grad_norm=40.180, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.133, optim0_lr0=1.278e-04, train_time=1.563 -[gpua005:0/64] 2023-12-05 08:32:06,761 (trainer:737) INFO: 10epoch:train:11901-12000batch: iter_time=9.400e-05, forward_time=0.152, loss_ctc=74.705, loss_att=61.618, acc=0.672, loss=65.544, backward_time=0.285, grad_norm=41.942, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.135, optim0_lr0=1.278e-04, train_time=1.365 -[gpua005:0/64] 2023-12-05 08:35:11,795 (trainer:737) INFO: 10epoch:train:12001-12100batch: iter_time=9.446e-05, forward_time=0.147, loss_ctc=74.058, loss_att=65.424, acc=0.661, loss=68.014, backward_time=0.330, grad_norm=45.504, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.134, optim0_lr0=1.278e-04, train_time=1.850 -[gpua005:0/64] 2023-12-05 08:37:40,344 (trainer:737) INFO: 10epoch:train:12101-12200batch: iter_time=8.963e-05, forward_time=0.147, loss_ctc=75.402, loss_att=60.604, acc=0.672, loss=65.044, backward_time=0.279, grad_norm=43.114, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.134, optim0_lr0=1.277e-04, train_time=1.485 -[gpua005:0/64] 2023-12-05 08:40:04,361 (trainer:737) INFO: 10epoch:train:12201-12300batch: iter_time=8.781e-05, forward_time=0.151, loss_ctc=86.063, loss_att=65.591, acc=0.675, loss=71.732, backward_time=0.285, grad_norm=59.445, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.134, optim0_lr0=1.277e-04, train_time=1.440 -[gpua005:0/64] 2023-12-05 08:42:31,878 (trainer:737) INFO: 10epoch:train:12301-12400batch: iter_time=9.021e-05, forward_time=0.174, loss_ctc=75.730, loss_att=57.721, acc=0.670, loss=63.124, backward_time=0.302, grad_norm=48.670, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.135, optim0_lr0=1.276e-04, train_time=1.474 -[gpua005:0/64] 2023-12-05 08:44:46,786 (trainer:737) INFO: 10epoch:train:12401-12500batch: iter_time=8.486e-05, forward_time=0.147, loss_ctc=73.613, loss_att=60.737, acc=0.671, loss=64.600, backward_time=0.287, grad_norm=43.415, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.133, optim0_lr0=1.276e-04, train_time=1.350 -[gpua005:0/64] 2023-12-05 08:45:06,813 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua005:0/64] 2023-12-05 08:45:25,325 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-05 08:45:28,719 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-05 08:45:28,719 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua005:0/64] 2023-12-05 08:45:28,747 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-05 08:52:32,215 (trainer:737) INFO: 10epoch:train:12501-12600batch: iter_time=3.022, forward_time=0.183, loss_ctc=76.807, loss_att=66.523, acc=0.651, loss=69.608, backward_time=0.278, grad_norm=43.718, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.134, optim0_lr0=1.275e-04, train_time=4.654 -[gpua005:0/64] 2023-12-05 08:54:44,524 (trainer:737) INFO: 10epoch:train:12601-12700batch: iter_time=9.497e-05, forward_time=0.148, loss_ctc=66.755, loss_att=52.917, acc=0.682, loss=57.068, backward_time=0.271, grad_norm=38.468, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.134, optim0_lr0=1.275e-04, train_time=1.323 -[gpua005:0/64] 2023-12-05 08:56:59,122 (trainer:737) INFO: 10epoch:train:12701-12800batch: iter_time=8.863e-05, forward_time=0.147, loss_ctc=85.503, loss_att=80.817, acc=0.641, loss=82.223, backward_time=0.267, grad_norm=53.900, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.133, optim0_lr0=1.274e-04, train_time=1.346 -[gpua005:0/64] 2023-12-05 08:59:23,347 (trainer:737) INFO: 10epoch:train:12801-12900batch: iter_time=9.025e-05, forward_time=0.147, loss_ctc=85.968, loss_att=72.329, acc=0.662, loss=76.421, backward_time=0.278, grad_norm=48.682, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.133, optim0_lr0=1.274e-04, train_time=1.442 -[gpua005:0/64] 2023-12-05 09:01:31,659 (trainer:737) INFO: 10epoch:train:12901-13000batch: iter_time=9.818e-05, forward_time=0.146, loss_ctc=65.750, loss_att=53.603, acc=0.681, loss=57.247, backward_time=0.266, grad_norm=39.465, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.133, optim0_lr0=1.274e-04, train_time=1.283 -[gpua005:0/64] 2023-12-05 09:04:12,167 (trainer:737) INFO: 10epoch:train:13001-13100batch: iter_time=9.308e-05, forward_time=0.151, loss_ctc=73.628, loss_att=63.154, acc=0.673, loss=66.296, backward_time=0.323, grad_norm=42.812, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.133, optim0_lr0=1.273e-04, train_time=1.605 -[gpua005:0/64] 2023-12-05 09:06:53,627 (trainer:737) INFO: 10epoch:train:13101-13200batch: iter_time=9.198e-05, forward_time=0.165, loss_ctc=75.772, loss_att=62.347, acc=0.678, loss=66.374, backward_time=0.297, grad_norm=42.861, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.134, optim0_lr0=1.273e-04, train_time=1.614 -[gpua005:0/64] 2023-12-05 09:10:01,378 (trainer:737) INFO: 10epoch:train:13201-13300batch: iter_time=9.112e-05, forward_time=0.147, loss_ctc=72.454, loss_att=61.524, acc=0.675, loss=64.803, backward_time=0.307, grad_norm=43.801, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.133, optim0_lr0=1.272e-04, train_time=1.878 -[gpua005:0/64] 2023-12-05 09:12:35,506 (trainer:737) INFO: 10epoch:train:13301-13400batch: iter_time=8.898e-05, forward_time=0.147, loss_ctc=73.121, loss_att=62.510, acc=0.660, loss=65.693, backward_time=0.279, grad_norm=43.896, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.134, optim0_lr0=1.272e-04, train_time=1.541 -[gpua005:0/64] 2023-12-05 09:15:09,773 (trainer:737) INFO: 10epoch:train:13401-13500batch: iter_time=8.956e-05, forward_time=0.200, loss_ctc=73.640, loss_att=57.765, acc=0.688, loss=62.527, backward_time=0.315, grad_norm=42.621, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.137, optim0_lr0=1.271e-04, train_time=1.542 -[gpua005:0/64] 2023-12-05 09:17:58,244 (trainer:737) INFO: 10epoch:train:13501-13600batch: iter_time=8.742e-05, forward_time=0.148, loss_ctc=91.364, loss_att=70.458, acc=0.652, loss=76.730, backward_time=0.289, grad_norm=61.012, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.133, optim0_lr0=1.271e-04, train_time=1.685 -[gpua005:0/64] 2023-12-05 09:20:10,079 (trainer:737) INFO: 10epoch:train:13601-13700batch: iter_time=8.591e-05, forward_time=0.147, loss_ctc=73.437, loss_att=57.204, acc=0.682, loss=62.074, backward_time=0.267, grad_norm=43.356, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.134, optim0_lr0=1.271e-04, train_time=1.318 -[gpua005:0/64] 2023-12-05 09:21:31,563 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua005:0/64] 2023-12-05 09:21:50,072 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-05 09:21:53,487 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-05 09:21:53,487 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua005:0/64] 2023-12-05 09:21:53,491 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-05 09:27:27,590 (trainer:737) INFO: 10epoch:train:13701-13800batch: iter_time=3.092, forward_time=0.178, loss_ctc=70.844, loss_att=61.801, acc=0.672, loss=64.514, backward_time=0.274, grad_norm=43.882, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.134, optim0_lr0=1.270e-04, train_time=4.375 -[gpua005:0/64] 2023-12-05 09:29:30,994 (trainer:737) INFO: 10epoch:train:13801-13900batch: iter_time=8.703e-05, forward_time=0.147, loss_ctc=76.653, loss_att=64.080, acc=0.647, loss=67.852, backward_time=0.267, grad_norm=44.481, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.133, optim0_lr0=1.270e-04, train_time=1.234 -[gpua005:0/64] 2023-12-05 09:31:33,231 (trainer:737) INFO: 10epoch:train:13901-14000batch: iter_time=8.904e-05, forward_time=0.148, loss_ctc=74.951, loss_att=61.285, acc=0.680, loss=65.385, backward_time=0.265, grad_norm=48.074, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.133, optim0_lr0=1.269e-04, train_time=1.222 -[gpua005:0/64] 2023-12-05 09:34:11,522 (trainer:737) INFO: 10epoch:train:14001-14100batch: iter_time=9.095e-05, forward_time=0.147, loss_ctc=88.452, loss_att=81.441, acc=0.638, loss=83.544, backward_time=0.277, grad_norm=50.247, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.133, optim0_lr0=1.269e-04, train_time=1.583 -[gpua005:0/64] 2023-12-05 09:36:47,331 (trainer:737) INFO: 10epoch:train:14101-14200batch: iter_time=8.396e-04, forward_time=0.223, loss_ctc=72.014, loss_att=56.056, acc=0.689, loss=60.843, backward_time=0.304, grad_norm=49.359, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.141, optim0_lr0=1.269e-04, train_time=1.558 -[gpua005:0/64] 2023-12-05 09:39:25,416 (trainer:737) INFO: 10epoch:train:14201-14300batch: iter_time=9.284e-05, forward_time=0.178, loss_ctc=70.815, loss_att=61.391, acc=0.664, loss=64.218, backward_time=0.285, grad_norm=43.259, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.135, optim0_lr0=1.268e-04, train_time=1.581 -[gpua005:0/64] 2023-12-05 09:43:27,211 (trainer:737) INFO: 10epoch:train:14301-14400batch: iter_time=9.395e-05, forward_time=0.147, loss_ctc=71.561, loss_att=61.290, acc=0.688, loss=64.371, backward_time=0.374, grad_norm=40.874, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.133, optim0_lr0=1.268e-04, train_time=2.418 -[gpua005:0/64] 2023-12-05 09:45:54,205 (trainer:737) INFO: 10epoch:train:14401-14500batch: iter_time=9.094e-05, forward_time=0.147, loss_ctc=74.720, loss_att=61.438, acc=0.674, loss=65.422, backward_time=0.324, grad_norm=42.538, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.134, optim0_lr0=1.267e-04, train_time=1.470 -[gpua005:0/64] 2023-12-05 09:48:37,263 (trainer:737) INFO: 10epoch:train:14501-14600batch: iter_time=8.833e-05, forward_time=0.146, loss_ctc=73.292, loss_att=64.496, acc=0.664, loss=67.135, backward_time=0.319, grad_norm=45.467, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.133, optim0_lr0=1.267e-04, train_time=1.630 -[gpua005:0/64] 2023-12-05 09:50:56,831 (trainer:737) INFO: 10epoch:train:14601-14700batch: iter_time=8.531e-05, forward_time=0.146, loss_ctc=75.738, loss_att=59.726, acc=0.673, loss=64.529, backward_time=0.291, grad_norm=44.520, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.133, optim0_lr0=1.266e-04, train_time=1.395 -[gpua005:0/64] 2023-12-05 09:53:05,783 (trainer:737) INFO: 10epoch:train:14701-14800batch: iter_time=9.448e-05, forward_time=0.146, loss_ctc=85.750, loss_att=65.439, acc=0.676, loss=71.532, backward_time=0.281, grad_norm=58.832, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.133, optim0_lr0=1.266e-04, train_time=1.289 -[gpua005:0/64] 2023-12-05 09:55:22,026 (trainer:737) INFO: 10epoch:train:14801-14900batch: iter_time=9.456e-05, forward_time=0.146, loss_ctc=74.199, loss_att=56.703, acc=0.672, loss=61.952, backward_time=0.283, grad_norm=54.403, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.133, optim0_lr0=1.266e-04, train_time=1.362 -[gpua005:0/64] 2023-12-05 09:57:39,239 (trainer:737) INFO: 10epoch:train:14901-15000batch: iter_time=8.965e-05, forward_time=0.146, loss_ctc=73.252, loss_att=60.680, acc=0.672, loss=64.451, backward_time=0.276, grad_norm=43.454, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.133, optim0_lr0=1.265e-04, train_time=1.372 -[gpua005:0/64] 2023-12-05 10:25:02,930 (trainer:343) INFO: 10epoch results: [train] iter_time=0.230, forward_time=0.158, loss_ctc=77.869, loss_att=65.094, acc=0.666, loss=68.927, backward_time=0.290, grad_norm=47.271, clip=100.000, loss_scale=3.282e+26, optim_step_time=0.134, optim0_lr0=1.298e-04, train_time=1.734, time=7 hours, 14 minutes and 2.87 seconds, total_count=150000, gpu_max_cached_mem_GB=35.223, [valid] loss_ctc=53.312, cer_ctc=0.274, loss_att=46.588, acc=0.625, cer=0.334, wer=0.995, loss=48.605, time=26 minutes and 59.63 seconds, total_count=46710, gpu_max_cached_mem_GB=35.223 -[gpua005:0/64] 2023-12-05 10:25:24,596 (trainer:391) INFO: The best model has been updated: valid.acc, valid.total_count -[gpua005:0/64] 2023-12-05 10:25:24,641 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/5epoch.pth -[gpua005:0/64] 2023-12-05 10:25:24,734 (trainer:272) INFO: 11/40epoch started. Estimated time to finish: 1 week, 4 days and 8 hours -[gpua005:0/64] 2023-12-05 10:25:25,420 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua005:0/64] 2023-12-05 10:25:42,874 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua005:0/64] 2023-12-05 10:25:46,276 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua005:0/64] 2023-12-05 10:25:46,276 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua005:0/64] 2023-12-05 10:25:46,280 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua005:0/64] 2023-12-05 10:32:22,760 (trainer:737) INFO: 11epoch:train:1-100batch: iter_time=2.696, forward_time=0.204, loss_ctc=84.207, loss_att=77.345, acc=0.656, loss=79.403, backward_time=0.277, grad_norm=51.301, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.134, optim0_lr0=1.265e-04, train_time=4.174 -[gpua005:0/64] 2023-12-05 10:34:27,033 (trainer:737) INFO: 11epoch:train:101-200batch: iter_time=8.961e-05, forward_time=0.147, loss_ctc=63.912, loss_att=59.490, acc=0.646, loss=60.817, backward_time=0.265, grad_norm=42.787, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.133, optim0_lr0=1.264e-04, train_time=1.243 diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.log b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.log deleted file mode 100644 index 244a238685e83a5644f3b0816025d01393fec689..0000000000000000000000000000000000000000 --- a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.log +++ /dev/null @@ -1,4168 +0,0 @@ -# Running on gpua007.delta.ncsa.illinois.edu -# Started at Wed Dec 20 04:39:37 CST 2023 -# SLURMD_NODENAME=gpua007 -# SLURM_CLUSTER_NAME=delta -# SLURM_CONF=/var/spool/slurmd/conf-cache/slurm.conf -# SLURM_CPUS_ON_NODE=64 -# SLURM_CPUS_PER_TASK=64 -# SLURM_EXPORT_ENV=PATH -# SLURM_GET_USER_ENV=1 -# SLURM_GPUS_ON_NODE=4 -# SLURM_GTIDS=0 -# SLURM_JOBID=2760198 -# SLURM_JOB_ACCOUNT=bbjs-delta-gpu -# SLURM_JOB_CPUS_PER_NODE='64(x16)' -# SLURM_JOB_END_TIME=1703241554 -# SLURM_JOB_GID=202 -# SLURM_JOB_GPUS=0,1,2,3 -# SLURM_JOB_ID=2760198 -# SLURM_JOB_NAME=exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.log -# SLURM_JOB_NODELIST='gpua[007,011,013-014,044,051,053-054,058-059,062,067-069,080,090]' -# SLURM_JOB_NUM_NODES=16 -# SLURM_JOB_PARTITION=gpuA100x4 -# SLURM_JOB_QOS=bbjs-delta-gpu -# SLURM_JOB_START_TIME=1703068754 -# SLURM_JOB_UID=68077 -# SLURM_JOB_USER=peng6 -# SLURM_LOCALID=0 -# SLURM_MEM_PER_NODE=240000 -# SLURM_NNODES=16 -# SLURM_NODEID=0 -# SLURM_NODELIST='gpua[007,011,013-014,044,051,053-054,058-059,062,067-069,080,090]' -# SLURM_NODE_ALIASES='(null)' -# SLURM_OPEN_MODE=a -# SLURM_PRIO_PROCESS=0 -# SLURM_PROCID=0 -# SLURM_SUBMIT_DIR=/scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1 -# SLURM_SUBMIT_HOST=dt-login01.delta.ncsa.illinois.edu -# SLURM_TASKS_PER_NODE='1(x16)' -# SLURM_TASK_PID=1129546 -# SLURM_TOPOLOGY_ADDR=ss00.ss05.gpua007 -# SLURM_TOPOLOGY_ADDR_PATTERN=switch.switch.node -# SLURM_WORKING_CLUSTER=delta:dt-sched:6817:9984:109 -# srun --export=ALL python3 -m espnet2.bin.s2t_train --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 -/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 -ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 ---fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 -[gpua007:0/64] 2023-12-20 04:42:56,182 (distributed_c10d:319) INFO: Added key: store_based_barrier_key:1 to store for rank: 0 -[gpua007:0/64] 2023-12-20 04:42:57,183 (distributed_c10d:353) INFO: Rank 0: Completed store-based barrier for key:store_based_barrier_key:1 with 64 nodes. -[gpua007:0/64] 2023-12-20 04:42:57,309 (s2t:464) INFO: Vocabulary size: 50002 -[gpua007:0/64] 2023-12-20 04:43:11,164 (abs_task:1231) INFO: pytorch.version=1.13.1, cuda.available=True, cudnn.version=8500, cudnn.benchmark=False, cudnn.deterministic=True -[gpua007:0/64] 2023-12-20 04:43:11,175 (abs_task:1232) INFO: Model structure: -ESPnetS2TModel( - (frontend): DefaultFrontend( - (stft): Stft(n_fft=512, win_length=400, hop_length=160, center=True, normalized=False, onesided=True) - (frontend): Frontend() - (logmel): LogMel(sr=16000, n_fft=512, n_mels=80, fmin=0, fmax=8000.0, htk=False) - ) - (specaug): SpecAug( - (freq_mask): MaskAlongAxis(mask_width_range=[0, 27], num_mask=2, axis=freq) - (time_mask): MaskAlongAxisVariableMaxWidth(mask_width_ratio_range=[0.0, 0.05], num_mask=10, axis=time) - ) - (normalize): GlobalMVN(stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz, norm_means=True, norm_vars=True) - (encoder): EBranchformerEncoder( - (embed): Conv2dSubsampling( - (conv): Sequential( - (0): Conv2d(1, 1024, kernel_size=(3, 3), stride=(2, 2)) - (1): ReLU() - (2): Conv2d(1024, 1024, kernel_size=(3, 3), stride=(2, 2)) - (3): ReLU() - ) - (out): Sequential( - (0): Linear(in_features=19456, out_features=1024, bias=True) - (1): PositionalEncoding( - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - ) - (encoders): MultiSequential( - (0): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (1): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (2): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (3): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (4): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (5): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (6): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (7): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (8): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (9): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (10): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (11): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (12): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (13): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (14): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (15): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (16): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - (17): EBranchformerEncoderLayer( - (attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (cgmlp): ConvolutionalGatingMLP( - (channel_proj1): Sequential( - (0): Linear(in_features=1024, out_features=4096, bias=True) - (1): GELU(approximate='none') - ) - (csgu): ConvolutionalSpatialGatingUnit( - (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) - (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (act): Identity() - (dropout): Dropout(p=0.1, inplace=False) - ) - (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (feed_forward_macaron): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): Swish() - ) - (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) - (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) - ) - ) - (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - ) - (decoder): TransformerDecoder( - (embed): Sequential( - (0): Embedding(50002, 1024) - (1): PositionalEncoding( - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (output_layer): Linear(in_features=1024, out_features=50002, bias=True) - (decoders): MultiSequential( - (0): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (1): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (2): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (3): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (4): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (5): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (6): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (7): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (8): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (9): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (10): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (11): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (12): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (13): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (14): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (15): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (16): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - (17): DecoderLayer( - (self_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (src_attn): MultiHeadedAttention( - (linear_q): Linear(in_features=1024, out_features=1024, bias=True) - (linear_k): Linear(in_features=1024, out_features=1024, bias=True) - (linear_v): Linear(in_features=1024, out_features=1024, bias=True) - (linear_out): Linear(in_features=1024, out_features=1024, bias=True) - (dropout): Identity() - (q_norm): Identity() - (k_norm): Identity() - ) - (feed_forward): PositionwiseFeedForward( - (w_1): Linear(in_features=1024, out_features=4096, bias=True) - (w_2): Linear(in_features=4096, out_features=1024, bias=True) - (dropout): Dropout(p=0.1, inplace=False) - (activation): ReLU() - ) - (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) - (dropout): Dropout(p=0.1, inplace=False) - ) - ) - ) - (criterion_att): LabelSmoothingLoss( - (criterion): KLDivLoss() - ) - (ctc): CTC( - (ctc_lo): Linear(in_features=1024, out_features=50002, bias=True) - (ctc_loss): CTCLoss() - ) -) - -Model summary: - Class Name: ESPnetS2TModel - Total Number of model parameters: 1.02 B - Number of trainable parameters: 1.02 B (100.0%) - Size: 4.07 GB - Type: torch.float32 -[gpua007:0/64] 2023-12-20 04:43:11,175 (abs_task:1235) INFO: Optimizer: -AdamW ( -Parameter Group 0 - amsgrad: False - betas: [0.9, 0.98] - capturable: False - eps: 1e-06 - foreach: None - initial_lr: 0.0002 - lr: 1.6666666666666667e-09 - maximize: False - weight_decay: 0.0 -) -[gpua007:0/64] 2023-12-20 04:43:11,175 (abs_task:1236) INFO: Scheduler: PiecewiseLinearWarmupLR(warmup_steps_list=[0, 30000, 60000], warmup_lr_list=[0.0, 5e-05, 0.0002]) -[gpua007:0/64] 2023-12-20 04:43:11,196 (abs_task:1245) INFO: Saving the configuration in exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/config.yaml -[gpua007:0/64] 2023-12-20 04:43:18,158 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-20 04:43:19,144 (abs_task:1616) INFO: [valid] dataset: -ESPnetDataset( - speech: {"path": "dump/raw/dev_v3/wav.scp", "type": "kaldi_ark"} - text_prev: {"path": "dump/raw/dev_v3/text.prev", "type": "text"} - text_ctc: {"path": "dump/raw/dev_v3/text.ctc", "type": "text"} - text: {"path": "dump/raw/dev_v3/text", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-20 04:43:19,144 (abs_task:1617) INFO: [valid] Batch sampler: UnsortedBatchSampler(N-batch=4671, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/valid/speech_shape, -[gpua007:0/64] 2023-12-20 04:43:19,145 (abs_task:1618) INFO: [valid] mini-batch sizes summary: N-batch=4671, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-20 04:43:47,660 (trainer:159) INFO: The training was resumed using exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/checkpoint.pth -gpua007:1129633:1129633 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> -gpua007:1129633:1129633 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua007:1129633:1129633 [0] NCCL INFO cudaDriverVersion 12020 -NCCL version 2.14.3+cuda11.7 -[gpua007:0/64] 2023-12-20 04:43:56,263 (trainer:284) INFO: 42/45epoch started -[gpua007:0/64] 2023-12-20 04:43:56,311 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua007:0/64] 2023-12-20 04:44:14,163 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-20 04:44:17,606 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-20 04:44:17,607 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua007:0/64] 2023-12-20 04:44:17,610 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -gpua014:1652866:1652866 [0] NCCL INFO cudaDriverVersion 12020 -gpua014:1652866:1652866 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.14<0> -gpua014:1652866:1652866 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua014:1652866:1652938 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.14<0> -gpua014:1652866:1652938 [0] NCCL INFO Using network IB -gpua014:1652866:1652938 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua014:1652866:1652938 [0] NCCL INFO Trees [0] 13/-1/-1->12->8 [1] 13/4/-1->12->28 -gpua014:1652866:1652938 [0] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 -gpua014:1652866:1652938 [0] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 -gpua014:1652866:1652938 [0] NCCL INFO Channel 00/0 : 12[7000] -> 13[46000] via P2P/IPC/read -gpua014:1652866:1652938 [0] NCCL INFO Channel 01/0 : 12[7000] -> 13[46000] via P2P/IPC/read -gpua014:1652866:1652938 [0] NCCL INFO Connected all rings -gpua014:1652866:1652938 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [receive] via NET/IB/0 -gpua014:1652866:1652938 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [receive] via NET/IB/0 -gpua014:1652866:1652938 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [send] via NET/IB/0 -gpua014:1652866:1652938 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [receive] via NET/IB/0 -gpua014:1652866:1652938 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [send] via NET/IB/0 -gpua014:1652866:1652938 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [send] via NET/IB/0 -gpua014:1652866:1652938 [0] NCCL INFO Connected all trees -gpua014:1652866:1652938 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua014:1652866:1652938 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua014:1652866:1652938 [0] NCCL INFO comm 0xd383220 rank 12 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua014:1652867:1652867 [1] NCCL INFO cudaDriverVersion 12020 -gpua014:1652867:1652867 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.14<0> -gpua014:1652867:1652867 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua014:1652867:1652939 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.14<0> -gpua014:1652867:1652939 [1] NCCL INFO Using network IB -gpua014:1652867:1652939 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua014:1652867:1652939 [1] NCCL INFO Trees [0] 14/-1/-1->13->12 [1] 14/20/-1->13->12 -gpua014:1652867:1652939 [1] NCCL INFO Channel 00/0 : 13[46000] -> 14[85000] via P2P/IPC/read -gpua014:1652867:1652939 [1] NCCL INFO Channel 01/0 : 13[46000] -> 14[85000] via P2P/IPC/read -gpua014:1652867:1652939 [1] NCCL INFO Connected all rings -gpua014:1652867:1652939 [1] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [send] via NET/IB/0 -gpua014:1652867:1652939 [1] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [receive] via NET/IB/0 -gpua014:1652867:1652939 [1] NCCL INFO Channel 00/0 : 13[46000] -> 12[7000] via P2P/IPC/read -gpua014:1652867:1652939 [1] NCCL INFO Channel 01/0 : 13[46000] -> 12[7000] via P2P/IPC/read -gpua014:1652867:1652939 [1] NCCL INFO Connected all trees -gpua014:1652867:1652939 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua014:1652867:1652939 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua014:1652867:1652939 [1] NCCL INFO comm 0x4709ceb0 rank 13 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua044:535763:535763 [1] NCCL INFO cudaDriverVersion 12020 -gpua044:535763:535763 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.44<0> -gpua044:535763:535763 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua044:535763:535840 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.44<0> -gpua044:535763:535840 [1] NCCL INFO Using network IB -gpua044:535763:535840 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua044:535763:535840 [1] NCCL INFO Trees [0] 18/8/-1->17->16 [1] 18/-1/-1->17->16 -gpua044:535763:535840 [1] NCCL INFO Channel 00/0 : 17[46000] -> 18[85000] via P2P/IPC/read -gpua044:535763:535840 [1] NCCL INFO Channel 01/0 : 17[46000] -> 18[85000] via P2P/IPC/read -gpua044:535763:535840 [1] NCCL INFO Connected all rings -gpua044:535763:535840 [1] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [receive] via NET/IB/0 -gpua044:535763:535840 [1] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [send] via NET/IB/0 -gpua044:535763:535840 [1] NCCL INFO Channel 00/0 : 17[46000] -> 16[7000] via P2P/IPC/read -gpua044:535763:535840 [1] NCCL INFO Channel 01/0 : 17[46000] -> 16[7000] via P2P/IPC/read -gpua044:535763:535840 [1] NCCL INFO Connected all trees -gpua044:535763:535840 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua044:535763:535840 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua044:535763:535840 [1] NCCL INFO comm 0x1210ef10 rank 17 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua014:1652868:1652868 [2] NCCL INFO cudaDriverVersion 12020 -gpua014:1652868:1652868 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.14<0> -gpua014:1652868:1652868 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua014:1652868:1652940 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.14<0> -gpua014:1652868:1652940 [2] NCCL INFO Using network IB -gpua014:1652868:1652940 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua014:1652868:1652940 [2] NCCL INFO Trees [0] 15/-1/-1->14->13 [1] 15/-1/-1->14->13 -gpua014:1652868:1652940 [2] NCCL INFO Channel 00/0 : 14[85000] -> 15[c7000] via P2P/IPC/read -gpua014:1652868:1652940 [2] NCCL INFO Channel 01/0 : 14[85000] -> 15[c7000] via P2P/IPC/read -gpua014:1652868:1652940 [2] NCCL INFO Connected all rings -gpua014:1652868:1652940 [2] NCCL INFO Channel 00/0 : 14[85000] -> 13[46000] via P2P/IPC/read -gpua014:1652868:1652940 [2] NCCL INFO Channel 01/0 : 14[85000] -> 13[46000] via P2P/IPC/read -gpua014:1652868:1652940 [2] NCCL INFO Connected all trees -gpua014:1652868:1652940 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua014:1652868:1652940 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua014:1652868:1652940 [2] NCCL INFO comm 0x331d0610 rank 14 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua014:1652869:1652869 [3] NCCL INFO cudaDriverVersion 12020 -gpua014:1652869:1652869 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.14<0> -gpua014:1652869:1652869 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua014:1652869:1652944 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.14<0> -gpua014:1652869:1652944 [3] NCCL INFO Using network IB -gpua014:1652869:1652944 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua014:1652869:1652944 [3] NCCL INFO Trees [0] -1/-1/-1->15->14 [1] -1/-1/-1->15->14 -gpua014:1652869:1652944 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 -gpua014:1652869:1652944 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 -gpua014:1652869:1652944 [3] NCCL INFO Connected all rings -gpua014:1652869:1652944 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 14[85000] via P2P/IPC/read -gpua014:1652869:1652944 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 14[85000] via P2P/IPC/read -gpua014:1652869:1652944 [3] NCCL INFO Connected all trees -gpua014:1652869:1652944 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua014:1652869:1652944 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua014:1652869:1652944 [3] NCCL INFO comm 0x10fcaed0 rank 15 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua013:2626471:2626471 [1] NCCL INFO cudaDriverVersion 12020 -gpua013:2626471:2626471 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.13<0> -gpua013:2626471:2626471 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua013:2626471:2626529 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.13<0> -gpua013:2626471:2626529 [1] NCCL INFO Using network IB -gpua013:2626471:2626529 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua013:2626471:2626529 [1] NCCL INFO Trees [0] 10/4/-1->9->8 [1] 10/-1/-1->9->8 -gpua013:2626471:2626529 [1] NCCL INFO Channel 00/0 : 9[46000] -> 10[85000] via P2P/IPC/read -gpua013:2626471:2626529 [1] NCCL INFO Channel 01/0 : 9[46000] -> 10[85000] via P2P/IPC/read -gpua013:2626471:2626529 [1] NCCL INFO Connected all rings -gpua013:2626471:2626529 [1] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [receive] via NET/IB/0 -gpua013:2626471:2626529 [1] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [send] via NET/IB/0 -gpua013:2626471:2626529 [1] NCCL INFO Channel 00/0 : 9[46000] -> 8[7000] via P2P/IPC/read -gpua013:2626471:2626529 [1] NCCL INFO Channel 01/0 : 9[46000] -> 8[7000] via P2P/IPC/read -gpua013:2626471:2626529 [1] NCCL INFO Connected all trees -gpua013:2626471:2626529 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua013:2626471:2626529 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua013:2626471:2626529 [1] NCCL INFO comm 0xc80cc00 rank 9 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua080:3852059:3852059 [2] NCCL INFO cudaDriverVersion 12020 -gpua080:3852059:3852059 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.80<0> -gpua080:3852059:3852059 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua080:3852059:3852125 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.80<0> -gpua080:3852059:3852125 [2] NCCL INFO Using network IB -gpua080:3852059:3852125 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua080:3852059:3852125 [2] NCCL INFO Trees [0] 59/-1/-1->58->57 [1] 59/-1/-1->58->57 -gpua080:3852059:3852125 [2] NCCL INFO Channel 00/0 : 58[85000] -> 59[c7000] via P2P/IPC/read -gpua080:3852059:3852125 [2] NCCL INFO Channel 01/0 : 58[85000] -> 59[c7000] via P2P/IPC/read -gpua080:3852059:3852125 [2] NCCL INFO Connected all rings -gpua080:3852059:3852125 [2] NCCL INFO Channel 00/0 : 58[85000] -> 57[46000] via P2P/IPC/read -gpua080:3852059:3852125 [2] NCCL INFO Channel 01/0 : 58[85000] -> 57[46000] via P2P/IPC/read -gpua080:3852059:3852125 [2] NCCL INFO Connected all trees -gpua080:3852059:3852125 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua080:3852059:3852125 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua080:3852059:3852125 [2] NCCL INFO comm 0x1b93b8b0 rank 58 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua080:3852057:3852057 [0] NCCL INFO cudaDriverVersion 12020 -gpua080:3852057:3852057 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.80<0> -gpua080:3852057:3852057 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua080:3852057:3852128 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.80<0> -gpua080:3852057:3852128 [0] NCCL INFO Using network IB -gpua080:3852057:3852128 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua080:3852057:3852128 [0] NCCL INFO Trees [0] 57/60/-1->56->48 [1] 57/-1/-1->56->53 -gpua080:3852057:3852128 [0] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 -gpua080:3852057:3852128 [0] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 -gpua080:3852057:3852128 [0] NCCL INFO Channel 00/0 : 56[7000] -> 57[46000] via P2P/IPC/read -gpua080:3852057:3852128 [0] NCCL INFO Channel 01/0 : 56[7000] -> 57[46000] via P2P/IPC/read -gpua080:3852057:3852128 [0] NCCL INFO Connected all rings -gpua080:3852057:3852128 [0] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [receive] via NET/IB/0 -gpua080:3852057:3852128 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [send] via NET/IB/0 -gpua080:3852057:3852128 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [receive] via NET/IB/0 -gpua080:3852057:3852128 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [send] via NET/IB/0 -gpua080:3852057:3852128 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [receive] via NET/IB/0 -gpua080:3852057:3852128 [0] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [send] via NET/IB/0 -gpua080:3852057:3852128 [0] NCCL INFO Connected all trees -gpua080:3852057:3852128 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua080:3852057:3852128 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua080:3852057:3852128 [0] NCCL INFO comm 0x11da6c00 rank 56 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua054:1011624:1011624 [2] NCCL INFO cudaDriverVersion 12020 -gpua054:1011624:1011624 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> -gpua054:1011624:1011624 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua054:1011624:1011704 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> -gpua054:1011624:1011704 [2] NCCL INFO Using network IB -gpua054:1011624:1011704 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua054:1011624:1011704 [2] NCCL INFO Trees [0] 31/-1/-1->30->29 [1] 31/-1/-1->30->29 -gpua054:1011624:1011704 [2] NCCL INFO Channel 00/0 : 30[85000] -> 31[c7000] via P2P/IPC/read -gpua054:1011624:1011704 [2] NCCL INFO Channel 01/0 : 30[85000] -> 31[c7000] via P2P/IPC/read -gpua054:1011624:1011704 [2] NCCL INFO Connected all rings -gpua054:1011624:1011704 [2] NCCL INFO Channel 00/0 : 30[85000] -> 29[46000] via P2P/IPC/read -gpua054:1011624:1011704 [2] NCCL INFO Channel 01/0 : 30[85000] -> 29[46000] via P2P/IPC/read -gpua054:1011624:1011704 [2] NCCL INFO Connected all trees -gpua054:1011624:1011704 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua054:1011624:1011704 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua054:1011624:1011704 [2] NCCL INFO comm 0xb254b10 rank 30 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua011:1395547:1395547 [3] NCCL INFO cudaDriverVersion 12020 -gpua011:1395547:1395547 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.11<0> -gpua011:1395547:1395547 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua011:1395547:1395615 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.11<0> -gpua011:1395547:1395615 [3] NCCL INFO Using network IB -gpua011:1395547:1395615 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua011:1395547:1395615 [3] NCCL INFO Trees [0] -1/-1/-1->7->6 [1] -1/-1/-1->7->6 -gpua011:1395547:1395615 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 -gpua011:1395547:1395615 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 -gpua011:1395547:1395615 [3] NCCL INFO Connected all rings -gpua011:1395547:1395615 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 6[85000] via P2P/IPC/read -gpua011:1395547:1395615 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 6[85000] via P2P/IPC/read -gpua011:1395547:1395615 [3] NCCL INFO Connected all trees -gpua011:1395547:1395615 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua011:1395547:1395615 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua011:1395547:1395615 [3] NCCL INFO comm 0x9ea35930 rank 7 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua044:535762:535762 [0] NCCL INFO cudaDriverVersion 12020 -gpua044:535762:535762 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.44<0> -gpua044:535762:535762 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua044:535762:535836 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.44<0> -gpua044:535762:535836 [0] NCCL INFO Using network IB -gpua044:535762:535836 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua044:535762:535836 [0] NCCL INFO Trees [0] 17/24/-1->16->33 [1] 17/-1/-1->16->20 -gpua044:535762:535836 [0] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 -gpua044:535762:535836 [0] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 -gpua044:535762:535836 [0] NCCL INFO Channel 00/0 : 16[7000] -> 17[46000] via P2P/IPC/read -gpua044:535762:535836 [0] NCCL INFO Channel 01/0 : 16[7000] -> 17[46000] via P2P/IPC/read -gpua044:535762:535836 [0] NCCL INFO Connected all rings -gpua044:535762:535836 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [send] via NET/IB/0 -gpua044:535762:535836 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [send] via NET/IB/0 -gpua044:535762:535836 [0] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [send] via NET/IB/0 -gpua044:535762:535836 [0] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [receive] via NET/IB/0 -gpua044:535762:535836 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [receive] via NET/IB/0 -gpua044:535762:535836 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [receive] via NET/IB/0 -gpua044:535762:535836 [0] NCCL INFO Connected all trees -gpua044:535762:535836 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua044:535762:535836 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua044:535762:535836 [0] NCCL INFO comm 0xa11bb5f0 rank 16 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua080:3852058:3852058 [1] NCCL INFO cudaDriverVersion 12020 -gpua080:3852058:3852058 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.80<0> -gpua080:3852058:3852058 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua080:3852058:3852127 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.80<0> -gpua080:3852058:3852127 [1] NCCL INFO Using network IB -gpua080:3852058:3852127 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua080:3852058:3852127 [1] NCCL INFO Trees [0] 58/52/-1->57->56 [1] 58/-1/-1->57->56 -gpua080:3852058:3852127 [1] NCCL INFO Channel 00/0 : 57[46000] -> 58[85000] via P2P/IPC/read -gpua080:3852058:3852127 [1] NCCL INFO Channel 01/0 : 57[46000] -> 58[85000] via P2P/IPC/read -gpua080:3852058:3852127 [1] NCCL INFO Connected all rings -gpua080:3852058:3852127 [1] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [receive] via NET/IB/0 -gpua080:3852058:3852127 [1] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [send] via NET/IB/0 -gpua080:3852058:3852127 [1] NCCL INFO Channel 00/0 : 57[46000] -> 56[7000] via P2P/IPC/read -gpua080:3852058:3852127 [1] NCCL INFO Channel 01/0 : 57[46000] -> 56[7000] via P2P/IPC/read -gpua080:3852058:3852127 [1] NCCL INFO Connected all trees -gpua080:3852058:3852127 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua080:3852058:3852127 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua080:3852058:3852127 [1] NCCL INFO comm 0xc134790 rank 57 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua051:859014:859014 [1] NCCL INFO cudaDriverVersion 12020 -gpua051:859014:859014 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.51<0> -gpua051:859014:859014 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua051:859014:859082 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.51<0> -gpua051:859014:859082 [1] NCCL INFO Using network IB -gpua051:859014:859082 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua051:859014:859082 [1] NCCL INFO Trees [0] 22/-1/-1->21->20 [1] 22/24/-1->21->20 -gpua051:859014:859082 [1] NCCL INFO Channel 00/0 : 21[46000] -> 22[85000] via P2P/IPC/read -gpua051:859014:859082 [1] NCCL INFO Channel 01/0 : 21[46000] -> 22[85000] via P2P/IPC/read -gpua051:859014:859082 [1] NCCL INFO Connected all rings -gpua051:859014:859082 [1] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [send] via NET/IB/0 -gpua051:859014:859082 [1] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [receive] via NET/IB/0 -gpua007:1129636:1129636 [3] NCCL INFO cudaDriverVersion 12020 -gpua007:1129636:1129636 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> -gpua007:1129636:1129636 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua007:1129636:1129701 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> -gpua007:1129636:1129701 [3] NCCL INFO Using network IB -gpua007:1129636:1129701 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua007:1129636:1129701 [3] NCCL INFO Trees [0] -1/-1/-1->3->2 [1] -1/-1/-1->3->2 -gpua007:1129636:1129701 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 -gpua007:1129636:1129701 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 -gpua007:1129636:1129701 [3] NCCL INFO Connected all rings -gpua007:1129636:1129701 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 2[85000] via P2P/IPC/read -gpua007:1129636:1129701 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 2[85000] via P2P/IPC/read -gpua051:859014:859082 [1] NCCL INFO Channel 00/0 : 21[46000] -> 20[7000] via P2P/IPC/read -gpua051:859014:859082 [1] NCCL INFO Channel 01/0 : 21[46000] -> 20[7000] via P2P/IPC/read -gpua051:859014:859082 [1] NCCL INFO Connected all trees -gpua051:859014:859082 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua051:859014:859082 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua051:859014:859082 [1] NCCL INFO comm 0x94d38a90 rank 21 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua007:1129636:1129701 [3] NCCL INFO Connected all trees -gpua007:1129636:1129701 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua007:1129636:1129701 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua007:1129636:1129701 [3] NCCL INFO comm 0xc04b5e0 rank 3 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua011:1395546:1395546 [2] NCCL INFO cudaDriverVersion 12020 -gpua011:1395546:1395546 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.11<0> -gpua011:1395546:1395546 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua011:1395546:1395617 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.11<0> -gpua011:1395546:1395617 [2] NCCL INFO Using network IB -gpua011:1395546:1395617 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua011:1395546:1395617 [2] NCCL INFO Trees [0] 7/-1/-1->6->5 [1] 7/-1/-1->6->5 -gpua011:1395546:1395617 [2] NCCL INFO Channel 00/0 : 6[85000] -> 7[c7000] via P2P/IPC/read -gpua011:1395546:1395617 [2] NCCL INFO Channel 01/0 : 6[85000] -> 7[c7000] via P2P/IPC/read -gpua011:1395546:1395617 [2] NCCL INFO Connected all rings -gpua011:1395546:1395617 [2] NCCL INFO Channel 00/0 : 6[85000] -> 5[46000] via P2P/IPC/read -gpua011:1395546:1395617 [2] NCCL INFO Channel 01/0 : 6[85000] -> 5[46000] via P2P/IPC/read -gpua007:1129633:1129698 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> -gpua007:1129633:1129698 [0] NCCL INFO Using network IB -gpua007:1129633:1129698 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua007:1129633:1129698 [0] NCCL INFO Channel 00/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 -gpua007:1129633:1129698 [0] NCCL INFO Channel 01/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 -gpua007:1129633:1129698 [0] NCCL INFO Trees [0] 1/32/-1->0->-1 [1] 1/-1/-1->0->4 -gpua007:1129633:1129698 [0] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 -gpua007:1129633:1129698 [0] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 -gpua007:1129633:1129698 [0] NCCL INFO Channel 00/0 : 0[7000] -> 1[46000] via P2P/IPC/read -gpua007:1129633:1129698 [0] NCCL INFO Channel 01/0 : 0[7000] -> 1[46000] via P2P/IPC/read -gpua011:1395546:1395617 [2] NCCL INFO Connected all trees -gpua011:1395546:1395617 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua011:1395546:1395617 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua011:1395546:1395617 [2] NCCL INFO comm 0xf622b10 rank 6 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua051:859016:859016 [3] NCCL INFO cudaDriverVersion 12020 -gpua051:859016:859016 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.51<0> -gpua051:859016:859016 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua051:859016:859077 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.51<0> -gpua051:859016:859077 [3] NCCL INFO Using network IB -gpua051:859016:859077 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua051:859016:859077 [3] NCCL INFO Trees [0] -1/-1/-1->23->22 [1] -1/-1/-1->23->22 -gpua051:859016:859077 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 -gpua051:859016:859077 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 -gpua051:859016:859077 [3] NCCL INFO Connected all rings -gpua051:859016:859077 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 22[85000] via P2P/IPC/read -gpua051:859016:859077 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 22[85000] via P2P/IPC/read -gpua007:1129633:1129698 [0] NCCL INFO Connected all rings -gpua007:1129633:1129698 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [send] via NET/IB/0 -gpua007:1129633:1129698 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [receive] via NET/IB/0 -gpua007:1129633:1129698 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [send] via NET/IB/0 -gpua007:1129633:1129698 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [receive] via NET/IB/0 -gpua007:1129633:1129698 [0] NCCL INFO Connected all trees -gpua007:1129633:1129698 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua007:1129633:1129698 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua007:1129633:1129698 [0] NCCL INFO comm 0x18ab0460 rank 0 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua051:859016:859077 [3] NCCL INFO Connected all trees -gpua051:859016:859077 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua051:859016:859077 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua051:859016:859077 [3] NCCL INFO comm 0xe083d590 rank 23 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua090:1047284:1047284 [2] NCCL INFO cudaDriverVersion 12020 -gpua090:1047284:1047284 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.90<0> -gpua090:1047284:1047284 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua090:1047284:1047349 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.90<0> -gpua090:1047284:1047349 [2] NCCL INFO Using network IB -gpua090:1047284:1047349 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua090:1047284:1047349 [2] NCCL INFO Trees [0] 63/-1/-1->62->61 [1] 63/-1/-1->62->61 -gpua090:1047284:1047349 [2] NCCL INFO Channel 00/0 : 62[85000] -> 63[c7000] via P2P/IPC/read -gpua090:1047284:1047349 [2] NCCL INFO Channel 01/0 : 62[85000] -> 63[c7000] via P2P/IPC/read -gpua090:1047284:1047349 [2] NCCL INFO Connected all rings -gpua090:1047284:1047349 [2] NCCL INFO Channel 00/0 : 62[85000] -> 61[46000] via P2P/IPC/read -gpua090:1047284:1047349 [2] NCCL INFO Channel 01/0 : 62[85000] -> 61[46000] via P2P/IPC/read -gpua090:1047284:1047349 [2] NCCL INFO Connected all trees -gpua090:1047284:1047349 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua090:1047284:1047349 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua090:1047284:1047349 [2] NCCL INFO comm 0xe24aafb0 rank 62 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua011:1395545:1395545 [1] NCCL INFO cudaDriverVersion 12020 -gpua011:1395545:1395545 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.11<0> -gpua011:1395545:1395545 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua011:1395545:1395618 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.11<0> -gpua011:1395545:1395618 [1] NCCL INFO Using network IB -gpua011:1395545:1395618 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua011:1395545:1395618 [1] NCCL INFO Trees [0] 6/-1/-1->5->4 [1] 6/8/-1->5->4 -gpua011:1395545:1395618 [1] NCCL INFO Channel 00/0 : 5[46000] -> 6[85000] via P2P/IPC/read -gpua011:1395545:1395618 [1] NCCL INFO Channel 01/0 : 5[46000] -> 6[85000] via P2P/IPC/read -gpua011:1395545:1395618 [1] NCCL INFO Connected all rings -gpua011:1395545:1395618 [1] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [send] via NET/IB/0 -gpua011:1395545:1395618 [1] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [receive] via NET/IB/0 -gpua011:1395545:1395618 [1] NCCL INFO Channel 00/0 : 5[46000] -> 4[7000] via P2P/IPC/read -gpua011:1395545:1395618 [1] NCCL INFO Channel 01/0 : 5[46000] -> 4[7000] via P2P/IPC/read -gpua011:1395545:1395618 [1] NCCL INFO Connected all trees -gpua011:1395545:1395618 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua011:1395545:1395618 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua011:1395545:1395618 [1] NCCL INFO comm 0x39821130 rank 5 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua059:683870:683870 [1] NCCL INFO cudaDriverVersion 12020 -gpua059:683870:683870 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.59<0> -gpua059:683870:683870 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua059:683870:683942 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.59<0> -gpua059:683870:683942 [1] NCCL INFO Using network IB -gpua059:683870:683942 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua059:683870:683942 [1] NCCL INFO Trees [0] 38/-1/-1->37->36 [1] 38/40/-1->37->36 -gpua059:683870:683942 [1] NCCL INFO Channel 00/0 : 37[46000] -> 38[85000] via P2P/IPC/read -gpua059:683870:683942 [1] NCCL INFO Channel 01/0 : 37[46000] -> 38[85000] via P2P/IPC/read -gpua059:683870:683942 [1] NCCL INFO Connected all rings -gpua059:683870:683942 [1] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [send] via NET/IB/0 -gpua059:683870:683942 [1] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [receive] via NET/IB/0 -gpua090:1047282:1047282 [0] NCCL INFO cudaDriverVersion 12020 -gpua090:1047282:1047282 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.90<0> -gpua090:1047282:1047282 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua090:1047282:1047346 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.90<0> -gpua090:1047282:1047346 [0] NCCL INFO Using network IB -gpua090:1047282:1047346 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua090:1047282:1047346 [0] NCCL INFO Trees [0] 61/-1/-1->60->56 [1] 61/28/-1->60->-1 -gpua090:1047282:1047346 [0] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 -gpua090:1047282:1047346 [0] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 -gpua090:1047282:1047346 [0] NCCL INFO Channel 00/0 : 60[7000] -> 61[46000] via P2P/IPC/read -gpua090:1047282:1047346 [0] NCCL INFO Channel 01/0 : 60[7000] -> 61[46000] via P2P/IPC/read -gpua090:1047282:1047346 [0] NCCL INFO Connected all rings -gpua059:683870:683942 [1] NCCL INFO Channel 00/0 : 37[46000] -> 36[7000] via P2P/IPC/read -gpua059:683870:683942 [1] NCCL INFO Channel 01/0 : 37[46000] -> 36[7000] via P2P/IPC/read -gpua059:683870:683942 [1] NCCL INFO Connected all trees -gpua059:683870:683942 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua059:683870:683942 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua059:683870:683942 [1] NCCL INFO comm 0x9a1c0ea0 rank 37 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua062:3530792:3530792 [3] NCCL INFO cudaDriverVersion 12020 -gpua062:3530792:3530792 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.62<0> -gpua062:3530792:3530792 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua062:3530792:3530858 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.62<0> -gpua062:3530792:3530858 [3] NCCL INFO Using network IB -gpua062:3530792:3530858 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua062:3530792:3530858 [3] NCCL INFO Trees [0] -1/-1/-1->43->42 [1] -1/-1/-1->43->42 -gpua062:3530792:3530858 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 -gpua062:3530792:3530858 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 -gpua062:3530792:3530858 [3] NCCL INFO Connected all rings -gpua062:3530792:3530858 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 42[85000] via P2P/IPC/read -gpua062:3530792:3530858 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 42[85000] via P2P/IPC/read -gpua090:1047282:1047346 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [receive] via NET/IB/0 -gpua090:1047282:1047346 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [receive] via NET/IB/0 -gpua090:1047282:1047346 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [send] via NET/IB/0 -gpua090:1047282:1047346 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [send] via NET/IB/0 -gpua090:1047282:1047346 [0] NCCL INFO Connected all trees -gpua090:1047282:1047346 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua090:1047282:1047346 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua090:1047282:1047346 [0] NCCL INFO comm 0x11f10f50 rank 60 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua062:3530792:3530858 [3] NCCL INFO Connected all trees -gpua062:3530792:3530858 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua062:3530792:3530858 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua062:3530792:3530858 [3] NCCL INFO comm 0xe9b90b0 rank 43 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua090:1047283:1047283 [1] NCCL INFO cudaDriverVersion 12020 -gpua090:1047283:1047283 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.90<0> -gpua090:1047283:1047283 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua090:1047283:1047348 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.90<0> -gpua090:1047283:1047348 [1] NCCL INFO Using network IB -gpua090:1047283:1047348 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua090:1047283:1047348 [1] NCCL INFO Trees [0] 62/-1/-1->61->60 [1] 62/-1/-1->61->60 -gpua090:1047283:1047348 [1] NCCL INFO Channel 00/0 : 61[46000] -> 62[85000] via P2P/IPC/read -gpua090:1047283:1047348 [1] NCCL INFO Channel 01/0 : 61[46000] -> 62[85000] via P2P/IPC/read -gpua090:1047283:1047348 [1] NCCL INFO Connected all rings -gpua090:1047283:1047348 [1] NCCL INFO Channel 00/0 : 61[46000] -> 60[7000] via P2P/IPC/read -gpua090:1047283:1047348 [1] NCCL INFO Channel 01/0 : 61[46000] -> 60[7000] via P2P/IPC/read -gpua044:535765:535765 [3] NCCL INFO cudaDriverVersion 12020 -gpua044:535765:535765 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.44<0> -gpua044:535765:535765 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua044:535765:535834 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.44<0> -gpua044:535765:535834 [3] NCCL INFO Using network IB -gpua044:535765:535834 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua044:535765:535834 [3] NCCL INFO Trees [0] -1/-1/-1->19->18 [1] -1/-1/-1->19->18 -gpua044:535765:535834 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 -gpua044:535765:535834 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 -gpua044:535765:535834 [3] NCCL INFO Connected all rings -gpua044:535765:535834 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 18[85000] via P2P/IPC/read -gpua044:535765:535834 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 18[85000] via P2P/IPC/read -gpua090:1047283:1047348 [1] NCCL INFO Connected all trees -gpua090:1047283:1047348 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua090:1047283:1047348 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua090:1047283:1047348 [1] NCCL INFO comm 0x25aa18a0 rank 61 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua044:535765:535834 [3] NCCL INFO Connected all trees -gpua044:535765:535834 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua044:535765:535834 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua044:535765:535834 [3] NCCL INFO comm 0xec58c60 rank 19 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua007:1129635:1129635 [2] NCCL INFO cudaDriverVersion 12020 -gpua007:1129635:1129635 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> -gpua007:1129635:1129635 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua007:1129635:1129700 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> -gpua007:1129635:1129700 [2] NCCL INFO Using network IB -gpua007:1129635:1129700 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua007:1129635:1129700 [2] NCCL INFO Trees [0] 3/-1/-1->2->1 [1] 3/-1/-1->2->1 -gpua007:1129635:1129700 [2] NCCL INFO Channel 00/0 : 2[85000] -> 3[c7000] via P2P/IPC/read -gpua007:1129635:1129700 [2] NCCL INFO Channel 01/0 : 2[85000] -> 3[c7000] via P2P/IPC/read -gpua007:1129635:1129700 [2] NCCL INFO Connected all rings -gpua007:1129635:1129700 [2] NCCL INFO Channel 00/0 : 2[85000] -> 1[46000] via P2P/IPC/read -gpua007:1129635:1129700 [2] NCCL INFO Channel 01/0 : 2[85000] -> 1[46000] via P2P/IPC/read -gpua007:1129635:1129700 [2] NCCL INFO Connected all trees -gpua007:1129635:1129700 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua007:1129635:1129700 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua007:1129635:1129700 [2] NCCL INFO comm 0x1be8a140 rank 2 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua080:3852060:3852060 [3] NCCL INFO cudaDriverVersion 12020 -gpua080:3852060:3852060 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.80<0> -gpua080:3852060:3852060 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua080:3852060:3852126 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.80<0> -gpua080:3852060:3852126 [3] NCCL INFO Using network IB -gpua080:3852060:3852126 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua080:3852060:3852126 [3] NCCL INFO Trees [0] -1/-1/-1->59->58 [1] -1/-1/-1->59->58 -gpua080:3852060:3852126 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 -gpua080:3852060:3852126 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 -gpua080:3852060:3852126 [3] NCCL INFO Connected all rings -gpua080:3852060:3852126 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 58[85000] via P2P/IPC/read -gpua080:3852060:3852126 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 58[85000] via P2P/IPC/read -gpua080:3852060:3852126 [3] NCCL INFO Connected all trees -gpua080:3852060:3852126 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua080:3852060:3852126 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua080:3852060:3852126 [3] NCCL INFO comm 0x21b10200 rank 59 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua067:1213359:1213359 [2] NCCL INFO cudaDriverVersion 12020 -gpua067:1213359:1213359 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.67<0> -gpua067:1213359:1213359 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua067:1213359:1213428 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.67<0> -gpua067:1213359:1213428 [2] NCCL INFO Using network IB -gpua067:1213359:1213428 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua067:1213359:1213428 [2] NCCL INFO Trees [0] 47/-1/-1->46->45 [1] 47/-1/-1->46->45 -gpua067:1213359:1213428 [2] NCCL INFO Channel 00/0 : 46[85000] -> 47[c7000] via P2P/IPC/read -gpua067:1213359:1213428 [2] NCCL INFO Channel 01/0 : 46[85000] -> 47[c7000] via P2P/IPC/read -gpua067:1213359:1213428 [2] NCCL INFO Connected all rings -gpua067:1213359:1213428 [2] NCCL INFO Channel 00/0 : 46[85000] -> 45[46000] via P2P/IPC/read -gpua067:1213359:1213428 [2] NCCL INFO Channel 01/0 : 46[85000] -> 45[46000] via P2P/IPC/read -gpua067:1213359:1213428 [2] NCCL INFO Connected all trees -gpua067:1213359:1213428 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua067:1213359:1213428 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua067:1213359:1213428 [2] NCCL INFO comm 0x93266320 rank 46 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua067:1213358:1213358 [1] NCCL INFO cudaDriverVersion 12020 -gpua067:1213358:1213358 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.67<0> -gpua067:1213358:1213358 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua067:1213358:1213429 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.67<0> -gpua067:1213358:1213429 [1] NCCL INFO Using network IB -gpua067:1213358:1213429 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua067:1213358:1213429 [1] NCCL INFO Trees [0] 46/-1/-1->45->44 [1] 46/52/-1->45->44 -gpua067:1213358:1213429 [1] NCCL INFO Channel 00/0 : 45[46000] -> 46[85000] via P2P/IPC/read -gpua067:1213358:1213429 [1] NCCL INFO Channel 01/0 : 45[46000] -> 46[85000] via P2P/IPC/read -gpua067:1213358:1213429 [1] NCCL INFO Connected all rings -gpua067:1213358:1213429 [1] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [send] via NET/IB/0 -gpua067:1213358:1213429 [1] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [receive] via NET/IB/0 -gpua067:1213358:1213429 [1] NCCL INFO Channel 00/0 : 45[46000] -> 44[7000] via P2P/IPC/read -gpua067:1213358:1213429 [1] NCCL INFO Channel 01/0 : 45[46000] -> 44[7000] via P2P/IPC/read -gpua067:1213358:1213429 [1] NCCL INFO Connected all trees -gpua067:1213358:1213429 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua067:1213358:1213429 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua067:1213358:1213429 [1] NCCL INFO comm 0xe94f88a0 rank 45 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua051:859015:859015 [2] NCCL INFO cudaDriverVersion 12020 -gpua051:859015:859015 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.51<0> -gpua051:859015:859015 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua051:859015:859081 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.51<0> -gpua051:859015:859081 [2] NCCL INFO Using network IB -gpua051:859015:859081 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua051:859015:859081 [2] NCCL INFO Trees [0] 23/-1/-1->22->21 [1] 23/-1/-1->22->21 -gpua051:859015:859081 [2] NCCL INFO Channel 00/0 : 22[85000] -> 23[c7000] via P2P/IPC/read -gpua051:859015:859081 [2] NCCL INFO Channel 01/0 : 22[85000] -> 23[c7000] via P2P/IPC/read -gpua051:859015:859081 [2] NCCL INFO Connected all rings -gpua051:859015:859081 [2] NCCL INFO Channel 00/0 : 22[85000] -> 21[46000] via P2P/IPC/read -gpua051:859015:859081 [2] NCCL INFO Channel 01/0 : 22[85000] -> 21[46000] via P2P/IPC/read -gpua051:859015:859081 [2] NCCL INFO Connected all trees -gpua051:859015:859081 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua051:859015:859081 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua051:859015:859081 [2] NCCL INFO comm 0x17f8fc70 rank 22 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua067:1213360:1213360 [3] NCCL INFO cudaDriverVersion 12020 -gpua067:1213360:1213360 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.67<0> -gpua067:1213360:1213360 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua067:1213360:1213430 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.67<0> -gpua067:1213360:1213430 [3] NCCL INFO Using network IB -gpua067:1213360:1213430 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua067:1213360:1213430 [3] NCCL INFO Trees [0] -1/-1/-1->47->46 [1] -1/-1/-1->47->46 -gpua067:1213360:1213430 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 -gpua067:1213360:1213430 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 -gpua067:1213360:1213430 [3] NCCL INFO Connected all rings -gpua067:1213360:1213430 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 46[85000] via P2P/IPC/read -gpua067:1213360:1213430 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 46[85000] via P2P/IPC/read -gpua059:683869:683869 [0] NCCL INFO cudaDriverVersion 12020 -gpua059:683869:683869 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.59<0> -gpua059:683869:683869 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua059:683869:683944 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.59<0> -gpua059:683869:683944 [0] NCCL INFO Using network IB -gpua059:683869:683944 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua059:683869:683944 [0] NCCL INFO Trees [0] 37/-1/-1->36->41 [1] 37/32/-1->36->44 -gpua059:683869:683944 [0] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 -gpua059:683869:683944 [0] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 -gpua059:683869:683944 [0] NCCL INFO Channel 00/0 : 36[7000] -> 37[46000] via P2P/IPC/read -gpua059:683869:683944 [0] NCCL INFO Channel 01/0 : 36[7000] -> 37[46000] via P2P/IPC/read -gpua059:683869:683944 [0] NCCL INFO Connected all rings -gpua067:1213360:1213430 [3] NCCL INFO Connected all trees -gpua067:1213360:1213430 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua067:1213360:1213430 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua067:1213360:1213430 [3] NCCL INFO comm 0xea23ad0 rank 47 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua059:683869:683944 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [receive] via NET/IB/0 -gpua059:683869:683944 [0] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [send] via NET/IB/0 -gpua059:683869:683944 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [send] via NET/IB/0 -gpua059:683869:683944 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [receive] via NET/IB/0 -gpua059:683869:683944 [0] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [receive] via NET/IB/0 -gpua059:683869:683944 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [send] via NET/IB/0 -gpua059:683869:683944 [0] NCCL INFO Connected all trees -gpua059:683869:683944 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua059:683869:683944 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua059:683869:683944 [0] NCCL INFO comm 0x926f2d30 rank 36 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua051:859013:859013 [0] NCCL INFO cudaDriverVersion 12020 -gpua051:859013:859013 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.51<0> -gpua051:859013:859013 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua051:859013:859078 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.51<0> -gpua051:859013:859078 [0] NCCL INFO Using network IB -gpua051:859013:859078 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua051:859013:859078 [0] NCCL INFO Trees [0] 21/-1/-1->20->25 [1] 21/16/-1->20->13 -gpua051:859013:859078 [0] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 -gpua051:859013:859078 [0] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 -gpua051:859013:859078 [0] NCCL INFO Channel 00/0 : 20[7000] -> 21[46000] via P2P/IPC/read -gpua051:859013:859078 [0] NCCL INFO Channel 01/0 : 20[7000] -> 21[46000] via P2P/IPC/read -gpua051:859013:859078 [0] NCCL INFO Connected all rings -gpua059:683872:683872 [3] NCCL INFO cudaDriverVersion 12020 -gpua059:683872:683872 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.59<0> -gpua059:683872:683872 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua059:683872:683941 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.59<0> -gpua059:683872:683941 [3] NCCL INFO Using network IB -gpua059:683872:683941 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua059:683872:683941 [3] NCCL INFO Trees [0] -1/-1/-1->39->38 [1] -1/-1/-1->39->38 -gpua059:683872:683941 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 -gpua059:683872:683941 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 -gpua059:683872:683941 [3] NCCL INFO Connected all rings -gpua059:683872:683941 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 38[85000] via P2P/IPC/read -gpua059:683872:683941 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 38[85000] via P2P/IPC/read -gpua051:859013:859078 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [receive] via NET/IB/0 -gpua051:859013:859078 [0] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [send] via NET/IB/0 -gpua051:859013:859078 [0] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [receive] via NET/IB/0 -gpua051:859013:859078 [0] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [send] via NET/IB/0 -gpua051:859013:859078 [0] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [receive] via NET/IB/0 -gpua051:859013:859078 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [send] via NET/IB/0 -gpua051:859013:859078 [0] NCCL INFO Connected all trees -gpua051:859013:859078 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua051:859013:859078 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua051:859013:859078 [0] NCCL INFO comm 0xa818640 rank 20 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua059:683872:683941 [3] NCCL INFO Connected all trees -gpua059:683872:683941 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua059:683872:683941 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua059:683872:683941 [3] NCCL INFO comm 0x133ef3a0 rank 39 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua062:3530790:3530790 [1] NCCL INFO cudaDriverVersion 12020 -gpua062:3530790:3530790 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.62<0> -gpua062:3530790:3530790 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua062:3530790:3530857 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.62<0> -gpua062:3530790:3530857 [1] NCCL INFO Using network IB -gpua062:3530790:3530857 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua062:3530790:3530857 [1] NCCL INFO Trees [0] 42/36/-1->41->40 [1] 42/-1/-1->41->40 -gpua062:3530790:3530857 [1] NCCL INFO Channel 00/0 : 41[46000] -> 42[85000] via P2P/IPC/read -gpua062:3530790:3530857 [1] NCCL INFO Channel 01/0 : 41[46000] -> 42[85000] via P2P/IPC/read -gpua062:3530790:3530857 [1] NCCL INFO Connected all rings -gpua062:3530790:3530857 [1] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [receive] via NET/IB/0 -gpua062:3530790:3530857 [1] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [send] via NET/IB/0 -gpua062:3530790:3530857 [1] NCCL INFO Channel 00/0 : 41[46000] -> 40[7000] via P2P/IPC/read -gpua062:3530790:3530857 [1] NCCL INFO Channel 01/0 : 41[46000] -> 40[7000] via P2P/IPC/read -gpua062:3530790:3530857 [1] NCCL INFO Connected all trees -gpua062:3530790:3530857 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua062:3530790:3530857 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua062:3530790:3530857 [1] NCCL INFO comm 0x958070d0 rank 41 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua011:1395544:1395544 [0] NCCL INFO cudaDriverVersion 12020 -gpua011:1395544:1395544 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.11<0> -gpua011:1395544:1395544 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua011:1395544:1395616 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.11<0> -gpua011:1395544:1395616 [0] NCCL INFO Using network IB -gpua011:1395544:1395616 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua011:1395544:1395616 [0] NCCL INFO Trees [0] 5/-1/-1->4->9 [1] 5/0/-1->4->12 -gpua011:1395544:1395616 [0] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 -gpua011:1395544:1395616 [0] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 -gpua011:1395544:1395616 [0] NCCL INFO Channel 00/0 : 4[7000] -> 5[46000] via P2P/IPC/read -gpua011:1395544:1395616 [0] NCCL INFO Channel 01/0 : 4[7000] -> 5[46000] via P2P/IPC/read -gpua011:1395544:1395616 [0] NCCL INFO Connected all rings -gpua011:1395544:1395616 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [receive] via NET/IB/0 -gpua011:1395544:1395616 [0] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [send] via NET/IB/0 -gpua011:1395544:1395616 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [send] via NET/IB/0 -gpua011:1395544:1395616 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [receive] via NET/IB/0 -gpua011:1395544:1395616 [0] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [receive] via NET/IB/0 -gpua011:1395544:1395616 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [send] via NET/IB/0 -gpua011:1395544:1395616 [0] NCCL INFO Connected all trees -gpua011:1395544:1395616 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua011:1395544:1395616 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua011:1395544:1395616 [0] NCCL INFO comm 0x7f78169fa560 rank 4 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua054:1011625:1011625 [3] NCCL INFO cudaDriverVersion 12020 -gpua054:1011625:1011625 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> -gpua054:1011625:1011625 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua054:1011625:1011702 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> -gpua054:1011625:1011702 [3] NCCL INFO Using network IB -gpua054:1011625:1011702 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua054:1011625:1011702 [3] NCCL INFO Trees [0] -1/-1/-1->31->30 [1] -1/-1/-1->31->30 -gpua054:1011625:1011702 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 -gpua054:1011625:1011702 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 -gpua054:1011625:1011702 [3] NCCL INFO Connected all rings -gpua054:1011625:1011702 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 30[85000] via P2P/IPC/read -gpua054:1011625:1011702 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 30[85000] via P2P/IPC/read -gpua054:1011625:1011702 [3] NCCL INFO Connected all trees -gpua054:1011625:1011702 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua054:1011625:1011702 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua054:1011625:1011702 [3] NCCL INFO comm 0xa2c0cd80 rank 31 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua062:3530789:3530789 [0] NCCL INFO cudaDriverVersion 12020 -gpua062:3530789:3530789 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.62<0> -gpua062:3530789:3530789 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua062:3530789:3530859 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.62<0> -gpua062:3530789:3530859 [0] NCCL INFO Using network IB -gpua062:3530789:3530859 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua062:3530789:3530859 [0] NCCL INFO Trees [0] 41/44/-1->40->49 [1] 41/-1/-1->40->37 -gpua062:3530789:3530859 [0] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 -gpua062:3530789:3530859 [0] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 -gpua062:3530789:3530859 [0] NCCL INFO Channel 00/0 : 40[7000] -> 41[46000] via P2P/IPC/read -gpua062:3530789:3530859 [0] NCCL INFO Channel 01/0 : 40[7000] -> 41[46000] via P2P/IPC/read -gpua062:3530789:3530859 [0] NCCL INFO Connected all rings -gpua062:3530789:3530859 [0] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [receive] via NET/IB/0 -gpua062:3530789:3530859 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [send] via NET/IB/0 -gpua062:3530789:3530859 [0] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [send] via NET/IB/0 -gpua062:3530789:3530859 [0] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [receive] via NET/IB/0 -gpua062:3530789:3530859 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [receive] via NET/IB/0 -gpua062:3530789:3530859 [0] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [send] via NET/IB/0 -gpua062:3530789:3530859 [0] NCCL INFO Connected all trees -gpua062:3530789:3530859 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua062:3530789:3530859 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua062:3530789:3530859 [0] NCCL INFO comm 0xc66c320 rank 40 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua090:1047285:1047285 [3] NCCL INFO cudaDriverVersion 12020 -gpua090:1047285:1047285 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.90<0> -gpua090:1047285:1047285 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua090:1047285:1047350 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.90<0> -gpua090:1047285:1047350 [3] NCCL INFO Using network IB -gpua090:1047285:1047350 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua090:1047285:1047350 [3] NCCL INFO Trees [0] -1/-1/-1->63->62 [1] -1/-1/-1->63->62 -gpua090:1047285:1047350 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 -gpua090:1047285:1047350 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 -gpua090:1047285:1047350 [3] NCCL INFO Connected all rings -gpua090:1047285:1047350 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 62[85000] via P2P/IPC/read -gpua090:1047285:1047350 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 62[85000] via P2P/IPC/read -gpua090:1047285:1047350 [3] NCCL INFO Connected all trees -gpua090:1047285:1047350 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua090:1047285:1047350 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua090:1047285:1047350 [3] NCCL INFO comm 0x24a8ce90 rank 63 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua062:3530791:3530791 [2] NCCL INFO cudaDriverVersion 12020 -gpua062:3530791:3530791 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.62<0> -gpua062:3530791:3530791 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua062:3530791:3530855 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.62<0> -gpua062:3530791:3530855 [2] NCCL INFO Using network IB -gpua062:3530791:3530855 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua062:3530791:3530855 [2] NCCL INFO Trees [0] 43/-1/-1->42->41 [1] 43/-1/-1->42->41 -gpua062:3530791:3530855 [2] NCCL INFO Channel 00/0 : 42[85000] -> 43[c7000] via P2P/IPC/read -gpua062:3530791:3530855 [2] NCCL INFO Channel 01/0 : 42[85000] -> 43[c7000] via P2P/IPC/read -gpua062:3530791:3530855 [2] NCCL INFO Connected all rings -gpua062:3530791:3530855 [2] NCCL INFO Channel 00/0 : 42[85000] -> 41[46000] via P2P/IPC/read -gpua062:3530791:3530855 [2] NCCL INFO Channel 01/0 : 42[85000] -> 41[46000] via P2P/IPC/read -gpua062:3530791:3530855 [2] NCCL INFO Connected all trees -gpua062:3530791:3530855 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua062:3530791:3530855 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua062:3530791:3530855 [2] NCCL INFO comm 0xa13e0ae0 rank 42 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua054:1011623:1011623 [1] NCCL INFO cudaDriverVersion 12020 -gpua054:1011623:1011623 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> -gpua054:1011623:1011623 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua054:1011623:1011705 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> -gpua054:1011623:1011705 [1] NCCL INFO Using network IB -gpua054:1011623:1011705 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua054:1011623:1011705 [1] NCCL INFO Trees [0] 30/-1/-1->29->28 [1] 30/44/-1->29->28 -gpua054:1011623:1011705 [1] NCCL INFO Channel 00/0 : 29[46000] -> 30[85000] via P2P/IPC/read -gpua054:1011623:1011705 [1] NCCL INFO Channel 01/0 : 29[46000] -> 30[85000] via P2P/IPC/read -gpua054:1011623:1011705 [1] NCCL INFO Connected all rings -gpua054:1011623:1011705 [1] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [send] via NET/IB/0 -gpua054:1011623:1011705 [1] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [receive] via NET/IB/0 -gpua054:1011623:1011705 [1] NCCL INFO Channel 00/0 : 29[46000] -> 28[7000] via P2P/IPC/read -gpua054:1011623:1011705 [1] NCCL INFO Channel 01/0 : 29[46000] -> 28[7000] via P2P/IPC/read -gpua054:1011623:1011705 [1] NCCL INFO Connected all trees -gpua054:1011623:1011705 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua054:1011623:1011705 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua054:1011623:1011705 [1] NCCL INFO comm 0xa8302e0 rank 29 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua054:1011622:1011622 [0] NCCL INFO cudaDriverVersion 12020 -gpua054:1011622:1011622 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> -gpua054:1011622:1011622 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua054:1011622:1011706 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> -gpua054:1011622:1011706 [0] NCCL INFO Using network IB -gpua054:1011622:1011706 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua054:1011622:1011706 [0] NCCL INFO Trees [0] 29/-1/-1->28->24 [1] 29/12/-1->28->60 -gpua054:1011622:1011706 [0] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 -gpua054:1011622:1011706 [0] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 -gpua054:1011622:1011706 [0] NCCL INFO Channel 00/0 : 28[7000] -> 29[46000] via P2P/IPC/read -gpua054:1011622:1011706 [0] NCCL INFO Channel 01/0 : 28[7000] -> 29[46000] via P2P/IPC/read -gpua054:1011622:1011706 [0] NCCL INFO Connected all rings -gpua054:1011622:1011706 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [receive] via NET/IB/0 -gpua054:1011622:1011706 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [receive] via NET/IB/0 -gpua054:1011622:1011706 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [receive] via NET/IB/0 -gpua054:1011622:1011706 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [send] via NET/IB/0 -gpua054:1011622:1011706 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [send] via NET/IB/0 -gpua054:1011622:1011706 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [send] via NET/IB/0 -gpua054:1011622:1011706 [0] NCCL INFO Connected all trees -gpua054:1011622:1011706 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua054:1011622:1011706 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua054:1011622:1011706 [0] NCCL INFO comm 0x16962120 rank 28 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua044:535764:535764 [2] NCCL INFO cudaDriverVersion 12020 -gpua044:535764:535764 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.44<0> -gpua044:535764:535764 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua044:535764:535837 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.44<0> -gpua044:535764:535837 [2] NCCL INFO Using network IB -gpua044:535764:535837 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua044:535764:535837 [2] NCCL INFO Trees [0] 19/-1/-1->18->17 [1] 19/-1/-1->18->17 -gpua044:535764:535837 [2] NCCL INFO Channel 00/0 : 18[85000] -> 19[c7000] via P2P/IPC/read -gpua044:535764:535837 [2] NCCL INFO Channel 01/0 : 18[85000] -> 19[c7000] via P2P/IPC/read -gpua044:535764:535837 [2] NCCL INFO Connected all rings -gpua044:535764:535837 [2] NCCL INFO Channel 00/0 : 18[85000] -> 17[46000] via P2P/IPC/read -gpua044:535764:535837 [2] NCCL INFO Channel 01/0 : 18[85000] -> 17[46000] via P2P/IPC/read -gpua044:535764:535837 [2] NCCL INFO Connected all trees -gpua044:535764:535837 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua044:535764:535837 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua044:535764:535837 [2] NCCL INFO comm 0x21c76c60 rank 18 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua059:683871:683871 [2] NCCL INFO cudaDriverVersion 12020 -gpua059:683871:683871 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.59<0> -gpua059:683871:683871 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua059:683871:683943 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.59<0> -gpua059:683871:683943 [2] NCCL INFO Using network IB -gpua059:683871:683943 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua059:683871:683943 [2] NCCL INFO Trees [0] 39/-1/-1->38->37 [1] 39/-1/-1->38->37 -gpua059:683871:683943 [2] NCCL INFO Channel 00/0 : 38[85000] -> 39[c7000] via P2P/IPC/read -gpua059:683871:683943 [2] NCCL INFO Channel 01/0 : 38[85000] -> 39[c7000] via P2P/IPC/read -gpua059:683871:683943 [2] NCCL INFO Connected all rings -gpua059:683871:683943 [2] NCCL INFO Channel 00/0 : 38[85000] -> 37[46000] via P2P/IPC/read -gpua059:683871:683943 [2] NCCL INFO Channel 01/0 : 38[85000] -> 37[46000] via P2P/IPC/read -gpua059:683871:683943 [2] NCCL INFO Connected all trees -gpua059:683871:683943 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua059:683871:683943 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua059:683871:683943 [2] NCCL INFO comm 0x364c9450 rank 38 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua067:1213357:1213357 [0] NCCL INFO cudaDriverVersion 12020 -gpua067:1213357:1213357 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.67<0> -gpua067:1213357:1213357 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua067:1213357:1213431 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.67<0> -gpua067:1213357:1213431 [0] NCCL INFO Using network IB -gpua067:1213357:1213431 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua067:1213357:1213431 [0] NCCL INFO Trees [0] 45/-1/-1->44->40 [1] 45/36/-1->44->29 -gpua067:1213357:1213431 [0] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 -gpua067:1213357:1213431 [0] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 -gpua067:1213357:1213431 [0] NCCL INFO Channel 00/0 : 44[7000] -> 45[46000] via P2P/IPC/read -gpua067:1213357:1213431 [0] NCCL INFO Channel 01/0 : 44[7000] -> 45[46000] via P2P/IPC/read -gpua067:1213357:1213431 [0] NCCL INFO Connected all rings -gpua067:1213357:1213431 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [receive] via NET/IB/0 -gpua067:1213357:1213431 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [receive] via NET/IB/0 -gpua067:1213357:1213431 [0] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [receive] via NET/IB/0 -gpua067:1213357:1213431 [0] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [send] via NET/IB/0 -gpua067:1213357:1213431 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [send] via NET/IB/0 -gpua067:1213357:1213431 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [send] via NET/IB/0 -gpua067:1213357:1213431 [0] NCCL INFO Connected all trees -gpua067:1213357:1213431 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua067:1213357:1213431 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua067:1213357:1213431 [0] NCCL INFO comm 0xe2d917e0 rank 44 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua058:1102890:1102890 [0] NCCL INFO cudaDriverVersion 12020 -gpua058:1102890:1102890 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.58<0> -gpua058:1102890:1102890 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua058:1102890:1102960 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.58<0> -gpua058:1102890:1102960 [0] NCCL INFO Using network IB -gpua058:1102890:1102960 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua058:1102890:1102960 [0] NCCL INFO Trees [0] 33/48/-1->32->0 [1] 33/-1/-1->32->36 -gpua058:1102890:1102960 [0] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 -gpua058:1102890:1102960 [0] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 -gpua058:1102890:1102960 [0] NCCL INFO Channel 00/0 : 32[7000] -> 33[46000] via P2P/IPC/read -gpua058:1102890:1102960 [0] NCCL INFO Channel 01/0 : 32[7000] -> 33[46000] via P2P/IPC/read -gpua058:1102890:1102960 [0] NCCL INFO Connected all rings -gpua058:1102890:1102960 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [send] via NET/IB/0 -gpua058:1102890:1102960 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [send] via NET/IB/0 -gpua058:1102890:1102960 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [receive] via NET/IB/0 -gpua058:1102890:1102960 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [send] via NET/IB/0 -gpua058:1102890:1102960 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [receive] via NET/IB/0 -gpua058:1102890:1102960 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [receive] via NET/IB/0 -gpua058:1102890:1102960 [0] NCCL INFO Connected all trees -gpua058:1102890:1102960 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua058:1102890:1102960 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua058:1102890:1102960 [0] NCCL INFO comm 0x94401f70 rank 32 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua068:1144026:1144026 [2] NCCL INFO cudaDriverVersion 12020 -gpua068:1144026:1144026 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.68<0> -gpua068:1144026:1144026 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua068:1144026:1144091 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.68<0> -gpua068:1144026:1144091 [2] NCCL INFO Using network IB -gpua068:1144026:1144091 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua068:1144026:1144091 [2] NCCL INFO Trees [0] 51/-1/-1->50->49 [1] 51/-1/-1->50->49 -gpua068:1144026:1144091 [2] NCCL INFO Channel 00/0 : 50[85000] -> 51[c7000] via P2P/IPC/read -gpua068:1144026:1144091 [2] NCCL INFO Channel 01/0 : 50[85000] -> 51[c7000] via P2P/IPC/read -gpua068:1144026:1144091 [2] NCCL INFO Connected all rings -gpua068:1144026:1144091 [2] NCCL INFO Channel 00/0 : 50[85000] -> 49[46000] via P2P/IPC/read -gpua068:1144026:1144091 [2] NCCL INFO Channel 01/0 : 50[85000] -> 49[46000] via P2P/IPC/read -gpua058:1102893:1102893 [3] NCCL INFO cudaDriverVersion 12020 -gpua058:1102893:1102893 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.58<0> -gpua058:1102893:1102893 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua058:1102893:1102961 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.58<0> -gpua058:1102893:1102961 [3] NCCL INFO Using network IB -gpua058:1102893:1102961 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua058:1102893:1102961 [3] NCCL INFO Trees [0] -1/-1/-1->35->34 [1] -1/-1/-1->35->34 -gpua058:1102893:1102961 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 -gpua058:1102893:1102961 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 -gpua058:1102893:1102961 [3] NCCL INFO Connected all rings -gpua058:1102893:1102961 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 34[85000] via P2P/IPC/read -gpua058:1102893:1102961 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 34[85000] via P2P/IPC/read -gpua068:1144026:1144091 [2] NCCL INFO Connected all trees -gpua068:1144026:1144091 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua068:1144026:1144091 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua068:1144026:1144091 [2] NCCL INFO comm 0xef1fd20 rank 50 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua058:1102893:1102961 [3] NCCL INFO Connected all trees -gpua058:1102893:1102961 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua058:1102893:1102961 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua058:1102893:1102961 [3] NCCL INFO comm 0x1d5065d0 rank 35 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua013:2626470:2626470 [0] NCCL INFO cudaDriverVersion 12020 -gpua013:2626470:2626470 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.13<0> -gpua013:2626470:2626470 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua013:2626470:2626532 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.13<0> -gpua013:2626470:2626532 [0] NCCL INFO Using network IB -gpua013:2626470:2626532 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua013:2626470:2626532 [0] NCCL INFO Trees [0] 9/12/-1->8->17 [1] 9/-1/-1->8->5 -gpua013:2626470:2626532 [0] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 -gpua013:2626470:2626532 [0] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 -gpua013:2626470:2626532 [0] NCCL INFO Channel 00/0 : 8[7000] -> 9[46000] via P2P/IPC/read -gpua013:2626470:2626532 [0] NCCL INFO Channel 01/0 : 8[7000] -> 9[46000] via P2P/IPC/read -gpua013:2626470:2626532 [0] NCCL INFO Connected all rings -gpua013:2626470:2626532 [0] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [receive] via NET/IB/0 -gpua013:2626470:2626532 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [send] via NET/IB/0 -gpua013:2626470:2626532 [0] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [send] via NET/IB/0 -gpua013:2626470:2626532 [0] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [receive] via NET/IB/0 -gpua013:2626470:2626532 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [receive] via NET/IB/0 -gpua013:2626470:2626532 [0] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [send] via NET/IB/0 -gpua013:2626470:2626532 [0] NCCL INFO Connected all trees -gpua013:2626470:2626532 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua013:2626470:2626532 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua013:2626470:2626532 [0] NCCL INFO comm 0xdc24e00 rank 8 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua013:2626473:2626473 [3] NCCL INFO cudaDriverVersion 12020 -gpua013:2626473:2626473 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.13<0> -gpua013:2626473:2626473 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua013:2626473:2626530 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.13<0> -gpua013:2626473:2626530 [3] NCCL INFO Using network IB -gpua013:2626473:2626530 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua013:2626473:2626530 [3] NCCL INFO Trees [0] -1/-1/-1->11->10 [1] -1/-1/-1->11->10 -gpua013:2626473:2626530 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 -gpua013:2626473:2626530 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 -gpua013:2626473:2626530 [3] NCCL INFO Connected all rings -gpua013:2626473:2626530 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 10[85000] via P2P/IPC/read -gpua013:2626473:2626530 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 10[85000] via P2P/IPC/read -gpua013:2626473:2626530 [3] NCCL INFO Connected all trees -gpua013:2626473:2626530 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua013:2626473:2626530 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua013:2626473:2626530 [3] NCCL INFO comm 0x9ae9f240 rank 11 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua013:2626472:2626472 [2] NCCL INFO cudaDriverVersion 12020 -gpua013:2626472:2626472 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.13<0> -gpua013:2626472:2626472 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua013:2626472:2626531 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.13<0> -gpua013:2626472:2626531 [2] NCCL INFO Using network IB -gpua013:2626472:2626531 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua013:2626472:2626531 [2] NCCL INFO Trees [0] 11/-1/-1->10->9 [1] 11/-1/-1->10->9 -gpua013:2626472:2626531 [2] NCCL INFO Channel 00/0 : 10[85000] -> 11[c7000] via P2P/IPC/read -gpua013:2626472:2626531 [2] NCCL INFO Channel 01/0 : 10[85000] -> 11[c7000] via P2P/IPC/read -gpua013:2626472:2626531 [2] NCCL INFO Connected all rings -gpua013:2626472:2626531 [2] NCCL INFO Channel 00/0 : 10[85000] -> 9[46000] via P2P/IPC/read -gpua013:2626472:2626531 [2] NCCL INFO Channel 01/0 : 10[85000] -> 9[46000] via P2P/IPC/read -gpua013:2626472:2626531 [2] NCCL INFO Connected all trees -gpua013:2626472:2626531 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua013:2626472:2626531 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua013:2626472:2626531 [2] NCCL INFO comm 0x504c5060 rank 10 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua058:1102892:1102892 [2] NCCL INFO cudaDriverVersion 12020 -gpua058:1102892:1102892 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.58<0> -gpua058:1102892:1102892 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua058:1102892:1102959 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.58<0> -gpua058:1102892:1102959 [2] NCCL INFO Using network IB -gpua058:1102892:1102959 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua058:1102892:1102959 [2] NCCL INFO Trees [0] 35/-1/-1->34->33 [1] 35/-1/-1->34->33 -gpua058:1102892:1102959 [2] NCCL INFO Channel 00/0 : 34[85000] -> 35[c7000] via P2P/IPC/read -gpua058:1102892:1102959 [2] NCCL INFO Channel 01/0 : 34[85000] -> 35[c7000] via P2P/IPC/read -gpua058:1102892:1102959 [2] NCCL INFO Connected all rings -gpua058:1102892:1102959 [2] NCCL INFO Channel 00/0 : 34[85000] -> 33[46000] via P2P/IPC/read -gpua058:1102892:1102959 [2] NCCL INFO Channel 01/0 : 34[85000] -> 33[46000] via P2P/IPC/read -gpua058:1102892:1102959 [2] NCCL INFO Connected all trees -gpua058:1102892:1102959 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua058:1102892:1102959 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua058:1102892:1102959 [2] NCCL INFO comm 0xa64fce0 rank 34 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua058:1102891:1102891 [1] NCCL INFO cudaDriverVersion 12020 -gpua058:1102891:1102891 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.58<0> -gpua058:1102891:1102891 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua058:1102891:1102958 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.58<0> -gpua058:1102891:1102958 [1] NCCL INFO Using network IB -gpua058:1102891:1102958 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua058:1102891:1102958 [1] NCCL INFO Trees [0] 34/16/-1->33->32 [1] 34/-1/-1->33->32 -gpua058:1102891:1102958 [1] NCCL INFO Channel 00/0 : 33[46000] -> 34[85000] via P2P/IPC/read -gpua058:1102891:1102958 [1] NCCL INFO Channel 01/0 : 33[46000] -> 34[85000] via P2P/IPC/read -gpua058:1102891:1102958 [1] NCCL INFO Connected all rings -gpua058:1102891:1102958 [1] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [receive] via NET/IB/0 -gpua058:1102891:1102958 [1] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [send] via NET/IB/0 -gpua058:1102891:1102958 [1] NCCL INFO Channel 00/0 : 33[46000] -> 32[7000] via P2P/IPC/read -gpua058:1102891:1102958 [1] NCCL INFO Channel 01/0 : 33[46000] -> 32[7000] via P2P/IPC/read -gpua058:1102891:1102958 [1] NCCL INFO Connected all trees -gpua058:1102891:1102958 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua058:1102891:1102958 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua058:1102891:1102958 [1] NCCL INFO comm 0x179e7410 rank 33 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua053:3072400:3072400 [2] NCCL INFO cudaDriverVersion 12020 -gpua053:3072400:3072400 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.53<0> -gpua053:3072400:3072400 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua053:3072400:3072463 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.53<0> -gpua053:3072400:3072463 [2] NCCL INFO Using network IB -gpua053:3072400:3072463 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua053:3072400:3072463 [2] NCCL INFO Trees [0] 27/-1/-1->26->25 [1] 27/-1/-1->26->25 -gpua053:3072400:3072463 [2] NCCL INFO Channel 00/0 : 26[85000] -> 27[c7000] via P2P/IPC/read -gpua053:3072400:3072463 [2] NCCL INFO Channel 01/0 : 26[85000] -> 27[c7000] via P2P/IPC/read -gpua053:3072400:3072463 [2] NCCL INFO Connected all rings -gpua053:3072400:3072463 [2] NCCL INFO Channel 00/0 : 26[85000] -> 25[46000] via P2P/IPC/read -gpua053:3072400:3072463 [2] NCCL INFO Channel 01/0 : 26[85000] -> 25[46000] via P2P/IPC/read -gpua053:3072400:3072463 [2] NCCL INFO Connected all trees -gpua053:3072400:3072463 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua053:3072400:3072463 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua053:3072400:3072463 [2] NCCL INFO comm 0x9c183470 rank 26 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua068:1144024:1144024 [0] NCCL INFO cudaDriverVersion 12020 -gpua068:1144024:1144024 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.68<0> -gpua068:1144024:1144024 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua068:1144024:1144090 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.68<0> -gpua068:1144024:1144090 [0] NCCL INFO Using network IB -gpua068:1144024:1144090 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua068:1144024:1144090 [0] NCCL INFO Trees [0] 49/56/-1->48->32 [1] 49/-1/-1->48->52 -gpua068:1144024:1144090 [0] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 -gpua068:1144024:1144090 [0] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 -gpua068:1144024:1144090 [0] NCCL INFO Channel 00/0 : 48[7000] -> 49[46000] via P2P/IPC/read -gpua068:1144024:1144090 [0] NCCL INFO Channel 01/0 : 48[7000] -> 49[46000] via P2P/IPC/read -gpua068:1144024:1144090 [0] NCCL INFO Connected all rings -gpua068:1144024:1144090 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [send] via NET/IB/0 -gpua068:1144024:1144090 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [send] via NET/IB/0 -gpua068:1144024:1144090 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [receive] via NET/IB/0 -gpua068:1144024:1144090 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [send] via NET/IB/0 -gpua068:1144024:1144090 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [receive] via NET/IB/0 -gpua068:1144024:1144090 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [receive] via NET/IB/0 -gpua068:1144024:1144090 [0] NCCL INFO Connected all trees -gpua068:1144024:1144090 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua068:1144024:1144090 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua068:1144024:1144090 [0] NCCL INFO comm 0x367bb360 rank 48 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua068:1144025:1144025 [1] NCCL INFO cudaDriverVersion 12020 -gpua068:1144025:1144025 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.68<0> -gpua068:1144025:1144025 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua068:1144025:1144088 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.68<0> -gpua068:1144025:1144088 [1] NCCL INFO Using network IB -gpua068:1144025:1144088 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua068:1144025:1144088 [1] NCCL INFO Trees [0] 50/40/-1->49->48 [1] 50/-1/-1->49->48 -gpua068:1144025:1144088 [1] NCCL INFO Channel 00/0 : 49[46000] -> 50[85000] via P2P/IPC/read -gpua068:1144025:1144088 [1] NCCL INFO Channel 01/0 : 49[46000] -> 50[85000] via P2P/IPC/read -gpua068:1144025:1144088 [1] NCCL INFO Connected all rings -gpua068:1144025:1144088 [1] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [receive] via NET/IB/0 -gpua068:1144025:1144088 [1] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [send] via NET/IB/0 -gpua068:1144025:1144088 [1] NCCL INFO Channel 00/0 : 49[46000] -> 48[7000] via P2P/IPC/read -gpua068:1144025:1144088 [1] NCCL INFO Channel 01/0 : 49[46000] -> 48[7000] via P2P/IPC/read -gpua068:1144025:1144088 [1] NCCL INFO Connected all trees -gpua068:1144025:1144088 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua068:1144025:1144088 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua068:1144025:1144088 [1] NCCL INFO comm 0x163c48c0 rank 49 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua053:3072398:3072398 [0] NCCL INFO cudaDriverVersion 12020 -gpua053:3072398:3072398 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.53<0> -gpua053:3072398:3072398 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua053:3072398:3072465 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.53<0> -gpua053:3072398:3072465 [0] NCCL INFO Using network IB -gpua053:3072398:3072465 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua053:3072398:3072465 [0] NCCL INFO Trees [0] 25/28/-1->24->16 [1] 25/-1/-1->24->21 -gpua053:3072398:3072465 [0] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 -gpua053:3072398:3072465 [0] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 -gpua053:3072398:3072465 [0] NCCL INFO Channel 00/0 : 24[7000] -> 25[46000] via P2P/IPC/read -gpua053:3072398:3072465 [0] NCCL INFO Channel 01/0 : 24[7000] -> 25[46000] via P2P/IPC/read -gpua053:3072398:3072465 [0] NCCL INFO Connected all rings -gpua053:3072398:3072465 [0] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [receive] via NET/IB/0 -gpua053:3072398:3072465 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [send] via NET/IB/0 -gpua053:3072398:3072465 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [receive] via NET/IB/0 -gpua053:3072398:3072465 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [send] via NET/IB/0 -gpua053:3072398:3072465 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [receive] via NET/IB/0 -gpua053:3072398:3072465 [0] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [send] via NET/IB/0 -gpua053:3072398:3072465 [0] NCCL INFO Connected all trees -gpua053:3072398:3072465 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua053:3072398:3072465 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua053:3072398:3072465 [0] NCCL INFO comm 0xe3d36220 rank 24 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -gpua053:3072401:3072401 [3] NCCL INFO cudaDriverVersion 12020 -gpua053:3072401:3072401 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.53<0> -gpua053:3072401:3072401 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua053:3072401:3072462 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.53<0> -gpua053:3072401:3072462 [3] NCCL INFO Using network IB -gpua053:3072401:3072462 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua053:3072401:3072462 [3] NCCL INFO Trees [0] -1/-1/-1->27->26 [1] -1/-1/-1->27->26 -gpua053:3072401:3072462 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 -gpua053:3072401:3072462 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 -gpua053:3072401:3072462 [3] NCCL INFO Connected all rings -gpua053:3072401:3072462 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 26[85000] via P2P/IPC/read -gpua053:3072401:3072462 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 26[85000] via P2P/IPC/read -gpua053:3072401:3072462 [3] NCCL INFO Connected all trees -gpua053:3072401:3072462 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua053:3072401:3072462 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua053:3072401:3072462 [3] NCCL INFO comm 0xd76a7b0 rank 27 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua053:3072399:3072399 [1] NCCL INFO cudaDriverVersion 12020 -gpua053:3072399:3072399 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.53<0> -gpua053:3072399:3072399 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua053:3072399:3072464 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.53<0> -gpua053:3072399:3072464 [1] NCCL INFO Using network IB -gpua053:3072399:3072464 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua053:3072399:3072464 [1] NCCL INFO Trees [0] 26/20/-1->25->24 [1] 26/-1/-1->25->24 -gpua053:3072399:3072464 [1] NCCL INFO Channel 00/0 : 25[46000] -> 26[85000] via P2P/IPC/read -gpua053:3072399:3072464 [1] NCCL INFO Channel 01/0 : 25[46000] -> 26[85000] via P2P/IPC/read -gpua053:3072399:3072464 [1] NCCL INFO Connected all rings -gpua053:3072399:3072464 [1] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [receive] via NET/IB/0 -gpua053:3072399:3072464 [1] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [send] via NET/IB/0 -gpua053:3072399:3072464 [1] NCCL INFO Channel 00/0 : 25[46000] -> 24[7000] via P2P/IPC/read -gpua053:3072399:3072464 [1] NCCL INFO Channel 01/0 : 25[46000] -> 24[7000] via P2P/IPC/read -gpua053:3072399:3072464 [1] NCCL INFO Connected all trees -gpua053:3072399:3072464 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua053:3072399:3072464 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua053:3072399:3072464 [1] NCCL INFO comm 0xca8b110 rank 25 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua068:1144027:1144027 [3] NCCL INFO cudaDriverVersion 12020 -gpua068:1144027:1144027 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.68<0> -gpua068:1144027:1144027 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua068:1144027:1144089 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.68<0> -gpua068:1144027:1144089 [3] NCCL INFO Using network IB -gpua068:1144027:1144089 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua068:1144027:1144089 [3] NCCL INFO Trees [0] -1/-1/-1->51->50 [1] -1/-1/-1->51->50 -gpua068:1144027:1144089 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 -gpua068:1144027:1144089 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 -gpua068:1144027:1144089 [3] NCCL INFO Connected all rings -gpua068:1144027:1144089 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 50[85000] via P2P/IPC/read -gpua068:1144027:1144089 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 50[85000] via P2P/IPC/read -gpua068:1144027:1144089 [3] NCCL INFO Connected all trees -gpua068:1144027:1144089 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua068:1144027:1144089 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua068:1144027:1144089 [3] NCCL INFO comm 0x17c112e0 rank 51 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua007:1129634:1129634 [1] NCCL INFO cudaDriverVersion 12020 -gpua007:1129634:1129634 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> -gpua007:1129634:1129634 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua007:1129634:1129699 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> -gpua007:1129634:1129699 [1] NCCL INFO Using network IB -gpua007:1129634:1129699 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua007:1129634:1129699 [1] NCCL INFO Trees [0] 2/-1/-1->1->0 [1] 2/-1/-1->1->0 -gpua007:1129634:1129699 [1] NCCL INFO Channel 00/0 : 1[46000] -> 2[85000] via P2P/IPC/read -gpua007:1129634:1129699 [1] NCCL INFO Channel 01/0 : 1[46000] -> 2[85000] via P2P/IPC/read -gpua007:1129634:1129699 [1] NCCL INFO Connected all rings -gpua007:1129634:1129699 [1] NCCL INFO Channel 00/0 : 1[46000] -> 0[7000] via P2P/IPC/read -gpua007:1129634:1129699 [1] NCCL INFO Channel 01/0 : 1[46000] -> 0[7000] via P2P/IPC/read -gpua007:1129634:1129699 [1] NCCL INFO Connected all trees -gpua007:1129634:1129699 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua007:1129634:1129699 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua007:1129634:1129699 [1] NCCL INFO comm 0x2d59f940 rank 1 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua069:1842587:1842587 [3] NCCL INFO cudaDriverVersion 12020 -gpua069:1842587:1842587 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.69<0> -gpua069:1842587:1842587 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua069:1842587:1842661 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.69<0> -gpua069:1842587:1842661 [3] NCCL INFO Using network IB -gpua069:1842587:1842661 [3] NCCL INFO Setting affinity for GPU 3 to ffff -gpua069:1842587:1842661 [3] NCCL INFO Trees [0] -1/-1/-1->55->54 [1] -1/-1/-1->55->54 -gpua069:1842587:1842661 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 -gpua069:1842587:1842661 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 -gpua069:1842587:1842661 [3] NCCL INFO Connected all rings -gpua069:1842587:1842661 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 54[85000] via P2P/IPC/read -gpua069:1842587:1842661 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 54[85000] via P2P/IPC/read -gpua069:1842587:1842661 [3] NCCL INFO Connected all trees -gpua069:1842587:1842661 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua069:1842587:1842661 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua069:1842587:1842661 [3] NCCL INFO comm 0xb498ab0 rank 55 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE -gpua069:1842586:1842586 [2] NCCL INFO cudaDriverVersion 12020 -gpua069:1842586:1842586 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.69<0> -gpua069:1842586:1842586 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua069:1842586:1842660 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.69<0> -gpua069:1842586:1842660 [2] NCCL INFO Using network IB -gpua069:1842586:1842660 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 -gpua069:1842586:1842660 [2] NCCL INFO Trees [0] 55/-1/-1->54->53 [1] 55/-1/-1->54->53 -gpua069:1842586:1842660 [2] NCCL INFO Channel 00/0 : 54[85000] -> 55[c7000] via P2P/IPC/read -gpua069:1842586:1842660 [2] NCCL INFO Channel 01/0 : 54[85000] -> 55[c7000] via P2P/IPC/read -gpua069:1842586:1842660 [2] NCCL INFO Connected all rings -gpua069:1842586:1842660 [2] NCCL INFO Channel 00/0 : 54[85000] -> 53[46000] via P2P/IPC/read -gpua069:1842586:1842660 [2] NCCL INFO Channel 01/0 : 54[85000] -> 53[46000] via P2P/IPC/read -gpua069:1842586:1842660 [2] NCCL INFO Connected all trees -gpua069:1842586:1842660 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua069:1842586:1842660 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua069:1842586:1842660 [2] NCCL INFO comm 0xe73e3d0 rank 54 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE -gpua069:1842585:1842585 [1] NCCL INFO cudaDriverVersion 12020 -gpua069:1842585:1842585 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.69<0> -gpua069:1842585:1842585 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua069:1842585:1842666 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.69<0> -gpua069:1842585:1842666 [1] NCCL INFO Using network IB -gpua069:1842585:1842666 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 -gpua069:1842585:1842666 [1] NCCL INFO Trees [0] 54/-1/-1->53->52 [1] 54/56/-1->53->52 -gpua069:1842585:1842666 [1] NCCL INFO Channel 00/0 : 53[46000] -> 54[85000] via P2P/IPC/read -gpua069:1842585:1842666 [1] NCCL INFO Channel 01/0 : 53[46000] -> 54[85000] via P2P/IPC/read -gpua069:1842585:1842666 [1] NCCL INFO Connected all rings -gpua069:1842585:1842666 [1] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [send] via NET/IB/0 -gpua069:1842585:1842666 [1] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [receive] via NET/IB/0 -gpua069:1842585:1842666 [1] NCCL INFO Channel 00/0 : 53[46000] -> 52[7000] via P2P/IPC/read -gpua069:1842585:1842666 [1] NCCL INFO Channel 01/0 : 53[46000] -> 52[7000] via P2P/IPC/read -gpua069:1842585:1842666 [1] NCCL INFO Connected all trees -gpua069:1842585:1842666 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua069:1842585:1842666 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua069:1842585:1842666 [1] NCCL INFO comm 0xd2bc600 rank 53 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE -gpua069:1842584:1842584 [0] NCCL INFO cudaDriverVersion 12020 -gpua069:1842584:1842584 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.69<0> -gpua069:1842584:1842584 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation -gpua069:1842584:1842662 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.69<0> -gpua069:1842584:1842662 [0] NCCL INFO Using network IB -gpua069:1842584:1842662 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 -gpua069:1842584:1842662 [0] NCCL INFO Trees [0] 53/-1/-1->52->57 [1] 53/48/-1->52->45 -gpua069:1842584:1842662 [0] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 -gpua069:1842584:1842662 [0] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 -gpua069:1842584:1842662 [0] NCCL INFO Channel 00/0 : 52[7000] -> 53[46000] via P2P/IPC/read -gpua069:1842584:1842662 [0] NCCL INFO Channel 01/0 : 52[7000] -> 53[46000] via P2P/IPC/read -gpua069:1842584:1842662 [0] NCCL INFO Connected all rings -gpua069:1842584:1842662 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [receive] via NET/IB/0 -gpua069:1842584:1842662 [0] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [send] via NET/IB/0 -gpua069:1842584:1842662 [0] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [receive] via NET/IB/0 -gpua069:1842584:1842662 [0] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [send] via NET/IB/0 -gpua069:1842584:1842662 [0] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [receive] via NET/IB/0 -gpua069:1842584:1842662 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [send] via NET/IB/0 -gpua069:1842584:1842662 [0] NCCL INFO Connected all trees -gpua069:1842584:1842662 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 -gpua069:1842584:1842662 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer -gpua069:1842584:1842662 [0] NCCL INFO comm 0xe4ba88a0 rank 52 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE -[gpua007:0/64] 2023-12-20 04:51:49,000 (distributed:1027) INFO: Reducer buckets have been rebuilt in this iteration. -[gpua007:0/64] 2023-12-20 04:54:36,477 (trainer:737) INFO: 42epoch:train:1-100batch: iter_time=1.277, forward_time=0.230, loss_ctc=66.418, loss_att=46.415, acc=0.731, loss=52.416, backward_time=0.328, grad_norm=85.003, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.247e-05, train_time=6.401 -[gpua007:0/64] 2023-12-20 04:57:35,283 (trainer:737) INFO: 42epoch:train:101-200batch: iter_time=9.127e-05, forward_time=0.142, loss_ctc=65.121, loss_att=54.209, acc=0.719, loss=57.482, backward_time=0.330, grad_norm=77.539, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=6.247e-05, train_time=1.788 -[gpua007:0/64] 2023-12-20 05:00:50,105 (trainer:737) INFO: 42epoch:train:201-300batch: iter_time=8.540e-05, forward_time=0.142, loss_ctc=63.572, loss_att=50.839, acc=0.743, loss=54.659, backward_time=0.330, grad_norm=62.980, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=6.246e-05, train_time=1.948 -[gpua007:0/64] 2023-12-20 05:04:19,473 (trainer:737) INFO: 42epoch:train:301-400batch: iter_time=8.488e-05, forward_time=0.197, loss_ctc=66.008, loss_att=54.776, acc=0.722, loss=58.145, backward_time=0.394, grad_norm=120.025, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.141, optim0_lr0=6.246e-05, train_time=2.093 -[gpua007:0/64] 2023-12-20 05:07:48,669 (trainer:737) INFO: 42epoch:train:401-500batch: iter_time=9.765e-05, forward_time=0.158, loss_ctc=64.323, loss_att=55.363, acc=0.714, loss=58.051, backward_time=0.363, grad_norm=79.686, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.245e-05, train_time=2.092 -[gpua007:0/64] 2023-12-20 05:11:22,147 (trainer:737) INFO: 42epoch:train:501-600batch: iter_time=8.729e-05, forward_time=0.143, loss_ctc=59.019, loss_att=50.348, acc=0.732, loss=52.949, backward_time=0.337, grad_norm=103.262, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=6.245e-05, train_time=2.135 -[gpua007:0/64] 2023-12-20 05:14:18,625 (trainer:737) INFO: 42epoch:train:601-700batch: iter_time=8.778e-05, forward_time=0.143, loss_ctc=50.495, loss_att=36.306, acc=0.765, loss=40.562, backward_time=0.335, grad_norm=91.920, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=6.244e-05, train_time=1.765 -[gpua007:0/64] 2023-12-20 05:15:51,917 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua007:0/64] 2023-12-20 05:17:44,044 (trainer:737) INFO: 42epoch:train:701-800batch: iter_time=9.020e-05, forward_time=0.142, loss_ctc=68.129, loss_att=52.320, acc=0.732, loss=57.063, backward_time=0.345, grad_norm=143.227, clip=100.000, loss_scale=2.971e+31, optim_step_time=0.131, optim0_lr0=6.244e-05, train_time=2.054 -[gpua007:0/64] 2023-12-20 05:20:21,554 (trainer:737) INFO: 42epoch:train:801-900batch: iter_time=8.693e-05, forward_time=0.143, loss_ctc=67.850, loss_att=54.622, acc=0.713, loss=58.590, backward_time=0.307, grad_norm=105.251, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.243e-05, train_time=1.575 -[gpua007:0/64] 2023-12-20 05:23:25,658 (trainer:737) INFO: 42epoch:train:901-1000batch: iter_time=8.826e-05, forward_time=0.184, loss_ctc=54.112, loss_att=42.242, acc=0.745, loss=45.803, backward_time=0.342, grad_norm=112.174, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.243e-05, train_time=1.841 -[gpua007:0/64] 2023-12-20 05:26:21,970 (trainer:737) INFO: 42epoch:train:1001-1100batch: iter_time=8.612e-05, forward_time=0.193, loss_ctc=56.116, loss_att=43.465, acc=0.744, loss=47.260, backward_time=0.379, grad_norm=102.152, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.242e-05, train_time=1.763 -[gpua007:0/64] 2023-12-20 05:29:02,375 (trainer:737) INFO: 42epoch:train:1101-1200batch: iter_time=7.920e-05, forward_time=0.143, loss_ctc=65.994, loss_att=53.052, acc=0.727, loss=56.935, backward_time=0.299, grad_norm=135.754, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.130, optim0_lr0=6.242e-05, train_time=1.604 -[gpua007:0/64] 2023-12-20 05:30:36,888 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua007:0/64] 2023-12-20 05:30:54,937 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-20 05:30:58,323 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-20 05:30:58,323 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua007:0/64] 2023-12-20 05:30:58,328 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-20 05:38:01,869 (trainer:737) INFO: 42epoch:train:1201-1300batch: iter_time=2.730, forward_time=0.232, loss_ctc=67.053, loss_att=48.591, acc=0.732, loss=54.130, backward_time=0.318, grad_norm=100.703, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.241e-05, train_time=5.394 -[gpua007:0/64] 2023-12-20 05:44:40,177 (trainer:737) INFO: 42epoch:train:1301-1400batch: iter_time=8.435e-05, forward_time=0.148, loss_ctc=64.561, loss_att=46.722, acc=0.741, loss=52.074, backward_time=0.594, grad_norm=86.911, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.241e-05, train_time=3.983 -[gpua007:0/64] 2023-12-20 05:49:45,276 (trainer:737) INFO: 42epoch:train:1401-1500batch: iter_time=9.131e-04, forward_time=0.188, loss_ctc=66.115, loss_att=57.979, acc=0.735, loss=60.420, backward_time=0.512, grad_norm=67.084, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.240e-05, train_time=3.048 -[gpua007:0/64] 2023-12-20 05:53:59,046 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua007:0/64] 2023-12-20 05:54:33,039 (trainer:737) INFO: 42epoch:train:1501-1600batch: iter_time=8.291e-05, forward_time=0.177, loss_ctc=58.906, loss_att=49.695, acc=0.745, loss=52.458, backward_time=0.414, grad_norm=135.797, clip=100.000, loss_scale=1.916e+31, optim_step_time=0.135, optim0_lr0=6.240e-05, train_time=2.881 -[gpua007:0/64] 2023-12-20 05:58:35,612 (trainer:737) INFO: 42epoch:train:1601-1700batch: iter_time=8.479e-05, forward_time=0.255, loss_ctc=62.913, loss_att=53.864, acc=0.728, loss=56.579, backward_time=0.442, grad_norm=103.132, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.239e-05, train_time=2.423 -[gpua007:0/64] 2023-12-20 06:01:34,805 (trainer:737) INFO: 42epoch:train:1701-1800batch: iter_time=9.178e-05, forward_time=0.167, loss_ctc=61.038, loss_att=51.926, acc=0.726, loss=54.660, backward_time=0.332, grad_norm=94.618, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.239e-05, train_time=1.794 -[gpua007:0/64] 2023-12-20 06:04:48,933 (trainer:737) INFO: 42epoch:train:1801-1900batch: iter_time=3.699e-04, forward_time=0.171, loss_ctc=59.735, loss_att=48.335, acc=0.766, loss=51.755, backward_time=0.387, grad_norm=57.861, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.238e-05, train_time=1.941 -[gpua007:0/64] 2023-12-20 06:07:44,838 (trainer:737) INFO: 42epoch:train:1901-2000batch: iter_time=8.106e-05, forward_time=0.192, loss_ctc=57.697, loss_att=42.931, acc=0.747, loss=47.361, backward_time=0.355, grad_norm=82.645, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.238e-05, train_time=1.758 -[gpua007:0/64] 2023-12-20 06:10:58,445 (trainer:737) INFO: 42epoch:train:2001-2100batch: iter_time=6.331e-04, forward_time=0.190, loss_ctc=66.729, loss_att=51.431, acc=0.737, loss=56.020, backward_time=0.364, grad_norm=77.869, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.237e-05, train_time=1.937 -[gpua007:0/64] 2023-12-20 06:14:23,322 (trainer:737) INFO: 42epoch:train:2101-2200batch: iter_time=8.429e-05, forward_time=0.195, loss_ctc=60.305, loss_att=49.903, acc=0.730, loss=53.024, backward_time=0.359, grad_norm=180.807, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.237e-05, train_time=2.049 -[gpua007:0/64] 2023-12-20 06:17:01,988 (trainer:737) INFO: 42epoch:train:2201-2300batch: iter_time=8.633e-05, forward_time=0.159, loss_ctc=56.600, loss_att=45.500, acc=0.748, loss=48.830, backward_time=0.328, grad_norm=106.961, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.236e-05, train_time=1.584 -[gpua007:0/64] 2023-12-20 06:20:29,618 (trainer:737) INFO: 42epoch:train:2301-2400batch: iter_time=3.558e-04, forward_time=0.167, loss_ctc=59.113, loss_att=47.312, acc=0.742, loss=50.852, backward_time=0.317, grad_norm=82.826, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.236e-05, train_time=2.078 -[gpua007:0/64] 2023-12-20 06:23:02,692 (trainer:737) INFO: 42epoch:train:2401-2500batch: iter_time=8.777e-05, forward_time=0.165, loss_ctc=67.785, loss_att=50.821, acc=0.740, loss=55.910, backward_time=0.355, grad_norm=107.732, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.235e-05, train_time=1.531 -[gpua007:0/64] 2023-12-20 06:23:22,721 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua007:0/64] 2023-12-20 06:23:40,877 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-20 06:23:44,223 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-20 06:23:44,223 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua007:0/64] 2023-12-20 06:23:44,255 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-20 06:33:00,589 (trainer:737) INFO: 42epoch:train:2501-2600batch: iter_time=2.760, forward_time=0.220, loss_ctc=65.297, loss_att=46.696, acc=0.735, loss=52.276, backward_time=0.299, grad_norm=104.189, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.235e-05, train_time=5.979 -[gpua007:0/64] 2023-12-20 06:35:52,371 (trainer:737) INFO: 42epoch:train:2601-2700batch: iter_time=8.748e-05, forward_time=0.248, loss_ctc=64.761, loss_att=54.337, acc=0.723, loss=57.464, backward_time=0.341, grad_norm=85.422, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.141, optim0_lr0=6.234e-05, train_time=1.718 -[gpua007:0/64] 2023-12-20 06:38:11,224 (trainer:737) INFO: 42epoch:train:2701-2800batch: iter_time=8.730e-05, forward_time=0.148, loss_ctc=63.208, loss_att=50.417, acc=0.747, loss=54.254, backward_time=0.297, grad_norm=72.302, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.234e-05, train_time=1.388 -[gpua007:0/64] 2023-12-20 06:41:27,879 (trainer:737) INFO: 42epoch:train:2801-2900batch: iter_time=8.588e-05, forward_time=0.149, loss_ctc=64.819, loss_att=54.532, acc=0.728, loss=57.618, backward_time=0.364, grad_norm=164.983, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.233e-05, train_time=1.966 -[gpua007:0/64] 2023-12-20 06:44:15,690 (trainer:737) INFO: 42epoch:train:2901-3000batch: iter_time=8.553e-05, forward_time=0.147, loss_ctc=63.391, loss_att=54.549, acc=0.718, loss=57.202, backward_time=0.302, grad_norm=82.018, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.233e-05, train_time=1.678 -[gpua007:0/64] 2023-12-20 06:47:19,658 (trainer:737) INFO: 42epoch:train:3001-3100batch: iter_time=8.918e-05, forward_time=0.149, loss_ctc=58.934, loss_att=49.827, acc=0.737, loss=52.559, backward_time=0.353, grad_norm=84.613, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.232e-05, train_time=1.839 -[gpua007:0/64] 2023-12-20 06:50:18,487 (trainer:737) INFO: 42epoch:train:3101-3200batch: iter_time=5.957e-04, forward_time=0.258, loss_ctc=50.312, loss_att=35.943, acc=0.770, loss=40.254, backward_time=0.367, grad_norm=65.377, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.150, optim0_lr0=6.232e-05, train_time=1.788 -[gpua007:0/64] 2023-12-20 06:53:05,041 (trainer:737) INFO: 42epoch:train:3201-3300batch: iter_time=8.666e-05, forward_time=0.147, loss_ctc=67.565, loss_att=52.238, acc=0.734, loss=56.836, backward_time=0.300, grad_norm=198.358, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.231e-05, train_time=1.665 -[gpua007:0/64] 2023-12-20 06:55:50,791 (trainer:737) INFO: 42epoch:train:3301-3400batch: iter_time=8.763e-05, forward_time=0.149, loss_ctc=67.245, loss_att=54.028, acc=0.718, loss=57.993, backward_time=0.334, grad_norm=92.057, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.231e-05, train_time=1.657 -[gpua007:0/64] 2023-12-20 06:58:25,976 (trainer:737) INFO: 42epoch:train:3401-3500batch: iter_time=8.344e-05, forward_time=0.148, loss_ctc=53.517, loss_att=41.960, acc=0.749, loss=45.427, backward_time=0.305, grad_norm=170.098, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.230e-05, train_time=1.552 -[gpua007:0/64] 2023-12-20 07:01:00,094 (trainer:737) INFO: 42epoch:train:3501-3600batch: iter_time=8.613e-05, forward_time=0.147, loss_ctc=55.385, loss_att=42.824, acc=0.749, loss=46.593, backward_time=0.296, grad_norm=62.949, clip=100.000, loss_scale=1.126e+31, optim_step_time=0.132, optim0_lr0=6.230e-05, train_time=1.541 -[gpua007:0/64] 2023-12-20 07:03:28,302 (trainer:737) INFO: 42epoch:train:3601-3700batch: iter_time=8.280e-05, forward_time=0.147, loss_ctc=65.012, loss_att=52.668, acc=0.728, loss=56.371, backward_time=0.318, grad_norm=86.204, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.229e-05, train_time=1.482 -[gpua007:0/64] 2023-12-20 07:05:26,038 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua007:0/64] 2023-12-20 07:05:44,125 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-20 07:05:47,552 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-20 07:05:47,552 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua007:0/64] 2023-12-20 07:05:47,606 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-20 07:11:04,394 (trainer:737) INFO: 42epoch:train:3701-3800batch: iter_time=2.713, forward_time=0.213, loss_ctc=65.621, loss_att=47.052, acc=0.740, loss=52.622, backward_time=0.360, grad_norm=77.440, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.229e-05, train_time=4.560 -[gpua007:0/64] 2023-12-20 07:13:23,690 (trainer:737) INFO: 42epoch:train:3801-3900batch: iter_time=8.885e-05, forward_time=0.148, loss_ctc=63.757, loss_att=46.082, acc=0.747, loss=51.384, backward_time=0.295, grad_norm=75.483, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.228e-05, train_time=1.393 -[gpua007:0/64] 2023-12-20 07:15:35,408 (trainer:737) INFO: 42epoch:train:3901-4000batch: iter_time=9.101e-05, forward_time=0.148, loss_ctc=65.076, loss_att=57.081, acc=0.740, loss=59.480, backward_time=0.285, grad_norm=73.074, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.228e-05, train_time=1.317 -[gpua007:0/64] 2023-12-20 07:17:50,587 (trainer:737) INFO: 42epoch:train:4001-4100batch: iter_time=8.905e-05, forward_time=0.148, loss_ctc=58.760, loss_att=49.213, acc=0.748, loss=52.077, backward_time=0.301, grad_norm=87.330, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.227e-05, train_time=1.352 -[gpua007:0/64] 2023-12-20 07:20:14,014 (trainer:737) INFO: 42epoch:train:4101-4200batch: iter_time=8.373e-05, forward_time=0.148, loss_ctc=62.762, loss_att=53.302, acc=0.732, loss=56.140, backward_time=0.282, grad_norm=130.903, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.227e-05, train_time=1.434 -[gpua007:0/64] 2023-12-20 07:22:53,564 (trainer:737) INFO: 42epoch:train:4201-4300batch: iter_time=8.698e-05, forward_time=0.147, loss_ctc=60.480, loss_att=51.462, acc=0.731, loss=54.167, backward_time=0.303, grad_norm=104.292, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.226e-05, train_time=1.595 -[gpua007:0/64] 2023-12-20 07:25:06,685 (trainer:737) INFO: 42epoch:train:4301-4400batch: iter_time=8.667e-05, forward_time=0.148, loss_ctc=59.574, loss_att=48.200, acc=0.769, loss=51.612, backward_time=0.284, grad_norm=85.886, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.226e-05, train_time=1.331 -[gpua007:0/64] 2023-12-20 07:27:29,592 (trainer:737) INFO: 42epoch:train:4401-4500batch: iter_time=9.314e-05, forward_time=0.251, loss_ctc=57.765, loss_att=42.753, acc=0.750, loss=47.257, backward_time=0.321, grad_norm=81.376, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.225e-05, train_time=1.428 -[gpua007:0/64] 2023-12-20 07:30:18,205 (trainer:737) INFO: 42epoch:train:4501-4600batch: iter_time=8.901e-05, forward_time=0.154, loss_ctc=66.361, loss_att=50.727, acc=0.741, loss=55.418, backward_time=0.301, grad_norm=68.172, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.225e-05, train_time=1.686 -[gpua007:0/64] 2023-12-20 07:33:37,478 (trainer:737) INFO: 42epoch:train:4601-4700batch: iter_time=8.704e-05, forward_time=0.147, loss_ctc=59.776, loss_att=49.680, acc=0.733, loss=52.709, backward_time=0.335, grad_norm=68.507, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.224e-05, train_time=1.993 -[gpua007:0/64] 2023-12-20 07:36:20,946 (trainer:737) INFO: 42epoch:train:4701-4800batch: iter_time=9.577e-05, forward_time=0.148, loss_ctc=56.412, loss_att=45.596, acc=0.750, loss=48.841, backward_time=0.348, grad_norm=85.413, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.224e-05, train_time=1.634 -[gpua007:0/64] 2023-12-20 07:38:37,381 (trainer:737) INFO: 42epoch:train:4801-4900batch: iter_time=8.931e-05, forward_time=0.147, loss_ctc=58.573, loss_att=47.056, acc=0.744, loss=50.511, backward_time=0.288, grad_norm=93.389, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.223e-05, train_time=1.364 -[gpua007:0/64] 2023-12-20 07:40:52,449 (trainer:737) INFO: 42epoch:train:4901-5000batch: iter_time=8.873e-05, forward_time=0.148, loss_ctc=67.168, loss_att=50.195, acc=0.742, loss=55.287, backward_time=0.278, grad_norm=97.455, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.223e-05, train_time=1.351 -[gpua007:0/64] 2023-12-20 07:41:12,478 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua007:0/64] 2023-12-20 07:41:30,959 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-20 07:41:34,449 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-20 07:41:34,449 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua007:0/64] 2023-12-20 07:41:34,455 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-20 07:53:04,016 (trainer:737) INFO: 42epoch:train:5001-5100batch: iter_time=2.975, forward_time=0.310, loss_ctc=65.711, loss_att=46.045, acc=0.744, loss=51.945, backward_time=0.312, grad_norm=99.266, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.148, optim0_lr0=6.222e-05, train_time=7.315 -[gpua007:0/64] 2023-12-20 07:55:39,801 (trainer:737) INFO: 42epoch:train:5101-5200batch: iter_time=8.426e-05, forward_time=0.147, loss_ctc=64.291, loss_att=55.245, acc=0.727, loss=57.959, backward_time=0.294, grad_norm=87.786, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.222e-05, train_time=1.558 -[gpua007:0/64] 2023-12-20 07:58:06,311 (trainer:737) INFO: 42epoch:train:5201-5300batch: iter_time=8.631e-04, forward_time=0.275, loss_ctc=63.114, loss_att=49.781, acc=0.757, loss=53.781, backward_time=0.316, grad_norm=84.345, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.141, optim0_lr0=6.221e-05, train_time=1.465 -[gpua007:0/64] 2023-12-20 08:01:55,402 (trainer:737) INFO: 42epoch:train:5301-5400batch: iter_time=8.117e-05, forward_time=0.306, loss_ctc=64.848, loss_att=54.805, acc=0.740, loss=57.818, backward_time=0.362, grad_norm=97.723, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.221e-05, train_time=2.291 -[gpua007:0/64] 2023-12-20 08:04:28,382 (trainer:737) INFO: 42epoch:train:5401-5500batch: iter_time=8.041e-05, forward_time=0.149, loss_ctc=63.476, loss_att=55.782, acc=0.724, loss=58.090, backward_time=0.297, grad_norm=80.249, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.220e-05, train_time=1.529 -[gpua007:0/64] 2023-12-20 08:07:21,196 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua007:0/64] 2023-12-20 08:07:35,696 (trainer:737) INFO: 42epoch:train:5501-5600batch: iter_time=8.307e-05, forward_time=0.303, loss_ctc=57.797, loss_att=50.280, acc=0.745, loss=52.535, backward_time=0.394, grad_norm=84.232, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=6.220e-05, train_time=1.873 -[gpua007:0/64] 2023-12-20 08:10:25,622 (trainer:737) INFO: 42epoch:train:5601-5700batch: iter_time=9.575e-04, forward_time=0.244, loss_ctc=50.629, loss_att=36.051, acc=0.773, loss=40.424, backward_time=0.322, grad_norm=84.356, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.219e-05, train_time=1.698 -[gpua007:0/64] 2023-12-20 08:13:10,265 (trainer:737) INFO: 42epoch:train:5701-5800batch: iter_time=8.607e-05, forward_time=0.147, loss_ctc=67.329, loss_att=51.661, acc=0.746, loss=56.361, backward_time=0.318, grad_norm=91.448, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.219e-05, train_time=1.647 -[gpua007:0/64] 2023-12-20 08:16:05,644 (trainer:737) INFO: 42epoch:train:5801-5900batch: iter_time=8.391e-04, forward_time=0.312, loss_ctc=66.495, loss_att=54.456, acc=0.719, loss=58.067, backward_time=0.322, grad_norm=79.971, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.218e-05, train_time=1.752 -[gpua007:0/64] 2023-12-20 08:18:58,702 (trainer:737) INFO: 42epoch:train:5901-6000batch: iter_time=8.049e-05, forward_time=0.148, loss_ctc=53.472, loss_att=41.714, acc=0.760, loss=45.241, backward_time=0.293, grad_norm=140.583, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.218e-05, train_time=1.732 -[gpua007:0/64] 2023-12-20 08:21:29,549 (trainer:737) INFO: 42epoch:train:6001-6100batch: iter_time=5.971e-04, forward_time=0.282, loss_ctc=55.635, loss_att=43.205, acc=0.752, loss=46.934, backward_time=0.335, grad_norm=74.363, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=6.217e-05, train_time=1.508 -[gpua007:0/64] 2023-12-20 08:24:05,438 (trainer:737) INFO: 42epoch:train:6101-6200batch: iter_time=8.201e-05, forward_time=0.147, loss_ctc=64.563, loss_att=52.904, acc=0.733, loss=56.402, backward_time=0.321, grad_norm=138.203, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.217e-05, train_time=1.558 -[gpua007:0/64] 2023-12-20 08:25:41,832 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua007:0/64] 2023-12-20 08:26:00,439 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-20 08:26:03,831 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-20 08:26:03,832 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua007:0/64] 2023-12-20 08:26:03,836 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-20 08:35:06,700 (trainer:737) INFO: 42epoch:train:6201-6300batch: iter_time=2.827, forward_time=0.203, loss_ctc=65.858, loss_att=47.483, acc=0.737, loss=52.996, backward_time=0.293, grad_norm=92.583, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.216e-05, train_time=6.613 -[gpua007:0/64] 2023-12-20 08:37:34,597 (trainer:737) INFO: 42epoch:train:6301-6400batch: iter_time=7.929e-05, forward_time=0.152, loss_ctc=64.435, loss_att=46.763, acc=0.742, loss=52.065, backward_time=0.301, grad_norm=70.120, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.216e-05, train_time=1.477 -[gpua007:0/64] 2023-12-20 08:40:33,577 (trainer:737) INFO: 42epoch:train:6401-6500batch: iter_time=8.323e-05, forward_time=0.277, loss_ctc=65.304, loss_att=56.114, acc=0.736, loss=58.871, backward_time=0.332, grad_norm=136.184, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.158, optim0_lr0=6.215e-05, train_time=1.792 -[gpua007:0/64] 2023-12-20 08:43:26,919 (trainer:737) INFO: 42epoch:train:6501-6600batch: iter_time=8.415e-05, forward_time=0.219, loss_ctc=59.007, loss_att=49.270, acc=0.745, loss=52.191, backward_time=0.341, grad_norm=145.017, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.142, optim0_lr0=6.215e-05, train_time=1.732 -[gpua007:0/64] 2023-12-20 08:46:24,051 (trainer:737) INFO: 42epoch:train:6601-6700batch: iter_time=8.388e-05, forward_time=0.232, loss_ctc=61.610, loss_att=52.123, acc=0.730, loss=54.969, backward_time=0.327, grad_norm=147.221, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.214e-05, train_time=1.773 -[gpua007:0/64] 2023-12-20 08:49:26,005 (trainer:737) INFO: 42epoch:train:6701-6800batch: iter_time=8.309e-05, forward_time=0.159, loss_ctc=59.826, loss_att=50.939, acc=0.724, loss=53.605, backward_time=0.404, grad_norm=79.548, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.214e-05, train_time=1.819 -[gpua007:0/64] 2023-12-20 08:51:45,465 (trainer:737) INFO: 42epoch:train:6801-6900batch: iter_time=0.001, forward_time=0.162, loss_ctc=58.976, loss_att=47.569, acc=0.768, loss=50.991, backward_time=0.291, grad_norm=56.091, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.146, optim0_lr0=6.213e-05, train_time=1.395 -[gpua007:0/64] 2023-12-20 08:54:20,580 (trainer:737) INFO: 42epoch:train:6901-7000batch: iter_time=0.003, forward_time=0.199, loss_ctc=57.099, loss_att=42.614, acc=0.749, loss=46.960, backward_time=0.296, grad_norm=72.655, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.213e-05, train_time=1.551 -[gpua007:0/64] 2023-12-20 08:57:24,595 (trainer:737) INFO: 42epoch:train:7001-7100batch: iter_time=8.217e-05, forward_time=0.146, loss_ctc=65.885, loss_att=50.285, acc=0.738, loss=54.965, backward_time=0.339, grad_norm=90.811, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.212e-05, train_time=1.840 -[gpua007:0/64] 2023-12-20 08:59:55,810 (trainer:737) INFO: 42epoch:train:7101-7200batch: iter_time=8.015e-05, forward_time=0.175, loss_ctc=59.922, loss_att=49.516, acc=0.727, loss=52.638, backward_time=0.307, grad_norm=93.952, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.212e-05, train_time=1.512 -[gpua007:0/64] 2023-12-20 09:02:37,232 (trainer:737) INFO: 42epoch:train:7201-7300batch: iter_time=8.208e-05, forward_time=0.146, loss_ctc=55.976, loss_att=45.493, acc=0.744, loss=48.638, backward_time=0.311, grad_norm=82.535, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.211e-05, train_time=1.614 -[gpua007:0/64] 2023-12-20 09:05:27,682 (trainer:737) INFO: 42epoch:train:7301-7400batch: iter_time=8.176e-04, forward_time=0.155, loss_ctc=58.942, loss_att=46.135, acc=0.748, loss=49.977, backward_time=0.350, grad_norm=72.452, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.211e-05, train_time=1.704 -[gpua007:0/64] 2023-12-20 09:08:21,194 (trainer:737) INFO: 42epoch:train:7401-7500batch: iter_time=7.904e-05, forward_time=0.170, loss_ctc=67.268, loss_att=49.641, acc=0.742, loss=54.929, backward_time=0.334, grad_norm=74.010, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.210e-05, train_time=1.735 -[gpua007:0/64] 2023-12-20 09:08:41,222 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua007:0/64] 2023-12-20 09:08:59,676 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-20 09:09:03,116 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-20 09:09:03,116 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua007:0/64] 2023-12-20 09:09:03,120 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-20 09:20:02,691 (trainer:737) INFO: 42epoch:train:7501-7600batch: iter_time=3.081, forward_time=0.350, loss_ctc=64.769, loss_att=46.934, acc=0.745, loss=52.284, backward_time=0.319, grad_norm=92.822, clip=100.000, loss_scale=2.231e+31, optim_step_time=0.140, optim0_lr0=6.210e-05, train_time=7.014 -[gpua007:0/64] 2023-12-20 09:22:11,113 (trainer:737) INFO: 42epoch:train:7601-7700batch: iter_time=8.575e-05, forward_time=0.152, loss_ctc=63.773, loss_att=54.900, acc=0.730, loss=57.562, backward_time=0.280, grad_norm=77.245, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.209e-05, train_time=1.284 -[gpua007:0/64] 2023-12-20 09:24:46,761 (trainer:737) INFO: 42epoch:train:7701-7800batch: iter_time=8.563e-05, forward_time=0.148, loss_ctc=62.806, loss_att=50.166, acc=0.757, loss=53.958, backward_time=0.296, grad_norm=66.918, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.209e-05, train_time=1.556 -[gpua007:0/64] 2023-12-20 09:27:26,815 (trainer:737) INFO: 42epoch:train:7801-7900batch: iter_time=8.342e-05, forward_time=0.230, loss_ctc=64.223, loss_att=54.214, acc=0.743, loss=57.217, backward_time=0.320, grad_norm=115.896, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.208e-05, train_time=1.600 -[gpua007:0/64] 2023-12-20 09:29:54,943 (trainer:737) INFO: 42epoch:train:7901-8000batch: iter_time=8.296e-05, forward_time=0.147, loss_ctc=63.727, loss_att=55.895, acc=0.723, loss=58.244, backward_time=0.346, grad_norm=67.689, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=6.208e-05, train_time=1.482 -[gpua007:0/64] 2023-12-20 09:32:39,316 (trainer:737) INFO: 42epoch:train:8001-8100batch: iter_time=8.464e-05, forward_time=0.147, loss_ctc=58.516, loss_att=50.536, acc=0.745, loss=52.930, backward_time=0.357, grad_norm=73.247, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.207e-05, train_time=1.644 -[gpua007:0/64] 2023-12-20 09:33:16,537 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. - -gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active -[gpua007:0/64] 2023-12-20 09:36:13,094 (trainer:737) INFO: 42epoch:train:8101-8200batch: iter_time=4.475e-04, forward_time=0.283, loss_ctc=50.326, loss_att=35.839, acc=0.773, loss=40.185, backward_time=0.426, grad_norm=111.324, clip=100.000, loss_scale=2.499e+31, optim_step_time=0.136, optim0_lr0=6.207e-05, train_time=2.138 -[gpua007:0/64] 2023-12-20 09:39:03,699 (trainer:737) INFO: 42epoch:train:8201-8300batch: iter_time=8.612e-05, forward_time=0.148, loss_ctc=67.380, loss_att=51.543, acc=0.748, loss=56.294, backward_time=0.364, grad_norm=76.398, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.206e-05, train_time=1.706 -[gpua007:0/64] 2023-12-20 09:40:16,185 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua007:0/64] 2023-12-20 09:41:22,007 (trainer:737) INFO: 42epoch:train:8301-8400batch: iter_time=8.726e-05, forward_time=0.147, loss_ctc=66.463, loss_att=54.798, acc=0.720, loss=58.298, backward_time=0.278, grad_norm=82.286, clip=100.000, loss_scale=1.578e+31, optim_step_time=0.131, optim0_lr0=6.206e-05, train_time=1.383 -[gpua007:0/64] 2023-12-20 09:44:17,739 (trainer:737) INFO: 42epoch:train:8401-8500batch: iter_time=8.547e-05, forward_time=0.150, loss_ctc=52.871, loss_att=41.546, acc=0.761, loss=44.943, backward_time=0.304, grad_norm=71.466, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.205e-05, train_time=1.757 - -gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active -[gpua007:0/64] 2023-12-20 09:47:29,367 (trainer:737) INFO: 42epoch:train:8501-8600batch: iter_time=8.254e-05, forward_time=0.254, loss_ctc=55.178, loss_att=42.879, acc=0.756, loss=46.569, backward_time=0.428, grad_norm=89.043, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.139, optim0_lr0=6.205e-05, train_time=1.915 -[gpua007:0/64] 2023-12-20 09:49:53,462 (trainer:737) INFO: 42epoch:train:8601-8700batch: iter_time=8.245e-05, forward_time=0.149, loss_ctc=63.608, loss_att=52.388, acc=0.736, loss=55.754, backward_time=0.287, grad_norm=86.991, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.204e-05, train_time=1.442 -[gpua007:0/64] 2023-12-20 09:51:21,839 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua007:0/64] 2023-12-20 09:51:40,371 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-20 09:51:43,885 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-20 09:51:43,885 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua007:0/64] 2023-12-20 09:51:43,891 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 - -gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active -[gpua007:0/64] 2023-12-20 09:59:58,803 (trainer:737) INFO: 42epoch:train:8701-8800batch: iter_time=2.848, forward_time=0.187, loss_ctc=65.579, loss_att=46.977, acc=0.739, loss=52.557, backward_time=0.321, grad_norm=86.665, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.204e-05, train_time=6.053 -[gpua007:0/64] 2023-12-20 10:02:36,027 (trainer:737) INFO: 42epoch:train:8801-8900batch: iter_time=8.765e-05, forward_time=0.239, loss_ctc=63.645, loss_att=45.929, acc=0.746, loss=51.244, backward_time=0.332, grad_norm=102.959, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.143, optim0_lr0=6.203e-05, train_time=1.572 -[gpua007:0/64] 2023-12-20 10:04:44,595 (trainer:737) INFO: 42epoch:train:8901-9000batch: iter_time=8.642e-05, forward_time=0.147, loss_ctc=65.167, loss_att=55.195, acc=0.738, loss=58.187, backward_time=0.280, grad_norm=65.708, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.203e-05, train_time=1.285 -[gpua007:0/64] 2023-12-20 10:07:50,983 (trainer:737) INFO: 42epoch:train:9001-9100batch: iter_time=8.531e-05, forward_time=0.147, loss_ctc=58.445, loss_att=48.739, acc=0.746, loss=51.651, backward_time=0.322, grad_norm=77.573, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.202e-05, train_time=1.864 -[gpua007:0/64] 2023-12-20 10:10:11,724 (trainer:737) INFO: 42epoch:train:9101-9200batch: iter_time=8.509e-05, forward_time=0.181, loss_ctc=61.722, loss_att=51.680, acc=0.732, loss=54.693, backward_time=0.332, grad_norm=65.383, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.138, optim0_lr0=6.202e-05, train_time=1.407 -[gpua007:0/64] 2023-12-20 10:12:39,543 (trainer:737) INFO: 42epoch:train:9201-9300batch: iter_time=8.569e-05, forward_time=0.180, loss_ctc=60.489, loss_att=51.154, acc=0.724, loss=53.955, backward_time=0.309, grad_norm=71.448, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.201e-05, train_time=1.478 -[gpua007:0/64] 2023-12-20 10:15:04,838 (trainer:737) INFO: 42epoch:train:9301-9400batch: iter_time=8.366e-05, forward_time=0.148, loss_ctc=58.776, loss_att=47.159, acc=0.771, loss=50.644, backward_time=0.290, grad_norm=130.265, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.201e-05, train_time=1.453 -[gpua007:0/64] 2023-12-20 10:18:00,597 (trainer:737) INFO: 42epoch:train:9401-9500batch: iter_time=8.794e-05, forward_time=0.147, loss_ctc=57.308, loss_att=42.616, acc=0.750, loss=47.024, backward_time=0.331, grad_norm=134.292, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.200e-05, train_time=1.757 -[gpua007:0/64] 2023-12-20 10:21:35,200 (trainer:737) INFO: 42epoch:train:9501-9600batch: iter_time=8.780e-05, forward_time=0.146, loss_ctc=65.521, loss_att=49.659, acc=0.741, loss=54.417, backward_time=0.301, grad_norm=111.510, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.200e-05, train_time=2.146 -[gpua007:0/64] 2023-12-20 10:23:57,070 (trainer:737) INFO: 42epoch:train:9601-9700batch: iter_time=8.620e-05, forward_time=0.147, loss_ctc=59.305, loss_att=48.954, acc=0.731, loss=52.059, backward_time=0.336, grad_norm=78.536, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.199e-05, train_time=1.418 -[gpua007:0/64] 2023-12-20 10:26:11,020 (trainer:737) INFO: 42epoch:train:9701-9800batch: iter_time=9.012e-05, forward_time=0.146, loss_ctc=56.297, loss_att=45.146, acc=0.745, loss=48.491, backward_time=0.298, grad_norm=74.031, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.199e-05, train_time=1.339 -[gpua007:0/64] 2023-12-20 10:27:32,988 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua007:0/64] 2023-12-20 10:28:32,149 (trainer:737) INFO: 42epoch:train:9801-9900batch: iter_time=7.146e-04, forward_time=0.204, loss_ctc=58.093, loss_att=45.678, acc=0.751, loss=49.402, backward_time=0.344, grad_norm=109.509, clip=100.000, loss_scale=8.041e+30, optim_step_time=0.134, optim0_lr0=6.198e-05, train_time=1.411 -[gpua007:0/64] 2023-12-20 10:31:09,309 (trainer:737) INFO: 42epoch:train:9901-10000batch: iter_time=8.554e-05, forward_time=0.159, loss_ctc=66.663, loss_att=49.537, acc=0.742, loss=54.675, backward_time=0.329, grad_norm=78.407, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.198e-05, train_time=1.572 -[gpua007:0/64] 2023-12-20 10:31:29,336 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua007:0/64] 2023-12-20 10:31:47,664 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-20 10:31:51,112 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-20 10:31:51,113 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua007:0/64] 2023-12-20 10:31:51,156 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-20 10:42:19,102 (trainer:737) INFO: 42epoch:train:10001-10100batch: iter_time=3.255, forward_time=0.193, loss_ctc=64.268, loss_att=46.251, acc=0.746, loss=51.656, backward_time=0.327, grad_norm=68.490, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=6.197e-05, train_time=6.698 -[gpua007:0/64] 2023-12-20 10:44:22,339 (trainer:737) INFO: 42epoch:train:10101-10200batch: iter_time=8.102e-05, forward_time=0.147, loss_ctc=63.611, loss_att=54.992, acc=0.730, loss=57.578, backward_time=0.278, grad_norm=71.055, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.197e-05, train_time=1.232 -[gpua007:0/64] 2023-12-20 10:46:47,510 (trainer:737) INFO: 42epoch:train:10201-10300batch: iter_time=8.314e-05, forward_time=0.148, loss_ctc=62.513, loss_att=49.855, acc=0.759, loss=53.653, backward_time=0.288, grad_norm=63.477, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.196e-05, train_time=1.451 -[gpua007:0/64] 2023-12-20 10:49:13,520 (trainer:737) INFO: 42epoch:train:10301-10400batch: iter_time=8.341e-05, forward_time=0.150, loss_ctc=64.091, loss_att=54.720, acc=0.743, loss=57.531, backward_time=0.282, grad_norm=94.880, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.196e-05, train_time=1.460 -[gpua007:0/64] 2023-12-20 10:52:25,404 (trainer:737) INFO: 42epoch:train:10401-10500batch: iter_time=8.440e-05, forward_time=0.153, loss_ctc=63.511, loss_att=55.476, acc=0.724, loss=57.886, backward_time=0.369, grad_norm=77.860, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.195e-05, train_time=1.919 -[gpua007:0/64] 2023-12-20 10:55:10,864 (trainer:737) INFO: 42epoch:train:10501-10600batch: iter_time=8.547e-05, forward_time=0.150, loss_ctc=58.306, loss_att=49.929, acc=0.746, loss=52.442, backward_time=0.334, grad_norm=59.790, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.195e-05, train_time=1.654 -[gpua007:0/64] 2023-12-20 10:57:52,398 (trainer:737) INFO: 42epoch:train:10601-10700batch: iter_time=8.813e-05, forward_time=0.172, loss_ctc=49.669, loss_att=35.494, acc=0.776, loss=39.747, backward_time=0.324, grad_norm=61.461, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.194e-05, train_time=1.615 -[gpua007:0/64] 2023-12-20 11:00:22,429 (trainer:737) INFO: 42epoch:train:10701-10800batch: iter_time=2.507e-04, forward_time=0.207, loss_ctc=67.082, loss_att=51.595, acc=0.747, loss=56.241, backward_time=0.351, grad_norm=79.071, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.137, optim0_lr0=6.194e-05, train_time=1.500 -[gpua007:0/64] 2023-12-20 11:03:03,963 (trainer:737) INFO: 42epoch:train:10801-10900batch: iter_time=8.178e-05, forward_time=0.148, loss_ctc=65.812, loss_att=53.995, acc=0.722, loss=57.540, backward_time=0.293, grad_norm=76.168, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.193e-05, train_time=1.615 -[gpua007:0/64] 2023-12-20 11:05:38,169 (trainer:737) INFO: 42epoch:train:10901-11000batch: iter_time=8.087e-05, forward_time=0.146, loss_ctc=52.570, loss_att=41.529, acc=0.762, loss=44.841, backward_time=0.334, grad_norm=54.149, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.193e-05, train_time=1.542 -[gpua007:0/64] 2023-12-20 11:08:49,426 (trainer:737) INFO: 42epoch:train:11001-11100batch: iter_time=8.493e-05, forward_time=0.149, loss_ctc=55.021, loss_att=42.662, acc=0.756, loss=46.370, backward_time=0.336, grad_norm=64.888, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.192e-05, train_time=1.912 -[gpua007:0/64] 2023-12-20 11:11:36,131 (trainer:737) INFO: 42epoch:train:11101-11200batch: iter_time=8.748e-05, forward_time=0.151, loss_ctc=63.751, loss_att=52.501, acc=0.737, loss=55.876, backward_time=0.332, grad_norm=79.175, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.192e-05, train_time=1.667 -[gpua007:0/64] 2023-12-20 11:13:02,811 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua007:0/64] 2023-12-20 11:13:21,102 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-20 11:13:24,593 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-20 11:13:24,593 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua007:0/64] 2023-12-20 11:13:24,600 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-20 11:20:41,641 (trainer:737) INFO: 42epoch:train:11201-11300batch: iter_time=2.632, forward_time=0.212, loss_ctc=65.536, loss_att=46.742, acc=0.739, loss=52.380, backward_time=0.305, grad_norm=120.465, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.191e-05, train_time=5.455 -[gpua007:0/64] 2023-12-20 11:23:47,476 (trainer:737) INFO: 42epoch:train:11301-11400batch: iter_time=7.880e-05, forward_time=0.147, loss_ctc=63.265, loss_att=45.465, acc=0.747, loss=50.805, backward_time=0.332, grad_norm=68.327, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=6.191e-05, train_time=1.858 -[gpua007:0/64] 2023-12-20 11:27:03,054 (trainer:737) INFO: 42epoch:train:11401-11500batch: iter_time=7.953e-05, forward_time=0.156, loss_ctc=65.416, loss_att=55.506, acc=0.739, loss=58.479, backward_time=0.385, grad_norm=64.157, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=6.190e-05, train_time=1.956 -[gpua007:0/64] 2023-12-20 11:30:30,162 (trainer:737) INFO: 42epoch:train:11501-11600batch: iter_time=8.271e-05, forward_time=0.149, loss_ctc=58.066, loss_att=48.593, acc=0.747, loss=51.435, backward_time=0.328, grad_norm=105.909, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.190e-05, train_time=2.071 -[gpua007:0/64] 2023-12-20 11:34:12,130 (trainer:737) INFO: 42epoch:train:11601-11700batch: iter_time=8.108e-05, forward_time=0.147, loss_ctc=61.625, loss_att=51.536, acc=0.734, loss=54.563, backward_time=0.352, grad_norm=77.526, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.189e-05, train_time=2.219 -[gpua007:0/64] 2023-12-20 11:37:25,469 (trainer:737) INFO: 42epoch:train:11701-11800batch: iter_time=8.218e-05, forward_time=0.159, loss_ctc=60.193, loss_att=50.961, acc=0.724, loss=53.730, backward_time=0.342, grad_norm=69.019, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.189e-05, train_time=1.933 -[gpua007:0/64] 2023-12-20 11:41:10,914 (trainer:737) INFO: 42epoch:train:11801-11900batch: iter_time=8.058e-05, forward_time=0.189, loss_ctc=59.176, loss_att=47.336, acc=0.770, loss=50.888, backward_time=0.443, grad_norm=66.359, clip=100.000, loss_scale=7.150e+30, optim_step_time=0.149, optim0_lr0=6.188e-05, train_time=2.254 -[gpua007:0/64] 2023-12-20 11:44:28,253 (trainer:737) INFO: 42epoch:train:11901-12000batch: iter_time=7.983e-05, forward_time=0.147, loss_ctc=56.921, loss_att=41.967, acc=0.754, loss=46.453, backward_time=0.357, grad_norm=67.150, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.188e-05, train_time=1.973 -[gpua007:0/64] 2023-12-20 11:47:37,594 (trainer:737) INFO: 42epoch:train:12001-12100batch: iter_time=7.980e-05, forward_time=0.148, loss_ctc=65.470, loss_att=49.738, acc=0.742, loss=54.458, backward_time=0.363, grad_norm=64.378, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.187e-05, train_time=1.893 -[gpua007:0/64] 2023-12-20 11:51:28,522 (trainer:737) INFO: 42epoch:train:12101-12200batch: iter_time=7.937e-05, forward_time=0.147, loss_ctc=58.925, loss_att=48.526, acc=0.732, loss=51.646, backward_time=0.356, grad_norm=71.725, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.187e-05, train_time=2.309 -[gpua007:0/64] 2023-12-20 11:54:42,175 (trainer:737) INFO: 42epoch:train:12201-12300batch: iter_time=7.849e-05, forward_time=0.152, loss_ctc=55.626, loss_att=44.748, acc=0.747, loss=48.011, backward_time=0.355, grad_norm=61.944, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.186e-05, train_time=1.936 -[gpua007:0/64] 2023-12-20 11:57:22,985 (trainer:737) INFO: 42epoch:train:12301-12400batch: iter_time=7.989e-05, forward_time=0.147, loss_ctc=58.312, loss_att=45.790, acc=0.751, loss=49.546, backward_time=0.303, grad_norm=63.611, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.186e-05, train_time=1.608 -[gpua007:0/64] 2023-12-20 12:00:30,012 (trainer:737) INFO: 42epoch:train:12401-12500batch: iter_time=1.725e-04, forward_time=0.247, loss_ctc=67.316, loss_att=49.227, acc=0.743, loss=54.653, backward_time=0.375, grad_norm=72.396, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.140, optim0_lr0=6.185e-05, train_time=1.870 -[gpua007:0/64] 2023-12-20 12:00:50,184 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua007:0/64] 2023-12-20 12:01:08,643 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-20 12:01:12,075 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-20 12:01:12,075 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua007:0/64] 2023-12-20 12:01:12,081 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-20 12:07:32,629 (trainer:737) INFO: 42epoch:train:12501-12600batch: iter_time=2.723, forward_time=0.152, loss_ctc=64.421, loss_att=44.675, acc=0.744, loss=50.599, backward_time=0.316, grad_norm=70.316, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.185e-05, train_time=4.226 -[gpua007:0/64] 2023-12-20 12:09:46,438 (trainer:737) INFO: 42epoch:train:12601-12700batch: iter_time=8.209e-05, forward_time=0.149, loss_ctc=63.136, loss_att=52.247, acc=0.733, loss=55.514, backward_time=0.278, grad_norm=63.922, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.184e-05, train_time=1.338 -[gpua007:0/64] 2023-12-20 12:12:07,281 (trainer:737) INFO: 42epoch:train:12701-12800batch: iter_time=8.588e-05, forward_time=0.148, loss_ctc=62.641, loss_att=49.539, acc=0.754, loss=53.470, backward_time=0.308, grad_norm=58.599, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.184e-05, train_time=1.408 -[gpua007:0/64] 2023-12-20 12:14:27,074 (trainer:737) INFO: 42epoch:train:12801-12900batch: iter_time=8.592e-05, forward_time=0.149, loss_ctc=64.257, loss_att=53.669, acc=0.734, loss=56.846, backward_time=0.286, grad_norm=68.885, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.183e-05, train_time=1.398 -[gpua007:0/64] 2023-12-20 12:16:58,102 (trainer:737) INFO: 42epoch:train:12901-13000batch: iter_time=1.529e-04, forward_time=0.238, loss_ctc=62.870, loss_att=53.824, acc=0.726, loss=56.538, backward_time=0.303, grad_norm=61.243, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.139, optim0_lr0=6.183e-05, train_time=1.510 -[gpua007:0/64] 2023-12-20 12:19:59,281 (trainer:737) INFO: 42epoch:train:13001-13100batch: iter_time=8.586e-05, forward_time=0.151, loss_ctc=57.644, loss_att=49.149, acc=0.743, loss=51.698, backward_time=0.344, grad_norm=66.216, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.183e-05, train_time=1.811 -[gpua007:0/64] 2023-12-20 12:22:57,550 (trainer:737) INFO: 42epoch:train:13101-13200batch: iter_time=8.585e-05, forward_time=0.148, loss_ctc=50.132, loss_att=35.593, acc=0.775, loss=39.954, backward_time=0.326, grad_norm=57.074, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.182e-05, train_time=1.782 -[gpua007:0/64] 2023-12-20 12:25:19,743 (trainer:737) INFO: 42epoch:train:13201-13300batch: iter_time=8.468e-05, forward_time=0.148, loss_ctc=66.331, loss_att=50.663, acc=0.744, loss=55.364, backward_time=0.283, grad_norm=65.007, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.182e-05, train_time=1.422 -[gpua007:0/64] 2023-12-20 12:27:38,084 (trainer:737) INFO: 42epoch:train:13301-13400batch: iter_time=8.158e-05, forward_time=0.147, loss_ctc=65.936, loss_att=53.579, acc=0.722, loss=57.286, backward_time=0.284, grad_norm=75.177, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.181e-05, train_time=1.383 -[gpua007:0/64] 2023-12-20 12:30:06,212 (trainer:737) INFO: 42epoch:train:13401-13500batch: iter_time=8.233e-05, forward_time=0.149, loss_ctc=52.851, loss_att=41.100, acc=0.754, loss=44.625, backward_time=0.289, grad_norm=57.509, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.181e-05, train_time=1.481 -[gpua007:0/64] 2023-12-20 12:32:47,087 (trainer:737) INFO: 42epoch:train:13501-13600batch: iter_time=8.158e-05, forward_time=0.148, loss_ctc=54.463, loss_att=42.940, acc=0.753, loss=46.397, backward_time=0.294, grad_norm=55.961, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.180e-05, train_time=1.609 -[gpua007:0/64] 2023-12-20 12:35:40,123 (trainer:737) INFO: 42epoch:train:13601-13700batch: iter_time=8.294e-05, forward_time=0.222, loss_ctc=63.648, loss_att=51.675, acc=0.735, loss=55.267, backward_time=0.367, grad_norm=69.845, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.180e-05, train_time=1.730 -[gpua007:0/64] 2023-12-20 12:37:09,250 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua007:0/64] 2023-12-20 12:37:27,717 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-20 12:37:31,230 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-20 12:37:31,230 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua007:0/64] 2023-12-20 12:37:31,234 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-20 12:47:27,808 (trainer:737) INFO: 42epoch:train:13701-13800batch: iter_time=3.423, forward_time=0.223, loss_ctc=65.149, loss_att=47.002, acc=0.743, loss=52.446, backward_time=0.293, grad_norm=68.474, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.179e-05, train_time=7.077 -[gpua007:0/64] 2023-12-20 12:49:41,149 (trainer:737) INFO: 42epoch:train:13801-13900batch: iter_time=7.801e-05, forward_time=0.147, loss_ctc=63.634, loss_att=45.876, acc=0.749, loss=51.203, backward_time=0.278, grad_norm=72.388, clip=100.000, loss_scale=1.430e+31, optim_step_time=0.132, optim0_lr0=6.179e-05, train_time=1.333 -[gpua007:0/64] 2023-12-20 12:52:30,956 (trainer:737) INFO: 42epoch:train:13901-14000batch: iter_time=7.575e-05, forward_time=0.184, loss_ctc=64.946, loss_att=56.492, acc=0.745, loss=59.028, backward_time=0.340, grad_norm=86.710, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.178e-05, train_time=1.698 -[gpua007:0/64] 2023-12-20 12:54:51,856 (trainer:737) INFO: 42epoch:train:14001-14100batch: iter_time=7.814e-05, forward_time=0.147, loss_ctc=57.972, loss_att=48.457, acc=0.754, loss=51.311, backward_time=0.283, grad_norm=58.449, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.178e-05, train_time=1.409 -[gpua007:0/64] 2023-12-20 12:58:05,423 (trainer:737) INFO: 42epoch:train:14101-14200batch: iter_time=7.943e-05, forward_time=0.149, loss_ctc=61.423, loss_att=52.819, acc=0.737, loss=55.400, backward_time=0.380, grad_norm=65.549, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.177e-05, train_time=1.935 -[gpua007:0/64] 2023-12-20 13:00:57,755 (trainer:737) INFO: 42epoch:train:14201-14300batch: iter_time=8.056e-05, forward_time=0.191, loss_ctc=59.695, loss_att=51.093, acc=0.734, loss=53.674, backward_time=0.367, grad_norm=60.882, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.177e-05, train_time=1.723 -[gpua007:0/64] 2023-12-20 13:03:50,752 (trainer:737) INFO: 42epoch:train:14301-14400batch: iter_time=8.016e-05, forward_time=0.147, loss_ctc=58.854, loss_att=47.476, acc=0.774, loss=50.890, backward_time=0.306, grad_norm=57.698, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.176e-05, train_time=1.730 -[gpua007:0/64] 2023-12-20 13:06:20,616 (trainer:737) INFO: 42epoch:train:14401-14500batch: iter_time=7.414e-04, forward_time=0.198, loss_ctc=56.644, loss_att=42.127, acc=0.754, loss=46.482, backward_time=0.292, grad_norm=60.588, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.176e-05, train_time=1.498 -[gpua007:0/64] 2023-12-20 13:08:57,619 (trainer:737) INFO: 42epoch:train:14501-14600batch: iter_time=7.986e-05, forward_time=0.147, loss_ctc=65.182, loss_att=50.518, acc=0.746, loss=54.917, backward_time=0.331, grad_norm=66.968, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.175e-05, train_time=1.570 -[gpua007:0/64] 2023-12-20 13:11:26,605 (trainer:737) INFO: 42epoch:train:14601-14700batch: iter_time=8.490e-05, forward_time=0.146, loss_ctc=58.868, loss_att=49.412, acc=0.737, loss=52.249, backward_time=0.291, grad_norm=63.620, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.175e-05, train_time=1.489 -[gpua007:0/64] 2023-12-20 13:14:29,730 (trainer:737) INFO: 42epoch:train:14701-14800batch: iter_time=8.321e-05, forward_time=0.147, loss_ctc=55.656, loss_att=44.566, acc=0.755, loss=47.893, backward_time=0.373, grad_norm=61.773, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.174e-05, train_time=1.831 -[gpua007:0/64] 2023-12-20 13:16:56,642 (trainer:737) INFO: 42epoch:train:14801-14900batch: iter_time=8.203e-05, forward_time=0.169, loss_ctc=58.135, loss_att=46.949, acc=0.748, loss=50.305, backward_time=0.320, grad_norm=62.362, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.174e-05, train_time=1.469 -[gpua007:0/64] 2023-12-20 13:19:28,613 (trainer:737) INFO: 42epoch:train:14901-15000batch: iter_time=8.077e-05, forward_time=0.167, loss_ctc=66.297, loss_att=49.552, acc=0.748, loss=54.576, backward_time=0.292, grad_norm=70.997, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.173e-05, train_time=1.519 -[gpua007:0/64] 2023-12-20 13:45:03,502 (trainer:343) INFO: 42epoch results: [train] iter_time=0.222, forward_time=0.176, loss_ctc=61.415, loss_att=48.930, acc=0.742, loss=52.675, backward_time=0.330, grad_norm=86.018, clip=100.000, loss_scale=1.626e+31, optim_step_time=0.134, optim0_lr0=6.210e-05, train_time=2.062, time=8 hours, 35 minutes and 56.96 seconds, total_count=630000, gpu_max_cached_mem_GB=36.107, [valid] loss_ctc=32.159, cer_ctc=0.164, loss_att=31.141, acc=0.759, cer=0.230, wer=0.927, loss=31.446, time=25 minutes and 9.99 seconds, total_count=196182, gpu_max_cached_mem_GB=36.107 -[gpua007:0/64] 2023-12-20 13:45:30,836 (trainer:391) INFO: The best model has been updated: valid.acc, valid.total_count -[gpua007:0/64] 2023-12-20 13:45:30,844 (trainer:272) INFO: 43/45epoch started. Estimated time to finish: 1 day, 3 hours and 4 minutes -[gpua007:0/64] 2023-12-20 13:45:30,856 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua007:0/64] 2023-12-20 13:45:48,605 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-20 13:45:51,991 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-20 13:45:51,991 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua007:0/64] 2023-12-20 13:45:51,995 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-20 13:56:40,662 (trainer:737) INFO: 43epoch:train:1-100batch: iter_time=2.992, forward_time=0.181, loss_ctc=74.125, loss_att=62.624, acc=0.717, loss=66.074, backward_time=0.286, grad_norm=103.234, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.173e-05, train_time=6.698 -[gpua007:0/64] 2023-12-20 13:59:43,181 (trainer:737) INFO: 43epoch:train:101-200batch: iter_time=8.241e-05, forward_time=0.147, loss_ctc=66.835, loss_att=51.967, acc=0.730, loss=56.428, backward_time=0.381, grad_norm=77.319, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.172e-05, train_time=1.825 -[gpua007:0/64] 2023-12-20 14:02:13,367 (trainer:737) INFO: 43epoch:train:201-300batch: iter_time=8.491e-05, forward_time=0.177, loss_ctc=62.362, loss_att=48.048, acc=0.739, loss=52.342, backward_time=0.337, grad_norm=74.993, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.172e-05, train_time=1.502 -[gpua007:0/64] 2023-12-20 14:04:46,479 (trainer:737) INFO: 43epoch:train:301-400batch: iter_time=2.645e-04, forward_time=0.190, loss_ctc=75.561, loss_att=54.558, acc=0.725, loss=60.859, backward_time=0.317, grad_norm=77.161, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=6.171e-05, train_time=1.531 -[gpua007:0/64] 2023-12-20 14:07:42,820 (trainer:737) INFO: 43epoch:train:401-500batch: iter_time=8.454e-05, forward_time=0.166, loss_ctc=69.858, loss_att=52.143, acc=0.734, loss=57.458, backward_time=0.336, grad_norm=79.243, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.171e-05, train_time=1.764 -[gpua007:0/64] 2023-12-20 14:10:39,486 (trainer:737) INFO: 43epoch:train:501-600batch: iter_time=8.515e-05, forward_time=0.170, loss_ctc=68.724, loss_att=55.731, acc=0.742, loss=59.629, backward_time=0.379, grad_norm=96.943, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.147, optim0_lr0=6.170e-05, train_time=1.766 -[gpua007:0/64] 2023-12-20 14:13:23,684 (trainer:737) INFO: 43epoch:train:601-700batch: iter_time=8.362e-05, forward_time=0.158, loss_ctc=60.144, loss_att=44.715, acc=0.762, loss=49.344, backward_time=0.312, grad_norm=61.580, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.170e-05, train_time=1.642 -[gpua007:0/64] 2023-12-20 14:15:49,450 (trainer:737) INFO: 43epoch:train:701-800batch: iter_time=8.459e-05, forward_time=0.178, loss_ctc=57.008, loss_att=44.791, acc=0.741, loss=48.456, backward_time=0.306, grad_norm=67.752, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.169e-05, train_time=1.458 -[gpua007:0/64] 2023-12-20 14:19:26,054 (trainer:737) INFO: 43epoch:train:801-900batch: iter_time=8.899e-05, forward_time=0.200, loss_ctc=77.169, loss_att=58.130, acc=0.742, loss=63.842, backward_time=0.338, grad_norm=70.190, clip=100.000, loss_scale=2.860e+31, optim_step_time=0.134, optim0_lr0=6.169e-05, train_time=2.166 -[gpua007:0/64] 2023-12-20 14:22:11,615 (trainer:737) INFO: 43epoch:train:901-1000batch: iter_time=8.305e-05, forward_time=0.160, loss_ctc=60.355, loss_att=47.622, acc=0.743, loss=51.442, backward_time=0.344, grad_norm=63.508, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.168e-05, train_time=1.655 -[gpua007:0/64] 2023-12-20 14:25:04,433 (trainer:737) INFO: 43epoch:train:1001-1100batch: iter_time=5.853e-04, forward_time=0.164, loss_ctc=67.748, loss_att=55.362, acc=0.735, loss=59.078, backward_time=0.341, grad_norm=67.856, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.168e-05, train_time=1.728 -[gpua007:0/64] 2023-12-20 14:28:09,109 (trainer:737) INFO: 43epoch:train:1101-1200batch: iter_time=8.724e-05, forward_time=0.186, loss_ctc=58.194, loss_att=43.640, acc=0.748, loss=48.006, backward_time=0.351, grad_norm=97.315, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.167e-05, train_time=1.847 -[gpua007:0/64] 2023-12-20 14:29:42,050 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua007:0/64] 2023-12-20 14:30:00,573 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-20 14:30:03,977 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-20 14:30:03,977 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua007:0/64] 2023-12-20 14:30:03,983 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-20 14:40:40,169 (trainer:737) INFO: 43epoch:train:1201-1300batch: iter_time=3.560, forward_time=0.164, loss_ctc=64.806, loss_att=54.828, acc=0.719, loss=57.821, backward_time=0.289, grad_norm=83.114, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.167e-05, train_time=7.510 -[gpua007:0/64] 2023-12-20 14:42:52,856 (trainer:737) INFO: 43epoch:train:1301-1400batch: iter_time=7.791e-05, forward_time=0.187, loss_ctc=70.451, loss_att=58.043, acc=0.712, loss=61.766, backward_time=0.285, grad_norm=77.788, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.166e-05, train_time=1.327 -[gpua007:0/64] 2023-12-20 14:45:12,822 (trainer:737) INFO: 43epoch:train:1401-1500batch: iter_time=0.002, forward_time=0.162, loss_ctc=68.047, loss_att=51.714, acc=0.735, loss=56.614, backward_time=0.299, grad_norm=70.826, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.166e-05, train_time=1.399 -[gpua007:0/64] 2023-12-20 14:48:41,659 (trainer:737) INFO: 43epoch:train:1501-1600batch: iter_time=8.709e-05, forward_time=0.190, loss_ctc=59.561, loss_att=42.979, acc=0.734, loss=47.954, backward_time=0.392, grad_norm=62.811, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.165e-05, train_time=2.089 -[gpua007:0/64] 2023-12-20 14:50:54,749 (trainer:737) INFO: 43epoch:train:1601-1700batch: iter_time=8.005e-05, forward_time=0.147, loss_ctc=80.121, loss_att=56.104, acc=0.711, loss=63.309, backward_time=0.282, grad_norm=91.721, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.165e-05, train_time=1.331 -[gpua007:0/64] 2023-12-20 14:53:06,481 (trainer:737) INFO: 43epoch:train:1701-1800batch: iter_time=2.648e-04, forward_time=0.153, loss_ctc=67.344, loss_att=55.719, acc=0.736, loss=59.207, backward_time=0.283, grad_norm=92.652, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.164e-05, train_time=1.316 -[gpua007:0/64] 2023-12-20 14:56:20,482 (trainer:737) INFO: 43epoch:train:1801-1900batch: iter_time=9.059e-05, forward_time=0.205, loss_ctc=60.779, loss_att=46.980, acc=0.748, loss=51.119, backward_time=0.333, grad_norm=63.752, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=6.164e-05, train_time=1.940 -[gpua007:0/64] 2023-12-20 14:59:41,856 (trainer:737) INFO: 43epoch:train:1901-2000batch: iter_time=8.542e-05, forward_time=0.180, loss_ctc=60.602, loss_att=44.514, acc=0.748, loss=49.340, backward_time=0.326, grad_norm=81.843, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.163e-05, train_time=2.013 -[gpua007:0/64] 2023-12-20 15:02:11,430 (trainer:737) INFO: 43epoch:train:2001-2100batch: iter_time=5.731e-04, forward_time=0.184, loss_ctc=62.876, loss_att=46.621, acc=0.747, loss=51.497, backward_time=0.305, grad_norm=64.592, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.163e-05, train_time=1.496 -[gpua007:0/64] 2023-12-20 15:04:41,408 (trainer:737) INFO: 43epoch:train:2101-2200batch: iter_time=8.777e-05, forward_time=0.157, loss_ctc=70.579, loss_att=55.432, acc=0.732, loss=59.976, backward_time=0.301, grad_norm=94.484, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.162e-05, train_time=1.500 -[gpua007:0/64] 2023-12-20 15:07:46,437 (trainer:737) INFO: 43epoch:train:2201-2300batch: iter_time=8.400e-05, forward_time=0.148, loss_ctc=60.906, loss_att=49.309, acc=0.743, loss=52.788, backward_time=0.328, grad_norm=105.244, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.162e-05, train_time=1.850 -[gpua007:0/64] 2023-12-20 15:10:00,374 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua007:0/64] 2023-12-20 15:10:18,721 (trainer:737) INFO: 43epoch:train:2301-2400batch: iter_time=9.336e-05, forward_time=0.160, loss_ctc=62.711, loss_att=48.856, acc=0.733, loss=53.013, backward_time=0.306, grad_norm=86.789, clip=100.000, loss_scale=3.749e+31, optim_step_time=0.135, optim0_lr0=6.161e-05, train_time=1.523 -[gpua007:0/64] 2023-12-20 15:12:34,269 (trainer:737) INFO: 43epoch:train:2401-2500batch: iter_time=0.004, forward_time=0.198, loss_ctc=59.311, loss_att=43.769, acc=0.748, loss=48.431, backward_time=0.287, grad_norm=90.380, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.161e-05, train_time=1.355 -[gpua007:0/64] 2023-12-20 15:12:54,298 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua007:0/64] 2023-12-20 15:13:12,869 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-20 15:13:16,692 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-20 15:13:16,692 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua007:0/64] 2023-12-20 15:13:16,695 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-20 15:22:04,846 (trainer:737) INFO: 43epoch:train:2501-2600batch: iter_time=2.956, forward_time=0.196, loss_ctc=72.921, loss_att=62.356, acc=0.706, loss=65.526, backward_time=0.290, grad_norm=94.797, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.160e-05, train_time=5.706 -[gpua007:0/64] 2023-12-20 15:25:04,464 (trainer:737) INFO: 43epoch:train:2601-2700batch: iter_time=8.767e-05, forward_time=0.148, loss_ctc=64.855, loss_att=50.220, acc=0.730, loss=54.610, backward_time=0.368, grad_norm=68.063, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.160e-05, train_time=1.796 -[gpua007:0/64] 2023-12-20 15:28:16,892 (trainer:737) INFO: 43epoch:train:2701-2800batch: iter_time=1.946e-04, forward_time=0.151, loss_ctc=61.898, loss_att=46.537, acc=0.741, loss=51.145, backward_time=0.357, grad_norm=137.314, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.160e-05, train_time=1.924 -[gpua007:0/64] 2023-12-20 15:31:39,829 (trainer:737) INFO: 43epoch:train:2801-2900batch: iter_time=2.250e-04, forward_time=0.184, loss_ctc=73.657, loss_att=52.906, acc=0.721, loss=59.132, backward_time=0.379, grad_norm=96.369, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.159e-05, train_time=2.029 -[gpua007:0/64] 2023-12-20 15:35:04,248 (trainer:737) INFO: 43epoch:train:2901-3000batch: iter_time=9.195e-05, forward_time=0.159, loss_ctc=66.869, loss_att=49.392, acc=0.735, loss=54.635, backward_time=0.376, grad_norm=115.028, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.159e-05, train_time=2.044 -[gpua007:0/64] 2023-12-20 15:38:18,908 (trainer:737) INFO: 43epoch:train:3001-3100batch: iter_time=9.113e-05, forward_time=0.164, loss_ctc=66.507, loss_att=53.587, acc=0.735, loss=57.463, backward_time=0.374, grad_norm=85.489, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.158e-05, train_time=1.946 -[gpua007:0/64] 2023-12-20 15:41:34,795 (trainer:737) INFO: 43epoch:train:3101-3200batch: iter_time=9.203e-05, forward_time=0.148, loss_ctc=59.427, loss_att=44.320, acc=0.758, loss=48.852, backward_time=0.409, grad_norm=77.514, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.158e-05, train_time=1.959 - -gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active -[gpua007:0/64] 2023-12-20 15:45:41,249 (trainer:737) INFO: 43epoch:train:3201-3300batch: iter_time=8.728e-05, forward_time=0.152, loss_ctc=56.678, loss_att=44.325, acc=0.740, loss=48.031, backward_time=0.365, grad_norm=101.959, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.157e-05, train_time=2.464 - -gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active -[gpua007:0/64] 2023-12-20 15:50:26,231 (trainer:737) INFO: 43epoch:train:3301-3400batch: iter_time=9.012e-05, forward_time=0.197, loss_ctc=76.206, loss_att=56.472, acc=0.741, loss=62.392, backward_time=0.449, grad_norm=94.737, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.141, optim0_lr0=6.157e-05, train_time=2.849 -[gpua007:0/64] 2023-12-20 15:54:19,467 (trainer:737) INFO: 43epoch:train:3401-3500batch: iter_time=9.094e-05, forward_time=0.148, loss_ctc=59.348, loss_att=46.063, acc=0.747, loss=50.048, backward_time=0.397, grad_norm=92.686, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.156e-05, train_time=2.333 -[gpua007:0/64] 2023-12-20 15:55:56,822 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua007:0/64] 2023-12-20 15:57:46,254 (trainer:737) INFO: 43epoch:train:3501-3600batch: iter_time=8.909e-05, forward_time=0.165, loss_ctc=66.645, loss_att=53.213, acc=0.738, loss=57.243, backward_time=0.412, grad_norm=86.020, clip=100.000, loss_scale=1.485e+31, optim_step_time=0.134, optim0_lr0=6.156e-05, train_time=2.068 - -gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active -[gpua007:0/64] 2023-12-20 16:01:37,823 (trainer:737) INFO: 43epoch:train:3601-3700batch: iter_time=8.857e-05, forward_time=0.148, loss_ctc=57.008, loss_att=42.188, acc=0.747, loss=46.634, backward_time=0.473, grad_norm=83.232, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.145, optim0_lr0=6.155e-05, train_time=2.315 -[gpua007:0/64] 2023-12-20 16:03:41,916 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua007:0/64] 2023-12-20 16:04:00,385 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-20 16:04:03,744 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-20 16:04:03,744 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua007:0/64] 2023-12-20 16:04:03,755 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-20 16:09:52,087 (trainer:737) INFO: 43epoch:train:3701-3800batch: iter_time=2.899, forward_time=0.187, loss_ctc=63.869, loss_att=53.167, acc=0.722, loss=56.377, backward_time=0.363, grad_norm=79.668, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.155e-05, train_time=4.942 -[gpua007:0/64] 2023-12-20 16:12:09,122 (trainer:737) INFO: 43epoch:train:3801-3900batch: iter_time=7.832e-05, forward_time=0.148, loss_ctc=68.215, loss_att=56.147, acc=0.717, loss=59.767, backward_time=0.279, grad_norm=90.583, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.154e-05, train_time=1.370 -[gpua007:0/64] 2023-12-20 16:14:40,549 (trainer:737) INFO: 43epoch:train:3901-4000batch: iter_time=8.465e-05, forward_time=0.189, loss_ctc=66.943, loss_att=49.917, acc=0.742, loss=55.025, backward_time=0.309, grad_norm=79.672, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.154e-05, train_time=1.514 -[gpua007:0/64] 2023-12-20 16:17:15,522 (trainer:737) INFO: 43epoch:train:4001-4100batch: iter_time=3.989e-04, forward_time=0.150, loss_ctc=59.326, loss_att=42.309, acc=0.738, loss=47.414, backward_time=0.292, grad_norm=78.665, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.153e-05, train_time=1.549 -[gpua007:0/64] 2023-12-20 16:19:54,961 (trainer:737) INFO: 43epoch:train:4101-4200batch: iter_time=2.434e-04, forward_time=0.153, loss_ctc=77.422, loss_att=54.591, acc=0.717, loss=61.440, backward_time=0.301, grad_norm=149.392, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.153e-05, train_time=1.594 -[gpua007:0/64] 2023-12-20 16:22:47,620 (trainer:737) INFO: 43epoch:train:4201-4300batch: iter_time=8.513e-05, forward_time=0.249, loss_ctc=66.770, loss_att=54.866, acc=0.739, loss=58.437, backward_time=0.312, grad_norm=85.266, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.148, optim0_lr0=6.152e-05, train_time=1.726 -[gpua007:0/64] 2023-12-20 16:25:17,592 (trainer:737) INFO: 43epoch:train:4301-4400batch: iter_time=8.317e-05, forward_time=0.157, loss_ctc=60.516, loss_att=46.722, acc=0.750, loss=50.860, backward_time=0.303, grad_norm=73.170, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.152e-05, train_time=1.499 - -gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active -[gpua007:0/64] 2023-12-20 16:28:25,648 (trainer:737) INFO: 43epoch:train:4401-4500batch: iter_time=8.323e-05, forward_time=0.147, loss_ctc=59.549, loss_att=43.777, acc=0.754, loss=48.508, backward_time=0.310, grad_norm=107.840, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.151e-05, train_time=1.880 -[gpua007:0/64] 2023-12-20 16:31:10,816 (trainer:737) INFO: 43epoch:train:4501-4600batch: iter_time=7.940e-05, forward_time=0.148, loss_ctc=63.357, loss_att=45.972, acc=0.751, loss=51.188, backward_time=0.321, grad_norm=73.623, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.151e-05, train_time=1.651 -[gpua007:0/64] 2023-12-20 16:34:01,860 (trainer:737) INFO: 43epoch:train:4601-4700batch: iter_time=8.077e-05, forward_time=0.164, loss_ctc=69.390, loss_att=54.708, acc=0.733, loss=59.113, backward_time=0.329, grad_norm=154.070, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.150e-05, train_time=1.710 -[gpua007:0/64] 2023-12-20 16:36:40,806 (trainer:737) INFO: 43epoch:train:4701-4800batch: iter_time=8.248e-05, forward_time=0.208, loss_ctc=60.535, loss_att=48.846, acc=0.747, loss=52.352, backward_time=0.311, grad_norm=60.755, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.139, optim0_lr0=6.150e-05, train_time=1.589 -[gpua007:0/64] 2023-12-20 16:38:56,438 (trainer:737) INFO: 43epoch:train:4801-4900batch: iter_time=8.294e-05, forward_time=0.153, loss_ctc=62.700, loss_att=47.700, acc=0.738, loss=52.200, backward_time=0.299, grad_norm=89.994, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.149e-05, train_time=1.356 -[gpua007:0/64] 2023-12-20 16:41:34,545 (trainer:737) INFO: 43epoch:train:4901-5000batch: iter_time=7.853e-05, forward_time=0.148, loss_ctc=59.215, loss_att=43.146, acc=0.752, loss=47.967, backward_time=0.313, grad_norm=80.610, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.149e-05, train_time=1.581 -[gpua007:0/64] 2023-12-20 16:41:54,574 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua007:0/64] 2023-12-20 16:42:12,930 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-20 16:42:16,527 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-20 16:42:16,527 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua007:0/64] 2023-12-20 16:42:16,530 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-20 16:49:55,591 (trainer:737) INFO: 43epoch:train:5001-5100batch: iter_time=3.320, forward_time=0.148, loss_ctc=71.666, loss_att=63.449, acc=0.719, loss=65.914, backward_time=0.291, grad_norm=92.963, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.148e-05, train_time=5.010 -[gpua007:0/64] 2023-12-20 16:52:16,646 (trainer:737) INFO: 43epoch:train:5101-5200batch: iter_time=7.982e-05, forward_time=0.149, loss_ctc=64.659, loss_att=50.822, acc=0.738, loss=54.973, backward_time=0.280, grad_norm=100.092, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.148e-05, train_time=1.410 -[gpua007:0/64] 2023-12-20 16:53:54,474 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua007:0/64] 2023-12-20 16:54:19,694 (trainer:737) INFO: 43epoch:train:5201-5300batch: iter_time=7.920e-05, forward_time=0.149, loss_ctc=61.536, loss_att=47.432, acc=0.745, loss=51.663, backward_time=0.284, grad_norm=131.939, clip=100.000, loss_scale=9.066e+30, optim_step_time=0.133, optim0_lr0=6.147e-05, train_time=1.230 -[gpua007:0/64] 2023-12-20 16:57:39,208 (trainer:737) INFO: 43epoch:train:5301-5400batch: iter_time=9.030e-05, forward_time=0.149, loss_ctc=73.193, loss_att=53.361, acc=0.733, loss=59.310, backward_time=0.359, grad_norm=106.191, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.147e-05, train_time=1.995 -[gpua007:0/64] 2023-12-20 17:00:02,312 (trainer:737) INFO: 43epoch:train:5401-5500batch: iter_time=9.295e-05, forward_time=0.154, loss_ctc=67.495, loss_att=50.428, acc=0.742, loss=55.548, backward_time=0.315, grad_norm=97.323, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.146e-05, train_time=1.431 -[gpua007:0/64] 2023-12-20 17:03:22,547 (trainer:737) INFO: 43epoch:train:5501-5600batch: iter_time=8.662e-05, forward_time=0.178, loss_ctc=65.854, loss_att=54.790, acc=0.748, loss=58.109, backward_time=0.388, grad_norm=88.541, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=6.146e-05, train_time=2.002 -[gpua007:0/64] 2023-12-20 17:06:15,893 (trainer:737) INFO: 43epoch:train:5601-5700batch: iter_time=8.624e-05, forward_time=0.215, loss_ctc=59.020, loss_att=43.696, acc=0.769, loss=48.293, backward_time=0.351, grad_norm=96.046, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.138, optim0_lr0=6.145e-05, train_time=1.733 -[gpua007:0/64] 2023-12-20 17:08:31,559 (trainer:737) INFO: 43epoch:train:5701-5800batch: iter_time=7.620e-05, forward_time=0.148, loss_ctc=57.001, loss_att=44.358, acc=0.746, loss=48.151, backward_time=0.283, grad_norm=85.194, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.145e-05, train_time=1.357 -[gpua007:0/64] 2023-12-20 17:11:22,021 (trainer:737) INFO: 43epoch:train:5801-5900batch: iter_time=8.173e-05, forward_time=0.148, loss_ctc=75.547, loss_att=57.519, acc=0.749, loss=62.927, backward_time=0.302, grad_norm=93.322, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.144e-05, train_time=1.704 -[gpua007:0/64] 2023-12-20 17:14:06,711 (trainer:737) INFO: 43epoch:train:5901-6000batch: iter_time=8.183e-05, forward_time=0.148, loss_ctc=58.754, loss_att=46.658, acc=0.749, loss=50.287, backward_time=0.314, grad_norm=75.763, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.144e-05, train_time=1.647 -[gpua007:0/64] 2023-12-20 17:16:39,642 (trainer:737) INFO: 43epoch:train:6001-6100batch: iter_time=8.307e-05, forward_time=0.148, loss_ctc=66.650, loss_att=54.610, acc=0.741, loss=58.222, backward_time=0.305, grad_norm=82.272, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.144e-05, train_time=1.529 -[gpua007:0/64] 2023-12-20 17:19:03,569 (trainer:737) INFO: 43epoch:train:6101-6200batch: iter_time=8.046e-05, forward_time=0.149, loss_ctc=57.396, loss_att=42.870, acc=0.753, loss=47.227, backward_time=0.291, grad_norm=80.080, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.143e-05, train_time=1.439 - -gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active -[gpua007:0/64] 2023-12-20 17:20:59,746 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua007:0/64] 2023-12-20 17:21:18,067 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-20 17:21:21,472 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-20 17:21:21,472 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua007:0/64] 2023-12-20 17:21:21,475 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-20 17:30:42,684 (trainer:737) INFO: 43epoch:train:6201-6300batch: iter_time=3.055, forward_time=0.176, loss_ctc=63.234, loss_att=52.930, acc=0.732, loss=56.021, backward_time=0.324, grad_norm=72.011, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.143e-05, train_time=6.991 -[gpua007:0/64] 2023-12-20 17:32:58,540 (trainer:737) INFO: 43epoch:train:6301-6400batch: iter_time=7.839e-05, forward_time=0.149, loss_ctc=68.663, loss_att=56.654, acc=0.731, loss=60.257, backward_time=0.281, grad_norm=70.260, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.142e-05, train_time=1.358 -[gpua007:0/64] 2023-12-20 17:35:19,543 (trainer:737) INFO: 43epoch:train:6401-6500batch: iter_time=8.353e-05, forward_time=0.154, loss_ctc=67.038, loss_att=50.219, acc=0.751, loss=55.265, backward_time=0.303, grad_norm=75.879, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.142e-05, train_time=1.410 -[gpua007:0/64] 2023-12-20 17:38:08,308 (trainer:737) INFO: 43epoch:train:6501-6600batch: iter_time=1.900e-04, forward_time=0.179, loss_ctc=59.008, loss_att=42.702, acc=0.744, loss=47.594, backward_time=0.297, grad_norm=68.217, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.138, optim0_lr0=6.141e-05, train_time=1.687 - -gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active -[gpua007:0/64] 2023-12-20 17:41:10,133 (trainer:737) INFO: 43epoch:train:6601-6700batch: iter_time=8.676e-05, forward_time=0.205, loss_ctc=78.292, loss_att=56.871, acc=0.725, loss=63.297, backward_time=0.353, grad_norm=85.627, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.137, optim0_lr0=6.141e-05, train_time=1.818 -[gpua007:0/64] 2023-12-20 17:43:48,437 (trainer:737) INFO: 43epoch:train:6701-6800batch: iter_time=8.251e-05, forward_time=0.157, loss_ctc=65.263, loss_att=55.178, acc=0.746, loss=58.204, backward_time=0.306, grad_norm=121.014, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.140e-05, train_time=1.583 - -gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active -[gpua007:0/64] 2023-12-20 17:46:38,186 (trainer:737) INFO: 43epoch:train:6801-6900batch: iter_time=0.001, forward_time=0.194, loss_ctc=59.841, loss_att=46.730, acc=0.765, loss=50.663, backward_time=0.348, grad_norm=67.200, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=6.140e-05, train_time=1.697 -[gpua007:0/64] 2023-12-20 17:49:23,497 (trainer:737) INFO: 43epoch:train:6901-7000batch: iter_time=0.002, forward_time=0.216, loss_ctc=59.601, loss_att=43.678, acc=0.762, loss=48.455, backward_time=0.306, grad_norm=170.988, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=6.139e-05, train_time=1.652 -[gpua007:0/64] 2023-12-20 17:51:55,329 (trainer:737) INFO: 43epoch:train:7001-7100batch: iter_time=8.797e-05, forward_time=0.155, loss_ctc=62.421, loss_att=46.496, acc=0.755, loss=51.274, backward_time=0.311, grad_norm=111.798, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.139e-05, train_time=1.518 -[gpua007:0/64] 2023-12-20 17:55:08,086 (trainer:737) INFO: 43epoch:train:7101-7200batch: iter_time=1.969e-04, forward_time=0.175, loss_ctc=68.869, loss_att=54.445, acc=0.743, loss=58.773, backward_time=0.340, grad_norm=89.970, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=6.138e-05, train_time=1.925 -[gpua007:0/64] 2023-12-20 17:57:45,410 (trainer:737) INFO: 43epoch:train:7201-7300batch: iter_time=8.003e-05, forward_time=0.182, loss_ctc=59.830, loss_att=49.424, acc=0.748, loss=52.546, backward_time=0.292, grad_norm=88.750, clip=100.000, loss_scale=6.135e+30, optim_step_time=0.135, optim0_lr0=6.138e-05, train_time=1.575 - -gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active -[gpua007:0/64] 2023-12-20 18:00:30,901 (trainer:737) INFO: 43epoch:train:7301-7400batch: iter_time=8.035e-05, forward_time=0.210, loss_ctc=62.563, loss_att=48.504, acc=0.741, loss=52.722, backward_time=0.325, grad_norm=112.269, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.137e-05, train_time=1.654 -[gpua007:0/64] 2023-12-20 18:02:53,691 (trainer:737) INFO: 43epoch:train:7401-7500batch: iter_time=0.003, forward_time=0.154, loss_ctc=58.486, loss_att=44.047, acc=0.757, loss=48.379, backward_time=0.293, grad_norm=147.422, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.137e-05, train_time=1.421 -[gpua007:0/64] 2023-12-20 18:03:13,848 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua007:0/64] 2023-12-20 18:03:32,333 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-20 18:03:35,751 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-20 18:03:35,751 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua007:0/64] 2023-12-20 18:03:35,756 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-20 18:08:34,567 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua007:0/64] 2023-12-20 18:10:46,049 (trainer:737) INFO: 43epoch:train:7501-7600batch: iter_time=3.198, forward_time=0.174, loss_ctc=71.793, loss_att=63.698, acc=0.706, loss=66.126, backward_time=0.290, grad_norm=134.000, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.137, optim0_lr0=6.136e-05, train_time=4.723 -[gpua007:0/64] 2023-12-20 18:13:15,183 (trainer:737) INFO: 43epoch:train:7601-7700batch: iter_time=2.394e-04, forward_time=0.204, loss_ctc=63.851, loss_att=50.283, acc=0.732, loss=54.354, backward_time=0.328, grad_norm=289.734, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.141, optim0_lr0=6.136e-05, train_time=1.492 -[gpua007:0/64] 2023-12-20 18:15:30,681 (trainer:737) INFO: 43epoch:train:7701-7800batch: iter_time=7.885e-05, forward_time=0.171, loss_ctc=61.495, loss_att=46.283, acc=0.746, loss=50.847, backward_time=0.297, grad_norm=83.593, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.135e-05, train_time=1.355 -[gpua007:0/64] 2023-12-20 18:17:53,090 (trainer:737) INFO: 43epoch:train:7801-7900batch: iter_time=8.213e-05, forward_time=0.150, loss_ctc=72.611, loss_att=52.363, acc=0.727, loss=58.437, backward_time=0.303, grad_norm=332.216, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.135e-05, train_time=1.424 -[gpua007:0/64] 2023-12-20 18:20:19,243 (trainer:737) INFO: 43epoch:train:7901-8000batch: iter_time=8.014e-05, forward_time=0.165, loss_ctc=66.651, loss_att=48.933, acc=0.740, loss=54.248, backward_time=0.290, grad_norm=99.104, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.134e-05, train_time=1.461 -[gpua007:0/64] 2023-12-20 18:23:48,145 (trainer:737) INFO: 43epoch:train:8001-8100batch: iter_time=8.411e-05, forward_time=0.188, loss_ctc=66.068, loss_att=53.521, acc=0.737, loss=57.285, backward_time=0.331, grad_norm=76.334, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.138, optim0_lr0=6.134e-05, train_time=2.088 -[gpua007:0/64] 2023-12-20 18:26:34,368 (trainer:737) INFO: 43epoch:train:8101-8200batch: iter_time=8.054e-05, forward_time=0.148, loss_ctc=58.772, loss_att=44.030, acc=0.761, loss=48.453, backward_time=0.305, grad_norm=125.609, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.133e-05, train_time=1.663 -[gpua007:0/64] 2023-12-20 18:29:24,099 (trainer:737) INFO: 43epoch:train:8201-8300batch: iter_time=7.972e-05, forward_time=0.150, loss_ctc=56.138, loss_att=43.438, acc=0.747, loss=47.248, backward_time=0.329, grad_norm=158.818, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=6.133e-05, train_time=1.697 -[gpua007:0/64] 2023-12-20 18:31:40,364 (trainer:737) INFO: 43epoch:train:8301-8400batch: iter_time=8.128e-05, forward_time=0.148, loss_ctc=74.957, loss_att=55.859, acc=0.744, loss=61.589, backward_time=0.288, grad_norm=74.499, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.132e-05, train_time=1.363 -[gpua007:0/64] 2023-12-20 18:34:04,111 (trainer:737) INFO: 43epoch:train:8401-8500batch: iter_time=3.044e-04, forward_time=0.175, loss_ctc=58.442, loss_att=46.263, acc=0.747, loss=49.916, backward_time=0.327, grad_norm=65.198, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.142, optim0_lr0=6.132e-05, train_time=1.437 -[gpua007:0/64] 2023-12-20 18:36:23,530 (trainer:737) INFO: 43epoch:train:8501-8600batch: iter_time=8.073e-05, forward_time=0.185, loss_ctc=65.837, loss_att=52.719, acc=0.742, loss=56.654, backward_time=0.329, grad_norm=65.064, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=6.131e-05, train_time=1.392 -[gpua007:0/64] 2023-12-20 18:39:03,397 (trainer:737) INFO: 43epoch:train:8601-8700batch: iter_time=8.235e-05, forward_time=0.151, loss_ctc=55.975, loss_att=41.258, acc=0.752, loss=45.673, backward_time=0.297, grad_norm=67.544, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=6.131e-05, train_time=1.600 - -gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active -[gpua007:0/64] 2023-12-20 18:41:15,066 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua007:0/64] 2023-12-20 18:41:33,588 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-20 18:41:37,037 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-20 18:41:37,037 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua007:0/64] 2023-12-20 18:41:37,062 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-20 18:51:53,964 (trainer:737) INFO: 43epoch:train:8701-8800batch: iter_time=3.409, forward_time=0.202, loss_ctc=63.601, loss_att=52.366, acc=0.728, loss=55.736, backward_time=0.320, grad_norm=79.675, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.131e-05, train_time=7.705 -[gpua007:0/64] 2023-12-20 18:53:56,812 (trainer:737) INFO: 43epoch:train:8801-8900batch: iter_time=8.351e-05, forward_time=0.147, loss_ctc=67.058, loss_att=55.931, acc=0.719, loss=59.269, backward_time=0.286, grad_norm=105.901, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.130e-05, train_time=1.228 -[gpua007:0/64] 2023-12-20 18:56:35,963 (trainer:737) INFO: 43epoch:train:8901-9000batch: iter_time=8.485e-05, forward_time=0.147, loss_ctc=66.029, loss_att=49.346, acc=0.746, loss=54.351, backward_time=0.309, grad_norm=78.327, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.130e-05, train_time=1.591 -[gpua007:0/64] 2023-12-20 18:59:49,674 (trainer:737) INFO: 43epoch:train:9001-9100batch: iter_time=0.001, forward_time=0.271, loss_ctc=59.054, loss_att=42.279, acc=0.743, loss=47.312, backward_time=0.325, grad_norm=111.319, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.141, optim0_lr0=6.129e-05, train_time=1.936 - -gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active -[gpua007:0/64] 2023-12-20 19:02:43,597 (trainer:737) INFO: 43epoch:train:9101-9200batch: iter_time=8.616e-05, forward_time=0.149, loss_ctc=76.976, loss_att=54.165, acc=0.720, loss=61.008, backward_time=0.287, grad_norm=81.405, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.129e-05, train_time=1.739 -[gpua007:0/64] 2023-12-20 19:04:50,461 (trainer:737) INFO: 43epoch:train:9201-9300batch: iter_time=8.437e-05, forward_time=0.148, loss_ctc=65.081, loss_att=54.306, acc=0.743, loss=57.539, backward_time=0.285, grad_norm=79.105, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.128e-05, train_time=1.268 -[gpua007:0/64] 2023-12-20 19:07:51,253 (trainer:737) INFO: 43epoch:train:9301-9400batch: iter_time=9.644e-04, forward_time=0.181, loss_ctc=59.812, loss_att=46.451, acc=0.752, loss=50.459, backward_time=0.315, grad_norm=83.633, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.147, optim0_lr0=6.128e-05, train_time=1.808 -[gpua007:0/64] 2023-12-20 19:11:31,597 (trainer:737) INFO: 43epoch:train:9401-9500batch: iter_time=8.513e-05, forward_time=0.215, loss_ctc=59.072, loss_att=43.337, acc=0.755, loss=48.058, backward_time=0.390, grad_norm=102.989, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=6.127e-05, train_time=2.203 -[gpua007:0/64] 2023-12-20 19:14:16,171 (trainer:737) INFO: 43epoch:train:9501-9600batch: iter_time=9.619e-05, forward_time=0.149, loss_ctc=62.572, loss_att=45.646, acc=0.754, loss=50.724, backward_time=0.406, grad_norm=161.343, clip=100.000, loss_scale=1.009e+31, optim_step_time=0.133, optim0_lr0=6.127e-05, train_time=1.645 -[gpua007:0/64] 2023-12-20 19:16:57,048 (trainer:737) INFO: 43epoch:train:9601-9700batch: iter_time=8.717e-05, forward_time=0.154, loss_ctc=68.787, loss_att=54.464, acc=0.735, loss=58.761, backward_time=0.309, grad_norm=71.660, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.126e-05, train_time=1.609 -[gpua007:0/64] 2023-12-20 19:20:08,215 (trainer:737) INFO: 43epoch:train:9701-9800batch: iter_time=8.715e-05, forward_time=0.230, loss_ctc=60.205, loss_att=48.483, acc=0.748, loss=52.000, backward_time=0.325, grad_norm=78.584, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.126e-05, train_time=1.911 -[gpua007:0/64] 2023-12-20 19:22:50,560 (trainer:737) INFO: 43epoch:train:9801-9900batch: iter_time=8.193e-05, forward_time=0.197, loss_ctc=61.694, loss_att=47.321, acc=0.741, loss=51.633, backward_time=0.293, grad_norm=82.361, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.138, optim0_lr0=6.125e-05, train_time=1.623 -[gpua007:0/64] 2023-12-20 19:25:38,776 (trainer:737) INFO: 43epoch:train:9901-10000batch: iter_time=8.396e-05, forward_time=0.148, loss_ctc=58.098, loss_att=42.599, acc=0.754, loss=47.249, backward_time=0.296, grad_norm=60.263, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.125e-05, train_time=1.682 -[gpua007:0/64] 2023-12-20 19:25:58,824 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua007:0/64] 2023-12-20 19:26:17,486 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-20 19:26:21,036 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-20 19:26:21,037 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua007:0/64] 2023-12-20 19:26:21,040 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-20 19:38:16,688 (trainer:737) INFO: 43epoch:train:10001-10100batch: iter_time=3.286, forward_time=0.203, loss_ctc=70.674, loss_att=61.274, acc=0.711, loss=64.094, backward_time=0.291, grad_norm=82.414, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.124e-05, train_time=7.579 -[gpua007:0/64] 2023-12-20 19:41:23,242 (trainer:737) INFO: 43epoch:train:10101-10200batch: iter_time=7.819e-05, forward_time=0.212, loss_ctc=63.781, loss_att=49.154, acc=0.735, loss=53.542, backward_time=0.350, grad_norm=87.683, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.146, optim0_lr0=6.124e-05, train_time=1.865 -[gpua007:0/64] 2023-12-20 19:44:05,663 (trainer:737) INFO: 43epoch:train:10201-10300batch: iter_time=7.821e-05, forward_time=0.159, loss_ctc=61.663, loss_att=45.968, acc=0.748, loss=50.676, backward_time=0.313, grad_norm=107.990, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.123e-05, train_time=1.624 -[gpua007:0/64] 2023-12-20 19:47:22,764 (trainer:737) INFO: 43epoch:train:10301-10400batch: iter_time=7.995e-05, forward_time=0.176, loss_ctc=72.995, loss_att=52.225, acc=0.726, loss=58.456, backward_time=0.383, grad_norm=128.722, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.140, optim0_lr0=6.123e-05, train_time=1.971 -[gpua007:0/64] 2023-12-20 19:50:54,544 (trainer:737) INFO: 43epoch:train:10401-10500batch: iter_time=4.435e-04, forward_time=0.283, loss_ctc=66.051, loss_att=48.754, acc=0.740, loss=53.943, backward_time=0.376, grad_norm=95.727, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.146, optim0_lr0=6.122e-05, train_time=2.117 -[gpua007:0/64] 2023-12-20 19:53:30,140 (trainer:737) INFO: 43epoch:train:10501-10600batch: iter_time=6.892e-04, forward_time=0.246, loss_ctc=65.371, loss_att=52.467, acc=0.740, loss=56.338, backward_time=0.342, grad_norm=77.705, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.150, optim0_lr0=6.122e-05, train_time=1.555 -[gpua007:0/64] 2023-12-20 19:56:33,311 (trainer:737) INFO: 43epoch:train:10601-10700batch: iter_time=7.810e-05, forward_time=0.160, loss_ctc=59.102, loss_att=43.939, acc=0.761, loss=48.488, backward_time=0.316, grad_norm=73.752, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.121e-05, train_time=1.832 -[gpua007:0/64] 2023-12-20 19:59:53,029 (trainer:737) INFO: 43epoch:train:10701-10800batch: iter_time=8.040e-05, forward_time=0.257, loss_ctc=56.484, loss_att=43.852, acc=0.745, loss=47.641, backward_time=0.341, grad_norm=75.675, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.156, optim0_lr0=6.121e-05, train_time=1.997 -[gpua007:0/64] 2023-12-20 20:02:35,067 (trainer:737) INFO: 43epoch:train:10801-10900batch: iter_time=4.185e-04, forward_time=0.201, loss_ctc=74.656, loss_att=55.568, acc=0.745, loss=61.295, backward_time=0.358, grad_norm=120.026, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.144, optim0_lr0=6.120e-05, train_time=1.621 -[gpua007:0/64] 2023-12-20 20:05:49,918 (trainer:737) INFO: 43epoch:train:10901-11000batch: iter_time=8.108e-05, forward_time=0.161, loss_ctc=58.557, loss_att=45.582, acc=0.749, loss=49.475, backward_time=0.357, grad_norm=86.059, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.120e-05, train_time=1.947 -[gpua007:0/64] 2023-12-20 20:08:37,857 (trainer:737) INFO: 43epoch:train:11001-11100batch: iter_time=8.349e-05, forward_time=0.256, loss_ctc=66.286, loss_att=53.379, acc=0.741, loss=57.251, backward_time=0.319, grad_norm=73.114, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.147, optim0_lr0=6.120e-05, train_time=1.680 -[gpua007:0/64] 2023-12-20 20:11:31,431 (trainer:737) INFO: 43epoch:train:11101-11200batch: iter_time=8.054e-05, forward_time=0.151, loss_ctc=56.252, loss_att=41.326, acc=0.753, loss=45.804, backward_time=0.351, grad_norm=75.655, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.119e-05, train_time=1.735 -[gpua007:0/64] 2023-12-20 20:12:59,698 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua007:0/64] 2023-12-20 20:13:17,862 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-20 20:13:21,290 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-20 20:13:21,290 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua007:0/64] 2023-12-20 20:13:21,350 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-20 20:19:37,848 (trainer:737) INFO: 43epoch:train:11201-11300batch: iter_time=3.400, forward_time=0.200, loss_ctc=62.503, loss_att=53.067, acc=0.731, loss=55.898, backward_time=0.288, grad_norm=74.432, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.119e-05, train_time=4.864 -[gpua007:0/64] 2023-12-20 20:21:38,677 (trainer:737) INFO: 43epoch:train:11301-11400batch: iter_time=8.236e-05, forward_time=0.149, loss_ctc=67.247, loss_att=57.859, acc=0.729, loss=60.675, backward_time=0.279, grad_norm=86.645, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.118e-05, train_time=1.208 -[gpua007:0/64] 2023-12-20 20:24:16,729 (trainer:737) INFO: 43epoch:train:11401-11500batch: iter_time=8.061e-05, forward_time=0.151, loss_ctc=66.474, loss_att=50.315, acc=0.753, loss=55.162, backward_time=0.299, grad_norm=78.594, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.118e-05, train_time=1.580 -[gpua007:0/64] 2023-12-20 20:27:28,320 (trainer:737) INFO: 43epoch:train:11501-11600batch: iter_time=9.158e-05, forward_time=0.149, loss_ctc=59.247, loss_att=43.243, acc=0.743, loss=48.044, backward_time=0.351, grad_norm=63.047, clip=100.000, loss_scale=2.018e+31, optim_step_time=0.134, optim0_lr0=6.117e-05, train_time=1.915 -[gpua007:0/64] 2023-12-20 20:30:12,222 (trainer:737) INFO: 43epoch:train:11601-11700batch: iter_time=8.770e-05, forward_time=0.157, loss_ctc=76.348, loss_att=56.787, acc=0.726, loss=62.655, backward_time=0.310, grad_norm=83.557, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.117e-05, train_time=1.640 -[gpua007:0/64] 2023-12-20 20:32:47,816 (trainer:737) INFO: 43epoch:train:11701-11800batch: iter_time=8.743e-05, forward_time=0.207, loss_ctc=64.805, loss_att=54.641, acc=0.748, loss=57.690, backward_time=0.398, grad_norm=71.208, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.147, optim0_lr0=6.116e-05, train_time=1.556 -[gpua007:0/64] 2023-12-20 20:35:38,388 (trainer:737) INFO: 43epoch:train:11801-11900batch: iter_time=9.088e-05, forward_time=0.149, loss_ctc=60.060, loss_att=46.968, acc=0.767, loss=50.895, backward_time=0.327, grad_norm=62.239, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.116e-05, train_time=1.706 -[gpua007:0/64] 2023-12-20 20:38:26,172 (trainer:737) INFO: 43epoch:train:11901-12000batch: iter_time=8.644e-05, forward_time=0.152, loss_ctc=59.015, loss_att=43.514, acc=0.764, loss=48.164, backward_time=0.315, grad_norm=64.460, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.115e-05, train_time=1.678 -[gpua007:0/64] 2023-12-20 20:41:14,631 (trainer:737) INFO: 43epoch:train:12001-12100batch: iter_time=9.082e-05, forward_time=0.150, loss_ctc=62.134, loss_att=46.461, acc=0.757, loss=51.163, backward_time=0.345, grad_norm=67.138, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.115e-05, train_time=1.684 -[gpua007:0/64] 2023-12-20 20:45:16,509 (trainer:737) INFO: 43epoch:train:12101-12200batch: iter_time=9.506e-05, forward_time=0.252, loss_ctc=68.865, loss_att=54.989, acc=0.744, loss=59.152, backward_time=0.340, grad_norm=74.036, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.114e-05, train_time=2.419 -[gpua007:0/64] 2023-12-20 20:47:58,796 (trainer:737) INFO: 43epoch:train:12201-12300batch: iter_time=8.501e-05, forward_time=0.176, loss_ctc=59.758, loss_att=49.550, acc=0.748, loss=52.612, backward_time=0.322, grad_norm=61.248, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.114e-05, train_time=1.623 -[gpua007:0/64] 2023-12-20 20:50:04,467 (trainer:737) INFO: 43epoch:train:12301-12400batch: iter_time=8.133e-05, forward_time=0.149, loss_ctc=61.536, loss_att=47.931, acc=0.743, loss=52.013, backward_time=0.282, grad_norm=64.918, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.113e-05, train_time=1.257 -[gpua007:0/64] 2023-12-20 20:53:13,178 (trainer:737) INFO: 43epoch:train:12401-12500batch: iter_time=7.903e-05, forward_time=0.149, loss_ctc=58.016, loss_att=43.770, acc=0.759, loss=48.044, backward_time=0.332, grad_norm=57.800, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.113e-05, train_time=1.887 -[gpua007:0/64] 2023-12-20 20:53:33,206 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua007:0/64] 2023-12-20 20:53:51,463 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-20 20:53:54,882 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-20 20:53:54,882 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua007:0/64] 2023-12-20 20:53:54,902 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-20 21:05:41,363 (trainer:737) INFO: 43epoch:train:12501-12600batch: iter_time=3.341, forward_time=0.215, loss_ctc=70.239, loss_att=61.210, acc=0.725, loss=63.919, backward_time=0.294, grad_norm=78.528, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.112e-05, train_time=7.482 -[gpua007:0/64] 2023-12-20 21:09:13,726 (trainer:737) INFO: 43epoch:train:12601-12700batch: iter_time=8.111e-05, forward_time=0.264, loss_ctc=63.664, loss_att=49.763, acc=0.742, loss=53.933, backward_time=0.396, grad_norm=67.329, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.153, optim0_lr0=6.112e-05, train_time=2.123 -[gpua007:0/64] 2023-12-20 21:11:58,417 (trainer:737) INFO: 43epoch:train:12701-12800batch: iter_time=8.448e-05, forward_time=0.305, loss_ctc=60.931, loss_att=46.258, acc=0.751, loss=50.660, backward_time=0.322, grad_norm=61.544, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.152, optim0_lr0=6.111e-05, train_time=1.646 -[gpua007:0/64] 2023-12-20 21:15:17,294 (trainer:737) INFO: 43epoch:train:12801-12900batch: iter_time=8.866e-05, forward_time=0.253, loss_ctc=72.868, loss_att=52.712, acc=0.739, loss=58.759, backward_time=0.345, grad_norm=72.299, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.142, optim0_lr0=6.111e-05, train_time=1.989 -[gpua007:0/64] 2023-12-20 21:18:18,095 (trainer:737) INFO: 43epoch:train:12901-13000batch: iter_time=8.543e-05, forward_time=0.209, loss_ctc=65.106, loss_att=50.204, acc=0.744, loss=54.675, backward_time=0.373, grad_norm=65.145, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.145, optim0_lr0=6.110e-05, train_time=1.808 -[gpua007:0/64] 2023-12-20 21:21:08,157 (trainer:737) INFO: 43epoch:train:13001-13100batch: iter_time=4.773e-04, forward_time=0.199, loss_ctc=64.939, loss_att=53.391, acc=0.755, loss=56.855, backward_time=0.335, grad_norm=69.691, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.110e-05, train_time=1.700 -[gpua007:0/64] 2023-12-20 21:25:08,829 (trainer:737) INFO: 43epoch:train:13101-13200batch: iter_time=0.001, forward_time=0.269, loss_ctc=58.165, loss_att=43.105, acc=0.772, loss=47.623, backward_time=0.397, grad_norm=56.950, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=6.110e-05, train_time=2.404 -[gpua007:0/64] 2023-12-20 21:27:48,077 (trainer:737) INFO: 43epoch:train:13201-13300batch: iter_time=8.607e-05, forward_time=0.216, loss_ctc=56.324, loss_att=43.653, acc=0.751, loss=47.454, backward_time=0.319, grad_norm=63.363, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.143, optim0_lr0=6.109e-05, train_time=1.594 -[gpua007:0/64] 2023-12-20 21:31:31,488 (trainer:737) INFO: 43epoch:train:13301-13400batch: iter_time=4.878e-04, forward_time=0.214, loss_ctc=74.556, loss_att=56.696, acc=0.750, loss=62.054, backward_time=0.448, grad_norm=70.195, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.143, optim0_lr0=6.109e-05, train_time=2.234 -[gpua007:0/64] 2023-12-20 21:34:32,521 (trainer:737) INFO: 43epoch:train:13401-13500batch: iter_time=7.197e-04, forward_time=0.170, loss_ctc=58.398, loss_att=45.775, acc=0.752, loss=49.562, backward_time=0.340, grad_norm=60.918, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.108e-05, train_time=1.808 -[gpua007:0/64] 2023-12-20 21:38:04,699 (trainer:737) INFO: 43epoch:train:13501-13600batch: iter_time=7.054e-04, forward_time=0.328, loss_ctc=65.447, loss_att=54.352, acc=0.743, loss=57.680, backward_time=0.479, grad_norm=64.653, clip=100.000, loss_scale=4.036e+31, optim_step_time=0.147, optim0_lr0=6.108e-05, train_time=2.121 -[gpua007:0/64] 2023-12-20 21:41:04,929 (trainer:737) INFO: 43epoch:train:13601-13700batch: iter_time=2.614e-04, forward_time=0.177, loss_ctc=55.939, loss_att=41.868, acc=0.758, loss=46.089, backward_time=0.312, grad_norm=63.015, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.107e-05, train_time=1.804 -[gpua007:0/64] 2023-12-20 21:42:37,333 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua007:0/64] 2023-12-20 21:42:55,771 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-20 21:42:59,253 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-20 21:42:59,253 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua007:0/64] 2023-12-20 21:42:59,257 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-20 21:53:41,060 (trainer:737) INFO: 43epoch:train:13701-13800batch: iter_time=3.395, forward_time=0.230, loss_ctc=62.817, loss_att=52.507, acc=0.736, loss=55.600, backward_time=0.347, grad_norm=69.448, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=6.107e-05, train_time=7.559 -[gpua007:0/64] 2023-12-20 21:56:13,732 (trainer:737) INFO: 43epoch:train:13801-13900batch: iter_time=7.640e-05, forward_time=0.151, loss_ctc=66.708, loss_att=55.744, acc=0.736, loss=59.033, backward_time=0.296, grad_norm=73.769, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.106e-05, train_time=1.529 -[gpua007:0/64] 2023-12-20 21:59:30,368 (trainer:737) INFO: 43epoch:train:13901-14000batch: iter_time=7.772e-05, forward_time=0.202, loss_ctc=66.776, loss_att=49.950, acc=0.754, loss=54.998, backward_time=0.350, grad_norm=79.217, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.106e-05, train_time=1.965 -[gpua007:0/64] 2023-12-20 22:01:58,879 (trainer:737) INFO: 43epoch:train:14001-14100batch: iter_time=8.739e-05, forward_time=0.217, loss_ctc=58.689, loss_att=42.881, acc=0.742, loss=47.623, backward_time=0.310, grad_norm=58.886, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.105e-05, train_time=1.485 -[gpua007:0/64] 2023-12-20 22:05:25,339 (trainer:737) INFO: 43epoch:train:14101-14200batch: iter_time=4.813e-04, forward_time=0.178, loss_ctc=76.117, loss_att=55.434, acc=0.731, loss=61.639, backward_time=0.334, grad_norm=77.092, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.105e-05, train_time=2.063 -[gpua007:0/64] 2023-12-20 22:07:55,445 (trainer:737) INFO: 43epoch:train:14201-14300batch: iter_time=8.920e-05, forward_time=0.201, loss_ctc=65.077, loss_att=54.591, acc=0.748, loss=57.737, backward_time=0.318, grad_norm=73.234, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.104e-05, train_time=1.502 -[gpua007:0/64] 2023-12-20 22:11:11,785 (trainer:737) INFO: 43epoch:train:14301-14400batch: iter_time=8.344e-05, forward_time=0.159, loss_ctc=59.409, loss_att=46.792, acc=0.767, loss=50.577, backward_time=0.328, grad_norm=73.979, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.104e-05, train_time=1.963 -[gpua007:0/64] 2023-12-20 22:13:55,177 (trainer:737) INFO: 43epoch:train:14401-14500batch: iter_time=8.494e-05, forward_time=0.246, loss_ctc=59.734, loss_att=43.554, acc=0.765, loss=48.408, backward_time=0.317, grad_norm=65.871, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.141, optim0_lr0=6.103e-05, train_time=1.634 -[gpua007:0/64] 2023-12-20 22:17:14,756 (trainer:737) INFO: 43epoch:train:14501-14600batch: iter_time=8.340e-05, forward_time=0.154, loss_ctc=62.498, loss_att=46.552, acc=0.758, loss=51.336, backward_time=0.352, grad_norm=62.254, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.103e-05, train_time=1.996 -[gpua007:0/64] 2023-12-20 22:20:21,502 (trainer:737) INFO: 43epoch:train:14601-14700batch: iter_time=7.834e-04, forward_time=0.232, loss_ctc=68.341, loss_att=54.203, acc=0.746, loss=58.445, backward_time=0.359, grad_norm=75.270, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.150, optim0_lr0=6.102e-05, train_time=1.867 -[gpua007:0/64] 2023-12-20 22:23:18,527 (trainer:737) INFO: 43epoch:train:14701-14800batch: iter_time=8.095e-05, forward_time=0.166, loss_ctc=59.672, loss_att=50.178, acc=0.746, loss=53.027, backward_time=0.333, grad_norm=71.145, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.102e-05, train_time=1.769 -[gpua007:0/64] 2023-12-20 22:26:40,593 (trainer:737) INFO: 43epoch:train:14801-14900batch: iter_time=4.063e-04, forward_time=0.223, loss_ctc=62.189, loss_att=47.716, acc=0.744, loss=52.058, backward_time=0.342, grad_norm=67.511, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.101e-05, train_time=2.021 -[gpua007:0/64] 2023-12-20 22:29:20,419 (trainer:737) INFO: 43epoch:train:14901-15000batch: iter_time=8.251e-05, forward_time=0.150, loss_ctc=58.176, loss_att=43.916, acc=0.759, loss=48.194, backward_time=0.319, grad_norm=59.103, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.101e-05, train_time=1.598 -[gpua007:0/64] 2023-12-20 22:56:40,016 (trainer:343) INFO: 43epoch results: [train] iter_time=0.259, forward_time=0.180, loss_ctc=64.461, loss_att=49.976, acc=0.742, loss=54.322, backward_time=0.329, grad_norm=87.949, clip=100.000, loss_scale=1.764e+31, optim_step_time=0.137, optim0_lr0=6.137e-05, train_time=2.095, time=8 hours, 44 minutes and 14.47 seconds, total_count=645000, gpu_max_cached_mem_GB=36.506, [valid] loss_ctc=31.668, cer_ctc=0.162, loss_att=30.319, acc=0.761, cer=0.223, wer=0.927, loss=30.724, time=26 minutes and 54.47 seconds, total_count=200853, gpu_max_cached_mem_GB=36.506 -[gpua007:0/64] 2023-12-20 22:56:59,215 (trainer:391) INFO: The best model has been updated: valid.acc, valid.total_count -[gpua007:0/64] 2023-12-20 22:56:59,230 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/35epoch.pth, exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/38epoch.pth -[gpua007:0/64] 2023-12-20 22:56:59,230 (trainer:272) INFO: 44/45epoch started. Estimated time to finish: 18 hours, 13 minutes and 2.97 seconds -[gpua007:0/64] 2023-12-20 22:56:59,241 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua007:0/64] 2023-12-20 22:57:16,580 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-20 22:57:19,861 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-20 22:57:19,861 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua007:0/64] 2023-12-20 22:57:19,864 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-20 23:06:37,511 (trainer:737) INFO: 44epoch:train:1-100batch: iter_time=2.733, forward_time=0.231, loss_ctc=58.637, loss_att=44.610, acc=0.745, loss=48.818, backward_time=0.292, grad_norm=92.012, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.100e-05, train_time=5.782 -[gpua007:0/64] 2023-12-20 23:09:52,275 (trainer:737) INFO: 44epoch:train:101-200batch: iter_time=8.351e-05, forward_time=0.147, loss_ctc=63.763, loss_att=50.987, acc=0.740, loss=54.820, backward_time=0.364, grad_norm=65.900, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.100e-05, train_time=1.948 -[gpua007:0/64] 2023-12-20 23:12:50,336 (trainer:737) INFO: 44epoch:train:201-300batch: iter_time=8.540e-05, forward_time=0.149, loss_ctc=64.310, loss_att=54.444, acc=0.727, loss=57.404, backward_time=0.303, grad_norm=78.402, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.100e-05, train_time=1.780 -[gpua007:0/64] 2023-12-20 23:15:39,379 (trainer:737) INFO: 44epoch:train:301-400batch: iter_time=8.676e-05, forward_time=0.147, loss_ctc=63.389, loss_att=56.648, acc=0.720, loss=58.670, backward_time=0.306, grad_norm=71.317, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.099e-05, train_time=1.690 -[gpua007:0/64] 2023-12-20 23:18:00,229 (trainer:737) INFO: 44epoch:train:401-500batch: iter_time=8.799e-05, forward_time=0.147, loss_ctc=55.657, loss_att=46.548, acc=0.737, loss=49.280, backward_time=0.286, grad_norm=79.508, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.099e-05, train_time=1.408 -[gpua007:0/64] 2023-12-20 23:21:49,082 (trainer:737) INFO: 44epoch:train:501-600batch: iter_time=9.030e-05, forward_time=0.147, loss_ctc=66.940, loss_att=54.369, acc=0.734, loss=58.140, backward_time=0.419, grad_norm=74.189, clip=100.000, loss_scale=8.072e+31, optim_step_time=0.134, optim0_lr0=6.098e-05, train_time=2.288 -[gpua007:0/64] 2023-12-20 23:22:26,268 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua007:0/64] 2023-12-20 23:24:58,656 (trainer:737) INFO: 44epoch:train:601-700batch: iter_time=8.569e-05, forward_time=0.147, loss_ctc=66.172, loss_att=52.122, acc=0.736, loss=56.337, backward_time=0.355, grad_norm=70.153, clip=100.000, loss_scale=4.794e+31, optim_step_time=0.134, optim0_lr0=6.098e-05, train_time=1.896 -[gpua007:0/64] 2023-12-20 23:28:03,967 (trainer:737) INFO: 44epoch:train:701-800batch: iter_time=8.827e-05, forward_time=0.147, loss_ctc=60.660, loss_att=45.456, acc=0.740, loss=50.017, backward_time=0.311, grad_norm=92.540, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.097e-05, train_time=1.853 -[gpua007:0/64] 2023-12-20 23:31:08,285 (trainer:737) INFO: 44epoch:train:801-900batch: iter_time=8.696e-05, forward_time=0.323, loss_ctc=72.846, loss_att=59.969, acc=0.722, loss=63.832, backward_time=0.359, grad_norm=81.441, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.097e-05, train_time=1.842 -[gpua007:0/64] 2023-12-20 23:34:23,388 (trainer:737) INFO: 44epoch:train:901-1000batch: iter_time=8.958e-05, forward_time=0.147, loss_ctc=62.507, loss_att=47.355, acc=0.737, loss=51.900, backward_time=0.343, grad_norm=70.123, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.096e-05, train_time=1.951 -[gpua007:0/64] 2023-12-20 23:36:44,004 (trainer:737) INFO: 44epoch:train:1001-1100batch: iter_time=9.041e-05, forward_time=0.148, loss_ctc=58.398, loss_att=41.653, acc=0.750, loss=46.676, backward_time=0.289, grad_norm=69.522, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.096e-05, train_time=1.406 -[gpua007:0/64] 2023-12-20 23:39:31,784 (trainer:737) INFO: 44epoch:train:1101-1200batch: iter_time=8.671e-05, forward_time=0.147, loss_ctc=60.425, loss_att=50.693, acc=0.716, loss=53.612, backward_time=0.320, grad_norm=73.487, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.095e-05, train_time=1.678 -[gpua007:0/64] 2023-12-20 23:41:19,039 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua007:0/64] 2023-12-20 23:41:37,333 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-20 23:41:41,191 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-20 23:41:41,191 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua007:0/64] 2023-12-20 23:41:41,196 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-20 23:50:18,384 (trainer:737) INFO: 44epoch:train:1201-1300batch: iter_time=2.679, forward_time=0.147, loss_ctc=65.253, loss_att=50.345, acc=0.741, loss=54.818, backward_time=0.318, grad_norm=74.325, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.095e-05, train_time=6.466 -[gpua007:0/64] 2023-12-20 23:56:17,444 (trainer:737) INFO: 44epoch:train:1301-1400batch: iter_time=8.070e-05, forward_time=0.148, loss_ctc=62.704, loss_att=50.412, acc=0.742, loss=54.100, backward_time=0.555, grad_norm=90.989, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.094e-05, train_time=3.590 -[gpua007:0/64] 2023-12-21 00:07:29,707 (trainer:737) INFO: 44epoch:train:1401-1500batch: iter_time=8.366e-05, forward_time=0.149, loss_ctc=59.805, loss_att=46.834, acc=0.738, loss=50.725, backward_time=0.630, grad_norm=74.264, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.094e-05, train_time=6.722 -[gpua007:0/64] 2023-12-21 00:19:05,958 (trainer:737) INFO: 44epoch:train:1501-1600batch: iter_time=9.659e-05, forward_time=0.149, loss_ctc=65.126, loss_att=59.541, acc=0.720, loss=61.216, backward_time=1.135, grad_norm=72.803, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.093e-05, train_time=6.962 -[gpua007:0/64] 2023-12-21 00:30:29,684 (trainer:737) INFO: 44epoch:train:1601-1700batch: iter_time=1.003e-04, forward_time=0.149, loss_ctc=58.493, loss_att=48.783, acc=0.732, loss=51.696, backward_time=1.186, grad_norm=83.911, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.093e-05, train_time=6.837 -[gpua007:0/64] 2023-12-21 00:36:00,409 (trainer:737) INFO: 44epoch:train:1701-1800batch: iter_time=9.945e-05, forward_time=0.261, loss_ctc=62.262, loss_att=51.888, acc=0.742, loss=55.000, backward_time=0.623, grad_norm=93.988, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.092e-05, train_time=3.307 -[gpua007:0/64] 2023-12-21 00:40:05,482 (trainer:737) INFO: 44epoch:train:1801-1900batch: iter_time=9.627e-05, forward_time=0.151, loss_ctc=66.260, loss_att=51.025, acc=0.734, loss=55.595, backward_time=0.423, grad_norm=97.173, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.092e-05, train_time=2.450 -[gpua007:0/64] 2023-12-21 00:44:40,610 (trainer:737) INFO: 44epoch:train:1901-2000batch: iter_time=8.897e-05, forward_time=0.148, loss_ctc=58.072, loss_att=44.919, acc=0.749, loss=48.865, backward_time=0.429, grad_norm=75.072, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.092e-05, train_time=2.752 -[gpua007:0/64] 2023-12-21 00:49:02,638 (trainer:737) INFO: 44epoch:train:2001-2100batch: iter_time=8.672e-05, forward_time=0.147, loss_ctc=64.815, loss_att=50.753, acc=0.737, loss=54.972, backward_time=0.446, grad_norm=77.357, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.091e-05, train_time=2.620 -[gpua007:0/64] 2023-12-21 00:49:46,319 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua007:0/64] 2023-12-21 00:52:55,190 (trainer:737) INFO: 44epoch:train:2101-2200batch: iter_time=8.404e-05, forward_time=0.147, loss_ctc=70.020, loss_att=57.927, acc=0.725, loss=61.555, backward_time=0.379, grad_norm=73.146, clip=100.000, loss_scale=2.356e+31, optim_step_time=0.133, optim0_lr0=6.091e-05, train_time=2.325 -[gpua007:0/64] 2023-12-21 00:56:47,440 (trainer:737) INFO: 44epoch:train:2201-2300batch: iter_time=8.470e-05, forward_time=0.147, loss_ctc=59.394, loss_att=42.879, acc=0.747, loss=47.833, backward_time=0.465, grad_norm=76.702, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.090e-05, train_time=2.322 -[gpua007:0/64] 2023-12-21 01:00:27,798 (trainer:737) INFO: 44epoch:train:2301-2400batch: iter_time=8.378e-05, forward_time=0.147, loss_ctc=59.804, loss_att=46.080, acc=0.728, loss=50.197, backward_time=0.399, grad_norm=68.397, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.090e-05, train_time=2.203 -[gpua007:0/64] 2023-12-21 01:04:06,235 (trainer:737) INFO: 44epoch:train:2401-2500batch: iter_time=8.136e-05, forward_time=0.148, loss_ctc=65.674, loss_att=54.232, acc=0.732, loss=57.665, backward_time=0.415, grad_norm=68.961, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.089e-05, train_time=2.184 -[gpua007:0/64] 2023-12-21 01:04:26,263 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua007:0/64] 2023-12-21 01:04:44,567 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-21 01:04:47,997 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-21 01:04:47,997 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua007:0/64] 2023-12-21 01:04:48,000 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-21 01:20:03,892 (trainer:737) INFO: 44epoch:train:2501-2600batch: iter_time=3.539, forward_time=0.189, loss_ctc=57.095, loss_att=45.445, acc=0.740, loss=48.940, backward_time=0.621, grad_norm=77.270, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.089e-05, train_time=9.576 -[gpua007:0/64] 2023-12-21 01:24:48,866 (trainer:737) INFO: 44epoch:train:2601-2700batch: iter_time=8.357e-05, forward_time=0.147, loss_ctc=62.944, loss_att=49.129, acc=0.744, loss=53.273, backward_time=0.436, grad_norm=66.537, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.088e-05, train_time=2.850 -[gpua007:0/64] 2023-12-21 01:29:49,837 (trainer:737) INFO: 44epoch:train:2701-2800batch: iter_time=9.430e-05, forward_time=0.147, loss_ctc=63.846, loss_att=54.453, acc=0.725, loss=57.271, backward_time=0.367, grad_norm=75.350, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.088e-05, train_time=3.009 -[gpua007:0/64] 2023-12-21 01:34:54,781 (trainer:737) INFO: 44epoch:train:2801-2900batch: iter_time=8.840e-05, forward_time=0.149, loss_ctc=62.756, loss_att=55.103, acc=0.720, loss=57.399, backward_time=0.398, grad_norm=79.622, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.087e-05, train_time=3.049 -[gpua007:0/64] 2023-12-21 01:39:39,337 (trainer:737) INFO: 44epoch:train:2901-3000batch: iter_time=9.519e-05, forward_time=0.147, loss_ctc=54.937, loss_att=46.170, acc=0.737, loss=48.800, backward_time=0.451, grad_norm=81.865, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.087e-05, train_time=2.845 -[gpua007:0/64] 2023-12-21 01:44:56,672 (trainer:737) INFO: 44epoch:train:3001-3100batch: iter_time=8.822e-05, forward_time=0.147, loss_ctc=66.076, loss_att=53.687, acc=0.729, loss=57.404, backward_time=0.538, grad_norm=73.287, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.086e-05, train_time=3.173 -[gpua007:0/64] 2023-12-21 01:47:29,733 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua007:0/64] 2023-12-21 01:51:14,646 (trainer:737) INFO: 44epoch:train:3101-3200batch: iter_time=8.483e-05, forward_time=0.147, loss_ctc=65.288, loss_att=51.196, acc=0.736, loss=55.423, backward_time=0.471, grad_norm=75.602, clip=100.000, loss_scale=1.352e+31, optim_step_time=0.133, optim0_lr0=6.086e-05, train_time=3.780 -[gpua007:0/64] 2023-12-21 01:56:06,415 (trainer:737) INFO: 44epoch:train:3201-3300batch: iter_time=9.449e-05, forward_time=0.147, loss_ctc=59.630, loss_att=44.762, acc=0.737, loss=49.223, backward_time=0.469, grad_norm=76.134, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.085e-05, train_time=2.917 -[gpua007:0/64] 2023-12-21 02:03:21,533 (trainer:737) INFO: 44epoch:train:3301-3400batch: iter_time=9.960e-05, forward_time=0.148, loss_ctc=72.007, loss_att=57.050, acc=0.724, loss=61.537, backward_time=0.679, grad_norm=109.129, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.085e-05, train_time=4.351 -[gpua007:0/64] 2023-12-21 02:10:37,275 (trainer:737) INFO: 44epoch:train:3401-3500batch: iter_time=9.500e-04, forward_time=0.198, loss_ctc=61.337, loss_att=47.192, acc=0.730, loss=51.435, backward_time=0.784, grad_norm=62.270, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.142, optim0_lr0=6.084e-05, train_time=4.357 -[gpua007:0/64] 2023-12-21 02:17:14,611 (trainer:737) INFO: 44epoch:train:3501-3600batch: iter_time=1.041e-04, forward_time=0.167, loss_ctc=57.406, loss_att=41.480, acc=0.745, loss=46.258, backward_time=0.643, grad_norm=81.731, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.084e-05, train_time=3.973 -[gpua007:0/64] 2023-12-21 02:24:39,787 (trainer:737) INFO: 44epoch:train:3601-3700batch: iter_time=1.027e-04, forward_time=0.147, loss_ctc=59.449, loss_att=49.462, acc=0.721, loss=52.458, backward_time=0.791, grad_norm=73.837, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.084e-05, train_time=4.451 -[gpua007:0/64] 2023-12-21 02:28:13,636 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua007:0/64] 2023-12-21 02:28:31,878 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-21 02:28:35,339 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-21 02:28:35,339 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua007:0/64] 2023-12-21 02:28:35,342 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-21 02:38:45,521 (trainer:737) INFO: 44epoch:train:3701-3800batch: iter_time=3.350, forward_time=0.148, loss_ctc=65.453, loss_att=50.132, acc=0.742, loss=54.728, backward_time=0.508, grad_norm=92.184, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.083e-05, train_time=8.457 -[gpua007:0/64] 2023-12-21 02:40:55,560 (trainer:737) INFO: 44epoch:train:3801-3900batch: iter_time=7.528e-05, forward_time=0.148, loss_ctc=62.457, loss_att=51.101, acc=0.743, loss=54.508, backward_time=0.282, grad_norm=68.506, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.083e-05, train_time=1.300 -[gpua007:0/64] 2023-12-21 02:43:30,220 (trainer:737) INFO: 44epoch:train:3901-4000batch: iter_time=7.924e-05, forward_time=0.148, loss_ctc=60.535, loss_att=47.718, acc=0.740, loss=51.563, backward_time=0.305, grad_norm=60.626, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.082e-05, train_time=1.546 -[gpua007:0/64] 2023-12-21 02:46:16,136 (trainer:737) INFO: 44epoch:train:4001-4100batch: iter_time=8.793e-05, forward_time=0.148, loss_ctc=64.827, loss_att=59.406, acc=0.724, loss=61.032, backward_time=0.305, grad_norm=70.776, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.082e-05, train_time=1.659 -[gpua007:0/64] 2023-12-21 02:49:10,985 (trainer:737) INFO: 44epoch:train:4101-4200batch: iter_time=8.533e-05, forward_time=0.148, loss_ctc=57.726, loss_att=48.394, acc=0.735, loss=51.194, backward_time=0.366, grad_norm=75.676, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.081e-05, train_time=1.748 -[gpua007:0/64] 2023-12-21 02:51:53,831 (trainer:737) INFO: 44epoch:train:4201-4300batch: iter_time=8.789e-05, forward_time=0.147, loss_ctc=62.167, loss_att=51.436, acc=0.745, loss=54.655, backward_time=0.339, grad_norm=82.058, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.081e-05, train_time=1.628 -[gpua007:0/64] 2023-12-21 02:54:14,975 (trainer:737) INFO: 44epoch:train:4301-4400batch: iter_time=8.959e-05, forward_time=0.147, loss_ctc=65.546, loss_att=50.572, acc=0.737, loss=55.064, backward_time=0.289, grad_norm=116.595, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.080e-05, train_time=1.411 -[gpua007:0/64] 2023-12-21 02:56:50,093 (trainer:737) INFO: 44epoch:train:4401-4500batch: iter_time=8.224e-05, forward_time=0.167, loss_ctc=57.412, loss_att=44.408, acc=0.752, loss=48.309, backward_time=0.291, grad_norm=92.906, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.080e-05, train_time=1.551 -[gpua007:0/64] 2023-12-21 03:00:18,617 (trainer:737) INFO: 44epoch:train:4501-4600batch: iter_time=8.612e-05, forward_time=0.276, loss_ctc=65.098, loss_att=50.582, acc=0.740, loss=54.937, backward_time=0.395, grad_norm=70.193, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.138, optim0_lr0=6.079e-05, train_time=2.085 -[gpua007:0/64] 2023-12-21 03:03:13,220 (trainer:737) INFO: 44epoch:train:4601-4700batch: iter_time=9.208e-05, forward_time=0.149, loss_ctc=69.077, loss_att=57.371, acc=0.727, loss=60.883, backward_time=0.300, grad_norm=85.159, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.079e-05, train_time=1.746 -[gpua007:0/64] 2023-12-21 03:06:02,918 (trainer:737) INFO: 44epoch:train:4701-4800batch: iter_time=8.754e-05, forward_time=0.148, loss_ctc=58.941, loss_att=42.914, acc=0.749, loss=47.722, backward_time=0.296, grad_norm=75.306, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.078e-05, train_time=1.697 -[gpua007:0/64] 2023-12-21 03:08:15,556 (trainer:737) INFO: 44epoch:train:4801-4900batch: iter_time=8.253e-05, forward_time=0.147, loss_ctc=59.471, loss_att=45.408, acc=0.732, loss=49.627, backward_time=0.295, grad_norm=87.145, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.078e-05, train_time=1.326 -[gpua007:0/64] 2023-12-21 03:10:58,138 (trainer:737) INFO: 44epoch:train:4901-5000batch: iter_time=8.336e-05, forward_time=0.147, loss_ctc=65.410, loss_att=53.724, acc=0.734, loss=57.230, backward_time=0.304, grad_norm=93.386, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.077e-05, train_time=1.626 -[gpua007:0/64] 2023-12-21 03:11:18,167 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua007:0/64] 2023-12-21 03:11:36,563 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-21 03:11:40,033 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-21 03:11:40,034 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua007:0/64] 2023-12-21 03:11:40,046 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-21 03:22:44,180 (trainer:737) INFO: 44epoch:train:5001-5100batch: iter_time=3.506, forward_time=0.147, loss_ctc=56.753, loss_att=44.478, acc=0.745, loss=48.160, backward_time=0.639, grad_norm=78.687, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.077e-05, train_time=7.060 -[gpua007:0/64] 2023-12-21 03:26:49,881 (trainer:737) INFO: 44epoch:train:5101-5200batch: iter_time=8.816e-05, forward_time=0.147, loss_ctc=63.105, loss_att=48.626, acc=0.746, loss=52.970, backward_time=0.455, grad_norm=60.271, clip=100.000, loss_scale=1.683e+31, optim_step_time=0.133, optim0_lr0=6.077e-05, train_time=2.457 -[gpua007:0/64] 2023-12-21 03:31:44,721 (trainer:737) INFO: 44epoch:train:5201-5300batch: iter_time=9.724e-05, forward_time=0.147, loss_ctc=62.934, loss_att=53.089, acc=0.731, loss=56.043, backward_time=0.486, grad_norm=72.656, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.076e-05, train_time=2.948 -[gpua007:0/64] 2023-12-21 03:34:04,698 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua007:0/64] 2023-12-21 03:40:33,675 (trainer:737) INFO: 44epoch:train:5301-5400batch: iter_time=1.021e-04, forward_time=0.147, loss_ctc=62.221, loss_att=54.087, acc=0.725, loss=56.527, backward_time=1.035, grad_norm=84.944, clip=100.000, loss_scale=1.260e+31, optim_step_time=0.133, optim0_lr0=6.076e-05, train_time=5.289 -[gpua007:0/64] 2023-12-21 03:49:48,911 (trainer:737) INFO: 44epoch:train:5401-5500batch: iter_time=9.650e-05, forward_time=0.153, loss_ctc=54.462, loss_att=45.188, acc=0.743, loss=47.970, backward_time=1.168, grad_norm=70.554, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.075e-05, train_time=5.552 -[gpua007:0/64] 2023-12-21 03:59:40,149 (trainer:737) INFO: 44epoch:train:5501-5600batch: iter_time=9.946e-05, forward_time=0.228, loss_ctc=66.039, loss_att=53.774, acc=0.731, loss=57.454, backward_time=0.871, grad_norm=104.395, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.139, optim0_lr0=6.075e-05, train_time=5.912 -[gpua007:0/64] 2023-12-21 04:07:11,833 (trainer:737) INFO: 44epoch:train:5601-5700batch: iter_time=1.002e-04, forward_time=0.149, loss_ctc=64.988, loss_att=51.036, acc=0.737, loss=55.221, backward_time=0.703, grad_norm=82.791, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.074e-05, train_time=4.517 -[gpua007:0/64] 2023-12-21 04:12:25,516 (trainer:737) INFO: 44epoch:train:5701-5800batch: iter_time=9.156e-05, forward_time=0.148, loss_ctc=59.578, loss_att=44.511, acc=0.737, loss=49.031, backward_time=0.629, grad_norm=103.312, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.074e-05, train_time=3.137 -[gpua007:0/64] 2023-12-21 04:16:00,300 (trainer:737) INFO: 44epoch:train:5801-5900batch: iter_time=8.812e-05, forward_time=0.148, loss_ctc=70.876, loss_att=57.230, acc=0.724, loss=61.324, backward_time=0.411, grad_norm=75.170, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.073e-05, train_time=2.148 -[gpua007:0/64] 2023-12-21 04:19:19,661 (trainer:737) INFO: 44epoch:train:5901-6000batch: iter_time=8.994e-05, forward_time=0.149, loss_ctc=61.163, loss_att=47.127, acc=0.732, loss=51.338, backward_time=0.371, grad_norm=74.656, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.073e-05, train_time=1.993 -[gpua007:0/64] 2023-12-21 04:22:08,580 (trainer:737) INFO: 44epoch:train:6001-6100batch: iter_time=8.368e-05, forward_time=0.148, loss_ctc=57.405, loss_att=41.549, acc=0.746, loss=46.306, backward_time=0.356, grad_norm=62.218, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.072e-05, train_time=1.689 -[gpua007:0/64] 2023-12-21 04:25:56,873 (trainer:737) INFO: 44epoch:train:6101-6200batch: iter_time=8.908e-05, forward_time=0.148, loss_ctc=58.941, loss_att=48.698, acc=0.726, loss=51.771, backward_time=0.472, grad_norm=72.455, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.072e-05, train_time=2.283 -[gpua007:0/64] 2023-12-21 04:27:54,673 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua007:0/64] 2023-12-21 04:28:13,195 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-21 04:28:16,780 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-21 04:28:16,780 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua007:0/64] 2023-12-21 04:28:16,783 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-21 04:38:46,423 (trainer:737) INFO: 44epoch:train:6201-6300batch: iter_time=3.448, forward_time=0.203, loss_ctc=64.625, loss_att=49.578, acc=0.741, loss=54.092, backward_time=0.310, grad_norm=63.882, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.071e-05, train_time=7.695 -[gpua007:0/64] 2023-12-21 04:40:49,815 (trainer:737) INFO: 44epoch:train:6301-6400batch: iter_time=7.626e-05, forward_time=0.148, loss_ctc=61.929, loss_att=48.360, acc=0.744, loss=52.430, backward_time=0.279, grad_norm=67.946, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.071e-05, train_time=1.234 -[gpua007:0/64] 2023-12-21 04:43:40,673 (trainer:737) INFO: 44epoch:train:6401-6500batch: iter_time=8.591e-05, forward_time=0.146, loss_ctc=59.635, loss_att=46.105, acc=0.741, loss=50.164, backward_time=0.304, grad_norm=58.837, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.070e-05, train_time=1.708 -[gpua007:0/64] 2023-12-21 04:46:20,128 (trainer:737) INFO: 44epoch:train:6501-6600batch: iter_time=9.915e-05, forward_time=0.147, loss_ctc=64.174, loss_att=56.948, acc=0.722, loss=59.116, backward_time=0.294, grad_norm=79.939, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.070e-05, train_time=1.594 -[gpua007:0/64] 2023-12-21 04:48:29,378 (trainer:737) INFO: 44epoch:train:6601-6700batch: iter_time=8.209e-05, forward_time=0.147, loss_ctc=57.467, loss_att=47.700, acc=0.734, loss=50.630, backward_time=0.278, grad_norm=71.244, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.070e-05, train_time=1.292 -[gpua007:0/64] 2023-12-21 04:51:06,202 (trainer:737) INFO: 44epoch:train:6701-6800batch: iter_time=8.264e-05, forward_time=0.149, loss_ctc=61.318, loss_att=50.840, acc=0.744, loss=53.983, backward_time=0.319, grad_norm=72.369, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.069e-05, train_time=1.568 -[gpua007:0/64] 2023-12-21 04:54:08,747 (trainer:737) INFO: 44epoch:train:6801-6900batch: iter_time=8.846e-05, forward_time=0.147, loss_ctc=64.838, loss_att=50.704, acc=0.733, loss=54.944, backward_time=0.375, grad_norm=75.132, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.069e-05, train_time=1.825 -[gpua007:0/64] 2023-12-21 04:57:22,868 (trainer:737) INFO: 44epoch:train:6901-7000batch: iter_time=8.915e-05, forward_time=0.147, loss_ctc=57.142, loss_att=43.765, acc=0.745, loss=47.778, backward_time=0.330, grad_norm=88.247, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.068e-05, train_time=1.941 -[gpua007:0/64] 2023-12-21 05:00:04,503 (trainer:737) INFO: 44epoch:train:7001-7100batch: iter_time=8.800e-05, forward_time=0.147, loss_ctc=63.891, loss_att=48.889, acc=0.736, loss=53.390, backward_time=0.347, grad_norm=75.643, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.068e-05, train_time=1.616 -[gpua007:0/64] 2023-12-21 05:03:03,300 (trainer:737) INFO: 44epoch:train:7101-7200batch: iter_time=9.242e-05, forward_time=0.209, loss_ctc=68.561, loss_att=55.315, acc=0.723, loss=59.289, backward_time=0.417, grad_norm=82.551, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.142, optim0_lr0=6.067e-05, train_time=1.787 -[gpua007:0/64] 2023-12-21 05:05:51,942 (trainer:737) INFO: 44epoch:train:7201-7300batch: iter_time=9.565e-05, forward_time=0.147, loss_ctc=58.657, loss_att=43.344, acc=0.739, loss=47.938, backward_time=0.328, grad_norm=61.102, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.067e-05, train_time=1.687 -[gpua007:0/64] 2023-12-21 05:08:14,232 (trainer:737) INFO: 44epoch:train:7301-7400batch: iter_time=9.399e-05, forward_time=0.149, loss_ctc=58.621, loss_att=44.537, acc=0.734, loss=48.762, backward_time=0.302, grad_norm=85.253, clip=100.000, loss_scale=1.775e+31, optim_step_time=0.134, optim0_lr0=6.066e-05, train_time=1.423 -[gpua007:0/64] 2023-12-21 05:10:57,410 (trainer:737) INFO: 44epoch:train:7401-7500batch: iter_time=8.567e-05, forward_time=0.147, loss_ctc=65.225, loss_att=53.392, acc=0.727, loss=56.941, backward_time=0.372, grad_norm=69.795, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.066e-05, train_time=1.632 -[gpua007:0/64] 2023-12-21 05:11:17,439 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua007:0/64] 2023-12-21 05:11:35,790 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-21 05:11:39,293 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-21 05:11:39,294 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua007:0/64] 2023-12-21 05:11:39,297 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-21 05:19:03,995 (trainer:737) INFO: 44epoch:train:7501-7600batch: iter_time=3.440, forward_time=0.149, loss_ctc=56.944, loss_att=43.589, acc=0.746, loss=47.595, backward_time=0.287, grad_norm=76.107, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.065e-05, train_time=4.866 -[gpua007:0/64] 2023-12-21 05:21:22,258 (trainer:737) INFO: 44epoch:train:7601-7700batch: iter_time=8.266e-05, forward_time=0.148, loss_ctc=62.993, loss_att=47.898, acc=0.748, loss=52.426, backward_time=0.280, grad_norm=69.985, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.065e-05, train_time=1.383 -[gpua007:0/64] 2023-12-21 05:24:17,124 (trainer:737) INFO: 44epoch:train:7701-7800batch: iter_time=9.410e-05, forward_time=0.148, loss_ctc=63.132, loss_att=52.550, acc=0.730, loss=55.725, backward_time=0.312, grad_norm=82.655, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.064e-05, train_time=1.748 -[gpua007:0/64] 2023-12-21 05:27:07,654 (trainer:737) INFO: 44epoch:train:7801-7900batch: iter_time=8.598e-05, forward_time=0.148, loss_ctc=62.091, loss_att=54.120, acc=0.726, loss=56.512, backward_time=0.310, grad_norm=79.754, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.064e-05, train_time=1.705 -[gpua007:0/64] 2023-12-21 05:29:43,437 (trainer:737) INFO: 44epoch:train:7901-8000batch: iter_time=8.386e-05, forward_time=0.148, loss_ctc=54.870, loss_att=45.948, acc=0.739, loss=48.625, backward_time=0.303, grad_norm=94.568, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.063e-05, train_time=1.558 -[gpua007:0/64] 2023-12-21 05:33:05,407 (trainer:737) INFO: 44epoch:train:8001-8100batch: iter_time=8.717e-05, forward_time=0.255, loss_ctc=65.220, loss_att=53.026, acc=0.732, loss=56.684, backward_time=0.446, grad_norm=172.966, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=6.063e-05, train_time=2.019 -[gpua007:0/64] 2023-12-21 05:35:17,002 (trainer:737) INFO: 44epoch:train:8101-8200batch: iter_time=8.465e-05, forward_time=0.148, loss_ctc=64.985, loss_att=50.486, acc=0.739, loss=54.836, backward_time=0.286, grad_norm=83.039, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.063e-05, train_time=1.316 -[gpua007:0/64] 2023-12-21 05:38:11,091 (trainer:737) INFO: 44epoch:train:8201-8300batch: iter_time=8.601e-05, forward_time=0.147, loss_ctc=58.998, loss_att=43.945, acc=0.742, loss=48.461, backward_time=0.293, grad_norm=83.670, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.062e-05, train_time=1.741 -[gpua007:0/64] 2023-12-21 05:41:07,894 (trainer:737) INFO: 44epoch:train:8301-8400batch: iter_time=8.314e-05, forward_time=0.147, loss_ctc=70.277, loss_att=56.223, acc=0.726, loss=60.439, backward_time=0.313, grad_norm=142.091, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.062e-05, train_time=1.768 -[gpua007:0/64] 2023-12-21 05:43:17,765 (trainer:737) INFO: 44epoch:train:8401-8500batch: iter_time=8.207e-05, forward_time=0.148, loss_ctc=61.019, loss_att=46.544, acc=0.734, loss=50.886, backward_time=0.278, grad_norm=81.584, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.061e-05, train_time=1.298 -[gpua007:0/64] 2023-12-21 05:45:47,042 (trainer:737) INFO: 44epoch:train:8501-8600batch: iter_time=7.835e-05, forward_time=0.148, loss_ctc=57.251, loss_att=41.130, acc=0.749, loss=45.966, backward_time=0.295, grad_norm=92.169, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.061e-05, train_time=1.493 -[gpua007:0/64] 2023-12-21 05:48:43,890 (trainer:737) INFO: 44epoch:train:8601-8700batch: iter_time=8.264e-05, forward_time=0.148, loss_ctc=58.808, loss_att=49.007, acc=0.725, loss=51.947, backward_time=0.323, grad_norm=85.503, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.060e-05, train_time=1.768 -[gpua007:0/64] 2023-12-21 05:50:17,801 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua007:0/64] 2023-12-21 05:50:36,916 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-21 05:50:40,519 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-21 05:50:40,519 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua007:0/64] 2023-12-21 05:50:40,523 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-21 05:56:35,286 (trainer:737) INFO: 44epoch:train:8701-8800batch: iter_time=3.144, forward_time=0.196, loss_ctc=64.893, loss_att=49.661, acc=0.741, loss=54.230, backward_time=0.298, grad_norm=91.430, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.060e-05, train_time=4.714 -[gpua007:0/64] 2023-12-21 05:58:48,355 (trainer:737) INFO: 44epoch:train:8801-8900batch: iter_time=7.737e-05, forward_time=0.147, loss_ctc=61.368, loss_att=47.755, acc=0.746, loss=51.839, backward_time=0.288, grad_norm=75.283, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.059e-05, train_time=1.331 -[gpua007:0/64] 2023-12-21 06:00:55,581 (trainer:737) INFO: 44epoch:train:8901-9000batch: iter_time=8.546e-05, forward_time=0.148, loss_ctc=59.522, loss_att=45.901, acc=0.742, loss=49.987, backward_time=0.278, grad_norm=68.693, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.059e-05, train_time=1.272 -[gpua007:0/64] 2023-12-21 06:03:28,827 (trainer:737) INFO: 44epoch:train:9001-9100batch: iter_time=8.793e-05, forward_time=0.147, loss_ctc=64.771, loss_att=57.256, acc=0.721, loss=59.510, backward_time=0.311, grad_norm=73.482, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.058e-05, train_time=1.532 -[gpua007:0/64] 2023-12-21 06:05:24,840 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua007:0/64] 2023-12-21 06:05:47,657 (trainer:737) INFO: 44epoch:train:9101-9200batch: iter_time=8.419e-05, forward_time=0.147, loss_ctc=57.423, loss_att=47.972, acc=0.732, loss=50.807, backward_time=0.303, grad_norm=72.137, clip=100.000, loss_scale=1.834e+31, optim_step_time=0.133, optim0_lr0=6.058e-05, train_time=1.388 -[gpua007:0/64] 2023-12-21 06:08:31,586 (trainer:737) INFO: 44epoch:train:9201-9300batch: iter_time=8.726e-05, forward_time=0.147, loss_ctc=60.894, loss_att=50.297, acc=0.746, loss=53.476, backward_time=0.308, grad_norm=77.975, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.057e-05, train_time=1.639 -[gpua007:0/64] 2023-12-21 06:11:40,282 (trainer:737) INFO: 44epoch:train:9301-9400batch: iter_time=8.637e-05, forward_time=0.147, loss_ctc=64.561, loss_att=50.023, acc=0.734, loss=54.384, backward_time=0.357, grad_norm=78.020, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.057e-05, train_time=1.887 -[gpua007:0/64] 2023-12-21 06:14:25,212 (trainer:737) INFO: 44epoch:train:9401-9500batch: iter_time=9.147e-05, forward_time=0.147, loss_ctc=57.271, loss_att=43.445, acc=0.748, loss=47.592, backward_time=0.301, grad_norm=115.655, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.057e-05, train_time=1.649 -[gpua007:0/64] 2023-12-21 06:17:07,842 (trainer:737) INFO: 44epoch:train:9501-9600batch: iter_time=8.696e-05, forward_time=0.148, loss_ctc=64.259, loss_att=48.605, acc=0.738, loss=53.301, backward_time=0.301, grad_norm=72.098, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.056e-05, train_time=1.626 -[gpua007:0/64] 2023-12-21 06:19:41,613 (trainer:737) INFO: 44epoch:train:9601-9700batch: iter_time=8.435e-05, forward_time=0.179, loss_ctc=68.404, loss_att=55.636, acc=0.722, loss=59.466, backward_time=0.310, grad_norm=89.920, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.056e-05, train_time=1.537 -[gpua007:0/64] 2023-12-21 06:22:18,836 (trainer:737) INFO: 44epoch:train:9701-9800batch: iter_time=7.820e-05, forward_time=0.242, loss_ctc=58.609, loss_att=42.868, acc=0.743, loss=47.590, backward_time=0.312, grad_norm=71.153, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.055e-05, train_time=1.572 -[gpua007:0/64] 2023-12-21 06:24:52,621 (trainer:737) INFO: 44epoch:train:9801-9900batch: iter_time=7.947e-05, forward_time=0.148, loss_ctc=58.712, loss_att=44.285, acc=0.737, loss=48.613, backward_time=0.288, grad_norm=67.857, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.055e-05, train_time=1.538 -[gpua007:0/64] 2023-12-21 06:27:28,411 (trainer:737) INFO: 44epoch:train:9901-10000batch: iter_time=8.217e-05, forward_time=0.147, loss_ctc=64.789, loss_att=53.113, acc=0.728, loss=56.616, backward_time=0.361, grad_norm=69.450, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.054e-05, train_time=1.558 -[gpua007:0/64] 2023-12-21 06:27:48,440 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua007:0/64] 2023-12-21 06:28:06,906 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-21 06:28:10,435 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-21 06:28:10,435 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua007:0/64] 2023-12-21 06:28:10,441 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-21 06:35:14,084 (trainer:737) INFO: 44epoch:train:10001-10100batch: iter_time=3.246, forward_time=0.149, loss_ctc=56.462, loss_att=44.312, acc=0.757, loss=47.957, backward_time=0.285, grad_norm=65.084, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.054e-05, train_time=4.656 -[gpua007:0/64] 2023-12-21 06:37:38,316 (trainer:737) INFO: 44epoch:train:10101-10200batch: iter_time=8.825e-05, forward_time=0.149, loss_ctc=62.651, loss_att=50.389, acc=0.748, loss=54.067, backward_time=0.340, grad_norm=67.159, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.053e-05, train_time=1.442 -[gpua007:0/64] 2023-12-21 06:40:04,173 (trainer:737) INFO: 44epoch:train:10201-10300batch: iter_time=2.079e-04, forward_time=0.162, loss_ctc=62.717, loss_att=54.108, acc=0.736, loss=56.690, backward_time=0.303, grad_norm=63.588, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.053e-05, train_time=1.458 -[gpua007:0/64] 2023-12-21 06:44:15,565 (trainer:737) INFO: 44epoch:train:10301-10400batch: iter_time=0.005, forward_time=0.213, loss_ctc=62.101, loss_att=56.618, acc=0.726, loss=58.263, backward_time=0.384, grad_norm=62.825, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.052e-05, train_time=2.513 -[gpua007:0/64] 2023-12-21 06:47:03,837 (trainer:737) INFO: 44epoch:train:10401-10500batch: iter_time=9.110e-05, forward_time=0.148, loss_ctc=53.873, loss_att=45.318, acc=0.748, loss=47.885, backward_time=0.299, grad_norm=74.762, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.052e-05, train_time=1.683 -[gpua007:0/64] 2023-12-21 06:49:42,512 (trainer:737) INFO: 44epoch:train:10501-10600batch: iter_time=8.406e-05, forward_time=0.148, loss_ctc=65.663, loss_att=53.102, acc=0.743, loss=56.870, backward_time=0.296, grad_norm=73.603, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.051e-05, train_time=1.587 -[gpua007:0/64] 2023-12-21 06:52:56,033 (trainer:737) INFO: 44epoch:train:10601-10700batch: iter_time=8.382e-05, forward_time=0.148, loss_ctc=64.721, loss_att=50.950, acc=0.747, loss=55.081, backward_time=0.338, grad_norm=85.923, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.051e-05, train_time=1.935 -[gpua007:0/64] 2023-12-21 06:55:26,154 (trainer:737) INFO: 44epoch:train:10701-10800batch: iter_time=8.214e-05, forward_time=0.148, loss_ctc=58.864, loss_att=44.505, acc=0.749, loss=48.813, backward_time=0.295, grad_norm=141.215, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.051e-05, train_time=1.501 -[gpua007:0/64] 2023-12-21 06:58:21,605 (trainer:737) INFO: 44epoch:train:10801-10900batch: iter_time=8.709e-05, forward_time=0.147, loss_ctc=70.017, loss_att=58.778, acc=0.732, loss=62.150, backward_time=0.288, grad_norm=93.164, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.050e-05, train_time=1.754 -[gpua007:0/64] 2023-12-21 07:01:04,034 (trainer:737) INFO: 44epoch:train:10901-11000batch: iter_time=2.063e-04, forward_time=0.170, loss_ctc=60.922, loss_att=47.171, acc=0.742, loss=51.297, backward_time=0.361, grad_norm=67.859, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.050e-05, train_time=1.624 -[gpua007:0/64] 2023-12-21 07:04:13,421 (trainer:737) INFO: 44epoch:train:11001-11100batch: iter_time=8.564e-05, forward_time=0.204, loss_ctc=56.964, loss_att=41.329, acc=0.756, loss=46.019, backward_time=0.324, grad_norm=72.421, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.142, optim0_lr0=6.049e-05, train_time=1.894 -[gpua007:0/64] 2023-12-21 07:06:57,491 (trainer:737) INFO: 44epoch:train:11101-11200batch: iter_time=8.628e-05, forward_time=0.148, loss_ctc=58.181, loss_att=48.594, acc=0.729, loss=51.470, backward_time=0.305, grad_norm=84.937, clip=100.000, loss_scale=1.207e+31, optim_step_time=0.133, optim0_lr0=6.049e-05, train_time=1.641 -[gpua007:0/64] 2023-12-21 07:08:41,062 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua007:0/64] 2023-12-21 07:08:59,726 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-21 07:09:03,261 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-21 07:09:03,261 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua007:0/64] 2023-12-21 07:09:03,265 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-21 07:19:13,708 (trainer:737) INFO: 44epoch:train:11201-11300batch: iter_time=3.327, forward_time=0.152, loss_ctc=64.951, loss_att=50.133, acc=0.746, loss=54.579, backward_time=0.292, grad_norm=72.832, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.048e-05, train_time=7.362 -[gpua007:0/64] 2023-12-21 07:21:30,166 (trainer:737) INFO: 44epoch:train:11301-11400batch: iter_time=7.784e-05, forward_time=0.149, loss_ctc=61.384, loss_att=48.817, acc=0.745, loss=52.587, backward_time=0.285, grad_norm=67.621, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.048e-05, train_time=1.365 -[gpua007:0/64] 2023-12-21 07:24:07,493 (trainer:737) INFO: 44epoch:train:11401-11500batch: iter_time=0.003, forward_time=0.190, loss_ctc=59.392, loss_att=46.000, acc=0.744, loss=50.017, backward_time=0.317, grad_norm=63.374, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.047e-05, train_time=1.573 -[gpua007:0/64] 2023-12-21 07:27:38,221 (trainer:737) INFO: 44epoch:train:11501-11600batch: iter_time=8.396e-05, forward_time=0.250, loss_ctc=63.811, loss_att=57.162, acc=0.723, loss=59.157, backward_time=0.381, grad_norm=78.475, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.144, optim0_lr0=6.047e-05, train_time=2.107 -[gpua007:0/64] 2023-12-21 07:29:44,057 (trainer:737) INFO: 44epoch:train:11601-11700batch: iter_time=8.055e-05, forward_time=0.148, loss_ctc=57.406, loss_att=47.267, acc=0.735, loss=50.309, backward_time=0.284, grad_norm=67.152, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.046e-05, train_time=1.258 -[gpua007:0/64] 2023-12-21 07:32:40,604 (trainer:737) INFO: 44epoch:train:11701-11800batch: iter_time=8.388e-05, forward_time=0.150, loss_ctc=60.617, loss_att=50.647, acc=0.746, loss=53.638, backward_time=0.336, grad_norm=77.136, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.046e-05, train_time=1.765 -[gpua007:0/64] 2023-12-21 07:36:02,100 (trainer:737) INFO: 44epoch:train:11801-11900batch: iter_time=9.136e-05, forward_time=0.148, loss_ctc=64.678, loss_att=50.497, acc=0.734, loss=54.751, backward_time=0.345, grad_norm=74.575, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.045e-05, train_time=2.015 -[gpua007:0/64] 2023-12-21 07:39:15,165 (trainer:737) INFO: 44epoch:train:11901-12000batch: iter_time=9.209e-05, forward_time=0.169, loss_ctc=57.307, loss_att=43.712, acc=0.747, loss=47.791, backward_time=0.350, grad_norm=71.775, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.045e-05, train_time=1.930 -[gpua007:0/64] 2023-12-21 07:42:02,623 (trainer:737) INFO: 44epoch:train:12001-12100batch: iter_time=0.002, forward_time=0.189, loss_ctc=64.086, loss_att=48.833, acc=0.737, loss=53.409, backward_time=0.331, grad_norm=75.829, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.045e-05, train_time=1.674 -[gpua007:0/64] 2023-12-21 07:44:27,239 (trainer:737) INFO: 44epoch:train:12101-12200batch: iter_time=8.551e-05, forward_time=0.251, loss_ctc=68.625, loss_att=55.896, acc=0.724, loss=59.715, backward_time=0.293, grad_norm=76.394, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.044e-05, train_time=1.446 -[gpua007:0/64] 2023-12-21 07:47:45,862 (trainer:737) INFO: 44epoch:train:12201-12300batch: iter_time=8.235e-05, forward_time=0.147, loss_ctc=58.533, loss_att=43.188, acc=0.741, loss=47.791, backward_time=0.397, grad_norm=92.660, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.044e-05, train_time=1.986 -[gpua007:0/64] 2023-12-21 07:51:10,096 (trainer:737) INFO: 44epoch:train:12301-12400batch: iter_time=8.539e-05, forward_time=0.156, loss_ctc=58.907, loss_att=44.444, acc=0.737, loss=48.783, backward_time=0.349, grad_norm=76.209, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.043e-05, train_time=2.042 -[gpua007:0/64] 2023-12-21 07:53:36,504 (trainer:737) INFO: 44epoch:train:12401-12500batch: iter_time=8.373e-05, forward_time=0.147, loss_ctc=64.142, loss_att=52.454, acc=0.732, loss=55.961, backward_time=0.283, grad_norm=66.637, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.043e-05, train_time=1.464 -[gpua007:0/64] 2023-12-21 07:53:56,533 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua007:0/64] 2023-12-21 07:54:15,239 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-21 07:54:18,681 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-21 07:54:18,681 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua007:0/64] 2023-12-21 07:54:18,685 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-21 08:06:22,832 (trainer:737) INFO: 44epoch:train:12501-12600batch: iter_time=3.441, forward_time=0.214, loss_ctc=56.167, loss_att=43.473, acc=0.760, loss=47.281, backward_time=0.288, grad_norm=67.774, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.042e-05, train_time=7.663 -[gpua007:0/64] 2023-12-21 08:09:19,203 (trainer:737) INFO: 44epoch:train:12601-12700batch: iter_time=8.068e-05, forward_time=0.148, loss_ctc=62.436, loss_att=49.696, acc=0.750, loss=53.518, backward_time=0.317, grad_norm=73.565, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.042e-05, train_time=1.764 -[gpua007:0/64] 2023-12-21 08:12:23,835 (trainer:737) INFO: 44epoch:train:12701-12800batch: iter_time=8.389e-05, forward_time=0.165, loss_ctc=62.429, loss_att=53.618, acc=0.739, loss=56.261, backward_time=0.312, grad_norm=70.325, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.041e-05, train_time=1.846 -[gpua007:0/64] 2023-12-21 08:14:28,033 (trainer:737) INFO: 44epoch:train:12801-12900batch: iter_time=8.392e-05, forward_time=0.148, loss_ctc=62.000, loss_att=56.655, acc=0.727, loss=58.258, backward_time=0.280, grad_norm=80.281, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.041e-05, train_time=1.242 -[gpua007:0/64] 2023-12-21 08:17:25,016 (trainer:737) INFO: 44epoch:train:12901-13000batch: iter_time=8.463e-05, forward_time=0.166, loss_ctc=53.969, loss_att=45.429, acc=0.748, loss=47.991, backward_time=0.284, grad_norm=76.248, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.040e-05, train_time=1.770 -[gpua007:0/64] 2023-12-21 08:21:15,534 (trainer:737) INFO: 44epoch:train:13001-13100batch: iter_time=8.960e-05, forward_time=0.274, loss_ctc=65.082, loss_att=52.842, acc=0.743, loss=56.514, backward_time=0.359, grad_norm=81.263, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.040e-05, train_time=2.305 -[gpua007:0/64] 2023-12-21 08:24:11,905 (trainer:737) INFO: 44epoch:train:13101-13200batch: iter_time=8.560e-05, forward_time=0.147, loss_ctc=64.526, loss_att=50.507, acc=0.747, loss=54.713, backward_time=0.314, grad_norm=70.058, clip=100.000, loss_scale=2.414e+31, optim_step_time=0.133, optim0_lr0=6.039e-05, train_time=1.764 -[gpua007:0/64] 2023-12-21 08:26:15,090 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua007:0/64] 2023-12-21 08:26:48,307 (trainer:737) INFO: 44epoch:train:13201-13300batch: iter_time=8.536e-05, forward_time=0.155, loss_ctc=59.299, loss_att=44.687, acc=0.749, loss=49.071, backward_time=0.322, grad_norm=72.023, clip=100.000, loss_scale=3.708e+31, optim_step_time=0.133, optim0_lr0=6.039e-05, train_time=1.564 -[gpua007:0/64] 2023-12-21 08:29:24,773 (trainer:737) INFO: 44epoch:train:13301-13400batch: iter_time=8.687e-05, forward_time=0.155, loss_ctc=70.389, loss_att=58.301, acc=0.734, loss=61.928, backward_time=0.309, grad_norm=75.430, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.039e-05, train_time=1.564 -[gpua007:0/64] 2023-12-21 08:32:45,527 (trainer:737) INFO: 44epoch:train:13401-13500batch: iter_time=8.712e-05, forward_time=0.148, loss_ctc=60.522, loss_att=46.743, acc=0.743, loss=50.877, backward_time=0.366, grad_norm=63.041, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.038e-05, train_time=2.007 -[gpua007:0/64] 2023-12-21 08:35:21,309 (trainer:737) INFO: 44epoch:train:13501-13600batch: iter_time=8.612e-05, forward_time=0.148, loss_ctc=56.423, loss_att=40.850, acc=0.758, loss=45.522, backward_time=0.298, grad_norm=71.289, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.038e-05, train_time=1.558 -[gpua007:0/64] 2023-12-21 08:38:37,950 (trainer:737) INFO: 44epoch:train:13601-13700batch: iter_time=8.317e-05, forward_time=0.148, loss_ctc=58.101, loss_att=48.508, acc=0.731, loss=51.386, backward_time=0.314, grad_norm=74.347, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.037e-05, train_time=1.966 -[gpua007:0/64] 2023-12-21 08:40:35,257 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua007:0/64] 2023-12-21 08:40:53,893 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-21 08:40:57,419 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-21 08:40:57,420 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua007:0/64] 2023-12-21 08:40:57,430 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-21 08:46:34,244 (trainer:737) INFO: 44epoch:train:13701-13800batch: iter_time=2.896, forward_time=0.291, loss_ctc=64.558, loss_att=48.952, acc=0.753, loss=53.634, backward_time=0.327, grad_norm=77.522, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.142, optim0_lr0=6.037e-05, train_time=4.762 -[gpua007:0/64] 2023-12-21 08:48:34,506 (trainer:737) INFO: 44epoch:train:13801-13900batch: iter_time=7.723e-05, forward_time=0.149, loss_ctc=61.331, loss_att=49.239, acc=0.751, loss=52.867, backward_time=0.281, grad_norm=66.703, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.036e-05, train_time=1.203 -[gpua007:0/64] 2023-12-21 08:50:47,500 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua007:0/64] 2023-12-21 08:51:18,702 (trainer:737) INFO: 44epoch:train:13901-14000batch: iter_time=8.090e-05, forward_time=0.148, loss_ctc=59.173, loss_att=46.822, acc=0.745, loss=50.527, backward_time=0.351, grad_norm=62.085, clip=100.000, loss_scale=1.885e+31, optim_step_time=0.134, optim0_lr0=6.036e-05, train_time=1.642 -[gpua007:0/64] 2023-12-21 08:54:16,373 (trainer:737) INFO: 44epoch:train:14001-14100batch: iter_time=8.647e-05, forward_time=0.148, loss_ctc=64.304, loss_att=58.688, acc=0.727, loss=60.372, backward_time=0.311, grad_norm=69.322, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.035e-05, train_time=1.776 -[gpua007:0/64] 2023-12-21 08:57:04,882 (trainer:737) INFO: 44epoch:train:14101-14200batch: iter_time=8.509e-05, forward_time=0.213, loss_ctc=56.958, loss_att=48.562, acc=0.737, loss=51.081, backward_time=0.357, grad_norm=70.332, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.035e-05, train_time=1.685 -[gpua007:0/64] 2023-12-21 09:00:17,554 (trainer:737) INFO: 44epoch:train:14201-14300batch: iter_time=8.259e-05, forward_time=0.150, loss_ctc=60.959, loss_att=50.086, acc=0.752, loss=53.348, backward_time=0.349, grad_norm=67.595, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.034e-05, train_time=1.927 -[gpua007:0/64] 2023-12-21 09:03:40,306 (trainer:737) INFO: 44epoch:train:14301-14400batch: iter_time=8.143e-05, forward_time=0.147, loss_ctc=64.305, loss_att=50.350, acc=0.742, loss=54.537, backward_time=0.357, grad_norm=71.511, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.034e-05, train_time=2.027 -[gpua007:0/64] 2023-12-21 09:06:57,309 (trainer:737) INFO: 44epoch:train:14401-14500batch: iter_time=8.158e-05, forward_time=0.147, loss_ctc=57.039, loss_att=43.805, acc=0.756, loss=47.775, backward_time=0.411, grad_norm=94.729, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.034e-05, train_time=1.970 -[gpua007:0/64] 2023-12-21 09:09:10,537 (trainer:737) INFO: 44epoch:train:14501-14600batch: iter_time=8.485e-05, forward_time=0.157, loss_ctc=64.084, loss_att=49.635, acc=0.746, loss=53.970, backward_time=0.284, grad_norm=67.425, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.033e-05, train_time=1.332 -[gpua007:0/64] 2023-12-21 09:12:16,850 (trainer:737) INFO: 44epoch:train:14601-14700batch: iter_time=8.680e-05, forward_time=0.285, loss_ctc=67.891, loss_att=56.823, acc=0.731, loss=60.144, backward_time=0.378, grad_norm=66.728, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.148, optim0_lr0=6.033e-05, train_time=1.863 -[gpua007:0/64] 2023-12-21 09:15:05,571 (trainer:737) INFO: 44epoch:train:14701-14800batch: iter_time=8.978e-05, forward_time=0.149, loss_ctc=58.304, loss_att=42.849, acc=0.749, loss=47.486, backward_time=0.339, grad_norm=70.390, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.032e-05, train_time=1.687 -[gpua007:0/64] 2023-12-21 09:18:19,434 (trainer:737) INFO: 44epoch:train:14801-14900batch: iter_time=8.628e-05, forward_time=0.148, loss_ctc=58.606, loss_att=45.026, acc=0.737, loss=49.100, backward_time=0.328, grad_norm=75.101, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.032e-05, train_time=1.938 - -gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error - -gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active - -gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active -[gpua007:0/64] 2023-12-21 09:21:38,854 (trainer:737) INFO: 44epoch:train:14901-15000batch: iter_time=9.113e-05, forward_time=0.147, loss_ctc=63.971, loss_att=52.289, acc=0.741, loss=55.794, backward_time=0.395, grad_norm=82.231, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.031e-05, train_time=1.994 -[gpua007:0/64] 2023-12-21 09:48:59,510 (trainer:343) INFO: 44epoch results: [train] iter_time=0.258, forward_time=0.162, loss_ctc=61.898, loss_att=49.517, acc=0.738, loss=53.231, backward_time=0.388, grad_norm=78.274, clip=100.000, loss_scale=1.885e+31, optim_step_time=0.134, optim0_lr0=6.066e-05, train_time=2.498, time=10 hours, 25 minutes and 4.02 seconds, total_count=660000, gpu_max_cached_mem_GB=38.758, [valid] loss_ctc=31.779, cer_ctc=0.162, loss_att=30.270, acc=0.750, cer=0.283, wer=0.954, loss=30.723, time=26 minutes and 55.97 seconds, total_count=205524, gpu_max_cached_mem_GB=38.758 -[gpua007:0/64] 2023-12-21 09:49:19,072 (trainer:391) INFO: The best model has been updated: valid.total_count -[gpua007:0/64] 2023-12-21 09:49:19,320 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/39epoch.pth -[gpua007:0/64] 2023-12-21 09:49:19,320 (trainer:272) INFO: 45/45epoch started. Estimated time to finish: 9 hours, 41 minutes and 47.69 seconds -[gpua007:0/64] 2023-12-21 09:49:19,331 (multiple_iter_factory:32) INFO: Building 0th iter-factory... -[gpua007:0/64] 2023-12-21 09:49:36,552 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-21 09:49:39,840 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-21 09:49:39,841 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, -[gpua007:0/64] 2023-12-21 09:49:39,844 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-21 09:58:54,986 (trainer:737) INFO: 45epoch:train:1-100batch: iter_time=2.610, forward_time=0.211, loss_ctc=63.674, loss_att=52.878, acc=0.733, loss=56.117, backward_time=0.288, grad_norm=71.580, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.031e-05, train_time=5.756 -[gpua007:0/64] 2023-12-21 10:01:34,928 (trainer:737) INFO: 45epoch:train:101-200batch: iter_time=8.587e-05, forward_time=0.147, loss_ctc=59.922, loss_att=44.364, acc=0.749, loss=49.031, backward_time=0.290, grad_norm=68.764, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.030e-05, train_time=1.600 -[gpua007:0/64] 2023-12-21 10:03:50,204 (trainer:737) INFO: 45epoch:train:201-300batch: iter_time=2.065e-04, forward_time=0.153, loss_ctc=67.584, loss_att=51.223, acc=0.736, loss=56.131, backward_time=0.293, grad_norm=67.170, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.030e-05, train_time=1.353 -[gpua007:0/64] 2023-12-21 10:07:11,193 (trainer:737) INFO: 45epoch:train:301-400batch: iter_time=8.871e-05, forward_time=0.180, loss_ctc=51.223, loss_att=38.436, acc=0.754, loss=42.272, backward_time=0.381, grad_norm=64.386, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.029e-05, train_time=2.010 -[gpua007:0/64] 2023-12-21 10:10:11,402 (trainer:737) INFO: 45epoch:train:401-500batch: iter_time=1.008e-04, forward_time=0.248, loss_ctc=68.410, loss_att=53.584, acc=0.760, loss=58.032, backward_time=0.334, grad_norm=70.211, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.029e-05, train_time=1.802 -[gpua007:0/64] 2023-12-21 10:12:50,687 (trainer:737) INFO: 45epoch:train:501-600batch: iter_time=8.863e-05, forward_time=0.153, loss_ctc=79.500, loss_att=56.835, acc=0.739, loss=63.634, backward_time=0.297, grad_norm=72.988, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.138, optim0_lr0=6.029e-05, train_time=1.593 -[gpua007:0/64] 2023-12-21 10:15:31,459 (trainer:737) INFO: 45epoch:train:601-700batch: iter_time=9.172e-05, forward_time=0.168, loss_ctc=71.638, loss_att=52.757, acc=0.743, loss=58.421, backward_time=0.339, grad_norm=72.951, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.140, optim0_lr0=6.028e-05, train_time=1.607 -[gpua007:0/64] 2023-12-21 10:17:59,961 (trainer:737) INFO: 45epoch:train:701-800batch: iter_time=4.993e-04, forward_time=0.150, loss_ctc=69.272, loss_att=48.048, acc=0.742, loss=54.415, backward_time=0.296, grad_norm=71.449, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.028e-05, train_time=1.485 -[gpua007:0/64] 2023-12-21 10:20:25,691 (trainer:737) INFO: 45epoch:train:801-900batch: iter_time=9.299e-05, forward_time=0.228, loss_ctc=61.612, loss_att=48.001, acc=0.740, loss=52.084, backward_time=0.318, grad_norm=74.240, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.139, optim0_lr0=6.027e-05, train_time=1.456 -[gpua007:0/64] 2023-12-21 10:23:26,759 (trainer:737) INFO: 45epoch:train:901-1000batch: iter_time=3.206e-04, forward_time=0.165, loss_ctc=62.268, loss_att=51.558, acc=0.746, loss=54.771, backward_time=0.325, grad_norm=65.971, clip=100.000, loss_scale=1.156e+31, optim_step_time=0.135, optim0_lr0=6.027e-05, train_time=1.811 -[gpua007:0/64] 2023-12-21 10:26:09,305 (trainer:737) INFO: 45epoch:train:1001-1100batch: iter_time=8.701e-05, forward_time=0.147, loss_ctc=56.446, loss_att=47.606, acc=0.739, loss=50.258, backward_time=0.327, grad_norm=61.724, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.026e-05, train_time=1.625 -[gpua007:0/64] 2023-12-21 10:28:54,179 (trainer:737) INFO: 45epoch:train:1101-1200batch: iter_time=2.973e-04, forward_time=0.266, loss_ctc=69.277, loss_att=52.125, acc=0.724, loss=57.271, backward_time=0.326, grad_norm=93.337, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=6.026e-05, train_time=1.647 -[gpua007:0/64] 2023-12-21 10:30:19,990 (multiple_iter_factory:32) INFO: Building 1th iter-factory... -[gpua007:0/64] 2023-12-21 10:30:38,782 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-21 10:30:42,209 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-21 10:30:42,209 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, -[gpua007:0/64] 2023-12-21 10:30:42,214 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-21 10:36:06,808 (trainer:737) INFO: 45epoch:train:1201-1300batch: iter_time=2.809, forward_time=0.150, loss_ctc=61.206, loss_att=52.906, acc=0.732, loss=55.396, backward_time=0.282, grad_norm=73.204, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.025e-05, train_time=4.327 -[gpua007:0/64] 2023-12-21 10:38:10,380 (trainer:737) INFO: 45epoch:train:1301-1400batch: iter_time=7.783e-05, forward_time=0.148, loss_ctc=60.868, loss_att=48.578, acc=0.732, loss=52.265, backward_time=0.279, grad_norm=64.827, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.025e-05, train_time=1.235 -[gpua007:0/64] 2023-12-21 10:40:33,579 (trainer:737) INFO: 45epoch:train:1401-1500batch: iter_time=7.911e-05, forward_time=0.147, loss_ctc=64.212, loss_att=46.610, acc=0.744, loss=51.891, backward_time=0.293, grad_norm=71.491, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.024e-05, train_time=1.432 -[gpua007:0/64] 2023-12-21 10:42:59,307 (trainer:737) INFO: 45epoch:train:1501-1600batch: iter_time=8.161e-05, forward_time=0.179, loss_ctc=60.104, loss_att=44.287, acc=0.744, loss=49.032, backward_time=0.322, grad_norm=67.955, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=6.024e-05, train_time=1.457 -[gpua007:0/64] 2023-12-21 10:45:38,153 (trainer:737) INFO: 45epoch:train:1601-1700batch: iter_time=8.499e-05, forward_time=0.218, loss_ctc=58.133, loss_att=45.167, acc=0.752, loss=49.057, backward_time=0.323, grad_norm=63.406, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.147, optim0_lr0=6.023e-05, train_time=1.587 -[gpua007:0/64] 2023-12-21 10:48:27,420 (trainer:737) INFO: 45epoch:train:1701-1800batch: iter_time=8.748e-05, forward_time=0.147, loss_ctc=66.903, loss_att=54.107, acc=0.748, loss=57.946, backward_time=0.299, grad_norm=63.239, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.023e-05, train_time=1.694 -[gpua007:0/64] 2023-12-21 10:51:06,124 (trainer:737) INFO: 45epoch:train:1801-1900batch: iter_time=8.615e-05, forward_time=0.149, loss_ctc=77.828, loss_att=53.866, acc=0.736, loss=61.054, backward_time=0.296, grad_norm=78.453, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.023e-05, train_time=1.587 -[gpua007:0/64] 2023-12-21 10:54:28,003 (trainer:737) INFO: 45epoch:train:1901-2000batch: iter_time=8.763e-05, forward_time=0.147, loss_ctc=80.355, loss_att=54.138, acc=0.738, loss=62.003, backward_time=0.342, grad_norm=87.864, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.022e-05, train_time=2.019 -[gpua007:0/64] 2023-12-21 10:56:44,374 (trainer:737) INFO: 45epoch:train:2001-2100batch: iter_time=9.095e-05, forward_time=0.154, loss_ctc=62.640, loss_att=49.310, acc=0.721, loss=53.309, backward_time=0.296, grad_norm=72.900, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.022e-05, train_time=1.363 -[gpua007:0/64] 2023-12-21 10:59:37,498 (trainer:737) INFO: 45epoch:train:2101-2200batch: iter_time=3.484e-04, forward_time=0.263, loss_ctc=56.770, loss_att=44.309, acc=0.749, loss=48.047, backward_time=0.353, grad_norm=60.646, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=6.021e-05, train_time=1.730 -[gpua007:0/64] 2023-12-21 11:01:57,876 (trainer:737) INFO: 45epoch:train:2201-2300batch: iter_time=8.721e-05, forward_time=0.147, loss_ctc=59.529, loss_att=53.836, acc=0.729, loss=55.544, backward_time=0.281, grad_norm=64.963, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.021e-05, train_time=1.402 -[gpua007:0/64] 2023-12-21 11:04:48,811 (trainer:737) INFO: 45epoch:train:2301-2400batch: iter_time=8.871e-05, forward_time=0.147, loss_ctc=61.443, loss_att=46.329, acc=0.747, loss=50.863, backward_time=0.311, grad_norm=63.456, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.020e-05, train_time=1.711 -[gpua007:0/64] 2023-12-21 11:07:29,165 (trainer:737) INFO: 45epoch:train:2401-2500batch: iter_time=8.522e-05, forward_time=0.147, loss_ctc=65.120, loss_att=50.992, acc=0.722, loss=55.231, backward_time=0.347, grad_norm=83.913, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.020e-05, train_time=1.603 -[gpua007:0/64] 2023-12-21 11:07:49,192 (multiple_iter_factory:32) INFO: Building 2th iter-factory... -[gpua007:0/64] 2023-12-21 11:08:07,541 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-21 11:08:10,981 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-21 11:08:10,982 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, -[gpua007:0/64] 2023-12-21 11:08:10,987 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-21 11:14:40,463 (trainer:737) INFO: 45epoch:train:2501-2600batch: iter_time=2.861, forward_time=0.160, loss_ctc=62.596, loss_att=52.685, acc=0.741, loss=55.658, backward_time=0.282, grad_norm=64.713, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.019e-05, train_time=4.313 -[gpua007:0/64] 2023-12-21 11:17:07,608 (trainer:737) INFO: 45epoch:train:2601-2700batch: iter_time=7.931e-05, forward_time=0.149, loss_ctc=57.714, loss_att=43.844, acc=0.756, loss=48.005, backward_time=0.291, grad_norm=67.891, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.019e-05, train_time=1.471 -[gpua007:0/64] 2023-12-21 11:19:35,055 (trainer:737) INFO: 45epoch:train:2701-2800batch: iter_time=8.191e-05, forward_time=0.178, loss_ctc=66.760, loss_att=50.248, acc=0.744, loss=55.202, backward_time=0.303, grad_norm=63.773, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.018e-05, train_time=1.474 -[gpua007:0/64] 2023-12-21 11:22:57,163 (trainer:737) INFO: 45epoch:train:2801-2900batch: iter_time=3.953e-04, forward_time=0.216, loss_ctc=51.107, loss_att=37.783, acc=0.761, loss=41.780, backward_time=0.398, grad_norm=60.891, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.018e-05, train_time=2.021 -[gpua007:0/64] 2023-12-21 11:25:14,616 (trainer:737) INFO: 45epoch:train:2901-3000batch: iter_time=8.506e-05, forward_time=0.149, loss_ctc=67.794, loss_att=52.928, acc=0.766, loss=57.388, backward_time=0.284, grad_norm=66.883, clip=100.000, loss_scale=2.312e+31, optim_step_time=0.133, optim0_lr0=6.018e-05, train_time=1.374 -[gpua007:0/64] 2023-12-21 11:27:37,639 (trainer:737) INFO: 45epoch:train:3001-3100batch: iter_time=8.313e-05, forward_time=0.148, loss_ctc=77.150, loss_att=55.565, acc=0.742, loss=62.040, backward_time=0.294, grad_norm=73.797, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.017e-05, train_time=1.430 -[gpua007:0/64] 2023-12-21 11:30:12,947 (trainer:737) INFO: 45epoch:train:3101-3200batch: iter_time=8.457e-05, forward_time=0.155, loss_ctc=70.359, loss_att=52.171, acc=0.746, loss=57.628, backward_time=0.314, grad_norm=64.962, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.017e-05, train_time=1.553 -[gpua007:0/64] 2023-12-21 11:33:14,328 (trainer:737) INFO: 45epoch:train:3201-3300batch: iter_time=8.933e-05, forward_time=0.148, loss_ctc=68.842, loss_att=47.861, acc=0.745, loss=54.155, backward_time=0.352, grad_norm=83.284, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.016e-05, train_time=1.814 -[gpua007:0/64] 2023-12-21 11:35:43,439 (trainer:737) INFO: 45epoch:train:3301-3400batch: iter_time=9.623e-05, forward_time=0.147, loss_ctc=60.010, loss_att=48.086, acc=0.740, loss=51.663, backward_time=0.285, grad_norm=64.536, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.016e-05, train_time=1.491 -[gpua007:0/64] 2023-12-21 11:38:12,158 (trainer:737) INFO: 45epoch:train:3401-3500batch: iter_time=8.807e-05, forward_time=0.179, loss_ctc=61.278, loss_att=50.652, acc=0.752, loss=53.839, backward_time=0.293, grad_norm=63.574, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.015e-05, train_time=1.487 -[gpua007:0/64] 2023-12-21 11:40:57,899 (trainer:737) INFO: 45epoch:train:3501-3600batch: iter_time=6.318e-04, forward_time=0.224, loss_ctc=56.590, loss_att=48.190, acc=0.739, loss=50.710, backward_time=0.337, grad_norm=70.097, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.015e-05, train_time=1.657 -[gpua007:0/64] 2023-12-21 11:43:38,364 (trainer:737) INFO: 45epoch:train:3601-3700batch: iter_time=9.093e-05, forward_time=0.148, loss_ctc=68.602, loss_att=50.884, acc=0.729, loss=56.199, backward_time=0.287, grad_norm=85.135, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.014e-05, train_time=1.604 -[gpua007:0/64] 2023-12-21 11:45:35,678 (multiple_iter_factory:32) INFO: Building 3th iter-factory... -[gpua007:0/64] 2023-12-21 11:45:54,312 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-21 11:45:57,788 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-21 11:45:57,788 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, -[gpua007:0/64] 2023-12-21 11:45:57,817 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-21 11:51:52,991 (trainer:737) INFO: 45epoch:train:3701-3800batch: iter_time=3.085, forward_time=0.165, loss_ctc=59.868, loss_att=51.133, acc=0.742, loss=53.754, backward_time=0.338, grad_norm=72.715, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.014e-05, train_time=4.947 -[gpua007:0/64] 2023-12-21 11:54:10,220 (trainer:737) INFO: 45epoch:train:3801-3900batch: iter_time=7.422e-05, forward_time=0.147, loss_ctc=61.110, loss_att=47.878, acc=0.736, loss=51.847, backward_time=0.295, grad_norm=62.428, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.014e-05, train_time=1.372 -[gpua007:0/64] 2023-12-21 11:56:21,169 (trainer:737) INFO: 45epoch:train:3901-4000batch: iter_time=7.684e-05, forward_time=0.149, loss_ctc=62.939, loss_att=45.776, acc=0.750, loss=50.925, backward_time=0.286, grad_norm=78.851, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.013e-05, train_time=1.309 -[gpua007:0/64] 2023-12-21 11:58:55,820 (trainer:737) INFO: 45epoch:train:4001-4100batch: iter_time=8.171e-05, forward_time=0.147, loss_ctc=59.503, loss_att=43.807, acc=0.748, loss=48.516, backward_time=0.286, grad_norm=65.321, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.013e-05, train_time=1.546 -[gpua007:0/64] 2023-12-21 12:01:49,592 (trainer:737) INFO: 45epoch:train:4101-4200batch: iter_time=0.003, forward_time=0.255, loss_ctc=58.123, loss_att=45.056, acc=0.756, loss=48.976, backward_time=0.361, grad_norm=79.948, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.012e-05, train_time=1.737 -[gpua007:0/64] 2023-12-21 12:04:54,636 (trainer:737) INFO: 45epoch:train:4201-4300batch: iter_time=9.150e-05, forward_time=0.147, loss_ctc=66.285, loss_att=53.710, acc=0.753, loss=57.483, backward_time=0.407, grad_norm=66.488, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.012e-05, train_time=1.850 -[gpua007:0/64] 2023-12-21 12:07:51,371 (trainer:737) INFO: 45epoch:train:4301-4400batch: iter_time=8.693e-05, forward_time=0.148, loss_ctc=76.508, loss_att=53.557, acc=0.737, loss=60.442, backward_time=0.315, grad_norm=90.679, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.011e-05, train_time=1.767 -[gpua007:0/64] 2023-12-21 12:10:55,922 (trainer:737) INFO: 45epoch:train:4401-4500batch: iter_time=8.855e-05, forward_time=0.182, loss_ctc=79.914, loss_att=53.962, acc=0.739, loss=61.747, backward_time=0.358, grad_norm=87.105, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.011e-05, train_time=1.844 -[gpua007:0/64] 2023-12-21 12:13:33,909 (trainer:737) INFO: 45epoch:train:4501-4600batch: iter_time=8.410e-05, forward_time=0.170, loss_ctc=61.625, loss_att=48.890, acc=0.724, loss=52.710, backward_time=0.310, grad_norm=69.046, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.010e-05, train_time=1.581 -[gpua007:0/64] 2023-12-21 12:15:59,184 (trainer:737) INFO: 45epoch:train:4601-4700batch: iter_time=8.332e-05, forward_time=0.147, loss_ctc=56.661, loss_att=44.017, acc=0.753, loss=47.810, backward_time=0.302, grad_norm=78.699, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.010e-05, train_time=1.453 -[gpua007:0/64] 2023-12-21 12:18:38,793 (trainer:737) INFO: 45epoch:train:4701-4800batch: iter_time=8.559e-05, forward_time=0.147, loss_ctc=59.293, loss_att=53.230, acc=0.733, loss=55.049, backward_time=0.325, grad_norm=64.802, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.009e-05, train_time=1.596 -[gpua007:0/64] 2023-12-21 12:21:36,530 (trainer:737) INFO: 45epoch:train:4801-4900batch: iter_time=8.616e-05, forward_time=0.161, loss_ctc=60.589, loss_att=45.481, acc=0.750, loss=50.013, backward_time=0.320, grad_norm=61.908, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.009e-05, train_time=1.777 -[gpua007:0/64] 2023-12-21 12:24:47,833 (trainer:737) INFO: 45epoch:train:4901-5000batch: iter_time=8.447e-05, forward_time=0.230, loss_ctc=64.262, loss_att=50.019, acc=0.725, loss=54.292, backward_time=0.328, grad_norm=84.061, clip=100.000, loss_scale=4.624e+31, optim_step_time=0.136, optim0_lr0=6.009e-05, train_time=1.913 -[gpua007:0/64] 2023-12-21 12:25:07,861 (multiple_iter_factory:32) INFO: Building 4th iter-factory... -[gpua007:0/64] 2023-12-21 12:25:26,563 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-21 12:25:30,319 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-21 12:25:30,319 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, -[gpua007:0/64] 2023-12-21 12:25:30,322 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-21 12:32:27,539 (trainer:737) INFO: 45epoch:train:5001-5100batch: iter_time=3.245, forward_time=0.162, loss_ctc=62.443, loss_att=50.178, acc=0.738, loss=53.858, backward_time=0.280, grad_norm=64.111, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.008e-05, train_time=4.596 -[gpua007:0/64] 2023-12-21 12:34:37,088 (trainer:737) INFO: 45epoch:train:5101-5200batch: iter_time=8.821e-05, forward_time=0.147, loss_ctc=57.267, loss_att=43.172, acc=0.752, loss=47.400, backward_time=0.286, grad_norm=61.677, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.008e-05, train_time=1.296 -[gpua007:0/64] 2023-12-21 12:37:10,710 (trainer:737) INFO: 45epoch:train:5201-5300batch: iter_time=8.505e-05, forward_time=0.147, loss_ctc=66.188, loss_att=50.267, acc=0.734, loss=55.044, backward_time=0.285, grad_norm=64.823, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.007e-05, train_time=1.536 -[gpua007:0/64] 2023-12-21 12:39:26,846 (trainer:737) INFO: 45epoch:train:5301-5400batch: iter_time=9.176e-05, forward_time=0.147, loss_ctc=50.631, loss_att=36.923, acc=0.765, loss=41.035, backward_time=0.282, grad_norm=59.541, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.007e-05, train_time=1.361 -[gpua007:0/64] 2023-12-21 12:41:57,295 (trainer:737) INFO: 45epoch:train:5401-5500batch: iter_time=8.475e-05, forward_time=0.148, loss_ctc=66.757, loss_att=51.968, acc=0.760, loss=56.405, backward_time=0.310, grad_norm=76.414, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.006e-05, train_time=1.504 -[gpua007:0/64] 2023-12-21 12:45:22,817 (trainer:737) INFO: 45epoch:train:5501-5600batch: iter_time=9.121e-05, forward_time=0.253, loss_ctc=76.356, loss_att=55.073, acc=0.740, loss=61.458, backward_time=0.400, grad_norm=85.280, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=6.006e-05, train_time=2.055 -[gpua007:0/64] 2023-12-21 12:48:25,130 (trainer:737) INFO: 45epoch:train:5601-5700batch: iter_time=9.065e-05, forward_time=0.158, loss_ctc=70.202, loss_att=52.148, acc=0.743, loss=57.564, backward_time=0.341, grad_norm=72.998, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=6.005e-05, train_time=1.820 -[gpua007:0/64] 2023-12-21 12:50:57,304 (trainer:737) INFO: 45epoch:train:5701-5800batch: iter_time=8.979e-05, forward_time=0.147, loss_ctc=68.445, loss_att=47.751, acc=0.742, loss=53.959, backward_time=0.279, grad_norm=71.116, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=6.005e-05, train_time=1.524 -[gpua007:0/64] 2023-12-21 12:53:24,551 (trainer:737) INFO: 45epoch:train:5801-5900batch: iter_time=8.925e-05, forward_time=0.147, loss_ctc=58.983, loss_att=46.408, acc=0.737, loss=50.180, backward_time=0.302, grad_norm=68.563, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=6.004e-05, train_time=1.472 -[gpua007:0/64] 2023-12-21 12:55:55,636 (trainer:737) INFO: 45epoch:train:5901-6000batch: iter_time=9.252e-05, forward_time=0.146, loss_ctc=61.255, loss_att=50.361, acc=0.746, loss=53.629, backward_time=0.304, grad_norm=61.359, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=6.004e-05, train_time=1.511 -[gpua007:0/64] 2023-12-21 12:58:21,420 (trainer:737) INFO: 45epoch:train:6001-6100batch: iter_time=9.253e-05, forward_time=0.146, loss_ctc=56.103, loss_att=46.765, acc=0.739, loss=49.567, backward_time=0.284, grad_norm=60.548, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=6.004e-05, train_time=1.458 -[gpua007:0/64] 2023-12-21 13:01:10,991 (trainer:737) INFO: 45epoch:train:6101-6200batch: iter_time=9.258e-05, forward_time=0.223, loss_ctc=67.403, loss_att=51.112, acc=0.724, loss=55.999, backward_time=0.372, grad_norm=73.185, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=6.003e-05, train_time=1.694 -[gpua007:0/64] 2023-12-21 13:02:48,031 (multiple_iter_factory:32) INFO: Building 5th iter-factory... -[gpua007:0/64] 2023-12-21 13:03:06,346 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-21 13:03:10,162 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-21 13:03:10,162 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, -[gpua007:0/64] 2023-12-21 13:03:10,165 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-21 13:09:03,327 (trainer:737) INFO: 45epoch:train:6201-6300batch: iter_time=3.208, forward_time=0.150, loss_ctc=59.234, loss_att=50.361, acc=0.747, loss=53.023, backward_time=0.289, grad_norm=66.202, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.003e-05, train_time=4.724 -[gpua007:0/64] 2023-12-21 13:11:09,053 (trainer:737) INFO: 45epoch:train:6301-6400batch: iter_time=8.260e-05, forward_time=0.149, loss_ctc=60.574, loss_att=49.356, acc=0.746, loss=52.721, backward_time=0.282, grad_norm=62.897, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.002e-05, train_time=1.257 -[gpua007:0/64] 2023-12-21 13:13:33,183 (trainer:737) INFO: 45epoch:train:6401-6500batch: iter_time=8.016e-05, forward_time=0.148, loss_ctc=63.303, loss_att=45.484, acc=0.759, loss=50.830, backward_time=0.309, grad_norm=66.855, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.002e-05, train_time=1.441 -[gpua007:0/64] 2023-12-21 13:15:41,512 (trainer:737) INFO: 45epoch:train:6501-6600batch: iter_time=7.922e-05, forward_time=0.147, loss_ctc=58.989, loss_att=43.483, acc=0.758, loss=48.135, backward_time=0.281, grad_norm=59.398, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.001e-05, train_time=1.283 -[gpua007:0/64] 2023-12-21 13:18:12,916 (trainer:737) INFO: 45epoch:train:6601-6700batch: iter_time=7.940e-05, forward_time=0.147, loss_ctc=57.668, loss_att=45.466, acc=0.757, loss=49.126, backward_time=0.295, grad_norm=61.704, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.001e-05, train_time=1.514 -[gpua007:0/64] 2023-12-21 13:21:38,446 (trainer:737) INFO: 45epoch:train:6701-6800batch: iter_time=8.244e-05, forward_time=0.233, loss_ctc=65.569, loss_att=53.755, acc=0.763, loss=57.299, backward_time=0.436, grad_norm=71.129, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.142, optim0_lr0=6.000e-05, train_time=2.055 -[gpua007:0/64] 2023-12-21 13:24:05,656 (trainer:737) INFO: 45epoch:train:6801-6900batch: iter_time=7.745e-05, forward_time=0.170, loss_ctc=75.839, loss_att=53.575, acc=0.743, loss=60.254, backward_time=0.281, grad_norm=83.309, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.000e-05, train_time=1.472 -[gpua007:0/64] 2023-12-21 13:26:55,694 (trainer:737) INFO: 45epoch:train:6901-7000batch: iter_time=8.228e-05, forward_time=0.148, loss_ctc=79.038, loss_att=53.931, acc=0.749, loss=61.463, backward_time=0.340, grad_norm=79.510, clip=100.000, loss_scale=9.249e+31, optim_step_time=0.134, optim0_lr0=6.000e-05, train_time=1.700 -[gpua007:0/64] 2023-12-21 13:29:45,344 (trainer:737) INFO: 45epoch:train:7001-7100batch: iter_time=8.257e-05, forward_time=0.147, loss_ctc=61.361, loss_att=48.622, acc=0.736, loss=52.443, backward_time=0.337, grad_norm=78.442, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=5.999e-05, train_time=1.696 -[gpua007:0/64] 2023-12-21 13:31:37,258 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua007:0/64] 2023-12-21 13:32:17,268 (trainer:737) INFO: 45epoch:train:7101-7200batch: iter_time=8.266e-05, forward_time=0.147, loss_ctc=56.557, loss_att=43.827, acc=0.759, loss=47.646, backward_time=0.318, grad_norm=63.580, clip=100.000, loss_scale=1.418e+32, optim_step_time=0.134, optim0_lr0=5.999e-05, train_time=1.519 -[gpua007:0/64] 2023-12-21 13:35:28,235 (trainer:737) INFO: 45epoch:train:7201-7300batch: iter_time=8.239e-05, forward_time=0.147, loss_ctc=59.888, loss_att=54.317, acc=0.739, loss=55.988, backward_time=0.307, grad_norm=64.744, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=5.998e-05, train_time=1.909 -[gpua007:0/64] 2023-12-21 13:37:45,426 (trainer:737) INFO: 45epoch:train:7301-7400batch: iter_time=7.712e-05, forward_time=0.179, loss_ctc=60.300, loss_att=45.386, acc=0.753, loss=49.860, backward_time=0.285, grad_norm=60.830, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=5.998e-05, train_time=1.372 -[gpua007:0/64] 2023-12-21 13:40:25,091 (trainer:737) INFO: 45epoch:train:7401-7500batch: iter_time=8.297e-05, forward_time=0.212, loss_ctc=63.816, loss_att=51.542, acc=0.729, loss=55.224, backward_time=0.337, grad_norm=84.839, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=5.997e-05, train_time=1.596 -[gpua007:0/64] 2023-12-21 13:40:45,255 (multiple_iter_factory:32) INFO: Building 6th iter-factory... -[gpua007:0/64] 2023-12-21 13:41:03,612 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-21 13:41:07,432 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-21 13:41:07,432 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, -[gpua007:0/64] 2023-12-21 13:41:07,435 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-21 13:48:17,413 (trainer:737) INFO: 45epoch:train:7501-7600batch: iter_time=3.404, forward_time=0.148, loss_ctc=62.563, loss_att=51.158, acc=0.737, loss=54.579, backward_time=0.282, grad_norm=65.570, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=5.997e-05, train_time=4.723 -[gpua007:0/64] 2023-12-21 13:50:19,594 (trainer:737) INFO: 45epoch:train:7601-7700batch: iter_time=8.922e-05, forward_time=0.148, loss_ctc=57.945, loss_att=43.775, acc=0.751, loss=48.026, backward_time=0.280, grad_norm=68.224, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=5.996e-05, train_time=1.222 -[gpua007:0/64] 2023-12-21 13:53:30,783 (trainer:737) INFO: 45epoch:train:7701-7800batch: iter_time=8.799e-05, forward_time=0.146, loss_ctc=66.272, loss_att=50.095, acc=0.736, loss=54.948, backward_time=0.314, grad_norm=81.760, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=5.996e-05, train_time=1.912 -[gpua007:0/64] 2023-12-21 13:55:54,805 (trainer:737) INFO: 45epoch:train:7801-7900batch: iter_time=9.524e-05, forward_time=0.197, loss_ctc=50.345, loss_att=36.762, acc=0.766, loss=40.837, backward_time=0.285, grad_norm=63.577, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=5.995e-05, train_time=1.440 -[gpua007:0/64] 2023-12-21 13:59:10,072 (trainer:737) INFO: 45epoch:train:7901-8000batch: iter_time=9.744e-05, forward_time=0.223, loss_ctc=67.027, loss_att=52.014, acc=0.759, loss=56.518, backward_time=0.360, grad_norm=62.389, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.152, optim0_lr0=5.995e-05, train_time=1.952 -[gpua007:0/64] 2023-12-21 14:02:04,259 (trainer:737) INFO: 45epoch:train:8001-8100batch: iter_time=9.566e-05, forward_time=0.148, loss_ctc=76.902, loss_att=54.711, acc=0.741, loss=61.368, backward_time=0.306, grad_norm=80.975, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=5.995e-05, train_time=1.742 -[gpua007:0/64] 2023-12-21 14:05:14,246 (trainer:737) INFO: 45epoch:train:8101-8200batch: iter_time=9.448e-05, forward_time=0.148, loss_ctc=70.156, loss_att=51.543, acc=0.745, loss=57.127, backward_time=0.348, grad_norm=66.992, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=5.994e-05, train_time=1.900 -[gpua007:0/64] 2023-12-21 14:05:34,469 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua007:0/64] 2023-12-21 14:07:50,077 (trainer:737) INFO: 45epoch:train:8201-8300batch: iter_time=8.502e-05, forward_time=0.148, loss_ctc=68.482, loss_att=47.775, acc=0.743, loss=53.987, backward_time=0.302, grad_norm=74.943, clip=100.000, loss_scale=4.630e+31, optim_step_time=0.133, optim0_lr0=5.994e-05, train_time=1.558 -[gpua007:0/64] 2023-12-21 14:10:42,042 (trainer:737) INFO: 45epoch:train:8301-8400batch: iter_time=8.407e-05, forward_time=0.147, loss_ctc=59.352, loss_att=47.464, acc=0.733, loss=51.031, backward_time=0.307, grad_norm=64.836, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=5.993e-05, train_time=1.719 -[gpua007:0/64] 2023-12-21 14:13:28,624 (trainer:737) INFO: 45epoch:train:8401-8500batch: iter_time=8.554e-05, forward_time=0.147, loss_ctc=61.131, loss_att=50.408, acc=0.746, loss=53.625, backward_time=0.298, grad_norm=71.492, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=5.993e-05, train_time=1.666 -[gpua007:0/64] 2023-12-21 14:16:46,316 (trainer:737) INFO: 45epoch:train:8501-8600batch: iter_time=8.639e-05, forward_time=0.147, loss_ctc=55.728, loss_att=46.434, acc=0.740, loss=49.222, backward_time=0.344, grad_norm=83.753, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=5.992e-05, train_time=1.977 -[gpua007:0/64] 2023-12-21 14:19:31,053 (trainer:737) INFO: 45epoch:train:8601-8700batch: iter_time=8.659e-05, forward_time=0.216, loss_ctc=67.552, loss_att=50.888, acc=0.729, loss=55.887, backward_time=0.382, grad_norm=76.977, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=5.992e-05, train_time=1.647 -[gpua007:0/64] 2023-12-21 14:20:59,946 (multiple_iter_factory:32) INFO: Building 7th iter-factory... -[gpua007:0/64] 2023-12-21 14:21:18,347 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-21 14:21:21,949 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-21 14:21:21,949 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, -[gpua007:0/64] 2023-12-21 14:21:21,952 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-21 14:28:09,972 (trainer:737) INFO: 45epoch:train:8701-8800batch: iter_time=3.432, forward_time=0.148, loss_ctc=58.929, loss_att=49.875, acc=0.747, loss=52.591, backward_time=0.301, grad_norm=67.776, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=5.991e-05, train_time=5.189 -[gpua007:0/64] 2023-12-21 14:31:03,985 (trainer:737) INFO: 45epoch:train:8801-8900batch: iter_time=7.436e-05, forward_time=0.148, loss_ctc=60.402, loss_att=49.147, acc=0.748, loss=52.523, backward_time=0.304, grad_norm=62.162, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=5.991e-05, train_time=1.740 -[gpua007:0/64] 2023-12-21 14:33:42,986 (trainer:737) INFO: 45epoch:train:8901-9000batch: iter_time=7.963e-05, forward_time=0.148, loss_ctc=62.532, loss_att=44.869, acc=0.761, loss=50.168, backward_time=0.309, grad_norm=66.822, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=5.991e-05, train_time=1.590 -[gpua007:0/64] 2023-12-21 14:37:05,202 (trainer:737) INFO: 45epoch:train:9001-9100batch: iter_time=8.221e-05, forward_time=0.147, loss_ctc=59.075, loss_att=43.270, acc=0.760, loss=48.012, backward_time=0.368, grad_norm=69.429, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=5.990e-05, train_time=2.022 -[gpua007:0/64] 2023-12-21 14:39:52,075 (trainer:737) INFO: 45epoch:train:9101-9200batch: iter_time=8.229e-05, forward_time=0.238, loss_ctc=57.401, loss_att=45.672, acc=0.757, loss=49.191, backward_time=0.303, grad_norm=59.766, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=5.990e-05, train_time=1.669 -[gpua007:0/64] 2023-12-21 14:42:32,252 (trainer:737) INFO: 45epoch:train:9201-9300batch: iter_time=0.001, forward_time=0.208, loss_ctc=65.649, loss_att=54.110, acc=0.761, loss=57.572, backward_time=0.315, grad_norm=64.026, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=5.989e-05, train_time=1.599 -[gpua007:0/64] 2023-12-21 14:45:52,391 (trainer:737) INFO: 45epoch:train:9301-9400batch: iter_time=8.294e-05, forward_time=0.148, loss_ctc=75.646, loss_att=53.539, acc=0.743, loss=60.171, backward_time=0.382, grad_norm=89.375, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=5.989e-05, train_time=2.002 -[gpua007:0/64] 2023-12-21 14:49:12,408 (trainer:737) INFO: 45epoch:train:9401-9500batch: iter_time=8.390e-05, forward_time=0.148, loss_ctc=78.621, loss_att=53.820, acc=0.750, loss=61.260, backward_time=0.301, grad_norm=75.849, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=5.988e-05, train_time=2.000 -[gpua007:0/64] 2023-12-21 14:52:32,730 (trainer:737) INFO: 45epoch:train:9501-9600batch: iter_time=8.764e-05, forward_time=0.147, loss_ctc=60.527, loss_att=47.844, acc=0.737, loss=51.649, backward_time=0.376, grad_norm=87.404, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=5.988e-05, train_time=2.003 -[gpua007:0/64] 2023-12-21 14:55:24,797 (trainer:737) INFO: 45epoch:train:9601-9700batch: iter_time=0.005, forward_time=0.232, loss_ctc=56.457, loss_att=43.689, acc=0.758, loss=47.520, backward_time=0.333, grad_norm=62.130, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.141, optim0_lr0=5.987e-05, train_time=1.720 -[gpua007:0/64] 2023-12-21 14:58:10,800 (trainer:737) INFO: 45epoch:train:9701-9800batch: iter_time=8.543e-05, forward_time=0.147, loss_ctc=58.874, loss_att=53.587, acc=0.741, loss=55.173, backward_time=0.298, grad_norm=61.921, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=5.987e-05, train_time=1.659 -[gpua007:0/64] 2023-12-21 15:00:49,584 (trainer:737) INFO: 45epoch:train:9801-9900batch: iter_time=8.141e-05, forward_time=0.148, loss_ctc=60.183, loss_att=45.142, acc=0.755, loss=49.654, backward_time=0.343, grad_norm=67.829, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=5.987e-05, train_time=1.589 -[gpua007:0/64] 2023-12-21 15:03:25,140 (trainer:737) INFO: 45epoch:train:9901-10000batch: iter_time=7.617e-05, forward_time=0.149, loss_ctc=62.943, loss_att=50.002, acc=0.732, loss=53.884, backward_time=0.338, grad_norm=94.141, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=5.986e-05, train_time=1.555 -[gpua007:0/64] 2023-12-21 15:03:45,168 (multiple_iter_factory:32) INFO: Building 8th iter-factory... -[gpua007:0/64] 2023-12-21 15:04:03,574 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-21 15:04:07,067 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-21 15:04:07,067 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, -[gpua007:0/64] 2023-12-21 15:04:07,072 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-21 15:11:28,584 (trainer:737) INFO: 45epoch:train:10001-10100batch: iter_time=3.463, forward_time=0.170, loss_ctc=62.480, loss_att=51.119, acc=0.738, loss=54.528, backward_time=0.281, grad_norm=75.342, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=5.986e-05, train_time=4.834 -[gpua007:0/64] 2023-12-21 15:14:05,976 (trainer:737) INFO: 45epoch:train:10101-10200batch: iter_time=0.002, forward_time=0.251, loss_ctc=57.039, loss_att=43.339, acc=0.753, loss=47.449, backward_time=0.307, grad_norm=70.206, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=5.985e-05, train_time=1.573 -[gpua007:0/64] 2023-12-21 15:16:14,300 (trainer:737) INFO: 45epoch:train:10201-10300batch: iter_time=8.045e-05, forward_time=0.147, loss_ctc=65.993, loss_att=50.240, acc=0.735, loss=54.966, backward_time=0.278, grad_norm=67.056, clip=100.000, loss_scale=7.504e+31, optim_step_time=0.133, optim0_lr0=5.985e-05, train_time=1.281 -[gpua007:0/64] 2023-12-21 15:18:21,548 (trainer:737) INFO: 45epoch:train:10301-10400batch: iter_time=8.105e-05, forward_time=0.146, loss_ctc=50.051, loss_att=36.576, acc=0.768, loss=40.619, backward_time=0.278, grad_norm=56.221, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=5.984e-05, train_time=1.274 -[gpua007:0/64] 2023-12-21 15:21:48,185 (trainer:737) INFO: 45epoch:train:10401-10500batch: iter_time=8.249e-05, forward_time=0.166, loss_ctc=67.168, loss_att=51.977, acc=0.760, loss=56.534, backward_time=0.329, grad_norm=66.286, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=5.984e-05, train_time=2.066 -[gpua007:0/64] 2023-12-21 15:24:38,846 (trainer:737) INFO: 45epoch:train:10501-10600batch: iter_time=8.615e-05, forward_time=0.146, loss_ctc=76.893, loss_att=54.865, acc=0.740, loss=61.473, backward_time=0.324, grad_norm=78.148, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=5.983e-05, train_time=1.706 -[gpua007:0/64] 2023-12-21 15:27:41,602 (trainer:737) INFO: 45epoch:train:10601-10700batch: iter_time=8.521e-05, forward_time=0.240, loss_ctc=69.423, loss_att=51.462, acc=0.746, loss=56.850, backward_time=0.347, grad_norm=70.144, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=5.983e-05, train_time=1.827 -[gpua007:0/64] 2023-12-21 15:30:45,092 (trainer:737) INFO: 45epoch:train:10701-10800batch: iter_time=8.537e-05, forward_time=0.168, loss_ctc=67.562, loss_att=47.556, acc=0.744, loss=53.558, backward_time=0.320, grad_norm=78.920, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=5.982e-05, train_time=1.834 -[gpua007:0/64] 2023-12-21 15:33:20,338 (trainer:737) INFO: 45epoch:train:10801-10900batch: iter_time=8.065e-05, forward_time=0.146, loss_ctc=58.743, loss_att=46.438, acc=0.737, loss=50.130, backward_time=0.296, grad_norm=64.806, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=5.982e-05, train_time=1.553 -[gpua007:0/64] 2023-12-21 15:36:21,285 (trainer:737) INFO: 45epoch:train:10901-11000batch: iter_time=9.017e-05, forward_time=0.147, loss_ctc=61.269, loss_att=50.576, acc=0.746, loss=53.784, backward_time=0.313, grad_norm=58.492, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=5.982e-05, train_time=1.809 -[gpua007:0/64] 2023-12-21 15:38:50,816 (trainer:737) INFO: 45epoch:train:11001-11100batch: iter_time=8.636e-05, forward_time=0.147, loss_ctc=55.948, loss_att=46.593, acc=0.742, loss=49.400, backward_time=0.306, grad_norm=59.086, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=5.981e-05, train_time=1.495 -[gpua007:0/64] 2023-12-21 15:39:40,179 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua007:0/64] 2023-12-21 15:41:02,929 (trainer:737) INFO: 45epoch:train:11101-11200batch: iter_time=8.946e-05, forward_time=0.147, loss_ctc=67.612, loss_att=51.049, acc=0.727, loss=56.018, backward_time=0.286, grad_norm=80.186, clip=100.000, loss_scale=5.654e+31, optim_step_time=0.133, optim0_lr0=5.981e-05, train_time=1.321 -[gpua007:0/64] 2023-12-21 15:43:22,193 (multiple_iter_factory:32) INFO: Building 9th iter-factory... -[gpua007:0/64] 2023-12-21 15:43:40,391 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-21 15:43:43,896 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-21 15:43:43,896 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, -[gpua007:0/64] 2023-12-21 15:43:43,900 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-21 15:50:28,158 (trainer:737) INFO: 45epoch:train:11201-11300batch: iter_time=3.559, forward_time=0.237, loss_ctc=58.978, loss_att=49.613, acc=0.749, loss=52.423, backward_time=0.373, grad_norm=74.747, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.143, optim0_lr0=5.980e-05, train_time=5.651 -[gpua007:0/64] 2023-12-21 15:52:29,279 (trainer:737) INFO: 45epoch:train:11301-11400batch: iter_time=7.784e-05, forward_time=0.148, loss_ctc=60.722, loss_att=48.958, acc=0.749, loss=52.487, backward_time=0.278, grad_norm=64.390, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=5.980e-05, train_time=1.212 -[gpua007:0/64] 2023-12-21 15:55:57,196 (trainer:737) INFO: 45epoch:train:11401-11500batch: iter_time=0.002, forward_time=0.333, loss_ctc=62.842, loss_att=45.546, acc=0.758, loss=50.735, backward_time=0.352, grad_norm=85.843, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=5.979e-05, train_time=2.079 -[gpua007:0/64] 2023-12-21 15:59:14,888 (trainer:737) INFO: 45epoch:train:11501-11600batch: iter_time=8.079e-05, forward_time=0.148, loss_ctc=58.624, loss_att=42.717, acc=0.762, loss=47.489, backward_time=0.341, grad_norm=61.081, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=5.979e-05, train_time=1.977 -[gpua007:0/64] 2023-12-21 16:01:37,536 (trainer:737) INFO: 45epoch:train:11601-11700batch: iter_time=8.274e-05, forward_time=0.147, loss_ctc=57.645, loss_att=45.689, acc=0.757, loss=49.276, backward_time=0.283, grad_norm=79.216, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=5.978e-05, train_time=1.426 -[gpua007:0/64] 2023-12-21 16:04:33,866 (trainer:737) INFO: 45epoch:train:11701-11800batch: iter_time=8.085e-05, forward_time=0.148, loss_ctc=66.000, loss_att=53.292, acc=0.763, loss=57.104, backward_time=0.341, grad_norm=61.598, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=5.978e-05, train_time=1.763 -[gpua007:0/64] 2023-12-21 16:07:42,512 (trainer:737) INFO: 45epoch:train:11801-11900batch: iter_time=4.302e-04, forward_time=0.220, loss_ctc=76.018, loss_att=53.547, acc=0.744, loss=60.289, backward_time=0.347, grad_norm=79.995, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=5.978e-05, train_time=1.886 -[gpua007:0/64] 2023-12-21 16:11:27,406 (trainer:737) INFO: 45epoch:train:11901-12000batch: iter_time=0.004, forward_time=0.218, loss_ctc=77.638, loss_att=53.561, acc=0.751, loss=60.784, backward_time=0.332, grad_norm=69.643, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=5.977e-05, train_time=2.245 -[gpua007:0/64] 2023-12-21 16:13:57,998 (trainer:737) INFO: 45epoch:train:12001-12100batch: iter_time=8.291e-05, forward_time=0.147, loss_ctc=60.741, loss_att=48.020, acc=0.736, loss=51.836, backward_time=0.316, grad_norm=69.208, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=5.977e-05, train_time=1.510 -[gpua007:0/64] 2023-12-21 16:17:26,115 (trainer:737) INFO: 45epoch:train:12101-12200batch: iter_time=8.651e-05, forward_time=0.147, loss_ctc=56.510, loss_att=44.036, acc=0.759, loss=47.778, backward_time=0.318, grad_norm=57.561, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=5.976e-05, train_time=2.081 -[gpua007:0/64] 2023-12-21 16:17:29,622 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. -[gpua007:0/64] 2023-12-21 16:21:15,521 (trainer:737) INFO: 45epoch:train:12201-12300batch: iter_time=8.127e-05, forward_time=0.148, loss_ctc=58.866, loss_att=53.900, acc=0.743, loss=55.390, backward_time=0.390, grad_norm=68.387, clip=100.000, loss_scale=2.069e+31, optim_step_time=0.134, optim0_lr0=5.976e-05, train_time=2.294 -[gpua007:0/64] 2023-12-21 16:23:49,762 (trainer:737) INFO: 45epoch:train:12301-12400batch: iter_time=8.285e-05, forward_time=0.147, loss_ctc=59.728, loss_att=45.557, acc=0.753, loss=49.808, backward_time=0.297, grad_norm=69.915, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=5.975e-05, train_time=1.542 -[gpua007:0/64] 2023-12-21 16:27:36,281 (trainer:737) INFO: 45epoch:train:12401-12500batch: iter_time=1.944e-04, forward_time=0.277, loss_ctc=63.595, loss_att=50.304, acc=0.734, loss=54.291, backward_time=0.397, grad_norm=86.741, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.147, optim0_lr0=5.975e-05, train_time=2.265 -[gpua007:0/64] 2023-12-21 16:27:56,515 (multiple_iter_factory:32) INFO: Building 10th iter-factory... -[gpua007:0/64] 2023-12-21 16:28:14,933 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-21 16:28:18,379 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-21 16:28:18,379 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, -[gpua007:0/64] 2023-12-21 16:28:18,385 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-21 16:36:07,498 (trainer:737) INFO: 45epoch:train:12501-12600batch: iter_time=3.454, forward_time=0.193, loss_ctc=62.073, loss_att=50.753, acc=0.738, loss=54.149, backward_time=0.297, grad_norm=65.550, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=5.974e-05, train_time=5.112 -[gpua007:0/64] 2023-12-21 16:38:19,674 (trainer:737) INFO: 45epoch:train:12601-12700batch: iter_time=8.384e-05, forward_time=0.148, loss_ctc=57.150, loss_att=43.244, acc=0.754, loss=47.415, backward_time=0.277, grad_norm=63.075, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=5.974e-05, train_time=1.322 -[gpua007:0/64] 2023-12-21 16:41:07,534 (trainer:737) INFO: 45epoch:train:12701-12800batch: iter_time=8.758e-05, forward_time=0.170, loss_ctc=65.794, loss_att=49.856, acc=0.736, loss=54.637, backward_time=0.329, grad_norm=63.262, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=5.974e-05, train_time=1.678 -[gpua007:0/64] 2023-12-21 16:44:37,632 (trainer:737) INFO: 45epoch:train:12801-12900batch: iter_time=9.325e-05, forward_time=0.210, loss_ctc=50.239, loss_att=36.494, acc=0.768, loss=40.617, backward_time=0.378, grad_norm=57.439, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=5.973e-05, train_time=2.101 -[gpua007:0/64] 2023-12-21 16:47:26,243 (trainer:737) INFO: 45epoch:train:12901-13000batch: iter_time=8.461e-05, forward_time=0.147, loss_ctc=67.009, loss_att=51.940, acc=0.760, loss=56.461, backward_time=0.304, grad_norm=63.665, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=5.973e-05, train_time=1.686 -[gpua007:0/64] 2023-12-21 16:50:16,597 (trainer:737) INFO: 45epoch:train:13001-13100batch: iter_time=8.456e-05, forward_time=0.168, loss_ctc=77.134, loss_att=54.784, acc=0.741, loss=61.489, backward_time=0.365, grad_norm=83.718, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=5.972e-05, train_time=1.703 -[gpua007:0/64] 2023-12-21 16:53:22,096 (trainer:737) INFO: 45epoch:train:13101-13200batch: iter_time=8.483e-05, forward_time=0.168, loss_ctc=69.568, loss_att=51.603, acc=0.746, loss=56.993, backward_time=0.376, grad_norm=67.838, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=5.972e-05, train_time=1.855 -[gpua007:0/64] 2023-12-21 16:56:19,622 (trainer:737) INFO: 45epoch:train:13201-13300batch: iter_time=8.817e-05, forward_time=0.194, loss_ctc=67.802, loss_att=47.783, acc=0.745, loss=53.789, backward_time=0.334, grad_norm=68.838, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=5.971e-05, train_time=1.775 -[gpua007:0/64] 2023-12-21 16:59:14,607 (trainer:737) INFO: 45epoch:train:13301-13400batch: iter_time=9.085e-05, forward_time=0.192, loss_ctc=58.487, loss_att=46.308, acc=0.740, loss=49.962, backward_time=0.336, grad_norm=62.206, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=5.971e-05, train_time=1.750 -[gpua007:0/64] 2023-12-21 17:02:24,048 (trainer:737) INFO: 45epoch:train:13401-13500batch: iter_time=5.314e-04, forward_time=0.160, loss_ctc=60.726, loss_att=50.170, acc=0.747, loss=53.337, backward_time=0.341, grad_norm=56.711, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=5.970e-05, train_time=1.894 -[gpua007:0/64] 2023-12-21 17:05:20,415 (trainer:737) INFO: 45epoch:train:13501-13600batch: iter_time=1.017e-04, forward_time=0.155, loss_ctc=54.971, loss_att=46.171, acc=0.742, loss=48.811, backward_time=0.335, grad_norm=59.035, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=5.970e-05, train_time=1.763 -[gpua007:0/64] 2023-12-21 17:08:17,021 (trainer:737) INFO: 45epoch:train:13601-13700batch: iter_time=8.555e-05, forward_time=0.154, loss_ctc=66.377, loss_att=50.440, acc=0.728, loss=55.221, backward_time=0.332, grad_norm=78.541, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=5.970e-05, train_time=1.766 -[gpua007:0/64] 2023-12-21 17:10:13,033 (multiple_iter_factory:32) INFO: Building 11th iter-factory... -[gpua007:0/64] 2023-12-21 17:10:31,435 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') -[gpua007:0/64] 2023-12-21 17:10:35,174 (abs_task:1616) INFO: [train] dataset: -ESPnetDataset( - speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} - text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} - text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} - text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} - preprocess: ) -[gpua007:0/64] 2023-12-21 17:10:35,174 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, -[gpua007:0/64] 2023-12-21 17:10:35,178 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 -[gpua007:0/64] 2023-12-21 17:16:52,483 (trainer:737) INFO: 45epoch:train:13701-13800batch: iter_time=3.464, forward_time=0.224, loss_ctc=58.808, loss_att=49.692, acc=0.750, loss=52.427, backward_time=0.315, grad_norm=66.316, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=5.969e-05, train_time=5.153 -[gpua007:0/64] 2023-12-21 17:19:06,790 (trainer:737) INFO: 45epoch:train:13801-13900batch: iter_time=8.672e-05, forward_time=0.148, loss_ctc=60.283, loss_att=48.616, acc=0.750, loss=52.116, backward_time=0.283, grad_norm=59.208, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=5.969e-05, train_time=1.344 -[gpua007:0/64] 2023-12-21 17:22:25,458 (trainer:737) INFO: 45epoch:train:13901-14000batch: iter_time=8.288e-05, forward_time=0.148, loss_ctc=62.376, loss_att=45.283, acc=0.760, loss=50.411, backward_time=0.314, grad_norm=65.246, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=5.968e-05, train_time=1.986 -[gpua007:0/64] 2023-12-21 17:25:16,779 (trainer:737) INFO: 45epoch:train:14001-14100batch: iter_time=9.295e-05, forward_time=0.148, loss_ctc=59.211, loss_att=43.233, acc=0.762, loss=48.027, backward_time=0.316, grad_norm=84.052, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=5.968e-05, train_time=1.713 -[gpua007:0/64] 2023-12-21 17:27:52,988 (trainer:737) INFO: 45epoch:train:14101-14200batch: iter_time=1.189e-04, forward_time=0.199, loss_ctc=57.571, loss_att=45.474, acc=0.758, loss=49.103, backward_time=0.331, grad_norm=60.379, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=5.967e-05, train_time=1.562 -[gpua007:0/64] 2023-12-21 17:30:34,103 (trainer:737) INFO: 45epoch:train:14201-14300batch: iter_time=8.561e-05, forward_time=0.196, loss_ctc=65.579, loss_att=53.069, acc=0.764, loss=56.822, backward_time=0.361, grad_norm=61.330, clip=100.000, loss_scale=3.996e+31, optim_step_time=0.134, optim0_lr0=5.967e-05, train_time=1.609 -[gpua007:0/64] 2023-12-21 17:33:34,722 (trainer:737) INFO: 45epoch:train:14301-14400batch: iter_time=8.696e-05, forward_time=0.149, loss_ctc=75.664, loss_att=53.298, acc=0.744, loss=60.008, backward_time=0.316, grad_norm=76.981, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=5.967e-05, train_time=1.808 -[gpua007:0/64] 2023-12-21 17:37:56,284 (trainer:737) INFO: 45epoch:train:14401-14500batch: iter_time=9.220e-05, forward_time=0.148, loss_ctc=78.253, loss_att=53.723, acc=0.750, loss=61.082, backward_time=0.457, grad_norm=80.150, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=5.966e-05, train_time=2.615 -[gpua007:0/64] 2023-12-21 17:40:36,460 (trainer:737) INFO: 45epoch:train:14501-14600batch: iter_time=9.200e-05, forward_time=0.148, loss_ctc=60.146, loss_att=47.732, acc=0.740, loss=51.456, backward_time=0.291, grad_norm=68.568, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=5.966e-05, train_time=1.602 -[gpua007:0/64] 2023-12-21 17:43:23,242 (trainer:737) INFO: 45epoch:train:14601-14700batch: iter_time=8.577e-05, forward_time=0.160, loss_ctc=56.030, loss_att=43.592, acc=0.760, loss=47.323, backward_time=0.385, grad_norm=63.127, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=5.965e-05, train_time=1.668 -[gpua007:0/64] 2023-12-21 17:45:53,842 (trainer:737) INFO: 45epoch:train:14701-14800batch: iter_time=8.483e-05, forward_time=0.193, loss_ctc=58.917, loss_att=54.009, acc=0.741, loss=55.481, backward_time=0.357, grad_norm=59.367, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=5.965e-05, train_time=1.504 -[gpua007:0/64] 2023-12-21 17:49:07,527 (trainer:737) INFO: 45epoch:train:14801-14900batch: iter_time=9.241e-05, forward_time=0.147, loss_ctc=59.551, loss_att=45.307, acc=0.754, loss=49.580, backward_time=0.411, grad_norm=62.615, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=5.964e-05, train_time=1.938 -[gpua007:0/64] 2023-12-21 17:51:41,199 (trainer:737) INFO: 45epoch:train:14901-15000batch: iter_time=9.053e-05, forward_time=0.147, loss_ctc=63.274, loss_att=49.777, acc=0.737, loss=53.826, backward_time=0.343, grad_norm=86.123, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=5.964e-05, train_time=1.537 -[gpua007:0/64] 2023-12-21 18:19:13,387 (trainer:343) INFO: 45epoch results: [train] iter_time=0.258, forward_time=0.170, loss_ctc=63.516, loss_att=48.913, acc=0.746, loss=53.294, backward_time=0.321, grad_norm=70.082, clip=100.000, loss_scale=4.540e+31, optim_step_time=0.135, optim0_lr0=5.997e-05, train_time=1.929, time=8 hours, 2 minutes and 45.67 seconds, total_count=675000, gpu_max_cached_mem_GB=38.758, [valid] loss_ctc=30.756, cer_ctc=0.159, loss_att=31.099, acc=0.734, cer=0.336, wer=0.999, loss=30.996, time=27 minutes and 8.14 seconds, total_count=210195, gpu_max_cached_mem_GB=38.758 -gpua044:535764:535844 [2] NCCL INFO [Service thread] Connection closed by localRank 2 -gpua059:683871:683952 [2] NCCL INFO [Service thread] Connection closed by localRank 2 -gpua051:859014:859086 [1] NCCL INFO [Service thread] Connection closed by localRank 1 -gpua013:2626470:2626538 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua062:3530790:3530865 [1] NCCL INFO [Service thread] Connection closed by localRank 1 -gpua059:683872:683951 [3] NCCL INFO [Service thread] Connection closed by localRank 3 -gpua054:1011622:1011711 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua044:535764:535764 [2] NCCL INFO comm 0x21c76c60 rank 18 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE -gpua059:683872:683872 [3] NCCL INFO comm 0x133ef3a0 rank 39 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE -gpua051:859014:859014 [1] NCCL INFO comm 0x94d38a90 rank 21 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE -gpua059:683871:683871 [2] NCCL INFO comm 0x364c9450 rank 38 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE -gpua051:859013:859085 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua007:1129636:1129708 [3] NCCL INFO [Service thread] Connection closed by localRank 3 -gpua067:1213358:1213438 [1] NCCL INFO [Service thread] Connection closed by localRank 1 -gpua067:1213359:1213437 [2] NCCL INFO [Service thread] Connection closed by localRank 2 -gpua054:1011622:1011622 [0] NCCL INFO comm 0x16962120 rank 28 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -gpua051:859013:859013 [0] NCCL INFO comm 0xa818640 rank 20 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -gpua080:3852058:3852133 [1] NCCL INFO [Service thread] Connection closed by localRank 1 -gpua014:1652866:1652946 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua051:859015:859088 [2] NCCL INFO [Service thread] Connection closed by localRank 2 -gpua062:3530790:3530790 [1] NCCL INFO comm 0x958070d0 rank 41 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE -gpua069:1842587:1842671 [3] NCCL INFO [Service thread] Connection closed by localRank 3 -gpua090:1047284:1047357 [2] NCCL INFO [Service thread] Connection closed by localRank 2 -gpua080:3852059:3852135 [2] NCCL INFO [Service thread] Connection closed by localRank 2 -gpua080:3852059:3852059 [2] NCCL INFO comm 0x1b93b8b0 rank 58 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE -gpua014:1652869:1652949 [3] NCCL INFO [Service thread] Connection closed by localRank 3 -gpua059:683870:683949 [1] NCCL INFO [Service thread] Connection closed by localRank 1 -gpua013:2626470:2626470 [0] NCCL INFO comm 0xdc24e00 rank 8 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -gpua051:859015:859015 [2] NCCL INFO comm 0x17f8fc70 rank 22 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE -gpua007:1129636:1129636 [3] NCCL INFO comm 0xc04b5e0 rank 3 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE -gpua080:3852058:3852058 [1] NCCL INFO comm 0xc134790 rank 57 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE -gpua090:1047285:1047355 [3] NCCL INFO [Service thread] Connection closed by localRank 3 -gpua067:1213359:1213359 [2] NCCL INFO comm 0x93266320 rank 46 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE -gpua013:2626472:2626539 [2] NCCL INFO [Service thread] Connection closed by localRank 2 -gpua069:1842587:1842587 [3] NCCL INFO comm 0xb498ab0 rank 55 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE -gpua067:1213358:1213358 [1] NCCL INFO comm 0xe94f88a0 rank 45 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE -gpua059:683870:683870 [1] NCCL INFO comm 0x9a1c0ea0 rank 37 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE -gpua014:1652866:1652866 [0] NCCL INFO comm 0xd383220 rank 12 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -gpua069:1842585:1842669 [1] NCCL INFO [Service thread] Connection closed by localRank 1 -gpua090:1047284:1047284 [2] NCCL INFO comm 0xe24aafb0 rank 62 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE -gpua058:1102893:1102969 [3] NCCL INFO [Service thread] Connection closed by localRank 3 -gpua011:1395546:1395623 [2] NCCL INFO [Service thread] Connection closed by localRank 2 -gpua058:1102890:1102966 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua090:1047285:1047285 [3] NCCL INFO comm 0x24a8ce90 rank 63 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE -gpua007:1129634:1129706 [1] NCCL INFO [Service thread] Connection closed by localRank 1 -gpua014:1652869:1652869 [3] NCCL INFO comm 0x10fcaed0 rank 15 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE -gpua090:1047282:1047354 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua013:2626472:2626472 [2] NCCL INFO comm 0x504c5060 rank 10 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE -gpua069:1842586:1842670 [2] NCCL INFO [Service thread] Connection closed by localRank 2 -gpua069:1842584:1842668 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua058:1102892:1102968 [2] NCCL INFO [Service thread] Connection closed by localRank 2 -gpua054:1011625:1011712 [3] NCCL INFO [Service thread] Connection closed by localRank 3 -gpua054:1011623:1011713 [1] NCCL INFO [Service thread] Connection closed by localRank 1 -gpua080:3852060:3852136 [3] NCCL INFO [Service thread] Connection closed by localRank 3 -gpua090:1047282:1047282 [0] NCCL INFO comm 0x11f10f50 rank 60 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -gpua062:3530789:3530863 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua062:3530791:3530864 [2] NCCL INFO [Service thread] Connection closed by localRank 2 -gpua067:1213360:1213439 [3] NCCL INFO [Service thread] Connection closed by localRank 3 -gpua011:1395546:1395546 [2] NCCL INFO comm 0xf622b10 rank 6 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE -gpua058:1102893:1102893 [3] NCCL INFO comm 0x1d5065d0 rank 35 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE -gpua013:2626473:2626537 [3] NCCL INFO [Service thread] Connection closed by localRank 3 -gpua011:1395547:1395626 [3] NCCL INFO [Service thread] Connection closed by localRank 3 -gpua051:859016:859087 [3] NCCL INFO [Service thread] Connection closed by localRank 3 -gpua011:1395544:1395625 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua069:1842586:1842586 [2] NCCL INFO comm 0xe73e3d0 rank 54 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE -gpua013:2626471:2626540 [1] NCCL INFO [Service thread] Connection closed by localRank 1 -gpua067:1213360:1213360 [3] NCCL INFO comm 0xea23ad0 rank 47 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE -gpua069:1842585:1842585 [1] NCCL INFO comm 0xd2bc600 rank 53 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE -gpua007:1129634:1129634 [1] NCCL INFO comm 0x2d59f940 rank 1 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE -gpua013:2626473:2626473 [3] NCCL INFO comm 0x9ae9f240 rank 11 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE -gpua058:1102891:1102967 [1] NCCL INFO [Service thread] Connection closed by localRank 1 -gpua080:3852057:3852134 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua054:1011625:1011625 [3] NCCL INFO comm 0xa2c0cd80 rank 31 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE -gpua007:1129635:1129709 [2] NCCL INFO [Service thread] Connection closed by localRank 2 -gpua051:859016:859016 [3] NCCL INFO comm 0xe083d590 rank 23 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE -gpua058:1102890:1102890 [0] NCCL INFO comm 0x94401f70 rank 32 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -gpua062:3530791:3530791 [2] NCCL INFO comm 0xa13e0ae0 rank 42 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE -gpua054:1011624:1011710 [2] NCCL INFO [Service thread] Connection closed by localRank 2 -gpua059:683869:683950 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua090:1047283:1047356 [1] NCCL INFO [Service thread] Connection closed by localRank 1 -gpua067:1213357:1213436 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua011:1395544:1395544 [0] NCCL INFO comm 0x7f78169fa560 rank 4 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -gpua053:3072401:3072472 [3] NCCL INFO [Service thread] Connection closed by localRank 3 -gpua058:1102892:1102892 [2] NCCL INFO comm 0xa64fce0 rank 34 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE -gpua062:3530789:3530789 [0] NCCL INFO comm 0xc66c320 rank 40 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -gpua090:1047283:1047283 [1] NCCL INFO comm 0x25aa18a0 rank 61 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE -gpua054:1011623:1011623 [1] NCCL INFO comm 0xa8302e0 rank 29 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE -gpua011:1395547:1395547 [3] NCCL INFO comm 0x9ea35930 rank 7 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE -gpua069:1842584:1842584 [0] NCCL INFO comm 0xe4ba88a0 rank 52 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -gpua080:3852060:3852060 [3] NCCL INFO comm 0x21b10200 rank 59 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE -gpua007:1129635:1129635 [2] NCCL INFO comm 0x1be8a140 rank 2 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE -gpua059:683869:683869 [0] NCCL INFO comm 0x926f2d30 rank 36 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -gpua013:2626471:2626471 [1] NCCL INFO comm 0xc80cc00 rank 9 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE -gpua062:3530792:3530866 [3] NCCL INFO [Service thread] Connection closed by localRank 3 -gpua053:3072401:3072401 [3] NCCL INFO comm 0xd76a7b0 rank 27 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE -gpua058:1102891:1102891 [1] NCCL INFO comm 0x179e7410 rank 33 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE -gpua011:1395545:1395624 [1] NCCL INFO [Service thread] Connection closed by localRank 1 -gpua054:1011624:1011624 [2] NCCL INFO comm 0xb254b10 rank 30 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE -gpua080:3852057:3852057 [0] NCCL INFO comm 0x11da6c00 rank 56 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -gpua062:3530792:3530792 [3] NCCL INFO comm 0xe9b90b0 rank 43 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE -gpua067:1213357:1213357 [0] NCCL INFO comm 0xe2d917e0 rank 44 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -gpua011:1395545:1395545 [1] NCCL INFO comm 0x39821130 rank 5 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE -gpua053:3072398:3072470 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua053:3072399:3072471 [1] NCCL INFO [Service thread] Connection closed by localRank 1 -gpua053:3072400:3072473 [2] NCCL INFO [Service thread] Connection closed by localRank 2 -gpua053:3072399:3072399 [1] NCCL INFO comm 0xca8b110 rank 25 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE -gpua053:3072400:3072400 [2] NCCL INFO comm 0x9c183470 rank 26 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE -gpua053:3072398:3072398 [0] NCCL INFO comm 0xe3d36220 rank 24 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -gpua044:535765:535843 [3] NCCL INFO [Service thread] Connection closed by localRank 3 -gpua044:535763:535845 [1] NCCL INFO [Service thread] Connection closed by localRank 1 -gpua044:535762:535842 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua044:535763:535763 [1] NCCL INFO comm 0x1210ef10 rank 17 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE -gpua068:1144024:1144096 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua044:535762:535762 [0] NCCL INFO comm 0xa11bb5f0 rank 16 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -gpua068:1144026:1144099 [2] NCCL INFO [Service thread] Connection closed by localRank 2 -gpua068:1144025:1144098 [1] NCCL INFO [Service thread] Connection closed by localRank 1 -gpua068:1144027:1144097 [3] NCCL INFO [Service thread] Connection closed by localRank 3 -gpua068:1144027:1144027 [3] NCCL INFO comm 0x17c112e0 rank 51 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE -gpua044:535765:535765 [3] NCCL INFO comm 0xec58c60 rank 19 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE -gpua068:1144025:1144025 [1] NCCL INFO comm 0x163c48c0 rank 49 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE -gpua068:1144024:1144024 [0] NCCL INFO comm 0x367bb360 rank 48 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -gpua068:1144026:1144026 [2] NCCL INFO comm 0xef1fd20 rank 50 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE -gpua014:1652867:1652948 [1] NCCL INFO [Service thread] Connection closed by localRank 1 -gpua014:1652868:1652947 [2] NCCL INFO [Service thread] Connection closed by localRank 2 -gpua014:1652868:1652868 [2] NCCL INFO comm 0x331d0610 rank 14 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE -gpua014:1652867:1652867 [1] NCCL INFO comm 0x4709ceb0 rank 13 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE -[gpua007:0/64] 2023-12-21 18:19:32,838 (trainer:391) INFO: The best model has been updated: valid.total_count -[gpua007:0/64] 2023-12-21 18:19:32,867 (average_nbest_models:69) INFO: Averaging 5best models: criterion="valid.acc": exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.acc.ave_5best.till45epoch.pth -[gpua007:0/64] 2023-12-21 18:20:26,673 (average_nbest_models:69) INFO: Averaging 5best models: criterion="valid.total_count": exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.total_count.ave_5best.till45epoch.pth -[gpua007:0/64] 2023-12-21 18:20:46,201 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/40epoch.pth -[gpua007:0/64] 2023-12-21 18:20:46,243 (trainer:463) INFO: The training was finished at 45 epochs -[gpua007:0/64] 2023-12-21 18:20:46,539 (average_nbest_models:69) INFO: Averaging 5best models: criterion="valid.acc": exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.acc.ave_5best.pth -[gpua007:0/64] 2023-12-21 18:21:00,463 (average_nbest_models:69) INFO: Averaging 5best models: criterion="valid.total_count": exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.total_count.ave_5best.pth -gpua007:1129633:1129707 [0] NCCL INFO [Service thread] Connection closed by localRank 0 -gpua007:1129633:1129633 [0] NCCL INFO comm 0x18ab0460 rank 0 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE -# Accounting: begin_time=1703068777 -# Accounting: end_time=1703204515 -# Accounting: time=135738 threads=1 -# Finished at Thu Dec 21 18:21:55 CST 2023 with status 0 diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.total_count.ave_5best.till45epoch.pth b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.total_count.ave_5best.till45epoch.pth deleted file mode 100644 index 3acbabc9e2de733a8acacad3740372a6add8669f..0000000000000000000000000000000000000000 --- a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.total_count.ave_5best.till45epoch.pth +++ /dev/null @@ -1,3 +0,0 @@ -version https://git-lfs.github.com/spec/v1 -oid sha256:dfb6d34e9f03af6113ada55463d3abe26f133ff2c64e56c65419f9a469313ad3 -size 4068122375 diff --git a/owsm_v3.1_ebf/meta.yaml b/owsm_v3.1_ebf/meta.yaml deleted file mode 100644 index 49ae407b1cb4aec16bf9defdb29ce1ff78219cb6..0000000000000000000000000000000000000000 --- a/owsm_v3.1_ebf/meta.yaml +++ /dev/null @@ -1,8 +0,0 @@ -espnet: '202308' -files: - s2t_model_file: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.total_count.ave_5best.till45epoch.pth -python: 3.10.10 (main, Mar 21 2023, 18:45:11) [GCC 11.2.0] -timestamp: 1703273348.000399 -torch: 1.13.1 -yaml_files: - s2t_train_config: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/config.yaml diff --git a/owsm_v3/data/token_list/bpe_unigram50000/bpe.model b/owsm_v3/data/token_list/bpe_unigram50000/bpe.model deleted file mode 100644 index d85cee48e66877723d7aad9487d7eca683a94bb8..0000000000000000000000000000000000000000 --- a/owsm_v3/data/token_list/bpe_unigram50000/bpe.model +++ /dev/null @@ -1,3 +0,0 @@ -version https://git-lfs.github.com/spec/v1 -oid sha256:623b8767f80bd60036d8c207b96b25306a8181aa5a702cdac2bf5e90348da174 -size 1042418 diff --git a/owsm_v3/exp/s2t_stats_raw_bpe50000/train/feats_stats.npz b/owsm_v3/exp/s2t_stats_raw_bpe50000/train/feats_stats.npz deleted file mode 100644 index 6537a0516823d82d5f5cc303182b91c436153401..0000000000000000000000000000000000000000 --- a/owsm_v3/exp/s2t_stats_raw_bpe50000/train/feats_stats.npz +++ /dev/null @@ -1,3 +0,0 @@ -version https://git-lfs.github.com/spec/v1 -oid sha256:904a9739b6cdd17afdb4b677627a21d3d1f8ffc99148d8cce07b65395b7e543d -size 1402 diff --git a/owsm_v3/exp/s2t_train_s2t_transformer_conv2d_size1024_e24_d24_lr2.5e-4_warmup10k_finetune_raw_bpe50000/config.yaml b/owsm_v3/exp/s2t_train_s2t_transformer_conv2d_size1024_e24_d24_lr2.5e-4_warmup10k_finetune_raw_bpe50000/config.yaml deleted file mode 100644 index 72e7c490eac2eb007d9ba551641a51595a0eb7e2..0000000000000000000000000000000000000000 --- a/owsm_v3/exp/s2t_train_s2t_transformer_conv2d_size1024_e24_d24_lr2.5e-4_warmup10k_finetune_raw_bpe50000/config.yaml +++ /dev/null @@ -1,50240 +0,0 @@ -config: conf/train_s2t_transformer_conv2d_size1024_e24_d24_lr2.5e-4_warmup10k_finetune.yaml -print_config: false -log_level: INFO -dry_run: false -iterator_type: sequence -output_dir: exp/s2t_train_s2t_transformer_conv2d_size1024_e24_d24_lr2.5e-4_warmup10k_finetune_raw_bpe50000 -ngpu: 1 -seed: 2023 -num_workers: 4 -num_att_plot: 3 -dist_backend: nccl -dist_init_method: env:// -dist_world_size: 4 -dist_rank: 0 -local_rank: 0 -dist_master_addr: localhost -dist_master_port: 58893 -dist_launcher: null -multiprocessing_distributed: true -unused_parameters: true -sharded_ddp: false -cudnn_enabled: true -cudnn_benchmark: false -cudnn_deterministic: true -collect_stats: false -write_collected_feats: false -max_epoch: 55 -patience: null -val_scheduler_criterion: -- valid -- loss -early_stopping_criterion: -- valid -- loss -- min -best_model_criterion: -- - valid - - acc - - max -- - valid - - total_count - - max -keep_nbest_models: 5 -nbest_averaging_interval: 10 -grad_clip: 5.0 -grad_clip_type: 2.0 -grad_noise: false -accum_grad: 2 -no_forward_run: false -resume: true -train_dtype: float32 -use_amp: true -log_interval: null -use_matplotlib: true -use_tensorboard: true -create_graph_in_tensorboard: false -use_wandb: false -wandb_project: null -wandb_id: null -wandb_entity: null -wandb_name: null -wandb_model_log_interval: -1 -detect_anomaly: false -pretrain_path: null -init_param: -- /scratch/bbjs/peng6/espnet-whisper-public/egs2/mixed_v2/s2t1/exp/s2t_train_s2t_transformer_conv2d_size1024_e18_d18_lr5e-4_warmup20k_raw_bpe50000/valid.acc.ave.pth -ignore_init_mismatch: true -freeze_param: [] -num_iters_per_epoch: 10000 -batch_size: 128 -valid_batch_size: null -batch_bins: 1000000 -valid_batch_bins: null -train_shape_file: -- exp/s2t_stats_raw_bpe50000/splits12/speech_shape -- exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe -- exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe -- exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe -valid_shape_file: -- exp/s2t_stats_raw_bpe50000/valid/speech_shape -- exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe -- exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe -- exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe -batch_type: unsorted -valid_batch_type: null -fold_length: -- 80000 -- 150 -- 150 -- 150 -sort_in_batch: descending -sort_batch: descending -multiple_iterator: true -chunk_length: 500 -chunk_shift_ratio: 0.5 -num_cache_chunks: 1024 -chunk_excluded_key_prefixes: [] -train_data_path_and_name_and_type: -- - exp/s2t_stats_raw_bpe50000/splits12/wav.scp - - speech - - kaldi_ark -- - exp/s2t_stats_raw_bpe50000/splits12/text.prev - - text_prev - - text -- - exp/s2t_stats_raw_bpe50000/splits12/text.ctc - - text_ctc - - text -- - exp/s2t_stats_raw_bpe50000/splits12/text - - text - - text -valid_data_path_and_name_and_type: -- - dump/raw/dev/wav.scp - - speech - - kaldi_ark -- - dump/raw/dev/text.prev - - text_prev - - text -- - dump/raw/dev/text.ctc - - text_ctc - - text -- - dump/raw/dev/text - - text - - text -allow_variable_data_keys: false -max_cache_size: 0.0 -max_cache_fd: 32 -valid_max_cache_size: null -exclude_weight_decay: false -exclude_weight_decay_conf: {} -optim: adamw -optim_conf: - lr: 0.00025 - betas: - - 0.9 - - 0.98 - eps: 1.0e-06 - weight_decay: 0.0 -scheduler: warmuplr -scheduler_conf: - warmup_steps: 10000 -token_list: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- <0.00> -- <0.02> -- <0.04> -- <0.06> -- <0.08> -- <0.10> -- <0.12> -- <0.14> -- <0.16> -- <0.18> -- <0.20> -- <0.22> -- <0.24> -- <0.26> -- <0.28> -- <0.30> -- <0.32> -- <0.34> -- <0.36> -- <0.38> -- <0.40> -- <0.42> -- <0.44> -- <0.46> -- <0.48> -- <0.50> -- <0.52> -- <0.54> -- <0.56> -- <0.58> -- <0.60> -- <0.62> -- <0.64> -- <0.66> -- <0.68> -- <0.70> -- <0.72> -- <0.74> -- <0.76> -- <0.78> -- <0.80> -- <0.82> -- <0.84> -- <0.86> -- <0.88> -- <0.90> -- <0.92> -- <0.94> -- <0.96> -- <0.98> -- <1.00> -- <1.02> -- <1.04> -- <1.06> -- <1.08> -- <1.10> -- <1.12> -- <1.14> -- <1.16> -- <1.18> -- <1.20> -- <1.22> -- <1.24> -- <1.26> -- <1.28> -- <1.30> -- <1.32> -- <1.34> -- <1.36> -- <1.38> -- <1.40> -- <1.42> -- <1.44> -- <1.46> -- <1.48> -- <1.50> -- <1.52> -- <1.54> -- <1.56> -- <1.58> -- <1.60> -- <1.62> -- <1.64> -- <1.66> -- <1.68> -- <1.70> -- <1.72> -- <1.74> -- <1.76> -- <1.78> -- <1.80> -- <1.82> -- <1.84> -- <1.86> -- <1.88> -- <1.90> -- <1.92> -- <1.94> -- <1.96> -- <1.98> -- <2.00> -- <2.02> -- <2.04> -- <2.06> -- <2.08> -- <2.10> -- <2.12> -- <2.14> -- <2.16> -- <2.18> -- <2.20> -- <2.22> -- <2.24> -- <2.26> -- <2.28> -- <2.30> -- <2.32> -- <2.34> -- <2.36> -- <2.38> -- <2.40> -- <2.42> -- <2.44> -- <2.46> -- <2.48> -- <2.50> -- <2.52> -- <2.54> -- <2.56> -- <2.58> -- <2.60> -- <2.62> -- <2.64> -- <2.66> -- <2.68> -- <2.70> -- <2.72> -- <2.74> -- <2.76> -- <2.78> -- <2.80> -- <2.82> -- <2.84> -- <2.86> -- <2.88> -- <2.90> -- <2.92> -- <2.94> -- <2.96> -- <2.98> -- <3.00> -- <3.02> -- <3.04> -- <3.06> -- <3.08> -- <3.10> -- <3.12> -- <3.14> -- <3.16> -- <3.18> -- <3.20> -- <3.22> -- <3.24> -- <3.26> -- <3.28> -- <3.30> -- <3.32> -- <3.34> -- <3.36> -- <3.38> -- <3.40> -- <3.42> -- <3.44> -- <3.46> -- <3.48> -- <3.50> -- <3.52> -- <3.54> -- <3.56> -- <3.58> -- <3.60> -- <3.62> -- <3.64> -- <3.66> -- <3.68> -- <3.70> -- <3.72> -- <3.74> -- <3.76> -- <3.78> -- <3.80> -- <3.82> -- <3.84> -- <3.86> -- <3.88> -- <3.90> -- <3.92> -- <3.94> -- <3.96> -- <3.98> -- <4.00> -- <4.02> -- <4.04> -- <4.06> -- <4.08> -- <4.10> -- <4.12> -- <4.14> -- <4.16> -- <4.18> -- <4.20> -- <4.22> -- <4.24> -- <4.26> -- <4.28> -- <4.30> -- <4.32> -- <4.34> -- <4.36> -- <4.38> -- <4.40> -- <4.42> -- <4.44> -- <4.46> -- <4.48> -- <4.50> -- <4.52> -- <4.54> -- <4.56> -- <4.58> -- <4.60> -- <4.62> -- <4.64> -- <4.66> -- <4.68> -- <4.70> -- <4.72> -- <4.74> -- <4.76> -- <4.78> -- <4.80> -- <4.82> -- <4.84> -- <4.86> -- <4.88> -- <4.90> -- <4.92> -- <4.94> -- <4.96> -- <4.98> -- <5.00> -- <5.02> -- <5.04> -- <5.06> -- <5.08> -- <5.10> -- <5.12> -- <5.14> -- <5.16> -- <5.18> -- <5.20> -- <5.22> -- <5.24> -- <5.26> -- <5.28> -- <5.30> -- <5.32> -- <5.34> -- <5.36> -- <5.38> -- <5.40> -- <5.42> -- <5.44> -- <5.46> -- <5.48> -- <5.50> -- <5.52> -- <5.54> -- <5.56> -- <5.58> -- <5.60> -- <5.62> -- <5.64> -- <5.66> -- <5.68> -- <5.70> -- <5.72> -- <5.74> -- <5.76> -- <5.78> -- <5.80> -- <5.82> -- <5.84> -- <5.86> -- <5.88> -- <5.90> -- <5.92> -- <5.94> -- <5.96> -- <5.98> -- <6.00> -- <6.02> -- <6.04> -- <6.06> -- <6.08> -- <6.10> -- <6.12> -- <6.14> -- <6.16> -- <6.18> -- <6.20> -- <6.22> -- <6.24> -- <6.26> -- <6.28> -- <6.30> -- <6.32> -- <6.34> -- <6.36> -- <6.38> -- <6.40> -- <6.42> -- <6.44> -- <6.46> -- <6.48> -- <6.50> -- <6.52> -- <6.54> -- <6.56> -- <6.58> -- <6.60> -- <6.62> -- <6.64> -- <6.66> -- <6.68> -- <6.70> -- <6.72> -- <6.74> -- <6.76> -- <6.78> -- <6.80> -- <6.82> -- <6.84> -- <6.86> -- <6.88> -- <6.90> -- <6.92> -- <6.94> -- <6.96> -- <6.98> -- <7.00> -- <7.02> -- <7.04> -- <7.06> -- <7.08> -- <7.10> -- <7.12> -- <7.14> -- <7.16> -- <7.18> -- <7.20> -- <7.22> -- <7.24> -- <7.26> -- <7.28> -- <7.30> -- <7.32> -- <7.34> -- <7.36> -- <7.38> -- <7.40> -- <7.42> -- <7.44> -- <7.46> -- <7.48> -- <7.50> -- <7.52> -- <7.54> -- <7.56> -- <7.58> -- <7.60> -- <7.62> -- <7.64> -- <7.66> -- <7.68> -- <7.70> -- <7.72> -- <7.74> -- <7.76> -- <7.78> -- <7.80> -- <7.82> -- <7.84> -- <7.86> -- <7.88> -- <7.90> -- <7.92> -- <7.94> -- <7.96> -- <7.98> -- <8.00> -- <8.02> -- <8.04> -- <8.06> -- <8.08> -- <8.10> -- <8.12> -- <8.14> -- <8.16> -- <8.18> -- <8.20> -- <8.22> -- <8.24> -- <8.26> -- <8.28> -- <8.30> -- <8.32> -- <8.34> -- <8.36> -- <8.38> -- <8.40> -- <8.42> -- <8.44> -- <8.46> -- <8.48> -- <8.50> -- <8.52> -- <8.54> -- <8.56> -- <8.58> -- <8.60> -- <8.62> -- <8.64> -- <8.66> -- <8.68> -- <8.70> -- <8.72> -- <8.74> -- <8.76> -- <8.78> -- <8.80> -- <8.82> -- <8.84> -- <8.86> -- <8.88> -- <8.90> -- <8.92> -- <8.94> -- <8.96> -- <8.98> -- <9.00> -- <9.02> -- <9.04> -- <9.06> -- <9.08> -- <9.10> -- <9.12> -- <9.14> -- <9.16> -- <9.18> -- <9.20> -- <9.22> -- <9.24> -- <9.26> -- <9.28> -- <9.30> -- <9.32> -- <9.34> -- <9.36> -- <9.38> -- <9.40> -- <9.42> -- <9.44> -- <9.46> -- <9.48> -- <9.50> -- <9.52> -- <9.54> -- <9.56> -- <9.58> -- <9.60> -- <9.62> -- <9.64> -- <9.66> -- <9.68> -- <9.70> -- <9.72> -- <9.74> -- <9.76> -- <9.78> -- <9.80> -- <9.82> -- <9.84> -- <9.86> -- <9.88> -- <9.90> -- <9.92> -- <9.94> -- <9.96> -- <9.98> -- <10.00> -- <10.02> -- <10.04> -- <10.06> -- <10.08> -- <10.10> -- <10.12> -- <10.14> -- <10.16> -- <10.18> -- <10.20> -- <10.22> -- <10.24> -- <10.26> -- <10.28> -- <10.30> -- <10.32> -- <10.34> -- <10.36> -- <10.38> -- <10.40> -- <10.42> -- <10.44> -- <10.46> -- <10.48> -- <10.50> -- <10.52> -- <10.54> -- <10.56> -- <10.58> -- <10.60> -- <10.62> -- <10.64> -- <10.66> -- <10.68> -- <10.70> -- <10.72> -- <10.74> -- <10.76> -- <10.78> -- <10.80> -- <10.82> -- <10.84> -- <10.86> -- <10.88> -- <10.90> -- <10.92> -- <10.94> -- <10.96> -- <10.98> -- <11.00> -- <11.02> -- <11.04> -- <11.06> -- <11.08> -- <11.10> -- <11.12> -- <11.14> -- <11.16> -- <11.18> -- <11.20> -- <11.22> -- <11.24> -- <11.26> -- <11.28> -- <11.30> -- <11.32> -- <11.34> -- <11.36> -- <11.38> -- <11.40> -- <11.42> -- <11.44> -- <11.46> -- <11.48> -- <11.50> -- <11.52> -- <11.54> -- <11.56> -- <11.58> -- <11.60> -- <11.62> -- <11.64> -- <11.66> -- <11.68> -- <11.70> -- <11.72> -- <11.74> -- <11.76> -- <11.78> -- <11.80> -- <11.82> -- <11.84> -- <11.86> -- <11.88> -- <11.90> -- <11.92> -- <11.94> -- <11.96> -- <11.98> -- <12.00> -- <12.02> -- <12.04> -- <12.06> -- <12.08> -- <12.10> -- <12.12> -- <12.14> -- <12.16> -- <12.18> -- <12.20> -- <12.22> -- <12.24> -- <12.26> -- <12.28> -- <12.30> -- <12.32> -- <12.34> -- <12.36> -- <12.38> -- <12.40> -- <12.42> -- <12.44> -- <12.46> -- <12.48> -- <12.50> -- <12.52> -- <12.54> -- <12.56> -- <12.58> -- <12.60> -- <12.62> -- <12.64> -- <12.66> -- <12.68> -- <12.70> -- <12.72> -- <12.74> -- <12.76> -- <12.78> -- <12.80> -- <12.82> -- <12.84> -- <12.86> -- <12.88> -- <12.90> -- <12.92> -- <12.94> -- <12.96> -- <12.98> -- <13.00> -- <13.02> -- <13.04> -- <13.06> -- <13.08> -- <13.10> -- <13.12> -- <13.14> -- <13.16> -- <13.18> -- <13.20> -- <13.22> -- <13.24> -- <13.26> -- <13.28> -- <13.30> -- <13.32> -- <13.34> -- <13.36> -- <13.38> -- <13.40> -- <13.42> -- <13.44> -- <13.46> -- <13.48> -- <13.50> -- <13.52> -- <13.54> -- <13.56> -- <13.58> -- <13.60> -- <13.62> -- <13.64> -- <13.66> -- <13.68> -- <13.70> -- <13.72> -- <13.74> -- <13.76> -- <13.78> -- <13.80> -- <13.82> -- <13.84> -- <13.86> -- <13.88> -- <13.90> -- <13.92> -- <13.94> -- <13.96> -- <13.98> -- <14.00> -- <14.02> -- <14.04> -- <14.06> -- <14.08> -- <14.10> -- <14.12> -- <14.14> -- <14.16> -- <14.18> -- <14.20> -- <14.22> -- <14.24> -- <14.26> -- <14.28> -- <14.30> -- <14.32> -- <14.34> -- <14.36> -- <14.38> -- <14.40> -- <14.42> -- <14.44> -- <14.46> -- <14.48> -- <14.50> -- <14.52> -- <14.54> -- <14.56> -- <14.58> -- <14.60> -- <14.62> -- <14.64> -- <14.66> -- <14.68> -- <14.70> -- <14.72> -- <14.74> -- <14.76> -- <14.78> -- <14.80> -- <14.82> -- <14.84> -- <14.86> -- <14.88> -- <14.90> -- <14.92> -- <14.94> -- <14.96> -- <14.98> -- <15.00> -- <15.02> -- <15.04> -- <15.06> -- <15.08> -- <15.10> -- <15.12> -- <15.14> -- <15.16> -- <15.18> -- <15.20> -- <15.22> -- <15.24> -- <15.26> -- <15.28> -- <15.30> -- <15.32> -- <15.34> -- <15.36> -- <15.38> -- <15.40> -- <15.42> -- <15.44> -- <15.46> -- <15.48> -- <15.50> -- <15.52> -- <15.54> -- <15.56> -- <15.58> -- <15.60> -- <15.62> -- <15.64> -- <15.66> -- <15.68> -- <15.70> -- <15.72> -- <15.74> -- <15.76> -- <15.78> -- <15.80> -- <15.82> -- <15.84> -- <15.86> -- <15.88> -- <15.90> -- <15.92> -- <15.94> -- <15.96> -- <15.98> -- <16.00> -- <16.02> -- <16.04> -- <16.06> -- <16.08> -- <16.10> -- <16.12> -- <16.14> -- <16.16> -- <16.18> -- <16.20> -- <16.22> -- <16.24> -- <16.26> -- <16.28> -- <16.30> -- <16.32> -- <16.34> -- <16.36> -- <16.38> -- <16.40> -- <16.42> -- <16.44> -- <16.46> -- <16.48> -- <16.50> -- <16.52> -- <16.54> -- <16.56> -- <16.58> -- <16.60> -- <16.62> -- <16.64> -- <16.66> -- <16.68> -- <16.70> -- <16.72> -- <16.74> -- <16.76> -- <16.78> -- <16.80> -- <16.82> -- <16.84> -- <16.86> -- <16.88> -- <16.90> -- <16.92> -- <16.94> -- <16.96> -- <16.98> -- <17.00> -- <17.02> -- <17.04> -- <17.06> -- <17.08> -- <17.10> -- <17.12> -- <17.14> -- <17.16> -- <17.18> -- <17.20> -- <17.22> -- <17.24> -- <17.26> -- <17.28> -- <17.30> -- <17.32> -- <17.34> -- <17.36> -- <17.38> -- <17.40> -- <17.42> -- <17.44> -- <17.46> -- <17.48> -- <17.50> -- <17.52> -- <17.54> -- <17.56> -- <17.58> -- <17.60> -- <17.62> -- <17.64> -- <17.66> -- <17.68> -- <17.70> -- <17.72> -- <17.74> -- <17.76> -- <17.78> -- <17.80> -- <17.82> -- <17.84> -- <17.86> -- <17.88> -- <17.90> -- <17.92> -- <17.94> -- <17.96> -- <17.98> -- <18.00> -- <18.02> -- <18.04> -- <18.06> -- <18.08> -- <18.10> -- <18.12> -- <18.14> -- <18.16> -- <18.18> -- <18.20> -- <18.22> -- <18.24> -- <18.26> -- <18.28> -- <18.30> -- <18.32> -- <18.34> -- <18.36> -- <18.38> -- <18.40> -- <18.42> -- <18.44> -- <18.46> -- <18.48> -- <18.50> -- <18.52> -- <18.54> -- <18.56> -- <18.58> -- <18.60> -- <18.62> -- <18.64> -- <18.66> -- <18.68> -- <18.70> -- <18.72> -- <18.74> -- <18.76> -- <18.78> -- <18.80> -- <18.82> -- <18.84> -- <18.86> -- <18.88> -- <18.90> -- <18.92> -- <18.94> -- <18.96> -- <18.98> -- <19.00> -- <19.02> -- <19.04> -- <19.06> -- <19.08> -- <19.10> -- <19.12> -- <19.14> -- <19.16> -- <19.18> -- <19.20> -- <19.22> -- <19.24> -- <19.26> -- <19.28> -- <19.30> -- <19.32> -- <19.34> -- <19.36> -- <19.38> -- <19.40> -- <19.42> -- <19.44> -- <19.46> -- <19.48> -- <19.50> -- <19.52> -- <19.54> -- <19.56> -- <19.58> -- <19.60> -- <19.62> -- <19.64> -- <19.66> -- <19.68> -- <19.70> -- <19.72> -- <19.74> -- <19.76> -- <19.78> -- <19.80> -- <19.82> -- <19.84> -- <19.86> -- <19.88> -- <19.90> -- <19.92> -- <19.94> -- <19.96> -- <19.98> -- <20.00> -- <20.02> -- <20.04> -- <20.06> -- <20.08> -- <20.10> -- <20.12> -- <20.14> -- <20.16> -- <20.18> -- <20.20> -- <20.22> -- <20.24> -- <20.26> -- <20.28> -- <20.30> -- <20.32> -- <20.34> -- <20.36> -- <20.38> -- <20.40> -- <20.42> -- <20.44> -- <20.46> -- <20.48> -- <20.50> -- <20.52> -- <20.54> -- <20.56> -- <20.58> -- <20.60> -- <20.62> -- <20.64> -- <20.66> -- <20.68> -- <20.70> -- <20.72> -- <20.74> -- <20.76> -- <20.78> -- <20.80> -- <20.82> -- <20.84> -- <20.86> -- <20.88> -- <20.90> -- <20.92> -- <20.94> -- <20.96> -- <20.98> -- <21.00> -- <21.02> -- <21.04> -- <21.06> -- <21.08> -- <21.10> -- <21.12> -- <21.14> -- <21.16> -- <21.18> -- <21.20> -- <21.22> -- <21.24> -- <21.26> -- <21.28> -- <21.30> -- <21.32> -- <21.34> -- <21.36> -- <21.38> -- <21.40> -- <21.42> -- <21.44> -- <21.46> -- <21.48> -- <21.50> -- <21.52> -- <21.54> -- <21.56> -- <21.58> -- <21.60> -- <21.62> -- <21.64> -- <21.66> -- <21.68> -- <21.70> -- <21.72> -- <21.74> -- <21.76> -- <21.78> -- <21.80> -- <21.82> -- <21.84> -- <21.86> -- <21.88> -- <21.90> -- <21.92> -- <21.94> -- <21.96> -- <21.98> -- <22.00> -- <22.02> -- <22.04> -- <22.06> -- <22.08> -- <22.10> -- <22.12> -- <22.14> -- <22.16> -- <22.18> -- <22.20> -- <22.22> -- <22.24> -- <22.26> -- <22.28> -- <22.30> -- <22.32> -- <22.34> -- <22.36> -- <22.38> -- <22.40> -- <22.42> -- <22.44> -- <22.46> -- <22.48> -- <22.50> -- <22.52> -- <22.54> -- <22.56> -- <22.58> -- <22.60> -- <22.62> -- <22.64> -- <22.66> -- <22.68> -- <22.70> -- <22.72> -- <22.74> -- <22.76> -- <22.78> -- <22.80> -- <22.82> -- <22.84> -- <22.86> -- <22.88> -- <22.90> -- <22.92> -- <22.94> -- <22.96> -- <22.98> -- <23.00> -- <23.02> -- <23.04> -- <23.06> -- <23.08> -- <23.10> -- <23.12> -- <23.14> -- <23.16> -- <23.18> -- <23.20> -- <23.22> -- <23.24> -- <23.26> -- <23.28> -- <23.30> -- <23.32> -- <23.34> -- <23.36> -- <23.38> -- <23.40> -- <23.42> -- <23.44> -- <23.46> -- <23.48> -- <23.50> -- <23.52> -- <23.54> -- <23.56> -- <23.58> -- <23.60> -- <23.62> -- <23.64> -- <23.66> -- <23.68> -- <23.70> -- <23.72> -- <23.74> -- <23.76> -- <23.78> -- <23.80> -- <23.82> -- <23.84> -- <23.86> -- <23.88> -- <23.90> -- <23.92> -- <23.94> -- <23.96> -- <23.98> -- <24.00> -- <24.02> -- <24.04> -- <24.06> -- <24.08> -- <24.10> -- <24.12> -- <24.14> -- <24.16> -- <24.18> -- <24.20> -- <24.22> -- <24.24> -- <24.26> -- <24.28> -- <24.30> -- <24.32> -- <24.34> -- <24.36> -- <24.38> -- <24.40> -- <24.42> -- <24.44> -- <24.46> -- <24.48> -- <24.50> -- <24.52> -- <24.54> -- <24.56> -- <24.58> -- <24.60> -- <24.62> -- <24.64> -- <24.66> -- <24.68> -- <24.70> -- <24.72> -- <24.74> -- <24.76> -- <24.78> -- <24.80> -- <24.82> -- <24.84> -- <24.86> -- <24.88> -- <24.90> -- <24.92> -- <24.94> -- <24.96> -- <24.98> -- <25.00> -- <25.02> -- <25.04> -- <25.06> -- <25.08> -- <25.10> -- <25.12> -- <25.14> -- <25.16> -- <25.18> -- <25.20> -- <25.22> -- <25.24> -- <25.26> -- <25.28> -- <25.30> -- <25.32> -- <25.34> -- <25.36> -- <25.38> -- <25.40> -- <25.42> -- <25.44> -- <25.46> -- <25.48> -- <25.50> -- <25.52> -- <25.54> -- <25.56> -- <25.58> -- <25.60> -- <25.62> -- <25.64> -- <25.66> -- <25.68> -- <25.70> -- <25.72> -- <25.74> -- <25.76> -- <25.78> -- <25.80> -- <25.82> -- <25.84> -- <25.86> -- <25.88> -- <25.90> -- <25.92> -- <25.94> -- <25.96> -- <25.98> -- <26.00> -- <26.02> -- <26.04> -- <26.06> -- <26.08> -- <26.10> -- <26.12> -- <26.14> -- <26.16> -- <26.18> -- <26.20> -- <26.22> -- <26.24> -- <26.26> -- <26.28> -- <26.30> -- <26.32> -- <26.34> -- <26.36> -- <26.38> -- <26.40> -- <26.42> -- <26.44> -- <26.46> -- <26.48> -- <26.50> -- <26.52> -- <26.54> -- <26.56> -- <26.58> -- <26.60> -- <26.62> -- <26.64> -- <26.66> -- <26.68> -- <26.70> -- <26.72> -- <26.74> -- <26.76> -- <26.78> -- <26.80> -- <26.82> -- <26.84> -- <26.86> -- <26.88> -- <26.90> -- <26.92> -- <26.94> -- <26.96> -- <26.98> -- <27.00> -- <27.02> -- <27.04> -- <27.06> -- <27.08> -- <27.10> -- <27.12> -- <27.14> -- <27.16> -- <27.18> -- <27.20> -- <27.22> -- <27.24> -- <27.26> -- <27.28> -- <27.30> -- <27.32> -- <27.34> -- <27.36> -- <27.38> -- <27.40> -- <27.42> -- <27.44> -- <27.46> -- <27.48> -- <27.50> -- <27.52> -- <27.54> -- <27.56> -- <27.58> -- <27.60> -- <27.62> -- <27.64> -- <27.66> -- <27.68> -- <27.70> -- <27.72> -- <27.74> -- <27.76> -- <27.78> -- <27.80> -- <27.82> -- <27.84> -- <27.86> -- <27.88> -- <27.90> -- <27.92> -- <27.94> -- <27.96> -- <27.98> -- <28.00> -- <28.02> -- <28.04> -- <28.06> -- <28.08> -- <28.10> -- <28.12> -- <28.14> -- <28.16> -- <28.18> -- <28.20> -- <28.22> -- <28.24> -- <28.26> -- <28.28> -- <28.30> -- <28.32> -- <28.34> -- <28.36> -- <28.38> -- <28.40> -- <28.42> -- <28.44> -- <28.46> -- <28.48> -- <28.50> -- <28.52> -- <28.54> -- <28.56> -- <28.58> -- <28.60> -- <28.62> -- <28.64> -- <28.66> -- <28.68> -- <28.70> -- <28.72> -- <28.74> -- <28.76> -- <28.78> -- <28.80> -- <28.82> -- <28.84> -- <28.86> -- <28.88> -- <28.90> -- <28.92> -- <28.94> -- <28.96> -- <28.98> -- <29.00> -- <29.02> -- <29.04> -- <29.06> -- <29.08> -- <29.10> -- <29.12> -- <29.14> -- <29.16> -- <29.18> -- <29.20> -- <29.22> -- <29.24> -- <29.26> -- <29.28> -- <29.30> -- <29.32> -- <29.34> -- <29.36> -- <29.38> -- <29.40> -- <29.42> -- <29.44> -- <29.46> -- <29.48> -- <29.50> -- <29.52> -- <29.54> -- <29.56> -- <29.58> -- <29.60> -- <29.62> -- <29.64> -- <29.66> -- <29.68> -- <29.70> -- <29.72> -- <29.74> -- <29.76> -- <29.78> -- <29.80> -- <29.82> -- <29.84> -- <29.86> -- <29.88> -- <29.90> -- <29.92> -- <29.94> -- <29.96> -- <29.98> -- <30.00> -- ▁ -- ',' -- ▁the -- . -- s -- ▁and -- ▁of -- ▁to -- ▁a -- 。 -- ▁in -- '''' -- ▁that -- ▁i -- ▁it -- ▁was -- e -- t -- ▁you -- ▁he -- ▁is -- en -- 的 -- '-' -- ▁for -- ▁de -- ▁with -- d -- ▁be -- n -- ▁his -- ▁as -- ▁we -- の -- ▁on -- 、 -- ▁die -- ▁had -- ▁but -- ▁so -- '?' -- ▁not -- a -- ▁at -- ▁have -- ▁this -- ▁und -- ▁her -- er -- ▁they -- i -- ed -- m -- o -- re -- ▁she -- ▁der -- ▁an -- ▁by -- ing -- ▁all -- ▁are -- ▁la -- が -- ▁from -- を -- ▁me -- ▁which -- ▁my -- es -- は -- ▁one -- ▁no -- ▁there -- ▁him -- 了 -- ▁or -- ▁were -- に -- y -- ▁what -- ▁do -- ▁zu -- r -- ▁our -- ▁if -- ly -- ▁would -- ▁ist -- ▁when -- ▁their -- u -- ▁said -- ▁will -- で -- ▁es -- ▁Sie -- ▁like -- ▁das -- ▁them -- ▁who -- 在 -- ▁can -- ▁out -- ▁know -- ▁been -- ▁I -- te -- ▁ich -- ▁about -- ▁up -- '!' -- ▁man -- ▁more -- ve -- 我 -- ▁un -- ▁que -- 和 -- 是 -- ▁sie -- ▁then -- ▁your -- ▁ein -- ▁den -- ▁some -- k -- а -- ▁now -- ▁von -- ▁nicht -- ▁very -- 你 -- と -- ▁has -- ▁into -- ▁time -- ▁в -- ▁не -- in -- ▁just -- ▁could -- ▁dass -- ▁um -- ▁Und -- ar -- 人 -- ▁en -- ▁и -- ▁auf -- ▁think -- ▁war -- ▁eine -- も -- ▁mit -- ▁over -- de -- ▁well -- ▁also -- 他 -- ▁see -- al -- ▁wir -- ▁other -- ▁des -- le -- ll -- ▁how -- ▁than -- 啊 -- 不 -- ▁these -- ▁little -- ▁" -- ▁sich -- an -- ▁l -- 上 -- е -- ▁us -- ▁any -- ▁go -- ▁two -- 有 -- ▁did -- ▁don -- ▁people -- ▁only -- st -- ▁good -- z -- na -- ▁на -- ▁where -- ▁se -- ▁el -- c -- l -- 中 -- ▁na -- ▁first -- ta -- to -- ▁als -- ▁come -- ▁für -- ▁much -- ▁Ich -- у -- ten -- ▁di -- 我们 -- ▁y -- ▁get -- ▁here -- 大 -- ▁down -- ▁с -- is -- ▁way -- ▁du -- から -- ▁что -- ▁le -- ▁am -- ▁wie -- ▁before -- 'on' -- ▁should -- ▁made -- ▁after -- ▁those -- ▁upon -- h -- 一 -- ne -- ▁right -- ▁haben -- ▁because -- ▁back -- ▁great -- ▁A -- です -- ▁going -- ▁er -- ch -- 就 -- 他们 -- ▁say -- ▁dem -- ▁по -- 这个 -- и -- se -- ▁make -- ▁its -- é -- ▁The -- ▁such -- 说 -- 来 -- ▁may -- la -- ▁je -- ▁even -- ra -- ▁ver -- ▁men -- م -- ':' -- g -- ge -- ▁new -- da -- 地 -- ▁im -- ▁through -- 呢 -- ▁long -- w -- ▁never -- な -- ▁Es -- as -- 一个 -- j -- ▁most -- ▁must -- ▁sind -- '"' -- ▁day -- ▁came -- ▁really -- '1' -- f -- il -- ▁life -- den -- ▁per -- est -- ']' -- ▁many -- ▁я -- ▁old -- ▁And -- ▁con -- ▁[ -- т -- ▁mu -- ▁hat -- ▁again -- ▁own -- ▁things -- м -- ▁La -- ▁take -- し -- ▁being -- 她 -- 这 -- ▁aus -- me -- 'no' -- ▁et -- man -- ▁yeah -- p -- я -- 它 -- us -- ga -- ma -- ▁ge -- ▁ku -- ▁mr -- ▁我 -- ▁still -- ▁за -- ▁too -- os -- ▁last -- b -- '2' -- be -- 小 -- ce -- ung -- ы -- 子 -- ▁o -- ▁les -- ▁might -- ▁work -- 会 -- ro -- ▁every -- ▁у -- か -- х -- ▁We -- ir -- ▁al -- ▁So -- ni -- や -- ti -- un -- ▁want -- 对 -- 去 -- it -- 到 -- ▁Die -- る -- ▁ne -- ▁look -- we -- ▁In -- ▁went -- д -- ▁über -- ▁part -- ▁years -- do -- ▁da -- ’ -- 吗 -- ▁got -- ی -- ▁это -- ▁van -- ▁same -- ね -- ▁thought -- ▁himself -- at -- ▁something -- ▁three -- って -- 被 -- ▁let -- ▁S -- ▁werden -- ka -- ▁wenn -- ho -- 都 -- 着 -- ▁ah -- ▁world -- ▁while -- 好 -- ▁Er -- ci -- S -- ▁einen -- ▁thing -- ▁à -- ▁hand -- 要 -- li -- ▁year -- 下 -- ▁away -- 出 -- lo -- ▁kind -- й -- ж -- ▁del -- ▁oh -- ▁auch -- ▁Das -- ment -- た -- л -- va -- ▁without -- ers -- ▁put -- ▁place -- ▁under -- je -- с -- い -- ter -- 没有 -- ▁oder -- ▁ya -- ▁вы -- 里 -- ▁off -- ▁found -- ه -- ▁yet -- н -- する -- ка -- ▁another -- ▁diese -- ▁una -- ▁why -- em -- した -- ▁то -- et -- 时 -- el -- 从 -- ▁а -- si -- ri -- 就是 -- ▁sein -- 点 -- ▁shall -- ▁aber -- sa -- th -- ▁god -- ur -- ba -- ▁Aber -- ze -- ▁tell -- ke -- ness -- '3' -- ▁far -- ▁give -- 也 -- して -- 用 -- or -- ▁though -- お -- ▁nothing -- mo -- ▁eyes -- ng -- ▁once -- ▁你 -- ▁always -- ▁saw -- ▁و -- men -- ▁het -- ▁house -- able -- 日 -- この -- ли -- ) -- ▁ever -- 年 -- 家 -- ▁wird -- 手 -- ▁vor -- ▁love -- ▁face -- ▁een -- ▁home -- ko -- ja -- ▁ha -- о -- wa -- ▁uns -- て -- ▁habe -- ن -- ▁head -- go -- ▁nur -- 想 -- ▁young -- ▁nach -- v -- ▁va -- zi -- ▁few -- ton -- ▁mich -- ver -- am -- ▁si -- ▁better -- ▁einem -- ▁mean -- der -- di -- на -- ▁each -- ▁business -- ▁E -- ▁find -- ity -- ▁It -- ▁both -- ▁left -- 那 -- では -- ▁einer -- 为 -- د -- ▁( -- · -- ▁night -- ation -- x -- ▁took -- za -- но -- ▁mind -- ت -- 当 -- um -- ya -- ▁mir -- ▁— -- ▁können -- ha -- 过 -- ▁done -- ▁father -- 水 -- ▁need -- ▁against -- sch -- 」 -- 的人 -- ш -- he -- ry -- ▁moment -- り -- 吧 -- ▁half -- ▁He -- ▁course -- 得 -- ▁yes -- ▁between -- ▁dat -- ▁end -- co -- ▁lot -- ki -- ent -- ▁v -- ▁می -- 前 -- ca -- ▁Wir -- ▁next -- ла -- ▁noch -- ▁ma -- ▁ko -- ю -- 多 -- 这些 -- ant -- 高 -- 什么 -- gen -- ▁looked -- ▁su -- ▁door -- ▁called -- noise -- ▁ja -- 做 -- という -- ▁من -- ▁te -- ة -- ▁wurde -- ted -- 与 -- 心 -- ▁seen -- ▁par -- 事 -- ، -- ▁asked -- ▁son -- ス -- ▁El -- ju -- ▁kann -- ▁улица -- ▁side -- ▁дробь -- 本 -- ▁как -- ▁having -- ▁L -- son -- ▁о -- ▁told -- 「 -- 回 -- ▁por -- ▁does -- ش -- ▁los -- ▁heard -- ▁heart -- 者 -- 行 -- ▁hatte -- ▁met -- ▁B -- ▁water -- ▁sehr -- ▁pro -- ▁whole -- ▁quite -- ▁name -- 分 -- '".' -- ▁believe -- mi -- ▁mother -- ▁bei -- tu -- ▁در -- 把 -- ste -- 打 -- ら -- 而 -- '4' -- ▁il -- 性 -- ▁best -- ▁knew -- ▁ni -- so -- ler -- land -- 三 -- ▁around -- ▁enough -- 可以 -- ました -- к -- ч -- ▁different -- ▁para -- ▁call -- ▁op -- ▁che -- ▁به -- ▁к -- 生 -- 后 -- T -- ie -- 能 -- く -- ▁ob -- ▁seemed -- 自己 -- ▁point -- ia -- ▁sa -- には -- ▁set -- 的时候 -- ting -- ▁ال -- 所 -- ▁ba -- ▁second -- ي -- ▁mrs -- ▁four -- ul -- ad -- ・ -- à -- ▁uh -- ▁mi -- 看 -- ▁room -- ▁woman -- ▁但是 -- 走 -- ▁high -- ling -- ▁sure -- ▁light -- ▁five -- ▁sir -- その -- ▁durch -- fe -- 이 -- ▁country -- ▁hier -- ▁actually -- ▁hundred -- '5' -- 山 -- lu -- ▁use -- vo -- ▁anything -- ▁он -- ▁po -- ye -- ▁да -- ▁所以 -- でも -- ▁bir -- ion -- 力 -- 最 -- ▁他 -- та -- г -- bo -- ▁almost -- by -- 天 -- ▁days -- ▁com -- ▁wa -- ▁care -- ▁C -- ▁help -- 还 -- 您 -- ▁при -- ▁c -- ▁sort -- ist -- ▁pas -- ▁dieser -- 我的 -- 斯 -- 个 -- 不是 -- 特 -- き -- ا -- du -- ▁Der -- ▁з -- ます -- im -- ▁от -- ▁soon -- ですね -- gi -- ▁quarter -- 新 -- ▁small -- 更 -- ▁ab -- ven -- ▁Re -- 国 -- ▁gibt -- ▁money -- ku -- ▁D -- ▁alle -- ▁white -- ▁together -- ▁K -- 现在 -- 很 -- ▁мы -- ▁since -- A -- さん -- ▁fact -- 你的 -- ▁dann -- ▁qui -- ▁doing -- п -- ó -- vi -- ▁question -- ▁until -- hi -- ▁miss -- ل -- ▁ik -- 给 -- в -- ▁didn -- 非常 -- less -- ▁Be -- pa -- ▁talk -- ▁hard -- ty -- ▁twenty -- ▁yn -- ▁full -- ▁nor -- ▁De -- ки -- ▁used -- ▁morning -- ▁gave -- 将 -- ken -- よ -- ▁big -- ig -- ر -- ▁bit -- 老 -- га -- ▁Le -- wi -- ов -- ▁lord -- zu -- ▁number -- ▁ka -- po -- ▁mehr -- ▁real -- 可能 -- and -- ▁keep -- lar -- ▁про -- ▁words -- ▁however -- ▁king -- que -- ▁immer -- ▁looking -- ▁hands -- au -- ▁feel -- ▁An -- ine -- ▁began -- 呀 -- ▁rest -- ▁open -- ▁waren -- ut -- ic -- 那个 -- ▁felt -- ▁O -- 或 -- 比 -- 长 -- 头 -- р -- ▁En -- ▁zum -- ▁wirklich -- laughter -- ▁في -- ▁ب -- ▁这 -- 가 -- 已经 -- 可 -- 开始 -- ▁turned -- ▁і -- kan -- ▁так -- ▁lo -- ▁bu -- ▁poor -- ▁power -- ▁etwas -- id -- ку -- ▁M -- 再 -- ▁па -- 外 -- ▁T -- ちょっと -- ▁during -- C -- ▁whom -- ▁pour -- ▁word -- ▁among -- 名 -- ▁matter -- 度 -- ▁children -- les -- ▁large -- ▁true -- ▁certain -- ▁death -- ▁lady -- ▁myself -- ▁Ja -- ak -- з -- 并 -- しました -- 月 -- ▁till -- ▁N -- ▁state -- ▁dans -- 你们 -- ▁که -- ▁person -- 因为 -- pe -- ▁present -- ▁boy -- ом -- ▁co -- ol -- ▁Se -- ▁case -- dy -- す -- ない -- ▁voice -- led -- ▁P -- the -- ▁b -- ▁Li -- ate -- ▁order -- ▁w -- ▁Ver -- ▁tun -- 像 -- ▁black -- fa -- ь -- ▁все -- ▁general -- ▁rather -- oj -- 太 -- ▁pe -- ▁brought -- ▁bin -- ▁live -- ▁given -- 成 -- 这种 -- 向 -- jo -- ▁Menschen -- ▁show -- ▁Wenn -- ▁را -- nt -- bi -- 让 -- 先 -- ▁ihre -- ▁important -- ся -- ▁taken -- ▁perhaps -- è -- ▁girl -- ▁est -- ▁hear -- 二 -- だ -- ▁раз -- み -- ▁za -- 面 -- ▁une -- 以 -- 发 -- さ -- 又 -- 金 -- ▁вот -- tion -- ▁ihr -- ▁hij -- ▁meine -- ▁pa -- ▁already -- 海 -- ▁company -- ▁human -- 道 -- ek -- ▁But -- ▁friend -- った -- ▁strong -- ▁coming -- ik -- 方 -- ▁pre -- ▁thousand -- ji -- 内 -- mu -- ▁round -- ▁air -- ▁ihn -- го -- ai -- 无 -- '6' -- ▁seine -- ▁-- -- ▁но -- ع -- ben -- ▁often -- ▁change -- ▁everything -- ▁sent -- ▁dis -- nie -- 他的 -- да -- 西 -- ▁within -- ny -- ▁sea -- 尔 -- ▁six -- つ -- 没 -- 所以 -- ▁estas -- 但 -- ва -- ▁Ein -- ▁wissen -- ▁themselves -- ▁我们 -- ▁This -- ▁那 -- ▁forward -- ▁whether -- lan -- ▁along -- ck -- 口 -- 这是 -- '7' -- ▁making -- ▁dear -- 学 -- とか -- ▁car -- cu -- á -- ▁из -- ▁sur -- ▁school -- ▁stood -- ▁others -- ▁idea -- ▁across -- 开 -- ▁ser -- ▁near -- ц -- ▁understand -- і -- もう -- ▁family -- ▁keur -- ▁tu -- 入 -- ▁herself -- ▁cannot -- ▁nature -- ▁sagte -- ية -- ▁public -- ▁fire -- س -- ieren -- ▁است -- ▁Zeit -- ▁city -- ▁viel -- ts -- いい -- ем -- ▁wo -- ▁niet -- ▁dan -- ▁women -- tes -- ▁然后 -- ▁times -- ▁turn -- aba -- ▁hope -- ▁read -- ▁این -- ive -- 花 -- age -- 何 -- ▁zijn -- ▁Na -- ▁از -- ть -- ▁non -- ▁gone -- ren -- '8' -- ▁p -- ▁li -- 死 -- ので -- ▁thus -- ▁würde -- zo -- ル -- ля -- ▁sehen -- ▁amb -- ▁child -- う -- ▁この -- ▁says -- E -- ▁sagen -- ▁sense -- 听 -- ▁means -- ▁pretty -- ها -- ster -- ▁indeed -- ▁red -- ▁least -- ▁behind -- 一些 -- K -- 日本 -- ▁reason -- 化 -- ト -- ▁sat -- ▁short -- 就像 -- ▁wife -- ك -- ▁voor -- ▁Il -- ▁able -- ▁body -- ▁feet -- いた -- ▁nu -- ger -- 先生 -- ▁keine -- 知道 -- 儿 -- 一样 -- 这样 -- ны -- ▁z -- ▁einfach -- ات -- 拉 -- ▁unter -- ▁less -- ح -- ▁أ -- sta -- ▁continue -- ▁qu -- не -- ить -- bu -- 工作 -- ▁several -- q -- ▁whose -- ▁ce -- per -- ▁F -- ▁won -- として -- gu -- ado -- 还是 -- 法 -- yo -- ▁market -- 之 -- 放 -- ம் -- ada -- ▁close -- ▁leave -- ▁ask -- ان -- ▁Ma -- ▁ki -- 吃 -- ▁possible -- 你知道 -- mer -- š -- cy -- wo -- ми -- ▁later -- ▁known -- ▁friends -- ▁become -- わ -- ah -- و -- up -- ▁growth -- 体 -- ▁wieder -- 车 -- 重 -- 德 -- ▁story -- نا -- ▁thou -- ▁probably -- ▁U -- ă -- 爱 -- aj -- 万 -- í -- ▁ihm -- ▁either -- ile -- ▁run -- 光 -- 位 -- ▁alone -- ner -- ▁diesem -- ous -- ç -- ä -- ▁speak -- ▁else -- ў -- 白 -- ▁bad -- 但是 -- ▁до -- ▁mal -- など -- mos -- 部 -- io -- ▁そして -- N -- 于 -- ▁start -- ▁free -- ▁itself -- red -- ▁past -- ▁om -- ▁jetzt -- ア -- 跟 -- 别 -- ▁gut -- ▁Art -- ley -- ب -- ク -- ▁sometimes -- 는 -- zen -- ز -- んだ -- ▁andere -- ari -- ▁G -- chen -- ▁Ge -- lich -- им -- ▁ten -- ▁kaj -- ▁book -- ▁bi -- ▁Un -- ▁therefore -- ле -- era -- ▁passed -- che -- ▁line -- sten -- 我们的 -- gel -- 今 -- ▁above -- ▁Bu -- ال -- ▁au -- ま -- ham -- ▁wanted -- ▁became -- ▁în -- ber -- ▁cried -- 利 -- ▁today -- ru -- ты -- ▁Sch -- ▁és -- ard -- G -- ▁zwei -- des -- 起 -- 数 -- ▁fa -- 问题 -- ft -- ▁weil -- 马 -- ▁land -- I -- ▁ta -- 需要 -- イ -- B -- 지 -- 四 -- ana -- ん -- ▁form -- ▁vi -- ▁Ha -- ▁saying -- ▁No -- 고 -- 世界 -- ▁bring -- ▁getting -- 都是 -- 田 -- 王 -- ー -- F -- iert -- bar -- ▁Sa -- ▁Y -- ▁dead -- ▁bed -- ▁hour -- ды -- 路 -- '10' -- ▁future -- ▁그 -- ▁Al -- ▁، -- 钱 -- ▁bis -- ет -- ▁zur -- ▁machen -- 物 -- D -- ▁là -- ▁earth -- 孩子 -- nd -- W -- カ -- ▁cost -- ▁же -- ated -- ▁Je -- 安 -- ▁las -- ▁под -- ▁الم -- ▁held -- ▁play -- 两 -- ▁fell -- ▁remember -- end -- ▁plus -- 定 -- 叫 -- ▁dark -- б -- ish -- ▁fast -- 时间 -- ▁hi -- ful -- ▁como -- 带 -- ▁ў -- ▁As -- ang -- ▁Do -- ▁started -- P -- ная -- 一下 -- ▁lost -- 知 -- tro -- fer -- 五 -- min -- 自 -- リ -- ▁okay -- ко -- ▁vous -- ▁ground -- ло -- '9' -- 流 -- ance -- ▁anderen -- 身 -- ра -- ▁Was -- ный -- ▁answer -- ▁early -- 谁 -- ▁один -- ▁bo -- ▁stand -- ▁ago -- 見 -- め -- ▁lay -- ▁try -- 快 -- 克 -- 美 -- ▁但 -- ▁ну -- ▁сто -- ▁müssen -- ド -- nu -- sen -- ▁Ne -- 合 -- day -- му -- ▁answered -- ▁selbst -- 主 -- ▁denke -- ▁clear -- tic -- iz -- ой -- ▁ты -- 看到 -- ▁они -- ez -- om -- ▁front -- ning -- ▁truth -- ▁А -- ait -- ▁alles -- ▁viele -- のは -- ▁Leute -- خ -- 然后 -- ▁towards -- 的话 -- ق -- ни -- ти -- port -- han -- ▁мне -- ." -- ▁working -- her -- ▁further -- ▁zurück -- ▁Dinge -- 人们 -- ▁ye -- 真 -- ▁taking -- 目 -- lin -- まで -- します -- vu -- rs -- ف -- 市 -- ▁trying -- ▁Ihnen -- 只是 -- su -- 门 -- ▁replied -- ▁fear -- gan -- 火 -- ker -- 使用 -- 气 -- 怎么 -- ▁fine -- ▁town -- ▁его -- ند -- ах -- ▁ad -- にも -- tan -- ▁law -- だった -- え -- ▁em -- лі -- ▁было -- ک -- これ -- ▁era -- 等 -- ▁expect -- ere -- way -- 明 -- 全 -- ▁W -- ▁dieses -- tor -- ▁third -- ラ -- ab -- ▁бы -- 它们 -- 那么 -- 真的 -- ▁со -- M -- ern -- ма -- 도 -- ▁для -- O -- ؟ -- ▁sun -- ▁government -- ▁есть -- igen -- 正 -- ▁thank -- コ -- ам -- ; -- ▁kon -- 请 -- ism -- ischen -- ▁church -- ▁pay -- ▁ت -- 中国 -- ▁거 -- ef -- '20' -- ▁Da -- ▁return -- ▁Du -- ▁table -- ▁diesen -- ▁system -- ▁ca -- ▁sound -- if -- ▁soul -- vis -- ú -- 어 -- 南 -- ina -- ご -- 感 -- 作 -- ▁muss -- ▁maybe -- ▁week -- 通 -- ▁ready -- ▁Per -- います -- fi -- és -- ▁Vi -- ▁два -- ies -- ▁beautiful -- ▁plan -- あ -- tra -- ▁seems -- ▁sin -- ▁нас -- 动 -- ▁continued -- 加 -- ▁brother -- ▁thy -- 立 -- ▁kept -- 出来 -- ▁top -- ▁там -- ▁master -- ▁position -- 同 -- ▁certainly -- ence -- nya -- H -- ▁aan -- dan -- ▁art -- ap -- ▁Wie -- ▁comes -- '...' -- ▁talking -- ▁با -- ▁wish -- 時 -- ▁subject -- ▁mar -- ring -- ▁service -- ▁thinking -- ன் -- র -- tar -- ▁cap -- ary -- ▁cold -- ▁evening -- val -- ▁suddenly -- しています -- ▁seven -- 应该 -- ор -- ▁gu -- 那些 -- ini -- ac -- ▁longer -- ria -- ▁cause -- 通过 -- 米 -- pi -- ▁eines -- ama -- ▁low -- ▁view -- nen -- 公司 -- ▁arm -- gar -- している -- ▁nous -- 自己的 -- து -- でした -- 送 -- 意 -- ex -- ▁ما -- いて -- ▁Mi -- one -- elle -- ▁bar -- ▁happened -- 文 -- ons -- 에 -- ▁letter -- ▁happy -- ▁interest -- ire -- ил -- ні -- sha -- ▁doubt -- ita -- ▁deep -- ▁Ihre -- 区 -- ▁дом -- ▁pass -- ag -- lle -- ▁அ -- U -- ▁ihnen -- ici -- ▁если -- ▁sub -- con -- ▁living -- 平 -- 这么 -- ர் -- ▁「 -- ix -- ных -- ▁f -- ин -- то -- 格 -- 野 -- ite -- ā -- ある -- ▁schon -- ▁dit -- ▁THE -- ▁common -- 生活 -- んで -- ▁nie -- ▁manner -- ▁hold -- ▁Vor -- ▁thirty -- ▁ex -- 木 -- ▁river -- された -- ▁unsere -- ▁john -- ble -- ▁dé -- 不会 -- ▁husband -- ▁Welt -- tt -- ▁zij -- ▁months -- ▁watch -- ين -- ▁road -- ▁eight -- 声 -- sh -- ▁V -- ▁spirit -- 军 -- ▁dr -- qui -- 喜欢 -- ит -- ▁To -- ون -- ▁б -- ▁rose -- ▁wurden -- ▁об -- ▁returned -- 店 -- ian -- ▁capital -- ▁meet -- ▁R -- マ -- ▁support -- ▁post -- bel -- ▁Ab -- ▁natural -- 给我 -- ন -- 今天 -- 有一个 -- پ -- ▁results -- ர -- ▁seeing -- ▁value -- ▁street -- 或者 -- 原 -- 问 -- ▁mein -- 号 -- ей -- bre -- 住 -- це -- 不能 -- car -- ▁Ka -- une -- ▁denn -- 总 -- 之前 -- ▁guess -- 科 -- ン -- 们 -- ran -- 我想 -- ▁Ni -- ▁cut -- 情 -- ▁hours -- kin -- 希望 -- ▁Ba -- 戦 -- ▁sight -- ています -- ▁その -- 公 -- 研究 -- ▁Ta -- 是的 -- ige -- ▁Aus -- ▁Man -- ме -- ча -- ▁deal -- ▁whatever -- 半 -- ▁einige -- ▁strange -- ▁werde -- ▁pri -- 言 -- 次 -- 使 -- ê -- ▁fair -- ▁doesn -- 元 -- ▁account -- 的是 -- ▁social -- ▁vol -- 也是 -- mal -- ende -- ▁food -- len -- ▁experience -- 州 -- ня -- ▁seiner -- ▁yo -- ▁minutes -- ▁să -- ной -- fre -- ò -- op -- ▁cu -- 品 -- ▁terms -- ▁You -- ▁아 -- 该 -- ▁blood -- 线 -- are -- 的事情 -- ▁У -- 能够 -- ş -- ▁process -- 八 -- 干 -- ▁court -- 的东西 -- 发现 -- ▁меня -- ▁fi -- ▁green -- eg -- 長 -- ▁followed -- ▁received -- ron -- 神 -- ris -- 気 -- can -- 觉得 -- ▁はい -- 林 -- ▁mais -- がある -- 张 -- れ -- 代 -- ▁english -- ▁move -- ▁có -- ▁due -- ▁damit -- 他们的 -- sel -- ▁wild -- ungen -- 量 -- ▁act -- tel -- ▁mine -- ▁single -- los -- ▁mo -- line -- ▁makes -- ns -- ▁particular -- ▁spoke -- いる -- ▁drei -- ▁feeling -- ▁horse -- ▁arms -- ▁hair -- bra -- ▁captain -- வ -- 才 -- ▁beyond -- 女 -- 六 -- 还有 -- ша -- ক -- 一点 -- ▁They -- ▁suppose -- ▁tra -- tter -- ▁tried -- ▁Te -- ▁g -- ▁walk -- ure -- ▁seem -- ▁ho -- ▁information -- ▁yourself -- 社会 -- 之后 -- ▁sleep -- кі -- ая -- ▁Also -- cha -- wer -- ▁wind -- ▁simple -- cht -- ▁history -- ban -- ▁dir -- ▁أن -- 石 -- R -- 大家 -- ▁effect -- ▁eye -- bri -- 是一个 -- те -- ndo -- ▁maar -- ▁Ra -- 色 -- cher -- こ -- ия -- ▁wrong -- ▁data -- let -- del -- ▁foot -- ship -- са -- ▁self -- 形 -- 理 -- ▁fifty -- 人が -- こと -- 空 -- وا -- 球 -- ブ -- ▁states -- ▁although -- ▁pen -- ▁sit -- ▁problem -- 找 -- ロ -- ▁glad -- 相 -- なかった -- zer -- cia -- ging -- ▁result -- ▁Im -- ▁space -- ▁example -- ▁stop -- 如果 -- ▁она -- ▁period -- ▁очень -- 을 -- 讲 -- room -- 不要 -- ▁els -- ▁force -- ▁Les -- ▁gold -- 很多 -- ▁когда -- ating -- _ -- ▁none -- ▁reached -- ▁这是 -- ди -- mes -- ano -- ▁könnte -- ally -- ▁ke -- ▁Me -- 让我 -- タ -- じ -- ▁daughter -- 九 -- ę -- そう -- ele -- ▁двадцать -- ல -- 见 -- ные -- ▁stuff -- 只 -- 第 -- 认为 -- 私 -- 关于 -- ▁weiß -- ▁New -- ▁attention -- について -- ▁Mo -- 台 -- のか -- las -- 教 -- 进 -- ▁doctor -- ée -- ise -- tas -- ▁Co -- 集 -- 北 -- sion -- 政府 -- af -- ▁pot -- ▁chance -- king -- té -- ম -- mp -- ▁fer -- ▁especially -- 东西 -- 买 -- ▁stay -- ot -- ▁exactly -- フ -- 布 -- ▁Po -- ▁tôi -- ام -- hu -- ding -- 何か -- 阿 -- だけ -- ▁share -- ▁higher -- my -- use -- ▁Leben -- nde -- ▁geht -- ▁except -- 川 -- 完全 -- ize -- ▁send -- ▁character -- ▁party -- ▁camp -- mente -- ▁outside -- ▁如果 -- ▁Als -- ert -- ▁یک -- ▁blue -- ira -- ▁window -- になる -- っていう -- ▁couple -- ale -- ž -- க் -- ▁please -- 给你 -- غ -- ▁carried -- 事情 -- 信 -- 味 -- ▁và -- ▁现在 -- 风 -- ▁пра -- ▁following -- ▁level -- 受 -- ல் -- 所有 -- ▁hatten -- ▁necessary -- 卡 -- ▁нет -- ▁nun -- ▁ran -- ور -- ▁grand -- ▁ei -- シ -- 起来 -- ▁opportunity -- ▁Si -- ▁toward -- ▁av -- за -- ▁appeared -- né -- ▁added -- ▁fall -- van -- ста -- もの -- ▁health -- 话 -- ▁late -- ▁lui -- tre -- ▁او -- 如何 -- ▁Z -- че -- ▁inter -- 几 -- ▁Um -- ම -- ▁Auf -- ische -- î -- ement -- やっぱり -- 朝 -- ier -- 器 -- ▁save -- ▁nine -- 美国 -- 少 -- ▁england -- 成为 -- ウ -- ▁seinen -- ▁gab -- ль -- ط -- ▁instead -- ura -- ▁што -- ▁пере -- ▁comp -- ▁ought -- ▁dollars -- र -- är -- ри -- 期 -- っ -- க்க -- ▁customers -- ɣ -- ▁gi -- 以后 -- V -- ▁opened -- ▁три -- んです -- mar -- ien -- ▁lower -- ている -- ▁var -- lie -- ▁más -- 写 -- 嘛 -- また -- ras -- ▁gehen -- ky -- ando -- オ -- ок -- ub -- wn -- ▁mis -- ▁questions -- ▁lived -- ما -- ges -- ▁haar -- ud -- ется -- ▁wall -- ▁Lo -- ▁Mu -- ▁control -- 选择 -- ▁miles -- ض -- heit -- ▁Ku -- ▁knowledge -- ▁Mae -- fen -- ▁wat -- ば -- gri -- ned -- 率 -- ▁Mal -- 员 -- ست -- ▁нь -- ▁easy -- 任何 -- ▁step -- don -- ই -- ▁уже -- ▁Di -- ▁wait -- ج -- eth -- ▁eighteen -- 回来 -- 哪 -- 食 -- ▁paper -- dig -- 近 -- ▁Pa -- ▁fellow -- ▁south -- ▁respect -- 书 -- ▁pan -- ▁quickly -- ide -- mor -- ▁Teil -- ▁vielleicht -- ▁sweet -- ナ -- ali -- 学校 -- ▁main -- ▁bright -- L -- ▁во -- ан -- ving -- 为什么 -- ▁kam -- ры -- č -- ところ -- ▁wonder -- sti -- ▁mag -- 早 -- ré -- ▁чтобы -- ach -- tin -- ке -- ▁因为 -- ▁north -- ▁goes -- ار -- ▁Ri -- или -- ida -- 的一个 -- ▁building -- una -- 時間 -- ▁möchte -- ▁figure -- 一种 -- 其他 -- レ -- ▁ihren -- ▁forth -- ذ -- 本当に -- 取 -- sto -- 人の -- ▁dipoto -- 制 -- stand -- ▁avec -- ati -- kt -- ▁nearly -- ▁sei -- ▁office -- ▁wartawan -- uma -- ▁mhm -- 进行 -- nes -- ▁beginning -- ü -- ▁è -- ▁С -- ▁music -- od -- cer -- 清 -- 周 -- time -- ▁product -- ▁group -- ▁ningali -- 由 -- yi -- ну -- 机 -- аў -- ▁wäre -- ▁mon -- 城 -- ▁neither -- ok -- ▁wollen -- ió -- 大学 -- ▁diwawancara -- ▁oloho -- ▁visit -- ities -- 夜 -- ff -- ▁konnte -- ▁bien -- ▁sollte -- ッ -- out -- 波 -- kel -- ▁forty -- 歌 -- ▁rich -- 正在 -- と思います -- ▁dich -- 越 -- ▁một -- ▁christ -- ▁news -- ▁Mann -- ということです -- ▁Su -- во -- 倒 -- ▁local -- ▁hall -- ▁будет -- ▁learn -- ▁team -- 特别 -- fu -- ▁lives -- lla -- ▁interesting -- ▁darüber -- 民 -- ▁There -- ▁ganz -- 国家 -- 解 -- 接 -- ▁daß -- 是不是 -- ▁key -- 初 -- ▁secret -- ▁chi -- ▁purpose -- ▁Va -- 安全 -- nda -- 雪 -- ▁pleasure -- ▁strength -- 的地方 -- 十 -- ice -- ▁board -- 笑 -- ▁Ad -- sche -- バ -- ville -- ▁Con -- ▁success -- ▁ihrer -- ца -- けど -- wy -- ▁안 -- 村 -- ani -- 电 -- ன -- 直 -- ▁game -- ▁على -- 表 -- ▁grow -- ミ -- eur -- fall -- ре -- ▁dog -- ▁heute -- ▁situation -- ▁follow -- 罗 -- ▁sister -- اس -- 局 -- ▁eat -- ал -- 管 -- ې -- ду -- де -- 拿 -- tal -- ▁silence -- ▁entre -- どう -- '30' -- 音 -- Y -- 君 -- ру -- へ -- ▁근데 -- ▁progress -- ▁davon -- ст -- 两个 -- ▁modern -- ▁ou -- rie -- эр -- ▁bear -- ▁peace -- 巴 -- 实际上 -- ▁zoo -- ks -- ▁este -- ante -- ということで -- ▁Am -- ▁moved -- eb -- 是什么 -- 处 -- 指 -- lang -- tur -- ▁gegen -- ▁H -- ▁uit -- 继续 -- 如此 -- uri -- liche -- ▁och -- mas -- ▁dies -- 提供 -- 切 -- for -- tte -- 在一起 -- 地方 -- ized -- ▁project -- ত -- ▁drive -- ▁break -- 片 -- ▁trouble -- ным -- 来说 -- 哥 -- 场 -- ▁뭐 -- ero -- 曲 -- ▁entered -- 後 -- ▁object -- 帮助 -- 到了 -- 서 -- ズ -- ▁class -- ▁ara -- 深 -- ▁spring -- ▁army -- ▁standing -- cho -- 一直 -- ▁Pro -- ▁performance -- се -- ▁middle -- ▁afraid -- 命 -- ый -- ▁cool -- ф -- mon -- ▁eu -- 土 -- ça -- 中的 -- ▁fit -- 难 -- 派 -- ▁Я -- ▁impact -- ▁french -- res -- ▁american -- ▁expected -- ▁Mit -- 低 -- ▁national -- ▁Nun -- ▁wouldn -- ▁comme -- 的な -- ▁weiter -- ▁private -- ▁cho -- art -- lor -- ▁J -- 咱们 -- 急 -- க -- ▁provide -- 雨 -- ▁She -- 感じ -- 报 -- med -- ▁difficult -- 看看 -- ید -- ▁Bi -- 在这里 -- 다 -- こう -- 落 -- 船 -- ğ -- ib -- pan -- ▁couldn -- 一起 -- ” -- ى -- ▁lang -- そうです -- ць -- になって -- ▁special -- mit -- ▁floor -- ▁Zu -- への -- ▁hu -- nce -- よく -- ▁только -- ▁everybody -- вер -- ▁Bo -- pen -- 其实 -- エ -- ص -- ▁fight -- ▁mai -- およそ -- 作为 -- ▁train -- ▁nice -- 은 -- ▁Ki -- вы -- hin -- 病 -- ▁greater -- ▁happen -- 哈 -- 理解 -- ní -- ▁chief -- 東京 -- он -- ами -- ido -- ▁din -- ийн -- ▁job -- ▁hem -- 選手 -- 条 -- ▁joy -- ту -- nis -- ▁major -- tres -- ▁Jahren -- ▁smile -- ▁kein -- ▁consider -- ল -- ▁That -- ▁mouth -- ▁design -- ▁distance -- ▁demand -- ía -- ▁ship -- мо -- ▁sont -- ен -- ▁prince -- ▁vom -- 不知道 -- ▁sitting -- ▁On -- ▁president -- ▁heaven -- tie -- 足 -- ▁Arbeit -- ▁hay -- ▁Ro -- ou -- vel -- 朋友 -- ▁потому -- 活 -- ▁heavy -- ие -- house -- ▁grew -- ▁Eine -- ▁increase -- ▁Com -- ▁books -- ▁base -- 官 -- ▁spot -- lichen -- ▁battle -- ше -- ▁win -- ▁tre -- ▁remain -- ▁length -- すごい -- ▁queen -- ▁written -- ▁trees -- ▁financial -- ▁просто -- ئ -- san -- ▁society -- ▁begin -- ▁Wa -- ▁dar -- fo -- 她的 -- ció -- 〉 -- ł -- چ -- wan -- ▁What -- ▁был -- ▁пять -- ▁running -- ▁development -- ▁zusammen -- ▁isn -- サ -- ▁рас -- ▁final -- 古 -- ப் -- же -- ▁write -- される -- ول -- side -- ین -- dra -- 河 -- ▁faith -- 断 -- ▁action -- ▁amount -- ḥ -- ▁hast -- ▁walked -- ▁dort -- ▁mary -- 一个人 -- 必须 -- 発 -- ▁program -- 商 -- த -- 热 -- ▁personal -- 有点 -- 李 -- ▁einmal -- ▁И -- ▁pu -- 东 -- iza -- ▁ohne -- ▁tr -- ▁嗯 -- ski -- 得到 -- hen -- ą -- 最近 -- ▁これ -- ▁immediately -- 连 -- ▁ways -- ▁laid -- vor -- tri -- 男 -- ですよね -- ade -- ▁learned -- ち -- ▁darauf -- ▁четыре -- ха -- ▁ад -- ec -- ▁〈 -- gg -- ▁hot -- キ -- pu -- ▁places -- lä -- ▁Pe -- そして -- 七 -- ▁Mar -- ә -- ий -- ▁died -- ▁không -- ▁Ho -- ث -- 远 -- ▁ن -- ▁super -- さんが -- ё -- 却 -- 支持 -- ба -- 决定 -- 救 -- ité -- ▁slowly -- vin -- یم -- 玩 -- ▁glaube -- int -- 夫 -- ▁perfect -- ▁estis -- ▁més -- uch -- ▁тридцать -- ▁add -- shi -- ▁safe -- ika -- win -- ▁age -- ▁build -- ▁க -- メ -- 部分 -- できる -- ▁conversation -- of -- цы -- nia -- む -- 画 -- 我就 -- chi -- qu -- ▁ill -- 森 -- ▁married -- ▁сейчас -- ▁finally -- ▁gentleman -- 只有 -- cla -- ▁г -- dd -- ▁desire -- ries -- ▁various -- 女性 -- 战 -- 反 -- ව -- 所有的 -- 推 -- mie -- ▁tree -- ▁All -- eren -- ▁quick -- pro -- ▁west -- 转 -- 当然 -- 街 -- 字 -- 红 -- ▁price -- 奥 -- ▁caught -- ▁sales -- sie -- ▁color -- ▁может -- ▁warm -- ▁har -- لا -- ö -- clock -- ▁stopped -- ▁wood -- tive -- ▁cette -- ▁sta -- 差 -- 队 -- 岁 -- 强 -- ▁или -- 变 -- ▁那么 -- ı -- ino -- cre -- न -- 事件 -- ▁loved -- ▁col -- ▁rate -- og -- ▁oku -- ▁pi -- ▁changed -- ▁film -- J -- ა -- ▁nga -- 当时 -- ▁model -- dem -- ▁Ur -- ▁race -- ther -- 工 -- ▁remained -- ▁built -- 老师 -- ▁которые -- ▁boys -- ción -- ▁lie -- ▁cross -- ▁quiet -- ▁picture -- ▁ging -- 让我们 -- ▁kwa -- ▁これは -- zeit -- par -- сан -- ions -- ▁straight -- ▁science -- ▁paar -- 有什么 -- ▁Diese -- 亚 -- 千 -- ▁ஆ -- ▁Gu -- cra -- ▁waiting -- бы -- ▁summer -- ▁Land -- 关 -- ▁yang -- чы -- nas -- ▁minute -- ▁seu -- ▁snow -- ▁nichts -- ного -- fla -- っている -- ▁For -- 边 -- mel -- ▁wrote -- sis -- 世 -- ▁giving -- ▁meiner -- ei -- ▁study -- 肉 -- 我是 -- ▁works -- ии -- ▁london -- ▁simply -- ations -- かな -- ү -- ▁dinner -- 此 -- ▁gemacht -- tus -- ▁Ko -- ▁кто -- 交 -- 甚至 -- ▁gonna -- ▁fourth -- чи -- ▁мо -- ▁piece -- ▁broken -- 一次 -- 达 -- ▁tatsächlich -- ую -- schen -- ▁семь -- 整个 -- ▁evil -- 話 -- ▁york -- yan -- ▁trust -- 关系 -- ▁vier -- 感觉 -- ▁regard -- より -- bert -- ska -- ▁uncle -- ▁á -- ug -- ▁ru -- isi -- 酒 -- ර -- ▁drew -- ▁zwischen -- ▁star -- ▁seinem -- น -- 啦 -- ▁talked -- 間 -- ▁below -- ▁similar -- 保 -- ▁sobre -- のが -- とは -- 往 -- ▁according -- 기 -- ком -- すると -- ▁بود -- 努力 -- ins -- يا -- ▁presence -- sor -- ▁garden -- ▁impossible -- 失 -- dro -- ▁station -- ▁using -- 种 -- ▁brain -- ▁language -- 第一 -- ▁hardly -- field -- チ -- rá -- iga -- 首 -- ▁sign -- form -- ▁march -- 房 -- த்த -- 权 -- 如果你 -- 不同 -- 这里 -- 单 -- til -- 真正 -- ▁lead -- ▁denen -- ▁beauty -- ▁الأ -- ▁fun -- ▁political -- ata -- ami -- ▁opinion -- 星 -- ு -- ▁Now -- ▁gran -- rea -- ona -- ▁girls -- 图 -- 非 -- أ -- ▁hätte -- lik -- ▁month -- ▁đ -- ▁나 -- さんの -- 进入 -- 系统 -- ▁我想 -- ве -- ▁showed -- ▁soft -- fin -- gehen -- ▁fort -- ▁Frage -- ▁brown -- 眼 -- schaft -- ▁france -- ▁lips -- ▁ré -- ▁гэта -- ▁cent -- ▁Tag -- ▁sus -- ▁Dr -- ▁risk -- 根 -- ▁buy -- ▁village -- ces -- ро -- ▁touch -- ▁Tu -- 省 -- xi -- ▁kan -- ▁Ihr -- ▁آن -- ▁их -- ▁tea -- やって -- 県 -- ▁gar -- 的问题 -- 以及 -- 找到 -- ですが -- න -- ney -- har -- ▁growing -- ▁sick -- ▁wasn -- ▁fresh -- ein -- ▁command -- ▁вас -- 包 -- ▁placed -- ▁Ti -- ▁direction -- stre -- ▁Ar -- 室 -- ▁pain -- 过去 -- ▁mas -- 了一个 -- ツ -- ▁zich -- гу -- kon -- ▁filled -- ず -- 百 -- دا -- 传 -- 冷 -- ▁برای -- 青 -- ▁looks -- ▁hit -- 妈妈 -- ans -- mis -- 今年 -- 了解 -- ▁united -- ▁current -- ▁mentioned -- そういう -- ▁cy -- ого -- ▁Jahre -- berg -- ▁decided -- via -- stru -- ▁speaking -- nh -- ده -- ▁weeks -- ▁переулок -- ▁இ -- ▁serve -- sse -- 这样的 -- 方面 -- ▁naar -- ev -- ▁trade -- ে -- ▁mij -- 装 -- õ -- ▁сорок -- なく -- cent -- cal -- ▁dazu -- 在那里 -- ▁Fa -- ▁еще -- 来了 -- ▁parts -- ich -- ▁chair -- ▁kommen -- ▁của -- ▁type -- ▁că -- ай -- ▁Lu -- ▁kun -- ▁för -- 比较 -- ford -- 重要 -- ▁born -- ▁Ru -- ▁muri -- ▁influence -- ▁worked -- 尼 -- ジ -- ют -- 脚 -- ых -- ▁community -- ▁wide -- ▁afternoon -- rem -- dos -- ▁chúng -- ▁band -- amente -- ым -- ue -- ▁reach -- よね -- 士 -- ▁inside -- 皮 -- ▁große -- ▁winter -- 其 -- ▁pero -- дзе -- ament -- like -- ▁od -- ▁carry -- ▁Geschichte -- ▁expression -- па -- 松 -- ▁Ca -- ▁しかし -- aka -- hand -- 包括 -- ▁field -- ▁exclaimed -- ▁direct -- 血 -- ▁sprechen -- 说话 -- ▁revenue -- ▁ко -- 让你 -- 我觉得 -- ▁Hi -- ps -- ▁likely -- ction -- んですね -- well -- ▁plain -- das -- 完 -- ▁raised -- 風 -- ▁boat -- ▁doch -- 自然 -- リー -- ▁ersten -- 卖 -- 零 -- yon -- 亲 -- ram -- gra -- ß -- ▁На -- 上的 -- ▁meant -- だと -- 别人 -- mun -- 》 -- ▁würden -- ▁thoughts -- dor -- ят -- ать -- ▁anti -- 那里 -- ▁genau -- 草 -- ped -- ▁labor -- ▁enemy -- ▁broad -- Z -- ム -- ▁paid -- жа -- ▁pleased -- ▁haven -- ような -- 存在 -- wood -- ▁ourselves -- dia -- ito -- ться -- ▁dream -- 华 -- ▁someone -- தி -- ▁Wo -- ▁jo -- '11' -- 突然 -- ▁cha -- ▁twelve -- dir -- 调 -- iv -- umu -- iri -- 番 -- ▁ба -- ение -- ▁mark -- pp -- ▁forget -- 思 -- ம -- ava -- ▁condition -- ▁ل -- ▁writing -- ▁пред -- ▁wenig -- ская -- 代表 -- чу -- ves -- ▁ни -- ▁appearance -- ▁terrible -- 案 -- 喝 -- 你可以 -- اد -- 家庭 -- 节 -- ▁report -- ▁somebody -- 为了 -- ▁worth -- パ -- ット -- さんは -- ▁allowed -- mba -- ▁В -- ▁content -- mmer -- ▁struck -- ▁led -- 这一 -- ros -- ると -- vers -- ▁rock -- 我认为 -- 学生 -- 听到 -- ▁grave -- ය -- ți -- ▁những -- 要求 -- ▁listen -- ▁journey -- ▁industry -- ▁knows -- 円 -- OR -- ▁pale -- ට -- ய -- lt -- ▁area -- よう -- ▁sah -- ▁دو -- сы -- tru -- 警察 -- 的方式 -- ella -- ical -- 件 -- 纳 -- oli -- ▁finden -- от -- ▁și -- ▁stone -- 过来 -- ▁cor -- ова -- 以前 -- ▁sí -- ぶ -- pt -- ▁fait -- ▁moving -- 板 -- ora -- ▁том -- ▁bank -- ▁laughed -- ▁generally -- сти -- ▁Ve -- ▁worden -- び -- iti -- ▁usually -- cken -- мен -- ▁Frau -- 黑 -- それ -- ▁unless -- ▁million -- ▁shot -- ҡ -- ▁vast -- 島 -- ▁enter -- eva -- ▁duty -- ▁path -- ey -- ▁ber -- দ -- вод -- uk -- んですよ -- া -- '50' -- ▁ze -- dar -- ▁daran -- bb -- まだ -- ▁während -- 兰 -- 是否 -- ndi -- aient -- ▁danger -- ▁normal -- ▁umu -- ▁products -- lé -- tis -- 温 -- ▁easily -- ▁wonderful -- ▁어 -- stan -- ▁prop -- 以上 -- set -- mm -- ▁anar -- ▁sorry -- ▁fifteen -- ▁gesagt -- ▁clean -- ▁fond -- RE -- گ -- ▁leaving -- ▁Д -- ▁individual -- 它的 -- 有人 -- 恩 -- по -- ▁cast -- んですけど -- اء -- ▁focus -- 成功 -- met -- ista -- 座 -- ▁rain -- ▁services -- itu -- ▁cre -- ▁material -- kar -- cle -- iki -- ▁ஒரு -- アメリカ -- ▁evidence -- ө -- ▁Dann -- 雷 -- mus -- 院 -- ▁вам -- ▁broke -- 考え -- ola -- 好的 -- ▁iron -- ili -- but -- ▁cat -- 油 -- あと -- ▁supposed -- ม -- ih -- ▁Et -- ties -- 健康 -- ▁spent -- ▁tout -- ব -- ▁mil -- ▁energy -- ojn -- ▁надо -- ▁test -- ▁шесть -- グ -- mann -- ato -- あの -- ▁drink -- ▁hin -- 実 -- ▁gerade -- ながら -- ▁principal -- ▁Kinder -- ஸ் -- ▁covered -- ▁быть -- ந்த -- nte -- ▁honor -- 線 -- ▁Jo -- ▁positive -- ▁charge -- ▁sudden -- 未 -- تر -- ▁considered -- ▁আ -- ▁ப -- var -- ▁não -- lia -- ぐらい -- 方法 -- rus -- 修 -- ▁lassen -- illa -- ▁Nach -- ▁moral -- ひ -- ▁sixty -- ▁Fall -- cio -- ▁difference -- ▁fünf -- 注意 -- 离 -- шы -- '",' -- ▁Weise -- ▁global -- ビ -- ments -- ▁Ke -- ssen -- ▁allow -- ▁grace -- tura -- ви -- ▁everyone -- ▁imagine -- ний -- 出去 -- sp -- ▁ball -- ▁daar -- را -- ▁receive -- 把它 -- ▁Gi -- ように -- هم -- 实 -- ▁Kon -- ▁min -- ně -- ão -- なんか -- ▁dos -- ▁пры -- 了吗 -- ▁Ga -- ▁بر -- 대 -- 服务 -- ロシア -- ▁бол -- ▁mad -- ▁rep -- ació -- ▁Our -- 不同的 -- 式 -- され -- ▁create -- 试图 -- ▁ganze -- ser -- ▁meeting -- ▁geben -- ▁س -- というのは -- 怎么样 -- 直接 -- きました -- bau -- ▁bound -- ▁natürlich -- ▁sollten -- ala -- ▁Her -- 人的 -- ▁sagt -- put -- られる -- ▁sand -- 坐 -- ▁term -- ▁corner -- ▁pod -- EN -- ▁actual -- ▁latter -- ▁significant -- ную -- 客 -- ▁besides -- ▁wollte -- hr -- 许多 -- ▁bak -- ар -- isch -- ニ -- 收 -- wu -- ですか -- ward -- ң -- ▁season -- 状況 -- ▁entirely -- iya -- 強 -- ▁tears -- 间 -- ▁kar -- ரி -- 留 -- ▁ма -- ▁closed -- のです -- tta -- ▁turning -- cur -- 里面 -- ▁beside -- ▁technology -- ▁shut -- ▁tax -- looking -- ▁John -- せ -- ▁девять -- ろ -- ことが -- ē -- '12' -- しか -- ▁youth -- ▁cases -- け -- لی -- 教育 -- ▁esta -- 二十 -- vid -- 药 -- ▁huge -- 学习 -- ▁而且 -- 를 -- ▁needs -- ▁justice -- gy -- ▁macht -- ▁großen -- лен -- 改变 -- だから -- gli -- になった -- ov -- ட் -- ▁research -- 准备 -- ▁sky -- ▁І -- ▁killed -- ▁east -- ▁religion -- tir -- ▁ph -- ▁وال -- ▁holy -- ▁arrived -- 原因 -- モ -- ▁Stadt -- 任 -- heid -- ▁particularly -- ▁size -- ith -- ネ -- э -- 人类 -- ▁Go -- ▁“ -- ▁wel -- ▁jack -- ▁notice -- wr -- ▁waar -- ip -- 语 -- ▁aba -- log -- rat -- stra -- nos -- ▁cry -- ▁crowd -- ph -- 提 -- 我在 -- rà -- cin -- all -- 好好 -- ▁europe -- 步 -- teil -- ▁kids -- 自由 -- 最后 -- ▁occasion -- ▁К -- های -- ▁deux -- ▁george -- ial -- ▁hill -- ▁Weg -- ▁percent -- ▁spend -- ▁complete -- ▁dafür -- ▁note -- rec -- ▁ziemlich -- эл -- sam -- ▁jeder -- 来自 -- 宝 -- rum -- sia -- dis -- ▁island -- zar -- 守 -- 离开 -- pf -- 見て -- たい -- ▁ahead -- ▁Beispiel -- ▁police -- 参加 -- ▁ubu -- net -- ▁bill -- 短 -- ▁unserer -- ▁fest -- ▁rise -- '40' -- ▁welche -- ▁habit -- pul -- лю -- していた -- ete -- ▁silent -- ▁education -- ▁animal -- 数据 -- ▁horses -- ি -- ите -- 中心 -- ▁tall -- 获得 -- ▁bra -- ▁« -- ▁lange -- 跑 -- ▁park -- ral -- 维 -- ▁At -- ▁gesehen -- ants -- ▁пятьдесят -- ▁Dies -- ৰ -- ▁usual -- ▁blind -- ส -- llen -- ica -- ▁offer -- tik -- 飞 -- ▁aunt -- ▁former -- rig -- sin -- ман -- ▁surprise -- 查 -- ▁letters -- ві -- ▁восемь -- ▁ただ -- 場 -- ▁store -- до -- 兵 -- å -- ▁opportunities -- kla -- ▁peter -- ад -- ▁bat -- 完成 -- gang -- bro -- 管理 -- 无法 -- gal -- ▁heraus -- ▁warum -- 走了 -- ▁molt -- ▁19 -- ▁آ -- ord -- 方式 -- ible -- ▁watching -- ably -- ened -- хо -- ▁countries -- ▁está -- 文化 -- ▁unto -- ▁нам -- ▁takes -- ▁steps -- ▁slow -- ▁ي -- uta -- hir -- ius -- ▁lines -- 待 -- â -- にある -- ▁noble -- ▁somewhat -- があります -- ī -- ол -- night -- ▁parents -- ▁original -- rin -- ▁чем -- اب -- ▁absolutely -- ▁kleine -- ков -- ней -- bil -- ▁ngo -- 配 -- ック -- эн -- ное -- 迪 -- ▁discovered -- ▁đó -- ▁needed -- ▁nog -- ell -- 似乎 -- கள் -- ▁reading -- ▁sicher -- 另一个 -- ▁مع -- ▁wise -- ги -- ский -- ▁attack -- ▁tut -- sar -- ay -- 全部 -- ▁bag -- ▁Hand -- ▁sam -- ул -- ▁Pi -- yn -- ute -- als -- ▁کرد -- lit -- ▁бо -- ほど -- ▁ре -- ▁всё -- ▁draw -- ▁movement -- ient -- ப -- ▁Denn -- 影响 -- 야 -- ева -- table -- ▁appear -- ▁based -- 的に -- huh -- pat -- ظ -- 左 -- ▁including -- ▁iz -- ▁worse -- ▁Jahr -- ın -- ū -- ▁ideas -- lon -- ก -- 总是 -- ای -- ability -- ▁meinen -- pre -- ▁escape -- ▁entire -- ▁forest -- ▁list -- ▁merely -- 罪 -- 割 -- leg -- 歳 -- ▁была -- ▁members -- 々 -- 政治 -- ▁bottom -- die -- 車 -- 取り -- ▁mà -- 掉 -- ları -- ▁marriage -- rt -- ▁della -- ▁silver -- odd -- ▁tom -- 一定 -- lic -- 跳 -- press -- 江 -- об -- 也不 -- án -- pri -- ▁ok -- ▁changes -- 付 -- 破 -- aŭ -- ▁этого -- ▁bij -- bol -- dri -- nou -- ▁Car -- kommen -- 师 -- 科学 -- ▁St -- 未来 -- ▁pla -- 党 -- 問題 -- 如 -- lung -- oni -- ▁trans -- лу -- ded -- 你在 -- ét -- ▁Geld -- ador -- '15' -- ▁circumstances -- 利用 -- rä -- ப்ப -- bed -- いました -- 算 -- ▁mountain -- ▁是的 -- wel -- 我要 -- ▁chapter -- ▁guard -- ын -- ட -- ход -- ils -- ▁fortune -- 你会 -- 经济 -- ▁increased -- ぐ -- 精 -- イン -- そ -- 'off' -- ▁ac -- ▁judge -- ▁mijn -- ▁besser -- ator -- тор -- ▁serious -- ium -- ノ -- ක -- 发生 -- ▁thick -- ▁этом -- uka -- ге -- んですが -- ▁breath -- ow -- との -- ▁completely -- ▁instant -- ▁conditions -- ▁named -- ▁laugh -- ▁college -- ▁Ze -- ▁jesus -- mak -- ▁kandi -- ু -- iro -- ▁mort -- ▁здесь -- 母 -- 养 -- ▁Grund -- rei -- 谷 -- cul -- 可能会 -- හ -- AS -- ▁هو -- kle -- ი -- ▁erste -- ative -- ů -- 击 -- ▁afterwards -- ▁prepared -- 好了 -- ▁scene -- 我会 -- ▁property -- ▁fish -- ▁uma -- 追 -- 好像 -- 信息 -- ▁weg -- 素 -- ▁ces -- ▁где -- рэ -- ▁greatest -- ▁proud -- ▁storm -- itat -- ▁passage -- 一天 -- ▁sad -- mbo -- 故事 -- ün -- 谈论 -- ▁tend -- tet -- ▁Hu -- lay -- 感染 -- 演 -- 每 -- ▁Or -- ▁points -- ING -- SE -- ▁York -- ▁cal -- みんな -- pin -- ▁sondern -- 几乎 -- aga -- ения -- ▁gives -- ▁beiden -- ▁tan -- 夏 -- ▁Moment -- ут -- ▁тем -- 共 -- ▁america -- ▁எ -- ▁events -- nk -- bli -- ▁advantage -- ula -- ats -- kul -- । -- spe -- ▁Ort -- ▁weather -- ▁Ya -- ▁War -- ▁credit -- ▁막 -- ping -- ▁IN -- 常 -- ▁ben -- ▁moon -- 忙 -- 牛 -- ▁tak -- 仍然 -- เ -- ▁pie -- ▁tone -- werk -- sim -- ▁denken -- ▁effort -- ▁nobody -- ▁meaning -- ▁box -- ど -- 리 -- “ -- ara -- tat -- ▁того -- ▁fin -- ▁dels -- 下来 -- ▁memory -- ▁dry -- 毛 -- лы -- 其中 -- ▁また -- مر -- ці -- 退 -- 排 -- ▁sono -- ▁neue -- ▁tri -- ボ -- ことを -- law -- ▁zou -- sk -- ▁cash -- ▁bow -- ified -- ев -- ые -- 对于 -- ▁się -- ▁edge -- ▁тут -- 医生 -- டு -- これは -- tha -- ▁Sta -- 基 -- тер -- 因 -- ep -- ▁Els -- 技术 -- 换 -- leri -- 端 -- 约 -- 만 -- tz -- imi -- ▁porque -- ということ -- 称 -- vy -- ▁economic -- av -- ще -- 晚上 -- sco -- ▁speech -- qua -- نی -- ▁taste -- 拍 -- ▁customer -- ோ -- ▁bekommen -- ses -- ▁pat -- 我们在 -- 勝 -- ▁watched -- ▁madame -- ▁solid -- 确实 -- たら -- 福 -- ▁benefit -- ▁ses -- ▁glass -- ▁record -- ্ -- nel -- ć -- pon -- вар -- zin -- 刘 -- ▁shore -- ż -- ▁count -- ▁imp -- rang -- AL -- nder -- ▁total -- られた -- тай -- 感到 -- 型 -- ▁için -- ▁Über -- ▁cover -- 苦 -- ▁international -- 界 -- ▁kill -- त -- stone -- ▁إلى -- ▁search -- 照 -- 思い -- 菜 -- ран -- 昨日 -- ▁Bar -- rü -- ▁Sache -- ▁fallen -- ハ -- ▁exp -- ▁comfort -- зна -- 肯定 -- 超 -- ер -- ily -- 나 -- 经常 -- ▁الت -- ▁video -- ▁你知道 -- 시 -- じゃない -- isa -- ▁pick -- 的时间 -- ▁Ende -- 是个 -- 屋 -- ▁உ -- ▁companies -- ▁Gefühl -- tem -- их -- idad -- ▁played -- ▁prove -- ▁leben -- ô -- ▁shape -- 皆さん -- pped -- ▁можно -- ▁If -- ▁ihrem -- 云 -- 로 -- ▁schnell -- ▁spread -- 娘 -- ს -- ▁square -- lü -- ▁balance -- なら -- ▁sharp -- ▁های -- став -- 吉 -- ガ -- ▁いや -- 武 -- 回到 -- ▁animals -- ▁honour -- ▁تا -- 望 -- ▁TO -- iko -- ▁excited -- ния -- ா -- ▁seventy -- ▁center -- ▁Haus -- ▁dia -- 联系 -- ▁explain -- 大きな -- 之间 -- こんな -- 洗 -- ▁approach -- 费 -- rit -- ە -- ego -- ▁stream -- 全国 -- ▁surface -- স -- ▁nó -- ▁jeden -- ▁royal -- ▁narrow -- ▁wichtig -- ත -- ว -- 役 -- 井 -- ▁weak -- 接受 -- gera -- 必要 -- ea -- ▁даже -- 黄 -- ▁finding -- ▁mass -- ▁casa -- 香 -- டி -- ▁believed -- ▁song -- ▁brave -- kat -- শ -- ER -- きた -- rn -- ged -- 个人 -- ▁professor -- ▁без -- gue -- wal -- ï -- low -- light -- ▁gehört -- encia -- ▁bon -- ▁Unternehmen -- ▁environment -- eu -- ţi -- ني -- ▁mere -- かった -- ▁其实 -- ua -- 身上 -- ering -- gin -- ▁су -- ▁understood -- ▁dress -- ▁inform -- ▁我是 -- ▁DE -- най -- ▁telling -- тра -- ▁stage -- ▁pleasant -- ious -- tum -- ▁pra -- ▁sau -- 龙 -- sed -- мер -- 帮 -- ▁determined -- ▁interested -- ▁perfectly -- aire -- ric -- 市场 -- ▁han -- ▁reply -- gas -- 員 -- 城市 -- ▁throughout -- eta -- ▁Ĝi -- ร -- war -- ▁bal -- ▁foreign -- ɛ -- ▁kommt -- ே -- ▁double -- ▁iki -- ▁popular -- े -- ▁fill -- ちゃん -- 今日 -- 鱼 -- といいます -- 密 -- 之一 -- ▁lake -- ▁civil -- ▁cloud -- ▁driven -- ▁Han -- ła -- ▁These -- 就会 -- ▁smoke -- ▁ama -- 音乐 -- ray -- ো -- ▁fixed -- ría -- ▁issue -- ▁Daten -- ▁seat -- ierte -- 同时 -- 最终 -- 呃 -- али -- 死亡 -- 求 -- ▁production -- sent -- ▁stock -- ▁paris -- 便 -- ▁accept -- ▁ol -- いく -- 结果 -- ▁author -- ▁ancient -- ▁plant -- ▁century -- ур -- 树 -- ▁putting -- 機 -- com -- 关注 -- 大会 -- ▁người -- ▁neck -- ▁walls -- ▁markets -- 通常 -- over -- serv -- 跟我 -- ▁range -- ▁لل -- eux -- 登 -- nze -- ▁learning -- 法律 -- मा -- ▁Elle -- abo -- ▁Ju -- ▁är -- ▁gute -- ḍ -- ▁favor -- ▁numbers -- ▁ladies -- ▁sing -- 告 -- ette -- ▁rule -- ِ -- ▁п -- ▁hurt -- ▁persons -- ▁access -- ▁observed -- zione -- 女人 -- 玉 -- ▁darkness -- َ -- 程 -- ری -- ав -- ▁club -- ▁familiar -- ▁са -- ▁laws -- fan -- ため -- ย -- ▁meinem -- zel -- 去了 -- tā -- 各 -- ▁ont -- ▁hebben -- ▁soll -- وم -- ▁bru -- vert -- ▁region -- ▁proper -- ▁german -- spect -- ▁oil -- ual -- ▁Problem -- ▁parte -- ▁tam -- ▁wished -- ▁marry -- mut -- 及 -- ▁шестьдесят -- mic -- some -- бо -- とも -- ▁Dar -- 是我 -- ▁confidence -- 我不 -- ▁firm -- 場所 -- テ -- iger -- ▁grass -- '60' -- 做的 -- ง -- ▁res -- مان -- 伊 -- ▁alt -- ▁degree -- ▁한 -- 睡 -- stu -- ▁drawing -- ▁Spiel -- 杀 -- ார் -- ▁med -- ▁était -- ী -- ked -- osa -- ket -- ▁quality -- recht -- ▁hotel -- ple -- ▁prevent -- ▁Ce -- 相信 -- '100' -- 俺 -- tern -- 有很多 -- tag -- 想要 -- 乱 -- ▁который -- 系 -- ▁equal -- ▁因此 -- 対 -- ▁человек -- 伤 -- 理由 -- rar -- work -- 'ON' -- 一般 -- ▁roman -- ▁bas -- っと -- ▁keinen -- 选 -- ск -- tung -- 脸 -- ▁Mas -- flo -- biri -- ▁agree -- 父 -- ▁baby -- ▁بال -- nden -- morrow -- ▁mental -- ▁happiness -- ▁sword -- мы -- ▁あっ -- bie -- enden -- みたいな -- gle -- gre -- وی -- ▁stick -- ako -- ▁playing -- ▁promise -- ▁management -- asi -- ▁students -- ▁如果你 -- dat -- си -- ▁clothes -- she -- 投 -- цца -- igkeit -- ▁offered -- ▁gli -- ▁finished -- '0' -- 少し -- どんな -- ▁کار -- lam -- cen -- stro -- ▁som -- ▁gas -- ін -- でしょう -- ▁produce -- 几个 -- ▁opening -- 秋 -- 视 -- 害 -- ▁golden -- ▁lose -- 发展 -- 保持 -- ▁beneath -- ター -- ?" -- ▁هم -- 啥 -- ▁schwer -- 节目 -- 列 -- ▁seit -- 試合 -- ▁yellow -- ▁bw -- 果 -- ón -- ane -- 骨 -- ▁loss -- ▁valley -- ▁operating -- ▁profit -- ▁attempt -- ▁vain -- ret -- ▁rein -- ぎ -- ًا -- 回答 -- kes -- 久 -- 塔 -- mul -- 变得 -- ▁knowing -- 读 -- ▁Herr -- 家族 -- 让他 -- ná -- 服 -- бе -- hel -- ▁könnten -- 这一点 -- ▁Seite -- ▁leaves -- ▁san -- ▁San -- 迷 -- ற -- ▁brand -- gestellt -- 頭 -- tant -- があった -- ▁decision -- 尽 -- 町 -- 你就 -- ください -- ▁sell -- ▁passiert -- ▁walking -- ட்ட -- ▁ந -- ▁member -- vol -- ▁mor -- тэ -- ▁さあ -- rah -- 的小 -- ▁formed -- ද -- The -- ▁structure -- ▁address -- ▁wine -- '19' -- ▁produced -- ▁그냥 -- ved -- ▁paul -- ▁courage -- ▁ay -- ima -- rio -- 回家 -- ▁mid -- ture -- による -- ▁Ik -- ls -- ▁soldiers -- 杰 -- ▁supply -- udi -- ▁holding -- ▁تو -- ▁тоже -- 春 -- 他在 -- 站 -- chten -- 微 -- ▁military -- 人生 -- 电话 -- ▁scarcely -- ▁efforts -- '14' -- Е -- ▁check -- න් -- uz -- зи -- 妈 -- ▁Mr -- ▁clearly -- チーム -- ▁stories -- 组织 -- ▁Але -- kuru -- 自分の -- ி -- 在这个 -- lem -- スト -- ▁travel -- ▁farm -- ▁eigenen -- ▁choice -- ▁divine -- ▁Hier -- eri -- ▁bạn -- мі -- 返 -- 枪 -- ists -- ▁platform -- ▁leading -- 」。 -- jen -- 这次 -- ▁meisten -- 陈 -- thi -- ▁deliver -- ும் -- 视频 -- ▁Can -- board -- ▁earlier -- ▁ту -- ▁Europe -- ▁passion -- ▁그런 -- ED -- rwa -- pot -- ▁declared -- ши -- tim -- ▁gra -- ▁weight -- 拥有 -- cut -- ▁flowers -- یه -- ▁elle -- ▁birds -- 開 -- ச -- 狗 -- 地区 -- ▁sake -- ▁powerful -- きょう -- ▁ничего -- ▁existence -- 人は -- 计划 -- ▁houses -- ян -- 建 -- 無 -- wen -- ▁happens -- eau -- 副 -- 证 -- ungs -- ▁matters -- уч -- ▁unser -- ▁э -- า -- ▁được -- 背 -- ▁surely -- 兄弟 -- 去年 -- ▁Wasser -- ▁orders -- 的这个 -- 告诉我 -- ▁خ -- 这样做 -- ▁directly -- ▁flat -- 身体 -- hn -- 轻 -- ▁letzten -- को -- ▁этот -- ▁recent -- ados -- ▁port -- 是在 -- 例 -- ▁media -- mond -- 唱 -- ▁vint -- 弱 -- 料 -- 不了 -- ▁О -- cour -- 网 -- tig -- 的事 -- ること -- shed -- 停 -- ▁required -- ▁seek -- 班 -- uku -- cie -- 選 -- ett -- ▁allen -- ▁speed -- ▁etwa -- 处理 -- ▁你们 -- られ -- ▁richtig -- ▁Buch -- 电影 -- tten -- ▁practice -- ▁lying -- ▁glance -- 横 -- bit -- 满 -- ▁Augen -- hab -- ddy -- ▁내가 -- fully -- स -- になります -- ▁accident -- ائ -- ▁як -- ▁welcome -- ▁additional -- 友 -- ux -- rick -- ▁addition -- ▁dropped -- セ -- ▁ха -- ▁basis -- ▁fly -- ast -- である -- ▁instance -- ▁شد -- すごく -- له -- ▁конечно -- 一番 -- 는데 -- ign -- kte -- 気持ち -- ▁understanding -- ▁af -- mb -- anya -- プ -- 人家 -- ته -- ▁kwi -- ▁exist -- bye -- nal -- ▁available -- 这是一个 -- ▁shows -- 考虑 -- plo -- バー -- ▁henry -- 時に -- ▁bay -- ▁uz -- ▁passing -- lı -- 因为我 -- ación -- вед -- ▁fra -- nic -- ▁page -- 刚 -- стра -- ▁catch -- lis -- ▁track -- twa -- ▁bird -- ▁contract -- ▁prison -- 男人 -- cos -- dom -- ▁coast -- ▁threw -- aux -- lí -- 更多 -- ▁hospital -- 已 -- ▁presently -- ო -- 社区 -- ポイント -- wed -- ▁sal -- ▁kleinen -- ▁seva -- ▁nation -- 考 -- ▁eighty -- ▁statements -- 若 -- 群 -- んですか -- ▁10 -- ▁organ -- によって -- 東 -- 脱 -- sur -- 明天 -- ▁wahrscheinlich -- 角 -- っています -- ân -- gara -- stein -- لي -- 回去 -- ▁эти -- vé -- 托 -- ここ -- ▁Okay -- ▁ears -- 普 -- ors -- 事故 -- প -- ▁Bei -- zy -- ныя -- cker -- 治 -- ▁christian -- тар -- 类 -- 関係 -- デ -- ▁willing -- uko -- 封 -- ii -- ▁text -- 非常に -- yu -- 前に -- ▁gets -- stat -- ▁vision -- ▁curious -- Т -- 带着 -- ▁centre -- 熱 -- ак -- يد -- ▁Ex -- 错 -- ▁hung -- ▁hearing -- dde -- ▁smiled -- 引 -- ▁sum -- 助 -- ▁opposite -- ▁pos -- 姐 -- uza -- hor -- 年前 -- 愿 -- ille -- れる -- ▁anybody -- 解释 -- 第二 -- ▁pel -- ▁– -- म -- 夫人 -- ▁colonel -- 担心 -- ▁fool -- ▁deze -- 新的 -- 级 -- ▁muy -- ▁spite -- uli -- بر -- ▁coat -- 也许 -- 同じ -- ▁shadow -- 情况 -- ▁OF -- jan -- 不用 -- 乐 -- ▁двести -- ▁shook -- kom -- 爸爸 -- ▁caused -- 右 -- lig -- ▁officer -- ▁rot -- ston -- ▁daily -- ▁thanks -- ▁sold -- 容 -- 三个 -- ▁possession -- ▁più -- رو -- 极 -- bla -- oc -- ▁faire -- ▁trong -- ▁今天 -- ▁هذا -- ロー -- での -- 手机 -- 苏 -- ▁люди -- '18' -- 保护 -- vá -- ですよ -- ہ -- dol -- ▁bedeutet -- क -- ▁successful -- 挺 -- lock -- なので -- க்கு -- 办 -- ▁engaged -- ▁pocket -- ▁larger -- ▁gw -- fle -- geben -- ▁Par -- ▁remains -- ▁ook -- ▁voi -- ▁wants -- 游戏 -- 出现 -- ▁время -- ▁cousin -- cing -- ээ -- ▁này -- lip -- ches -- 면 -- ල -- ▁Fe -- bat -- ▁indian -- 休 -- そんな -- ▁guy -- ▁fat -- ▁Б -- iku -- ▁hath -- ▁beat -- 잖아 -- phy -- ケ -- ▁william -- place -- 造 -- ु -- ُ -- ▁shown -- 奇 -- hl -- gé -- 一切 -- ール -- ▁thể -- ‘ -- 比如 -- ぞ -- nan -- ▁我觉得 -- gla -- ▁pal -- 而不是 -- '16' -- ▁officers -- ですから -- vil -- 至 -- 了我 -- ник -- ▁dick -- ais -- ý -- ▁otherwise -- ▁drawn -- 假 -- ▁cur -- 项目 -- ▁でも -- ▁gun -- ▁population -- ▁были -- mme -- ▁এ -- ▁ibi -- ▁dare -- つの -- ▁motion -- 収 -- ▁pentru -- 不好 -- anga -- ▁Th -- ▁ear -- sz -- mek -- こちら -- ▁conduct -- ▁related -- されました -- ▁今 -- нов -- ▁bread -- 团 -- れば -- nne -- jar -- 秒 -- dio -- などの -- ło -- ▁basically -- ▁aware -- ир -- ▁surprised -- ades -- 스 -- ங்க -- ▁20 -- ew -- ▁allem -- ▁семьдесят -- ▁sogar -- ▁nom -- ▁إ -- ▁aux -- 咱 -- 防 -- лся -- ▁Oder -- ▁že -- пу -- ech -- 支 -- ▁pure -- 解决 -- ▁lack -- 改 -- ▁fan -- ▁jedoch -- ▁task -- 才能 -- вал -- কে -- ▁thin -- ▁correct -- ši -- ▁şi -- wert -- 越来越 -- 段 -- ග -- ▁Fi -- ▁guys -- 我们可以 -- ▁spoken -- und -- mble -- ▁AND -- それを -- nga -- ▁Nu -- ▁throw -- চ -- ▁fue -- ▁Form -- 直到 -- ▁Person -- ▁عن -- ▁carefully -- ▁host -- ▁ச -- ▁strategy -- あります -- 相当 -- ▁press -- ▁advance -- nni -- row -- ▁repeated -- urs -- 데 -- ▁activity -- ▁tired -- 渡 -- kam -- ▁gray -- vad -- ▁été -- 看着 -- eh -- 层 -- کر -- ▁wahr -- ▁calm -- ▁fo -- ▁suffering -- سی -- じゃ -- ▁excellent -- ▁central -- ▁ninety -- zwe -- 给他 -- ▁portion -- ▁religious -- 快乐 -- ▁getan -- ▁نه -- ▁reality -- 饭 -- ▁Ben -- 应 -- 一年 -- ▁gro -- 底 -- жи -- uda -- ES -- ▁fur -- ▁还有 -- ▁لا -- ▁My -- mat -- бу -- ग -- ▁commercial -- IT -- ▁event -- 穿 -- 午後 -- ▁difficulty -- ▁mountains -- rak -- ▁cri -- cas -- ी -- ▁regular -- ▁monsieur -- ▁scale -- ▁species -- ▁dachte -- 控制 -- 票 -- ▁رو -- جا -- ▁skin -- ım -- ▁policy -- ▁areas -- 你想 -- ▁gentlemen -- 動 -- 分享 -- ала -- 現在 -- ▁comment -- ▁später -- 根据 -- ▁versch -- ▁больше -- pha -- 連 -- its -- дер -- ▁på -- ▁digital -- ela -- ێ -- mont -- istic -- try -- 沙 -- ▁castle -- ▁hoe -- igi -- ரு -- თ -- 上帝 -- ▁image -- 并不 -- 愛 -- rad -- ▁district -- ▁fate -- ▁extra -- 最高 -- ▁apart -- ▁anyone -- ас -- 持 -- ▁bur -- 《 -- ▁creature -- 強い -- ▁fruit -- ▁forced -- nik -- ▁dire -- ori -- ▁Ye -- ▁fully -- 楼 -- ▁choose -- ld -- ري -- 每个 -- kins -- setzen -- قا -- plan -- ского -- sol -- 結構 -- 更多的 -- ▁peculiar -- ▁bridge -- ▁bevor -- ration -- ▁message -- ▁reform -- 活动 -- 姆 -- ▁created -- '25' -- 圣 -- 伯 -- ▁Gra -- су -- ▁pr -- ▁Tra -- 放在 -- 初めて -- ▁app -- прав -- こういう -- chte -- 不想 -- ▁keeping -- 余 -- AN -- ▁З -- ▁temple -- دي -- бор -- ▁знаю -- bus -- ▁Sam -- ▁crime -- ys -- ▁avait -- ▁noticed -- more -- 주 -- ▁tem -- 男性 -- 告诉 -- ھ -- ydd -- ずっと -- ▁Kar -- 아 -- ification -- ▁machine -- 衣 -- ▁cro -- 数字 -- ▁த -- 做了 -- ▁frank -- cause -- 想象 -- 款 -- ▁legal -- hy -- ▁sex -- 我可以 -- ▁served -- ства -- ruh -- ▁names -- んですよね -- ▁Wer -- 精神 -- ина -- ヤ -- নি -- ▁burst -- ▁uno -- 有些 -- 结 -- ▁sounds -- ▁breast -- tí -- வா -- zig -- ▁Aba -- اف -- ゴ -- ▁nineteen -- ila -- لو -- ▁erhalten -- ult -- ▁可是 -- ້ -- ▁đã -- пер -- ▁asking -- dal -- ▁faint -- ched -- ▁improve -- ▁review -- 梅 -- ▁Kopf -- তা -- ▁measure -- 组 -- ▁forma -- ▁Well -- ▁pounds -- 再次 -- ole -- ▁пре -- ▁だから -- 症 -- ▁pieces -- 设计 -- nor -- quer -- äh -- ▁union -- 明白 -- ▁height -- ddi -- 源 -- ном -- ạ -- vas -- '17' -- व -- ▁authority -- ▁obviously -- してる -- ▁hoch -- wana -- 除 -- 方向 -- ▁보 -- ▁zo -- 父母 -- 今回 -- ▁enjoy -- ▁ம -- ▁planet -- ▁진짜 -- 复 -- 可能性 -- 压 -- 女孩 -- ▁Tom -- eɣ -- ▁Cha -- oma -- ▁net -- 认识 -- hood -- 性的 -- ▁reasons -- 而且 -- ví -- ▁pride -- ▁suit -- дан -- ▁mention -- のお -- 倍 -- acht -- 业 -- ▁plans -- 한 -- 很好 -- ▁ф -- ▁Frauen -- ellen -- ▁alive -- 儿子 -- ▁Menge -- の中で -- ▁todo -- ▁servant -- ▁bringen -- 的工作 -- ▁bereits -- ள -- ▁Pu -- ダ -- ился -- こちらの -- ▁weit -- ▁duke -- 政策 -- auf -- 毒 -- оў -- gor -- 迫 -- ▁ای -- 紧 -- ▁vida -- ▁aid -- tud -- 词 -- ▁pray -- ▁Thank -- ▁ordered -- ró -- тан -- kwa -- ▁murder -- ▁angry -- 普通 -- 痛 -- ▁proved -- rich -- 大约 -- ▁culture -- ▁forms -- ono -- ▁són -- ▁starting -- ▁impression -- ▁jemand -- ▁anxious -- てる -- ▁david -- ▁stranger -- amu -- ▁freedom -- ath -- ▁row -- ▁eh -- 限 -- ▁patient -- ▁gij -- ▁fancy -- ນ -- ▁intention -- ▁тебя -- げ -- ▁bell -- rate -- hora -- hör -- gun -- пе -- ▁blow -- 多くの -- uh -- ▁අ -- されている -- far -- ▁fashion -- ▁blo -- din -- rian -- cz -- ▁brief -- ▁nta -- phi -- ▁sechs -- ▁ride -- нд -- ▁circle -- อ -- 双 -- 書 -- kim -- ule -- となる -- 해 -- ▁然而 -- ▁costs -- ▁provided -- bon -- ▁desert -- ▁pair -- ▁Unter -- ▁style -- ▁cas -- ▁Sant -- 作品 -- ▁teach -- はい -- ▁twice -- 伦 -- ▁importance -- ▁failed -- gie -- ▁كان -- 情報 -- ۇ -- cé -- 라 -- би -- mine -- ▁versuchen -- uit -- bor -- 小姐 -- 大人 -- ыш -- ime -- lat -- ▁moi -- ▁кон -- ▁spa -- AR -- ▁лет -- もある -- 存 -- LE -- ▁ability -- ér -- ▁stra -- 静 -- ▁gentle -- mark -- ません -- 怕 -- še -- ▁devil -- ▁leur -- 我也 -- ▁cyane -- ▁charles -- 多少 -- ierung -- 都有 -- 嗯 -- ▁或者 -- lief -- ▁council -- ▁neu -- ▁anders -- 激 -- 企业 -- ▁origin -- ▁много -- ques -- ▁你说 -- 茶 -- 残 -- ▁mistake -- ▁novel -- сто -- ▁weniger -- ▁Vater -- оч -- get -- ピ -- ▁heads -- ▁ему -- 结婚 -- ▁quietly -- fru -- ena -- 样 -- zon -- ight -- ▁palace -- rac -- jā -- ▁kingdom -- 萨 -- しい -- ▁british -- 你不 -- ▁remembered -- ▁потом -- сть -- 政 -- ▁empty -- ▁ocean -- ▁vie -- nem -- ▁genug -- chan -- されています -- 你是 -- ▁date -- ▁honest -- ▁тебе -- stor -- 付け -- ▁восемьдесят -- 犯 -- ▁terror -- oso -- ▁roll -- bes -- gna -- 好吧 -- ▁bent -- ▁сказал -- legen -- ▁eigentlich -- ▁شما -- aya -- ▁seventeen -- ▁taught -- あった -- ś -- 这不是 -- tausend -- ▁deg -- 喜 -- ▁investment -- 当中 -- ое -- ▁байна -- ology -- nehmen -- ▁university -- 英国 -- ▁His -- ▁юм -- ▁nti -- keit -- icht -- ▁waited -- endo -- ▁chose -- ▁вер -- ▁drop -- ▁active -- '80' -- fort -- 息 -- ண -- یت -- zan -- ▁rode -- 感谢 -- ға -- ▁cook -- ल -- ▁aim -- ▁Mutter -- 当你 -- ැ -- ▁promised -- তে -- kir -- ▁tongue -- ▁geen -- ming -- ▁forgotten -- য় -- 良 -- ▁liegt -- ude -- ▁truly -- ▁somewhere -- ҙ -- ▁anne -- 인 -- ▁bro -- まして -- ▁tap -- ▁dim -- ▁legs -- ▁problems -- ▁الس -- ▁volume -- ▁wear -- ກ -- ▁hy -- ▁яго -- ▁possibly -- 他说 -- ▁beg -- 打开 -- ▁altogether -- ▁fel -- ▁auto -- ▁China -- ▁ordinary -- ▁vote -- わけ -- 令人 -- ▁làm -- ▁rising -- ▁kuba -- pping -- ෙ -- ▁join -- ▁feelings -- ▁với -- ▁hören -- 主要 -- fel -- iva -- leid -- 跟你 -- ▁exact -- ▁physical -- halt -- ▁fingers -- ▁вопрос -- '13' -- 自分 -- ▁att -- 能力 -- ▁wij -- ▁dangerous -- ▁val -- ▁вообще -- ▁agreed -- ▁salt -- aw -- wie -- vie -- ▁princess -- ▁mari -- ের -- rent -- pir -- ▁exercise -- ▁tower -- ▁series -- ▁limit -- 内容 -- 每天 -- ▁breakfast -- ▁kuri -- лан -- ▁calling -- ▁glory -- гүй -- ▁struggle -- uni -- ▁пока -- bal -- ob -- heim -- vit -- ▁European -- ▁那你 -- ▁Zi -- 赛 -- ▁Sal -- 运动 -- از -- ▁hinter -- кой -- genommen -- ▁shoulder -- ▁그거 -- ् -- ▁ange -- けれども -- されて -- bona -- ▁heat -- 婚 -- iĝis -- ▁ع -- 駅 -- 汉 -- wing -- ▁streets -- 万円 -- ▁ganzen -- 語 -- 行动 -- ▁james -- ▁Jetzt -- ▁delight -- 生命 -- ていた -- ▁yesterday -- ган -- 清楚 -- ži -- az -- pie -- ▁priest -- ▁safety -- uru -- ▁ج -- 怪 -- pus -- ▁listening -- ▁express -- ▁income -- きます -- por -- ▁false -- ล -- ore -- ▁Ch -- ▁pré -- 日本の -- 警 -- ▁explained -- ön -- ▁rights -- 有一些 -- ▁recently -- ▁margin -- 税 -- ▁gy -- なんです -- 大的 -- tă -- lus -- 后来 -- ير -- ▁famous -- ▁dance -- ▁Мы -- று -- 医 -- ე -- কা -- ▁vielen -- ▁grant -- ▁Für -- おいしい -- 氏 -- aus -- 一条 -- iste -- haus -- abi -- br -- ▁Fragen -- 散 -- ふ -- ▁hart -- ▁sorrow -- sid -- ▁connection -- 铁 -- iye -- 社 -- ▁roof -- ismus -- ▁separate -- ▁ausge -- ▁guide -- 块 -- ▁student -- ешь -- stellen -- ▁És -- 医院 -- ▁onder -- すること -- গ -- 鲁 -- ▁sans -- ▁Har -- ▁network -- 礼 -- 目前 -- ज -- 观 -- ised -- shobora -- লে -- ▁issues -- иться -- ▁experiment -- ются -- jn -- ▁sufficient -- ziehen -- 景 -- ▁sides -- els -- ▁grown -- ▁vers -- ▁aussi -- 调查 -- ▁busy -- 末 -- ▁ones -- 网络 -- ▁driving -- ▁شده -- ▁security -- 堂 -- ▁그래서 -- cke -- ▁capacity -- ▁specific -- ▁pressure -- ▁сегодня -- ▁touched -- ▁bist -- ▁hell -- ▁potential -- ▁ended -- ▁fix -- ▁wil -- ▁map -- нем -- ▁online -- 游 -- ▁described -- カー -- eye -- ▁method -- ▁aside -- 赤 -- 永远 -- ດ -- パー -- やはり -- lli -- 曾经 -- alt -- 告诉你 -- ▁bil -- след -- ▁highest -- ace -- tori -- lum -- vez -- ▁corn -- bury -- ▁sol -- ▁greatly -- ▁де -- まず -- 都会 -- ▁rapid -- lá -- ской -- ▁そうですね -- からの -- ▁apparently -- ▁shoulders -- 在我 -- ▁Fo -- ▁него -- ese -- ▁fault -- ▁release -- ash -- 英 -- ▁gay -- lijk -- ▁interview -- 合作 -- 一位 -- تی -- ▁после -- nar -- ▁П -- ▁helped -- 刚刚 -- ▁pou -- ▁judgment -- ▁liked -- ör -- ▁các -- Laughter -- ▁superior -- cies -- 真是 -- zie -- ▁angel -- 致 -- 轮 -- ▁такой -- ▁extremely -- nova -- ▁When -- 经 -- ▁troops -- če -- inte -- ▁kennen -- аль -- 期待 -- 的生活 -- 居 -- ▁admit -- ▁intended -- ša -- 除了 -- ▁signal -- ▁debt -- 谈 -- ▁sage -- nin -- ▁tent -- eli -- Л -- amos -- 冲 -- ▁sentence -- horn -- 很难 -- ▁flow -- ▁thrown -- ыя -- りました -- 念 -- ств -- ▁argument -- ▁девяносто -- '200' -- fect -- old -- を見 -- 吃饭 -- 요 -- ▁happening -- fal -- ▁naturally -- 的孩子 -- än -- رس -- ▁shop -- sing -- mwe -- ற்ற -- bs -- 軍 -- hol -- ▁contra -- ▁strike -- ▁почему -- ▁settled -- 我们将 -- いって -- 旅行 -- ▁bald -- kā -- ▁suffer -- 来的 -- 違う -- 绝对 -- 那是 -- 第一次 -- ▁chamber -- ▁Lebens -- ▁title -- ▁klar -- dale -- 弄 -- ▁Па -- 它是 -- ▁stars -- ウクライナ -- kor -- 房子 -- 的故事 -- ▁Ent -- ▁schw -- ▁highly -- 洛 -- ▁becomes -- ▁concerned -- ▁гор -- ität -- ▁older -- なって -- cara -- ▁loud -- 降 -- стан -- ▁involved -- oth -- ▁eleven -- ▁sixteen -- нь -- ▁때 -- ▁windows -- ▁previous -- zwa -- mber -- 立ち -- ▁verstehen -- rik -- ande -- ▁native -- ▁сам -- ▁frei -- ▁Cor -- 你要 -- ▁match -- gia -- ▁companion -- vent -- 探 -- 料理 -- ▁hun -- ▁career -- 置 -- ès -- ▁Ber -- fra -- ▁людей -- 展示 -- ▁pointed -- тур -- ත් -- 晚 -- part -- 出了 -- ▁போ -- rup -- iş -- でしょうか -- ▁qua -- ▁invest -- 架 -- cor -- 粉 -- ▁harm -- эд -- ци -- зе -- 止 -- ▁Prozent -- ▁zehn -- ▁бу -- non -- ▁grande -- spiel -- ▁thousands -- lent -- 参与 -- 那种 -- ▁carriage -- あれ -- ▁meer -- mara -- ▁source -- sä -- vre -- izing -- эх -- nge -- inter -- ră -- 创造 -- 可能是 -- द -- ál -- burg -- akt -- ▁verwenden -- 诺 -- ийг -- ▁todos -- гийн -- 产 -- ère -- ▁disease -- 田さん -- ▁beim -- cro -- ▁себя -- ▁woods -- 索 -- nzi -- anza -- ▁trial -- ана -- ிய -- antes -- ño -- ▁Za -- اق -- によりますと -- 整 -- 三十 -- 百分之 -- 你能 -- கி -- ▁Gott -- izi -- eix -- ▁même -- ▁affairs -- ▁имени -- 親 -- 一家 -- 下去 -- 父亲 -- 愿意 -- ▁خود -- hau -- ос -- ▁pet -- ▁philip -- 我知道 -- 质 -- ▁helfen -- ▁fighting -- 威 -- dur -- 抓 -- ▁avoid -- any -- 因此 -- 不管 -- ▁gleich -- ▁flight -- worth -- บ -- 俩 -- kal -- ır -- 令 -- col -- rry -- ▁minister -- ache -- ▁joined -- medi -- できない -- вой -- lah -- 灯 -- nam -- ▁indem -- ▁이제 -- род -- tain -- ▁temps -- ▁suggested -- 歳の -- 叶 -- 只能 -- 就在 -- 滑 -- yer -- hang -- ▁spr -- ▁log -- gro -- фе -- 実は -- ▁bereit -- ค -- ▁presented -- ří -- sca -- したら -- ▁nay -- lichkeit -- ening -- ▁claim -- X -- star -- stri -- ила -- 要是 -- வி -- 动物 -- ▁aller -- ▁cup -- ▁bekannt -- ▁excuse -- ▁kinds -- ▁raise -- ности -- hil -- ique -- ( -- ▁какой -- 心里 -- 县 -- 箱 -- дар -- ▁spiritual -- ▁sang -- ugu -- ▁bore -- ▁operations -- 하는 -- 时代 -- pra -- ▁loose -- ▁IT -- ▁nose -- pet -- était -- kh -- த் -- 進 -- ters -- ▁belief -- ario -- ポ -- ▁standard -- xa -- tika -- ▁gain -- 消 -- 到底 -- 影 -- eller -- ство -- 机会 -- AT -- ▁constant -- 记 -- RO -- 认 -- したい -- ▁ideal -- ▁dogs -- とき -- ▁refer -- ▁evidently -- ente -- cept -- بي -- ▁governor -- ▁unseren -- ▁Film -- 業 -- ▁sought -- ify -- ▁cruel -- ε -- ▁tin -- 报告 -- ▁wealth -- ▁mix -- 贵 -- ▁ice -- bare -- 速 -- 也有 -- 每个人都 -- pit -- ▁bid -- 富 -- gus -- 校 -- hat -- 重新 -- 讨论 -- ▁fairly -- 様 -- ▁ships -- ыр -- ▁weitere -- ▁worst -- ▁Dank -- ▁heb -- ് -- ▁Г -- ▁다 -- сон -- ▁じゃあ -- ▁nehmen -- ▁male -- 勒 -- ▁prayer -- gul -- ▁gate -- ゆ -- ▁papa -- ▁çok -- 産 -- شر -- lot -- ▁arbeiten -- 市の -- ▁Des -- ▁niemand -- dus -- rou -- tier -- 条件 -- 表示 -- tür -- 是为了 -- eff -- ▁Nicht -- ▁refused -- 句 -- 一定要 -- ▁gre -- ▁useful -- 猫 -- bwa -- ▁develop -- 没事 -- ingen -- ▁nos -- 借 -- gh -- ▁아니 -- ▁virtue -- 是谁 -- 莫 -- ▁moments -- 顿 -- ギ -- ▁mont -- ugh -- اع -- că -- 会社 -- 들 -- ел -- ▁Auto -- лись -- ▁Bir -- 程度 -- ает -- دی -- ▁cuando -- ▁becoming -- ctor -- ▁そんな -- dam -- tle -- rom -- 続いて -- ▁sacrifice -- ▁те -- ▁好吧 -- 至少 -- ▁mode -- 梦 -- ▁average -- term -- ▁ее -- ▁solche -- nnen -- ▁dot -- ベ -- ▁leicht -- ega -- ità -- ▁Gesicht -- ▁rapidly -- ▁definitely -- ibi -- gwa -- ▁saved -- şi -- ▁grey -- ▁Männer -- nye -- ▁tender -- 北京 -- ▁theory -- ▁servants -- ▁gift -- ▁மற்றும் -- ▁dabei -- ▁faces -- ▁System -- 谢谢你 -- reich -- まあ -- ▁pull -- 志 -- 込み -- ▁rough -- ws -- iamo -- 顔 -- 以来 -- ска -- ▁مت -- ▁trip -- になりました -- বে -- ▁Dia -- ▁suggest -- ▁Pen -- ▁ankaŭ -- halten -- tto -- ▁reg -- ▁él -- 都在 -- gt -- 的想法 -- 延 -- '70' -- ene -- ▁поэтому -- ▁それは -- ▁forces -- ▁Auch -- ▁neuen -- ▁showing -- 历史 -- ct -- ständig -- ▁lamp -- ив -- なる -- 参 -- パン -- 個 -- ▁tradition -- 教授 -- का -- ▁birth -- inde -- 曼 -- ▁нужно -- ▁considerable -- ▁fail -- ▁upper -- 分析 -- ▁advanced -- вол -- 明日 -- 也没有 -- ▁hills -- ST -- arm -- ▁See -- yl -- 占 -- それで -- ▁flu -- von -- 射 -- 沉 -- ім -- той -- じゃないですか -- stellung -- ▁wohl -- ktor -- 注目 -- ▁хорошо -- ▁Park -- ▁больш -- ▁Dan -- ▁кор -- ▁distant -- ▁Not -- ▁quarters -- 旧 -- ▁unknown -- ▁пад -- ▁Regierung -- eks -- たち -- gon -- ▁пол -- ции -- ву -- 世纪 -- ソ -- 提出 -- ▁nächsten -- ▁audience -- rte -- ▁الح -- fr -- book -- ▁finger -- 我说 -- ▁bringing -- 然 -- 魔 -- 硬 -- மா -- ▁announced -- ▁Ci -- ▁alte -- 的一些 -- 看起来 -- nken -- sko -- ▁features -- ▁trail -- なぜ -- pens -- 你说 -- right -- ус -- ▁discover -- 核 -- ▁hate -- tos -- aff -- ▁bodies -- ▁X -- த்து -- হ -- 니까 -- ▁established -- ▁gör -- 側 -- ▁peut -- ▁everywhere -- コン -- ▁prefer -- ▁möglich -- ▁sua -- 場合 -- کن -- 折 -- 具 -- ▁бар -- ▁portfolio -- しっかり -- pl -- ubu -- 盘 -- なんて -- 产品 -- ▁ها -- ▁details -- ▁extent -- いろんな -- ▁també -- ▁labour -- 坏 -- ここで -- ▁division -- ▁department -- ppen -- ées -- ▁advice -- ▁kid -- 证明 -- ì -- gir -- ▁بعد -- ▁papers -- uje -- ▁multi -- ▁kom -- ▁praise -- ▁ذلك -- cri -- ▁rome -- ▁Post -- ▁talent -- ▁occurred -- hundert -- 空间 -- ▁slightly -- ên -- ▁trick -- ▁hal -- 谢谢 -- ▁clar -- 建立 -- ▁dressed -- 判断 -- eza -- kken -- 結果 -- cru -- ▁affection -- ▁bought -- 現場 -- dé -- 切り -- ▁هذه -- кам -- ht -- ▁sunday -- ._ -- ▁бер -- punkt -- ▁wake -- 是你 -- nell -- ui -- ▁où -- ▁sheet -- ▁pity -- ▁Mon -- ▁¿ -- ист -- ▁respond -- ▁shame -- யா -- ▁include -- ▁computer -- ワ -- dul -- ▁думаю -- gua -- rank -- 价 -- 基本 -- 就可以 -- ން -- ▁reflect -- ▁comfortable -- ▁வி -- ▁Punkt -- scha -- ▁不过 -- ▁kitchen -- ▁gewesen -- ▁Hause -- tions -- fon -- ▁pin -- ization -- ema -- сэн -- ▁milk -- ians -- ▁pulled -- 论 -- ▁cell -- ref -- ▁hang -- ▁solo -- ▁Em -- част -- 都不 -- ings -- bild -- ▁iran -- 刀 -- eln -- 蒙 -- bin -- rd -- ▁slight -- '24' -- ి -- 一会儿 -- ▁leg -- 建议 -- ▁whispered -- 领 -- 洋 -- ▁darin -- 刚才 -- cion -- 恶 -- 所有这些 -- வு -- ▁oli -- ▁afford -- яр -- ▁committed -- ▁había -- を受け -- mbe -- esa -- miss -- າ -- uff -- 育 -- ▁eso -- 支援 -- ▁lad -- ▁Meinung -- ▁jane -- 主义 -- ара -- ▁charm -- ▁pur -- 势 -- ▁medical -- ▁defend -- ▁cities -- べ -- sal -- ொ -- يت -- রা -- 痛苦 -- られて -- ን -- ▁quatre -- blick -- ▁torn -- ▁erst -- каз -- ▁этой -- люб -- 属 -- long -- eḍ -- ▁当然 -- ▁первый -- 航 -- 什么时候 -- 黒 -- со -- ▁projects -- ▁مو -- ▁оста -- ▁gathered -- 他是 -- haft -- ▁glo -- 顶 -- 制作 -- 靠 -- سا -- 旅 -- ▁nurse -- 接種 -- 我们有 -- ▁guidance -- nje -- ▁smart -- ▁metal -- ▁conclusion -- yor -- not -- wir -- ўся -- っていうのは -- 是如何 -- ▁block -- ▁bitter -- sho -- ▁Reihe -- tent -- 说了 -- kus -- ▁section -- 搞 -- ▁pace -- かなり -- ▁anyway -- 投票 -- tory -- 进来 -- ねえ -- ం -- ▁laughing -- ▁kiss -- ong -- 尾 -- 是因为 -- ffe -- ▁protection -- 意识到 -- ▁Wissen -- وت -- ▁Idee -- ▁One -- ▁dispos -- 总统 -- ▁secure -- ▁louis -- ced -- 게 -- ние -- ▁staff -- ▁lovely -- ▁drove -- бра -- ▁detail -- жу -- 都没有 -- 電 -- 最好的 -- ต -- зы -- ▁existing -- ▁Warum -- 博 -- ▁facts -- 身边 -- 番組 -- 是吧 -- сі -- 胡 -- 我有 -- ▁handsome -- 你有 -- ▁card -- ▁extraordinary -- ट -- ▁How -- ່ -- ▁donc -- ▁Video -- ▁crown -- もっと -- ▁lies -- その後 -- ざ -- 家里 -- peri -- pel -- ▁manage -- ことは -- না -- 不可 -- gleich -- 네 -- ▁fut -- ▁Spe -- CH -- 一百 -- ▁saint -- 抗 -- vien -- বা -- ▁systems -- EL -- ▁closely -- ▁protect -- ▁Ob -- ▁carrying -- ▁BE -- ▁intelligence -- гі -- ▁yr -- 运 -- ▁reward -- ▁дело -- ▁olarak -- pond -- être -- يل -- ▁treatment -- 环境 -- प -- nit -- ča -- ▁hearts -- ේ -- ▁daha -- ▁Is -- 不到 -- 新闻 -- ▁brauchen -- ▁mess -- pos -- kana -- пи -- ат -- 鬼 -- ridge -- ▁compared -- kli -- unt -- 冬 -- ▁indians -- ▁அவர் -- ▁liebe -- 价值 -- merk -- pres -- 剧 -- OS -- 我已经 -- 前の -- sign -- র্ -- rim -- ▁element -- 嫌 -- 今回の -- 年代 -- ssa -- ▁tro -- wand -- gem -- 活動 -- ▁Europa -- ▁listened -- ▁robert -- fold -- mili -- ▁ban -- ▁Namen -- ▁developed -- 日の -- ด -- ▁unbe -- bia -- وب -- zza -- وي -- ▁appears -- tica -- 記録 -- ▁Woche -- ▁gan -- 経済 -- ▁qual -- ヒ -- ▁dozen -- ▁alla -- ã -- さらに -- নে -- vä -- なかなか -- くる -- ▁overall -- ▁Chi -- ましょう -- فر -- ▁về -- 各种 -- ència -- ▁careful -- ライ -- 货 -- ▁wow -- ção -- ▁Dollar -- ▁treat -- 丽 -- なんだ -- ▁jest -- ▁organization -- ▁training -- duc -- ν -- 护 -- ▁我就 -- тэй -- 位置 -- ▁teeth -- 十分 -- ▁transport -- ティ -- 职 -- 真正的 -- ▁discussion -- える -- 確 -- ▁Raum -- 了吧 -- tü -- ますね -- kä -- ▁drug -- ▁Э -- のに -- მ -- ▁второй -- ▁Ste -- ▁role -- 地说 -- 阳 -- imo -- 领域 -- ▁artist -- ▁professional -- ره -- 劳 -- ▁flesh -- 举 -- ▁female -- xe -- ▁questo -- öl -- ▁independent -- ▁represent -- ▁joe -- ▁David -- 现 -- 状態 -- ▁resources -- town -- back -- 言葉 -- 에서 -- ▁Che -- ете -- tä -- 语言 -- 暗 -- 最大 -- ▁mighty -- ▁smaller -- ▁beide -- 歩 -- それは -- 宫 -- ▁smooth -- ▁estate -- ▁falling -- 的歌 -- 莉 -- ▁cosa -- در -- ▁Körper -- oon -- ик -- ▁businesses -- ▁heeft -- ick -- ▁relief -- ayo -- ▁тогда -- ▁faithful -- ▁obliged -- ▁principle -- 日に -- ciones -- ود -- стро -- ۆ -- ▁University -- ▁consideration -- 同意 -- ▁Tre -- 感情 -- 行为 -- 预 -- ▁schools -- юць -- ▁Ist -- ▁schi -- аны -- 亮 -- ▁contrary -- ▁powers -- ▁emp -- ▁favour -- 以为 -- ▁Wort -- でしょ -- ów -- ▁более -- یا -- ▁ở -- 寻找 -- tá -- ▁skill -- ▁deine -- ▁অ -- ▁leader -- 刺 -- ▁begann -- ejo -- mbi -- ▁bud -- ico -- ont -- ボール -- ژ -- nza -- ▁plenty -- uzi -- kas -- 岛 -- mé -- ucht -- 上了 -- 思考 -- act -- ீ -- vari -- nek -- 归 -- ▁setting -- 運 -- ▁Freund -- 当我们 -- یر -- 上げ -- ▁extreme -- fini -- ▁hidden -- ▁như -- ▁Х -- জ -- ür -- tch -- ▁response -- ▁sieht -- ▁ain -- uel -- न् -- ▁steht -- 委 -- ▁succeeded -- ыл -- ▁remarked -- bank -- 幸福 -- хи -- bot -- tage -- ▁うん -- amp -- ▁sens -- ▁jim -- ▁аб -- lyn -- ▁thế -- нее -- もあります -- ▁rid -- ▁我要 -- 作用 -- 藏 -- ▁Ihrer -- pper -- ▁imagination -- hm -- '500' -- 把我 -- 受到 -- ो -- 必 -- ▁horror -- ▁pli -- ▁revi -- ▁kur -- ງ -- 曾 -- ▁fleet -- 不可能 -- tek -- ře -- 会有 -- 尽管 -- 有时 -- ▁treasure -- ▁để -- ちゃんと -- 唯一 -- 引き -- ▁enemies -- mbro -- んだよ -- ▁realized -- ▁„ -- ि -- 做出 -- раз -- ▁carrer -- ා -- だって -- ▁arab -- ▁somehow -- ▁Kind -- 対応 -- ▁kurz -- 绝 -- ṛ -- ▁frequently -- llo -- さんに -- эт -- 随 -- 塞 -- sek -- ▁meal -- ▁realize -- ун -- ▁picked -- ▁conference -- pé -- ▁patients -- isten -- 示 -- らない -- ▁lifted -- 私の -- تم -- ▁permit -- ▁connected -- 一直在 -- ▁foundation -- ▁adam -- ▁nevertheless -- ▁families -- 我还 -- ▁Neu -- ▁anger -- Al -- ▁actions -- 大きく -- жив -- ▁suffered -- ▁target -- ▁awful -- 产生 -- ▁rare -- ▁spo -- ▁wore -- ▁hello -- fli -- ▁request -- 结束 -- ▁measures -- ubi -- 生物 -- ▁focused -- ▁seized -- ▁sé -- 蒂 -- einander -- ▁campaign -- dic -- ▁instrument -- cat -- uti -- olo -- ▁sự -- ▁fields -- می -- 床 -- ▁kal -- 我都 -- ŝ -- ▁Internet -- ▁liberty -- ▁worthy -- 欢迎 -- 患者 -- ▁zeigen -- ▁accepted -- elles -- 编 -- ▁direkt -- ▁하 -- 可是 -- がありました -- ▁gene -- 弹 -- 简单 -- 』 -- ப்பு -- ax -- oh -- ▁West -- фи -- ක් -- five -- ▁expressed -- cks -- ▁smiling -- лась -- ▁fu -- 说的 -- 基本上 -- gira -- 烟 -- ▁Gar -- 即使 -- 了一 -- ▁flag -- ▁Recht -- 危险 -- zio -- ▁Ger -- ▁However -- ▁Liebe -- 吸 -- ttle -- ட்டு -- بل -- ▁mac -- sicht -- ▁excitement -- 我是说 -- ▁possess -- 特に -- ▁soldier -- ▁wit -- ं -- 谢 -- či -- ▁Los -- 十二 -- лар -- ▁dreadful -- 冰 -- ▁challenge -- ij -- ose -- がない -- ▁fil -- ▁proof -- cons -- 仕事 -- ▁whenever -- ▁거야 -- ▁satisfied -- ▁appeal -- mina -- ▁wisdom -- uf -- colo -- ▁zal -- ppe -- bung -- ▁ĉi -- ಿ -- 治疗 -- ▁emperor -- ▁decide -- ▁motor -- ▁Antwort -- рад -- fl -- ▁With -- ▁пера -- 『 -- lim -- kü -- 把他 -- ▁tip -- bas -- ここに -- ▁glauben -- gü -- ▁incident -- 死了 -- ▁수 -- 汽车 -- mir -- ▁pare -- فت -- ▁dying -- 你也 -- cou -- ▁peu -- ▁şey -- ▁très -- nig -- ▁agreement -- 功 -- ▁gerne -- ▁marked -- ▁Den -- Н -- aha -- ём -- ▁negative -- ▁managed -- 変 -- ность -- 薬 -- ▁stark -- 但我 -- 道路 -- ▁Не -- ả -- band -- ▁destroy -- வே -- ▁Pan -- ▁stellen -- ▁Tri -- ▁deeply -- ▁funny -- ▁Sha -- ▁raz -- arbeit -- blo -- igung -- 还没有 -- ह -- ▁Son -- ▁chain -- ▁播放 -- 进去 -- ▁gr -- ▁теперь -- thy -- ▁nest -- тов -- кт -- uga -- ▁temper -- CO -- ▁solution -- ▁Q -- 敢 -- elijk -- 一只 -- 等等 -- 母亲 -- mobil -- ▁Гэта -- ் -- pren -- 公共 -- phe -- ▁cya -- 股 -- ▁cow -- wort -- сад -- 团队 -- ▁frame -- ூ -- treten -- ▁iyi -- 投资 -- ▁asleep -- これを -- 人に -- рт -- ▁இந்த -- ▁web -- ▁colour -- ▁час -- ரா -- と思う -- ▁despair -- ▁increasing -- aron -- ▁grim -- ща -- 了很多 -- gui -- ▁それ -- ▁کا -- かもしれない -- ▁tail -- adi -- ▁prior -- ▁contact -- ▁euch -- mia -- 慢 -- мат -- '""' -- ▁mé -- 浮 -- ery -- 恋 -- ыг -- мя -- ▁baron -- ▁cart -- ▁affair -- 有了 -- ▁lawyer -- くらい -- عد -- û -- しない -- ▁Mor -- ange -- مل -- ится -- nna -- 両 -- 套 -- 的大 -- ▁کو -- ▁core -- ets -- ▁Amerika -- 境 -- ▁所以我 -- وس -- ▁function -- ▁THAT -- いない -- ▁protest -- ▁irgendwie -- ▁Saint -- ▁ක -- 即 -- pun -- ép -- ▁washington -- 疑 -- 里的 -- ▁violence -- ед -- ▁Và -- tisch -- با -- ップ -- 商品 -- 他们在 -- ▁removed -- pass -- ▁demanded -- 的朋友 -- ు -- گر -- sem -- ▁relationship -- ▁Schw -- 攻撃 -- لك -- ▁gods -- اح -- ▁communication -- ▁nk -- ▁шу -- 丁 -- ▁universal -- 凯 -- ▁partner -- 希 -- ▁rules -- 共同 -- nim -- ▁bob -- 是一种 -- ▁crossed -- 私は -- cus -- もし -- ▁amazing -- ▁supper -- бер -- ▁primer -- ▁ئا -- stal -- に対して -- 你看 -- ņ -- ▁poet -- கு -- 首先 -- '90' -- vier -- mise -- گی -- 关键 -- ▁まずは -- ▁occupied -- 贝 -- wind -- ▁воз -- টা -- ụ -- 杨 -- 和你 -- ▁jak -- ison -- ▁bishop -- ▁sprang -- ▁radio -- 没有人 -- ▁capable -- ි -- र् -- ▁august -- ▁الك -- wick -- роз -- ▁kunnen -- ▁pardon -- ▁complex -- ▁qué -- 尤其是 -- 'NO' -- Vo -- ske -- ▁majority -- ▁phone -- гал -- radi -- 袋 -- 豆 -- 까 -- ▁parties -- ▁mistress -- aria -- 職 -- eurs -- ▁savage -- 藤 -- форм -- 人民 -- 呼 -- 面前 -- ▁remarkable -- なんですが -- ▁dawn -- 天气 -- ▁tres -- テレビ -- дал -- nom -- pla -- ▁Krieg -- ▁bottle -- ▁jud -- 害怕 -- 露 -- ▁fundamental -- ▁verschiedene -- ум -- シャ -- ▁spirits -- ő -- ▁말 -- este -- ▁clo -- 有多 -- 我没有 -- انی -- 印象 -- ▁我说 -- ными -- lf -- ▁pack -- 试 -- ▁equally -- position -- 那样 -- 计 -- ▁statement -- قد -- 聞いて -- ▁Familie -- ▁effective -- rk -- iyor -- ered -- ư -- 表明 -- ож -- ա -- ▁wondering -- マン -- rze -- кова -- ologie -- run -- ▁southern -- yen -- வை -- ров -- рам -- vita -- 権 -- 你必须 -- ▁schien -- ▁अ -- ස -- тро -- ▁wave -- imu -- ▁burning -- ▁School -- 老板 -- 机构 -- 有没有 -- ▁се -- 了你 -- ▁ĝi -- 你好 -- ▁yu -- ▁EU -- 课 -- ▁smith -- ▁一方 -- ▁route -- ▁rent -- ingly -- ▁Angst -- ▁software -- ступ -- iem -- tit -- このあと -- ▁kor -- sky -- 皇 -- をして -- 池 -- 翻 -- ▁それでは -- 卫 -- ▁dari -- ▁regarded -- ▁Ihren -- ▁begun -- setzt -- ej -- ▁younger -- ▁buried -- 招 -- ▁Kan -- 秘密 -- ▁dust -- ция -- wyd -- を見て -- 的声音 -- ▁lock -- ▁zei -- дел -- ▁esto -- ▁ghost -- 最初 -- ▁satisfaction -- ▁strategic -- 衣服 -- 看见 -- down -- 做什么 -- 的名字 -- ▁проезд -- gil -- ▁fri -- ▁flower -- dit -- お願いします -- cli -- オリンピック -- ə -- 赶 -- ▁Alle -- shy -- ってる -- 固 -- 対策 -- 確認 -- ▁evident -- stellt -- ▁economy -- ид -- ▁rear -- 地球 -- ります -- ▁calls -- ▁resist -- ▁rates -- 唐 -- ▁jam -- 我自己 -- ▁slave -- тель -- ▁будзе -- ▁citizens -- ▁pipe -- 妹 -- вет -- ▁خو -- aban -- ▁hide -- 宁 -- 土地 -- ▁deck -- eten -- 今の -- гла -- ▁indi -- 食べ -- य -- ▁aniran -- 怀疑 -- これから -- ▁stehen -- ▁suspicion -- تا -- ▁Plan -- igt -- ▁mot -- かい -- 目的 -- wydd -- ท -- ▁farther -- ▁dengan -- نى -- ニュース -- ▁improvement -- ▁ис -- ▁tal -- 満 -- ▁cab -- 吹 -- ▁educa -- ▁levels -- nyi -- ında -- লা -- рав -- ▁nervous -- ▁Het -- ▁nahm -- 替 -- ▁Det -- ▁Let -- 自身 -- ▁konnten -- よりも -- ▁alarm -- 事儿 -- ▁lag -- bul -- клад -- ▁alten -- 战争 -- டை -- ▁пу -- stig -- お前 -- gl -- лет -- の方 -- 领导 -- weise -- 优 -- などを -- ▁flying -- ▁мар -- indi -- 壁 -- 戴 -- ▁wedi -- லை -- 混 -- 坐在 -- 年轻 -- の中 -- 营 -- лася -- 高い -- ▁necessity -- ña -- ▁cop -- 和我 -- ْ -- ▁yer -- ▁generation -- ás -- 帮我 -- だけで -- ▁sheep -- ▁yield -- ▁innocent -- loc -- ా -- 路上 -- ▁kas -- ▁eene -- ball -- لت -- ▁hacer -- ▁plate -- 丸 -- ெ -- 彩 -- ▁meat -- 背景 -- àn -- ▁sprach -- ▁director -- ▁wy -- gol -- ▁herum -- ▁screen -- 不仅 -- ▁YOU -- 我们会 -- thro -- ▁sons -- raz -- களை -- ▁manifest -- 莱 -- nah -- 许 -- schw -- '21' -- ▁ruin -- dí -- ▁Tur -- 家人 -- ké -- ▁continues -- ▁einzige -- 在我们 -- ▁commission -- ▁себе -- 麦 -- од -- من -- にして -- 艾 -- ▁dal -- 介绍 -- ▁좀 -- ▁Mont -- 女儿 -- ት -- ▁dev -- 宮 -- ▁pop -- ское -- みたい -- ▁triumph -- nau -- ▁Commission -- ▁чего -- พ -- segu -- ▁groups -- بی -- 務 -- ▁tur -- ▁effects -- 人で -- 年の -- ▁desired -- app -- nud -- 完了 -- ▁Paul -- ▁machte -- maze -- 酸 -- ▁document -- ▁weißt -- tı -- ▁bun -- 先ほど -- bwe -- 导 -- из -- giye -- ▁midst -- vě -- ington -- ▁describe -- ▁explanation -- 这个人 -- ключ -- 象 -- 容疑者 -- اه -- 加入 -- 的一部分 -- vă -- 我去 -- ▁vez -- 值 -- ▁western -- fic -- Р -- ホ -- 影響 -- ▁الج -- 某 -- ▁mercy -- ▁clever -- ress -- ▁criminal -- ▁execution -- と思って -- ▁perform -- ▁них -- ではない -- ▁Natur -- ▁そう -- ▁rooms -- ▁update -- 会议 -- 休息 -- ▁forgive -- ▁friendship -- prob -- ▁doors -- ецца -- ิ -- ▁mat -- 其他人 -- ▁wounded -- pes -- ▁hero -- 你还 -- 你现在 -- ▁minds -- ▁halten -- ics -- ▁behold -- anti -- ा -- ▁Ziel -- cial -- α -- ▁tour -- ▁bull -- ▁дела -- ▁Bre -- uba -- ▁violent -- ▁گ -- gent -- ▁topic -- 当我 -- ▁أو -- 如果我们 -- hle -- 并且 -- ▁Informationen -- пол -- ▁dull -- weg -- mittel -- ▁site -- бі -- ▁dei -- aan -- ▁значит -- ▁roz -- ▁tiny -- fern -- main -- ▁khi -- ▁закон -- ▁shade -- 叫做 -- ▁harry -- ierten -- anda -- 難しい -- ▁vice -- И -- ▁included -- water -- ▁figures -- 私が -- ▁bla -- 言って -- sey -- ▁blame -- tó -- gate -- ▁gaze -- ▁allein -- 随着 -- ▁require -- ▁instantly -- ▁đi -- 第一个 -- ▁letzte -- ency -- А -- ▁pictures -- ▁entrance -- 下面 -- schau -- نت -- rö -- nak -- 如果我 -- ▁ново -- year -- 挑战 -- ▁puis -- ▁кол -- 乡 -- 不太 -- 厚 -- ▁دارد -- 食物 -- ▁rocks -- 闹 -- ▁relations -- 责任 -- 在他 -- 宇宙 -- 一緒に -- fri -- 照顾 -- ▁obtained -- дзі -- ▁election -- ▁twee -- ▁sail -- 马上 -- Q -- ▁knees -- ▁conscious -- фа -- ▁website -- っていた -- ış -- ▁divers -- uv -- 展 -- 第三 -- 大事 -- 弟 -- ень -- ▁shift -- 자 -- ▁всех -- ▁expense -- ▁Pre -- よかった -- 对我 -- 务 -- mbra -- ▁pol -- 备 -- vat -- idi -- مي -- apo -- dwa -- யில் -- ▁zero -- yard -- ▁knight -- ▁나는 -- 不行 -- iɣ -- ▁虽然 -- gam -- ▁stronger -- ▁الع -- ▁throat -- graf -- ▁situa -- 新しい -- ▁conflict -- pend -- taj -- аг -- 宗教 -- 悪 -- رب -- ▁Yes -- 独 -- にかけて -- fy -- 错误 -- ▁visible -- tail -- ▁crack -- ில் -- 变化 -- 变成 -- 觉 -- ▁splendid -- lier -- stin -- 上がって -- 마 -- rer -- していました -- 橋 -- 艺术 -- ▁unable -- gru -- 了他 -- ▁bija -- 确定 -- bt -- оп -- ▁versucht -- 女子 -- 坚持 -- ▁relation -- ▁constantly -- ▁recon -- 本来 -- ҡа -- ▁gradually -- rí -- 姑娘 -- emos -- ▁Ed -- тал -- ▁Mädchen -- それが -- ▁edward -- zone -- ▁az -- hus -- licht -- 还要 -- dı -- ▁turns -- kira -- ▁millions -- ▁wider -- дет -- enz -- ▁كل -- 人間 -- 义 -- ically -- ▁teaching -- atu -- 僕 -- ▁триста -- 虚 -- 視 -- ог -- dik -- ▁published -- ▁さらに -- 新たな -- ust -- ▁spi -- ▁possessed -- 站在 -- ▁Tür -- ▁richard -- ▁treated -- 补 -- の中に -- isha -- 一场 -- いません -- ▁revolution -- 一人 -- ▁giant -- бай -- 陆 -- ▁attend -- ▁verschiedenen -- 惊 -- そこ -- 你这 -- ▁ар -- list -- rez -- ço -- 岡 -- uw -- даг -- hal -- 我们要 -- ▁engine -- air -- ▁Pri -- ▁сказать -- もちろん -- ▁Wi -- しく -- ▁tempo -- 接下来 -- ▁untuk -- sprechen -- 組 -- 争 -- sy -- ▁guns -- 耳 -- ▁ஒ -- ▁実は -- 弗 -- ▁mystery -- һ -- ▁universe -- ars -- dies -- やすい -- 因为他 -- 増 -- ▁uw -- ▁mill -- عة -- ▁folks -- 停止 -- ▁liberal -- raga -- ▁mortal -- 库 -- ▁bet -- lement -- stä -- кра -- AD -- 一旦 -- kol -- UR -- いや -- aza -- ▁verwendet -- ҫ -- qa -- 按 -- 今月 -- hä -- ӱ -- んですけれども -- ▁attitude -- 国内 -- ▁aspect -- 建筑 -- 麻 -- ис -- ül -- 調査 -- dist -- 最大的 -- лов -- ただ -- ngo -- ▁cheer -- 测试 -- তো -- ▁nations -- In -- ▁article -- ▁teacher -- нес -- 考えて -- ▁ari -- ▁absolute -- қ -- лә -- voj -- nut -- ▁seg -- ome -- 这件事 -- ngu -- ▁investments -- ▁bisschen -- ▁fund -- ė -- lè -- ▁私は -- 实现 -- gat -- ▁Men -- ▁counsel -- lk -- ▁あの -- өө -- ▁gente -- だろう -- ▁être -- ▁brothers -- ▁adalah -- ▁county -- ▁ceased -- iyo -- liegen -- ▁grup -- ▁perspective -- ▁sẽ -- ▁earnings -- ▁palm -- نه -- ▁لم -- ▁concerning -- 就是说 -- ffer -- 一张 -- 是我们 -- rel -- jas -- 额 -- ާ -- ▁necessarily -- ▁petit -- lea -- ▁expectations -- ▁finish -- 牌 -- 这儿 -- tische -- ▁nói -- ▁mc -- ▁我认为 -- ▁잘 -- 赶紧 -- rij -- ▁سر -- vou -- ▁jede -- mini -- 这个问题 -- прос -- ▁threat -- ▁worship -- ▁voices -- ▁pit -- ▁stepped -- زن -- 我很 -- 来到 -- lant -- ▁schön -- pli -- 企業 -- ▁hence -- ▁affect -- ▁bold -- ▁hor -- bili -- 丹 -- 对不起 -- ▁М -- 同样 -- стр -- ▁frightened -- ▁unique -- ▁sem -- ▁maintain -- ▁objects -- ▁би -- ▁Nacht -- ▁200 -- ▁changing -- 对吗 -- ▁acquaintance -- bet -- chu -- ▁بی -- 怀 -- ▁critical -- というのが -- ▁differ -- rod -- ▁wusste -- نگ -- か月 -- аць -- ▁reco -- ▁recognized -- ▁brilliant -- ▁grief -- ▁code -- ▁такое -- ั -- 大哥 -- 嘴 -- кая -- ▁эта -- 男孩 -- ▁darum -- ▁prisoner -- فا -- 挑 -- ▁plants -- 录 -- ▁worry -- meye -- 你自己 -- ▁mem -- 日本人 -- 幅 -- hem -- 缺 -- 洞 -- ▁Cu -- 纸 -- 后面 -- 记录 -- ▁immense -- ▁resolved -- É -- tang -- eng -- ▁intent -- pr -- 观察 -- über -- やり -- 甲 -- دار -- 让他们 -- ▁cada -- 根本 -- ▁confident -- 这就是 -- ▁nearer -- ender -- 娜 -- 联 -- ▁seines -- ▁你看 -- 检查 -- ▁failure -- 丝 -- 模式 -- рын -- ▁proportion -- 舞 -- ▁cabin -- ▁какие -- ▁assured -- ▁Gehirn -- ディ -- ▁работа -- 镇 -- ген -- 也会 -- பெ -- ▁delivered -- మ -- İ -- 遇到 -- autre -- ▁ف -- ▁disappeared -- gegangen -- ▁نمی -- ▁Bro -- tul -- ▁fragte -- つか -- rous -- TO -- сці -- dü -- ▁wondered -- сты -- غا -- 的原因 -- 声音 -- ▁mile -- ▁እ -- ▁всего -- lly -- رد -- ▁nel -- 我现在 -- uto -- 确保 -- ▁えっ -- 園 -- ▁affected -- kazi -- hod -- 工具 -- としては -- னி -- zug -- ▁nächste -- ▁게 -- пла -- ▁rue -- ▁admitted -- toj -- ラン -- 对你 -- ▁christmas -- ▁eating -- ▁singing -- ▁largest -- ▁regret -- ▁ariko -- 中で -- ▁anywhere -- 席 -- rri -- 楽 -- dum -- ät -- pose -- ▁error -- ▁lots -- 馬 -- volu -- gres -- ここから -- ▁channel -- ệ -- ını -- 经过 -- yar -- 这么多 -- ▁lion -- ▁mundo -- ▁micro -- hold -- oku -- ▁stones -- hält -- 일 -- ù -- ▁occur -- avi -- vra -- ▁Kom -- ▁shock -- ▁signs -- comp -- ▁Tod -- ▁사 -- ▁interests -- ▁description -- 行业 -- 撃 -- chester -- ▁absence -- ▁через -- トップ -- ▁via -- ▁seated -- 容易 -- ▁谢谢 -- ণ -- 在哪里 -- بد -- last -- 爹 -- 看到了 -- ですけど -- ▁elizabeth -- ▁currently -- ที่ -- ▁rush -- ▁Cap -- 意思 -- ▁sieben -- ▁prime -- லி -- ▁hoped -- ▁library -- 言う -- ▁goed -- ො -- சி -- 在一个 -- 秀 -- ി -- ▁custom -- ▁Que -- 被害 -- elli -- ▁ещё -- ▁coffee -- ọ -- ▁objection -- 今後 -- ▁reden -- ▁sport -- 想到 -- 只要 -- ▁Haupt -- ▁official -- ▁Stra -- 上がり -- ▁apartment -- ▁حال -- دن -- 所以我 -- dzi -- teri -- isse -- 媒体 -- ▁arrival -- უ -- ▁proposed -- iu -- ред -- 中央 -- 充 -- 一部 -- 免 -- iyi -- 盛 -- ால் -- ▁chosen -- ▁vessel -- 上面 -- ▁کند -- ▁delicate -- プロ -- ▁silk -- IC -- 原来 -- ▁scheint -- ▁numerous -- 陪 -- 虽然 -- 薄 -- ▁scheme -- 取材 -- ▁quando -- өн -- ▁domestic -- ек -- きのう -- ச் -- ▁mille -- jun -- nej -- 经历 -- fahren -- ▁acht -- 週間 -- ▁ён -- ▁govern -- homme -- test -- 传统 -- ▁mae -- 奖 -- 之间的 -- ▁Möglichkeit -- ▁principles -- ▁해 -- 学院 -- 描述 -- ▁friendly -- ▁experienced -- ▁proceeded -- ▁prices -- rung -- 骗 -- essa -- ▁remind -- 由于 -- 您的 -- 選挙 -- つく -- ▁Bereich -- usa -- ▁hole -- ▁apply -- tia -- ию -- bile -- ▁Rat -- ▁inner -- pak -- ▁tous -- 我不知道 -- ゲーム -- ▁pred -- ▁manera -- ▁està -- ▁Sir -- ▁shelter -- ▁china -- ▁favorite -- 万人 -- system -- ▁uy -- apa -- 标准 -- ▁voyage -- ▁fourteen -- ▁studies -- bur -- 本身 -- scher -- эм -- 人気 -- ▁Bur -- ▁kit -- آ -- oz -- ▁majesty -- ▁SO -- ▁Some -- lama -- ۈ -- ▁depend -- 聊 -- 有个 -- ા -- lık -- どこ -- نس -- ▁sto -- 麻烦 -- cí -- 名字 -- ときに -- roll -- ▁Staaten -- imba -- 我相信 -- 也没 -- ▁link -- 过了 -- ペ -- 達 -- ザ -- 決め -- 増え -- نظر -- 湖 -- ▁version -- cil -- 准 -- ለ -- geführt -- cions -- ▁tiene -- ▁sc -- ▁scientific -- ▁oo -- 京 -- ▁mood -- ▁Nein -- 徒 -- ▁jedes -- ага -- ▁Miss -- 国民 -- seite -- roj -- sión -- tam -- ▁mission -- ▁waste -- 打ち -- ▁waters -- enza -- 移 -- ▁appreciate -- ▁Por -- sty -- ▁cui -- させて -- ▁proceed -- 在这 -- 眼睛 -- ▁sala -- 大多数 -- عمل -- ▁bou -- dien -- そうな -- ▁reign -- ▁bare -- crib -- 醒 -- nny -- ▁mud -- ▁groß -- 不错 -- bone -- ▁перед -- ▁sy -- ▁veel -- ▁stands -- tragen -- wij -- 增加 -- のある -- ▁суд -- nat -- ▁gesprochen -- enda -- ▁sacred -- ▁Mais -- ▁encore -- tif -- 杯 -- dad -- zz -- زی -- ▁bath -- Ma -- kro -- スター -- eka -- ▁crew -- ▁наш -- vision -- ▁steel -- kum -- мә -- бли -- たま -- нага -- ▁ху -- ▁arch -- ▁না -- cré -- খ -- ▁troba -- ines -- ▁pig -- ▁tren -- ▁الش -- unk -- czy -- ▁بە -- ▁Abend -- 刻 -- ▁لە -- アン -- ▁ee -- なくて -- 瑞 -- iden -- ▁problema -- というか -- ▁album -- 面对 -- ▁internet -- ラー -- ▁الن -- ▁heißt -- gesetzt -- ை -- 状 -- ▁quan -- ▁الب -- ▁prima -- ▁reported -- ▁Hal -- 约翰 -- alo -- ▁verk -- 府 -- ▁tar -- 人员 -- ▁trois -- قر -- 優勝 -- ▁Gespräch -- zna -- 专业 -- 出て -- බ -- aja -- 这位 -- ▁sofort -- 他就 -- 偏 -- ▁soil -- 午前 -- овать -- 人たち -- ▁trace -- ▁thunder -- cade -- 戏 -- ▁Port -- ▁completed -- 乔 -- ▁Fin -- ▁кар -- ischer -- ▁relative -- ово -- ▁coach -- 习惯 -- IN -- ▁besteht -- ▁buck -- ▁collection -- жы -- ald -- já -- ▁ප -- 枚 -- ▁blessed -- ▁gained -- ▁Mein -- ▁Will -- 最好 -- ▁gì -- ▁Wal -- hung -- ▁너 -- める -- ister -- ▁Probleme -- 你别 -- rais -- 哦 -- ▁gently -- ▁combat -- ▁pause -- ▁syn -- ▁delay -- ▁empire -- 動き -- 知识 -- ▁practical -- lop -- 现实 -- 压力 -- 允许 -- 银行 -- ▁Ihrem -- دو -- 方が -- 年間 -- nov -- ▁disse -- ▁ease -- stead -- 命令 -- ▁burn -- дзя -- fat -- 则 -- 困难 -- ▁sigh -- door -- ▁Wahl -- ▁mysterious -- ▁engagement -- нос -- ▁horrible -- 还没 -- вор -- ஜ -- ıl -- rust -- تي -- ங்கள் -- grav -- 烧 -- ▁climate -- 捕 -- แ -- 盗 -- ▁medicine -- ▁banks -- মা -- ▁Lage -- 人物 -- ▁التي -- ▁stairs -- feld -- '!?' -- 高兴 -- يم -- ▁دە -- 超过 -- ▁Tor -- asta -- 港 -- 我这 -- 典 -- ▁mia -- ▁bul -- ▁número -- fangen -- ▁Да -- ▁내 -- ▁interpret -- ▁dur -- ▁sympathy -- ▁committee -- ▁enormous -- 想法 -- ワクチン -- 姿 -- ▁为什么 -- ხ -- 年轻人 -- ▁witness -- ▁surrounded -- pho -- 軽 -- மை -- ▁آنها -- лег -- ▁fought -- rau -- ▁hurried -- head -- ▁conscience -- ▁එ -- 干什么 -- ▁rief -- ▁manchmal -- ook -- ▁earn -- ▁bearing -- isme -- eo -- 年に -- ▁yi -- ▁Just -- 当他 -- ▁dreams -- 棒 -- قل -- prim -- ▁bre -- ▁northern -- 圈 -- ▁gal -- cast -- いつも -- ▁سا -- ▁instinct -- ছে -- 我喜欢 -- ▁paused -- ▁hon -- 持续 -- 显示 -- ▁immediate -- 终于 -- char -- 当地 -- iba -- اج -- なんと -- ▁severe -- 蛋 -- ▁bleiben -- oto -- 既 -- dda -- isto -- んだけど -- ulo -- ▁hielt -- ▁beach -- ▁ließ -- ▁更に -- ▁israel -- uld -- nica -- ▁anche -- ▁pushed -- kka -- tors -- ▁oben -- gger -- gebracht -- ▁anxiety -- 大量 -- ▁counter -- ▁clouds -- ნ -- 사 -- ▁pea -- ▁stores -- pal -- ▁Ph -- ▁sooner -- 転 -- ▁tight -- ап -- anto -- ▁Bal -- ▁అ -- zog -- ▁الق -- ▁solemn -- pela -- ▁mur -- ▁这就是 -- ▁London -- ья -- gne -- 突 -- ▁Von -- voll -- ▁discuss -- ▁hätten -- 傷 -- лин -- ▁restaurant -- 累 -- manda -- 我能 -- 我真的 -- ▁ap -- ▁countenance -- ▁你是 -- ▁foolish -- ▁quand -- ▁reference -- fas -- ▁South -- 했 -- vet -- ▁classes -- श -- gomba -- 映画 -- 今日は -- 显然 -- ▁maid -- ▁employed -- ▁schwierig -- ট -- 打电话 -- ▁führen -- 検査 -- ものを -- ▁concern -- ря -- ▁anzu -- ▁wings -- 顺 -- のように -- 원 -- ▁Bild -- erte -- ห -- 不安 -- ▁ring -- となりました -- 予想 -- ප -- 鸡 -- 形式 -- 、1 -- த்தில் -- 抱 -- ▁retreat -- ▁modest -- ▁elements -- 怎么了 -- 発表 -- ambi -- ▁tools -- hé -- ▁sale -- 持ち -- hum -- 腿 -- ▁consequence -- 埃 -- ▁fox -- fried -- 据 -- mana -- スタート -- uring -- دة -- ▁Bas -- гра -- ▁Mark -- ▁rw -- จ -- 全然 -- 振 -- ▁Herz -- ▁abantu -- ▁falsch -- ▁WE -- 結 -- はこの -- 出場 -- ▁fled -- いつ -- ި -- それから -- ▁너무 -- тә -- thing -- كن -- lio -- 不再 -- ▁funktioniert -- 灵 -- شی -- teur -- ▁дума -- ckt -- ▁morgen -- ないと -- ▁application -- ▁ignor -- ▁consent -- termin -- ец -- prav -- 思って -- ▁Licht -- 구 -- ▁nord -- ▁improved -- ár -- ▁intelligent -- ▁photograph -- tom -- anar -- 炎 -- ез -- だと思います -- ▁Ap -- 呆 -- ▁geworden -- ▁consciousness -- ▁herr -- ▁joke -- iff -- ▁High -- ▁mü -- ▁doen -- ▁wheel -- ▁cave -- ван -- etti -- 反对 -- ▁confi -- ▁goal -- faced -- ▁construction -- 关心 -- 康 -- 逃 -- ▁dont -- 届 -- ▁precious -- சா -- ▁introduced -- ší -- str -- ▁За -- ▁crisis -- ▁stir -- 的所有 -- ▁cert -- gged -- كم -- ▁reduce -- 那就是 -- 永 -- 到达 -- ▁mostly -- かもしれません -- ▁Энэ -- born -- ún -- 值得 -- じゃあ -- пы -- ▁previously -- 怎么办 -- ▁rope -- 制造 -- 禁 -- ▁pressed -- ▁informed -- とても -- ▁score -- 他会 -- ▁handle -- ▁По -- ▁També -- ён -- 巨大的 -- 敬 -- ▁你要 -- が出 -- US -- umi -- ▁hinaus -- 我们现在 -- ▁estaba -- மான -- 全球 -- ▁push -- 说什么 -- 回来了 -- эг -- 接触 -- hui -- lain -- 事实 -- ే -- 瓦 -- さんと -- raum -- ▁کنم -- 大丈夫 -- 摩 -- টি -- ▁approached -- ▁factors -- ▁By -- ▁mayor -- 吓 -- گو -- めて -- ও -- 避難 -- ▁smell -- 跟他 -- 여 -- ▁dessen -- ▁stable -- arti -- ▁guilty -- 来看 -- ▁subjects -- ▁returning -- ▁partly -- ишь -- ▁Eu -- ▁kindly -- ▁überhaupt -- ▁easier -- ▁benefits -- ▁こちら -- னை -- ismo -- ▁amongst -- 用户 -- どんどん -- 同志 -- гә -- dienst -- 移动 -- 成员 -- 全体 -- kem -- ▁philosophy -- 犯罪 -- ▁candle -- ▁fet -- 哭 -- च -- ẓ -- ે -- ▁recognize -- rr -- cum -- facebook -- hari -- cs -- ▁Vielleicht -- ▁werd -- 落ち -- 对我来说 -- ntu -- ▁Ш -- rra -- 、2 -- تى -- すぐ -- ▁Zukunft -- зу -- 施設 -- ▁bush -- ্য -- ▁merchant -- kora -- ▁crea -- ▁eager -- ▁Programm -- ▁Don -- Ü -- hur -- 季 -- ajn -- 响 -- 骑 -- ▁College -- 说我 -- ーン -- ▁victory -- のでしょうか -- 承认 -- ▁feed -- dank -- ▁tief -- 孙 -- 辛 -- ▁associated -- 説明 -- ▁profession -- ▁copy -- 开心 -- ▁arrive -- があって -- ▁yari -- サン -- dhi -- 察 -- 抽 -- まる -- ▁nav -- ▁luck -- してください -- 好吗 -- ▁điều -- ▁但是我 -- ▁نو -- ▁Tro -- ▁yards -- 亡 -- ▁Pol -- ▁refuse -- ▁discovery -- ▁cheap -- rada -- ▁notion -- ▁delle -- aku -- ▁پ -- ▁games -- ▁stupid -- ▁为了 -- 胸 -- gram -- ель -- となった -- 伤害 -- шел -- ksi -- 给我们 -- なのか -- ▁kiel -- なんで -- handel -- mad -- La -- ▁mod -- ले -- ▁discipline -- 独立 -- 姐姐 -- 交通 -- ▁enable -- 幕 -- いっぱい -- 広 -- 负 -- tics -- chy -- знач -- raf -- lou -- ▁phil -- amo -- zem -- isiert -- ▁nachdem -- ▁limited -- تون -- āk -- ▁coal -- ▁nada -- 妻子 -- staat -- hü -- ▁над -- ▁congress -- ▁National -- ジャ -- ▁import -- そこに -- ▁Mittel -- ▁clients -- ях -- وه -- ế -- 者の -- ▁escaped -- ▁يمكن -- ню -- ▁Oh -- ▁located -- ▁우리 -- will -- はない -- ряд -- rol -- をする -- teilen -- ▁없 -- амі -- ▁adult -- 菲 -- 他们会 -- ▁eternal -- ular -- ধ -- ▁باش -- poli -- 上海 -- 属于 -- 作り -- 小时 -- ident -- ▁kay -- jem -- 장 -- ▁rag -- ago -- ▁apple -- ▁thu -- 受け -- bl -- jes -- byo -- dim -- ▁phải -- ▁Pra -- ▁marketing -- ▁alors -- 小心 -- ▁mí -- やる -- ▁десять -- кс -- ▁así -- রে -- ▁kre -- 司 -- 表达 -- 雅 -- oy -- nja -- ▁мал -- ▁kra -- 論 -- ວ -- 似 -- ▁slide -- ▁früher -- 族 -- ▁куда -- 放弃 -- ▁forgot -- pers -- なんですね -- dzie -- くて -- ▁resolution -- щ -- ▁cela -- wala -- peak -- 関東 -- stoff -- his -- 岩 -- ▁две -- 注 -- 善 -- 佐 -- 负责 -- ▁opera -- ık -- یک -- そうですね -- 发布 -- 照片 -- ▁Millionen -- cono -- ▁Una -- ▁William -- ▁شود -- ▁valuable -- laufen -- ▁Dass -- 我看 -- ▁musste -- 正如 -- ▁Seine -- ▁zwanzig -- を使って -- ▁hare -- цу -- ▁obtain -- ▁bwa -- tti -- ▁pensa -- ones -- ▁italian -- مه -- ▁offering -- ていく -- zähl -- 技 -- ▁genius -- ▁которая -- ▁Sicherheit -- ije -- zing -- 馆 -- ordina -- ບ -- ▁Meine -- өр -- ▁miserable -- 评论 -- 大臣 -- ▁neza -- 在你 -- ▁жа -- 既然 -- schließen -- ▁num -- azione -- 材料 -- 総 -- ▁segment -- ▁gesch -- していく -- させ -- ▁convinced -- ▁programs -- ▁offen -- tse -- 我对 -- ▁hanging -- ▁creatures -- olu -- ▁flew -- ▁sunt -- ここまで -- 十年 -- grad -- ▁survey -- ▁causes -- guard -- ▁rushed -- ີ -- 男子 -- 関 -- ▁পা -- ے -- ▁curiosity -- ▁flash -- 暴 -- ມ -- trag -- ▁Musik -- ▁LA -- مج -- 選手が -- ▁einigen -- 難 -- ▁tiu -- rés -- ▁flood -- 更加 -- ▁appropriate -- ▁Para -- mě -- کە -- wart -- ほ -- lina -- 糖 -- ▁mount -- ▁thomas -- ▁succeed -- ο -- ぼ -- 章 -- vingt -- рь -- だよ -- гор -- mate -- ▁unserem -- ▁federal -- овская -- quet -- ▁assistance -- eme -- ▁今日は -- fertig -- のかな -- ▁bomb -- ▁beginnen -- ▁closer -- ▁مس -- ▁softly -- ▁гу -- 澳大利亚 -- ▁Präsident -- whi -- ▁hurry -- kie -- 図 -- ▁branches -- レー -- ▁substance -- wol -- xon -- 我希望 -- ▁recht -- ▁pitch -- ▁plane -- çi -- ▁healthy -- ந்து -- ▁besten -- ▁reflection -- 住宅 -- ▁» -- luc -- ▁sap -- раб -- lib -- 睡觉 -- まり -- ▁Ama -- 舞台 -- ▁confess -- ▁Gen -- ▁تر -- ▁гол -- ▁moreover -- ም -- 太多 -- кон -- ▁concept -- ▁vy -- 人口 -- 咋 -- 有关 -- ului -- ▁hut -- führen -- ▁HE -- cient -- ▁chap -- ▁Politik -- 하고 -- ▁purchase -- ▁سال -- ▁worn -- これまで -- ことで -- ific -- phone -- ▁throne -- ▁tai -- igu -- het -- iel -- を見せ -- agi -- iten -- ume -- ▁char -- ▁render -- ▁prze -- 거든 -- ▁bunch -- ▁mamma -- ו -- ▁absurd -- ▁whilst -- دە -- شت -- 沈 -- 博士 -- ongo -- baza -- ▁però -- gos -- спе -- qué -- ▁appointed -- rant -- cket -- 鸟 -- 情绪 -- ன்ற -- 的一 -- ▁dignity -- 部屋 -- ▁Thema -- тым -- ▁States -- rend -- 答案 -- ▁cái -- ▁divided -- ились -- 律师 -- ▁onze -- ▁lover -- ▁bigger -- anyi -- ▁suis -- 四个 -- ▁intend -- tine -- 众 -- rā -- ▁unit -- ▁같애 -- 每一个 -- ame -- gere -- 早く -- ▁sank -- had -- 疾病 -- 合い -- ▁我知道 -- ▁Spa -- そうなんです -- ware -- sehen -- ▁Fer -- schi -- ▁suggestion -- ET -- oor -- 盖 -- 魚 -- tera -- י -- ▁arthur -- ▁quarrel -- ▁martin -- ▁Arm -- vic -- ▁unten -- छ -- おります -- ▁많이 -- 材 -- 海外 -- most -- ▁monde -- ▁hopes -- ▁cancer -- ▁robot -- bir -- ▁odd -- ▁poison -- ▁Eltern -- ▁wound -- mmel -- kra -- のために -- ▁bitte -- 设 -- ▁competitive -- cel -- ▁connect -- 地域 -- ▁activities -- 植物 -- ▁exchange -- ▁household -- 甘 -- ▁aquí -- ▁họ -- به -- ▁völlig -- れた -- ▁Au -- ▁joseph -- gs -- ▁Geist -- ▁tells -- 時代 -- 因为我们 -- 我们需要 -- ▁painful -- 终 -- ▁directed -- ▁że -- ▁observe -- ▁destroyed -- ып -- ணி -- ▁zeide -- ▁forever -- ▁internal -- ったら -- ▁launch -- 赵 -- quel -- 某种 -- ప -- ▁hari -- ▁pier -- шла -- ▁sugar -- ▁دی -- 欠 -- ▁hint -- ăm -- camp -- sun -- 在这儿 -- ▁accompanied -- spar -- 尝试 -- say -- autor -- stehen -- يق -- ▁shouted -- rif -- 观众 -- ▁Durch -- О -- liv -- بو -- gut -- ▁waves -- ▁fatal -- ▁uniform -- edi -- 消息 -- 平台 -- 학 -- 給 -- аж -- abil -- ▁Gemeinschaft -- 賞 -- 拒绝 -- glich -- cious -- ▁assume -- دى -- 寺 -- ▁байсан -- ▁lights -- ぜひ -- üm -- 崎 -- ▁keen -- 込んで -- 映像 -- これが -- 从未 -- ▁zwar -- lied -- ▁Prozess -- ▁acquisition -- かけ -- 的那个 -- ು -- ▁Sprache -- ▁flor -- luk -- ▁sul -- 写真 -- ▁Schritt -- 僕は -- きて -- 連続 -- ▁کنند -- ▁manager -- भ -- pic -- ▁tear -- ▁debate -- ్ -- 不仅仅是 -- ▁variety -- 自我 -- ▁retail -- ▁دست -- 持って -- cap -- ▁fand -- ▁merit -- ▁pilot -- ていました -- 大部分 -- ▁magic -- ▁hundreds -- ▁produ -- ñ -- rica -- kiri -- ▁años -- esse -- ▁Qui -- 中に -- ▁totally -- ▁Это -- ▁那我 -- ▁бул -- ▁rank -- ▁wicked -- 记住 -- 하 -- fit -- аш -- shire -- кан -- 子供 -- ▁Ten -- ありがとうございました -- ▁پر -- ios -- ▁irre -- дав -- ▁تم -- ▁dollar -- кол -- ▁enterprise -- からは -- ▁hasta -- ▁heel -- 比赛 -- vul -- ▁Roedd -- '23' -- 早上 -- 应该是 -- 団 -- 비 -- ▁designed -- 殺 -- ент -- 吴 -- lands -- ▁addressed -- できた -- வர் -- ል -- ▁sector -- witch -- ▁rub -- ▁tegen -- ▁Nur -- chung -- コロナ -- post -- ▁combination -- 斯特 -- 大概 -- ▁applied -- ▁nein -- ological -- 作業 -- май -- ▁phrase -- ▁City -- ▁shining -- 失败 -- ▁burden -- ▁Boden -- ▁thoroughly -- ско -- 一份 -- autres -- iḍ -- ▁swift -- ▁tremendous -- 焼き -- ▁fierce -- ▁también -- glo -- ▁shoot -- ほとんど -- ▁humble -- ▁politics -- ▁nou -- 形成 -- 高校 -- ▁سو -- ▁meu -- ▁meanwhile -- 北海道 -- pada -- ▁seriously -- ▁этим -- ▁kindness -- ▁degrees -- ▁votre -- cc -- 广告 -- kali -- 肯 -- რა -- ▁enjoyed -- fie -- sus -- ған -- gene -- てきた -- あっ -- ▁Bra -- ▁lift -- عا -- ліся -- ▁tele -- ▁Nord -- 랑 -- kov -- 韓国 -- ▁scho -- 记得 -- ▁rage -- ał -- 朱 -- ▁porta -- schrei -- 例如 -- 生产 -- プレー -- ▁secretary -- 留下 -- ▁weary -- ▁mala -- box -- 齐 -- lerin -- ▁border -- 熊 -- 国際 -- شا -- ssel -- ▁critic -- iendo -- 是有 -- オー -- şe -- ▁chu -- を持って -- ▁Energie -- ▁ああ -- 很多人 -- لة -- ě -- ▁spare -- 流れ -- ▁Blick -- ort -- вид -- kk -- 把你 -- ▁spanish -- ▁Ac -- kop -- 基础 -- haw -- 目标 -- ▁helen -- ▁pool -- ▁ibyo -- ▁YEAH -- ▁types -- ▁Ка -- ▁Gesellschaft -- asa -- ▁Technologie -- ිය -- 頂 -- ▁faster -- ▁stated -- ҡы -- 決 -- ello -- 豪 -- lieb -- ▁cyangwa -- 码 -- ▁wholly -- 集中 -- わけです -- ▁cred -- griff -- 意味 -- ▁presentation -- ▁spin -- වි -- ▁slept -- nto -- sul -- ▁awake -- そうだ -- raj -- ▁эту -- 暖 -- ▁views -- 子さん -- ▁solutions -- ▁Während -- 有一 -- 因为你 -- ▁kwam -- rz -- ▁cottage -- 国际 -- 商业 -- ▁ehhe -- 自宅 -- ▁crazy -- том -- れて -- cca -- itude -- ▁regarding -- 婚姻 -- ▁Но -- ▁punishment -- 我只是 -- ▁leven -- ▁prisoners -- ▁leap -- 虫 -- ▁George -- 较 -- ▁Esta -- ▁ale -- 種 -- ρ -- ▁Robert -- 泡 -- ▁buildings -- sser -- ▁tis -- 因为它 -- ▁disc -- ▁brit -- তি -- 凡 -- ▁reduced -- och -- voy -- 入り -- four -- ▁gegenüber -- ▁movie -- なんですけど -- уул -- инская -- ▁fare -- 困 -- ▁trap -- ▁hollow -- хан -- اش -- ▁gall -- ▁alas -- 病院 -- ▁steady -- ▁catholic -- रा -- кий -- ▁fifth -- ▁literature -- ▁இது -- ▁abge -- ひと -- ▁sud -- 电视 -- ▁veil -- 两个人 -- ▁Os -- 번 -- 流行 -- 并没有 -- ▁déc -- ▁seus -- 还在 -- غير -- ▁expenses -- ▁privilege -- тя -- uren -- jos -- 表现 -- გ -- 对吧 -- ▁Kü -- ▁attended -- rid -- 每个人 -- 頃 -- 一块 -- 播 -- TE -- tting -- ▁我也 -- ▁Peter -- 介 -- については -- ここは -- ээр -- ▁arose -- ▁breaking -- ▁Ма -- ▁despite -- ▁Cal -- مت -- ▁loving -- omo -- 絶 -- ▁rolled -- TER -- ▁flame -- ▁pricing -- master -- ▁кур -- ▁hey -- ▁kate -- ▁прав -- weit -- ぬ -- 人々 -- ▁remarks -- 技術 -- 煮 -- ▁epi -- bio -- ▁yours -- bug -- ▁humanity -- リン -- ▁Cla -- 我们就 -- IS -- 別 -- ▁plej -- 怒 -- vý -- спа -- gala -- ché -- ▁فر -- ▁Tat -- ▁día -- ▁Union -- 言い -- пар -- 各位 -- リア -- Co -- 异 -- ▁Inter -- ▁cattle -- ▁đến -- under -- pia -- 羽 -- ▁Show -- ▁pays -- ▁solve -- あり -- ▁leaders -- ອ -- elt -- 戸 -- ▁yap -- 坂 -- 我们都 -- 聪明 -- tà -- ▁strongly -- 정 -- ▁braucht -- جر -- ▁Aquest -- ▁prof -- iw -- ▁Dieser -- ▁Far -- ▁chat -- ▁هي -- satz -- ▁பி -- 房间 -- وان -- 子ども -- ▁holiday -- gni -- ▁partners -- ▁arranged -- ▁Kat -- ▁Tôi -- 出し -- つけ -- ▁inquired -- ▁bai -- Le -- én -- کی -- ▁tä -- ▁hum -- ▁confusion -- ▁Selbst -- 反应 -- ▁symbol -- 还不 -- ▁اما -- ▁dell -- ▁annual -- ▁interior -- esc -- 兴 -- 诗 -- vano -- のような -- 習 -- است -- ▁іх -- 本当 -- 客户 -- ▁remaining -- erie -- ▁ends -- 扔 -- ▁verloren -- ribu -- ▁möchten -- kaj -- нова -- 欧 -- ▁American -- ▁entwickelt -- ▁branch -- 優 -- 资源 -- plic -- いきます -- ▁Wert -- ▁Grunde -- ▁distribution -- 笔 -- 中の -- に出 -- ▁auszu -- RA -- ▁california -- ▁tanto -- 增长 -- ▁thrust -- ▁zien -- ▁shake -- ▁scar -- 不过 -- path -- 世界上 -- ▁thirteen -- ள் -- ▁pues -- ▁shouldn -- 安排 -- ▁одна -- ük -- 当時 -- ▁tide -- などで -- 反正 -- ▁warning -- ▁souls -- ▁parliament -- ▁notes -- からね -- '22' -- ▁sollen -- ▁episode -- ▁Projekt -- пуст -- 宽 -- ▁atmosphere -- ▁мир -- ▁assets -- 水平 -- ağı -- ▁string -- ▁kuko -- ▁eggs -- ezi -- сь -- ▁decline -- unda -- ▁puede -- نىڭ -- ▁또 -- ғы -- மாக -- ▁Nous -- ▁rival -- ▁falls -- 功能 -- venir -- ▁profound -- 专 -- pă -- 报道 -- ު -- 因为他们 -- fiel -- 得到了 -- script -- ▁komm -- bble -- 简 -- ण -- ▁uko -- нэ -- ▁jump -- ゲ -- ▁cum -- ▁physician -- వ -- يف -- ▁earl -- 結婚 -- 达到 -- のこと -- 羊 -- 不敢 -- ▁должны -- ās -- ▁delighted -- ake -- سل -- ▁bus -- duk -- چی -- ▁utterly -- mpa -- ▁widow -- ის -- ▁pole -- tract -- ▁всегда -- ▁Bank -- ▁Gruppe -- ▁Fu -- ín -- že -- 有一种 -- ರ -- ▁wer -- ▁kamen -- 现场 -- ้า -- ▁contained -- ▁follows -- ota -- 国王 -- ვ -- ▁هر -- 以外 -- ников -- ▁intellectual -- roy -- 偷 -- ▁distinguished -- lies -- ▁Macht -- coming -- burn -- ▁могу -- 挂 -- ▁Schüler -- ▁reader -- 状态 -- ▁буду -- ▁assist -- grund -- ちゃう -- 一つ -- ▁desk -- ▁FOR -- уд -- সা -- ▁unhappy -- ▁formal -- ▁rap -- ▁тре -- ▁utter -- шин -- ▁expedition -- ダー -- ▁Nor -- ▁sistema -- ▁guests -- that -- ▁margaret -- 给了 -- こうした -- dina -- two -- jí -- ▁click -- ▁steam -- ▁prophet -- او -- 減 -- abu -- ▁пыта -- ▁начал -- tara -- えて -- lut -- 悲 -- ▁erkennen -- ▁nodded -- 从来没有 -- рос -- ▁adventure -- вая -- மி -- ▁Entwicklung -- ▁Mag -- 这么说 -- ёт -- ▁paying -- ▁plu -- ው -- ▁fed -- ▁pink -- ▁wolf -- 的新 -- ▁jedem -- ators -- minister -- ▁musical -- 女士 -- ▁imagin -- 办法 -- ander -- ▁iets -- hun -- ▁interrupted -- lab -- 晓 -- Ä -- ุ -- 缩 -- ▁budget -- 起こ -- ▁esper -- 智 -- 放送 -- ▁день -- lagen -- ▁Team -- ▁consum -- ▁anderes -- 说你 -- というふうに -- ▁trump -- ▁russian -- త -- ▁tomb -- ligen -- tsi -- ▁Rolle -- ▁Luft -- 几年 -- 夢 -- 国会 -- oro -- سي -- ís -- きょうは -- ава -- தா -- ▁dijo -- ▁damage -- үү -- ってこと -- 答え -- bila -- 什么样的 -- ▁"" -- frage -- ӹ -- 再说 -- 平均 -- вин -- ▁яв -- 成了 -- არ -- 那边 -- ▁writer -- ates -- ▁sous -- ▁strip -- force -- ことし -- 的情况 -- ▁Stimme -- ▁lernen -- 부 -- ▁cam -- 另一 -- ▁remark -- ▁Zo -- bis -- ▁danke -- baka -- ▁patience -- cult -- cier -- 亿 -- kna -- ▁fro -- 圆 -- ▁бел -- مە -- ▁primarily -- 的感觉 -- стар -- 五十 -- あまり -- zelf -- ▁button -- wag -- ▁zijne -- ▁essential -- ς -- ▁baş -- 開発 -- 正常 -- jon -- ▁まず -- azi -- еш -- leh -- క -- アメリカの -- ▁beast -- guru -- くなる -- 爆 -- ▁тех -- ▁neat -- mmen -- 楽しみ -- quin -- ▁articles -- 帕 -- aid -- ▁IS -- laden -- ▁context -- ▁abandon -- ID -- riet -- が多い -- ировать -- wit -- ▁sleeping -- ▁пер -- شه -- ▁peer -- ▁define -- 登場 -- があり -- mā -- amba -- ▁stared -- pis -- ▁studied -- tun -- TA -- 斗 -- late -- quest -- 四十 -- 升 -- пан -- elo -- ▁contrast -- 亲爱的 -- ▁multiple -- pid -- に入って -- aro -- ▁약간 -- ▁obwohl -- ▁arise -- というところ -- 電話 -- 津 -- 哥哥 -- 質 -- ▁будут -- ▁Ak -- 有可能 -- ▁stress -- ▁چه -- ▁tied -- 意义 -- хий -- ڭ -- ▁所以我们 -- gegeben -- ್ -- ▁tiempo -- ▁traffic -- サー -- ▁eve -- rack -- fei -- ▁すごい -- 隆 -- ▁வ -- ▁duties -- ▁Google -- 里边 -- bij -- 锁 -- 交流 -- про -- ▁devoted -- 幸 -- ▁beste -- 适合 -- 爸 -- 상 -- ▁rod -- 那么多 -- nus -- 爷 -- 细 -- ữ -- ▁sensation -- gging -- 对方 -- alter -- riye -- ▁lit -- 盛り -- ▁rosa -- schrift -- lid -- ▁ähnlich -- ▁hungry -- 办公室 -- ▁vir -- ▁spell -- fun -- 利益 -- 委员会 -- 寄 -- kara -- lage -- كون -- here -- ▁fellows -- 任务 -- さまざまな -- ▁extended -- дә -- ▁guest -- 真的是 -- ▁plötzlich -- ▁industrial -- gian -- 经验 -- жал -- バス -- сов -- rg -- ▁singular -- tò -- ▁operation -- An -- нут -- ▁hunting -- ▁сер -- 湿 -- ▁kat -- erde -- 很快 -- ▁Mc -- enti -- ▁между -- ▁coup -- shing -- ▁Hy -- ott -- ▁Hol -- lap -- shaka -- த்தை -- ▁nombre -- ▁என்று -- ▁свет -- 牙 -- 贴 -- ▁ça -- ▁komen -- ▁хочу -- ▁stayed -- ▁operate -- vous -- 御 -- ▁eigene -- 丈夫 -- 阅读 -- ▁Produkt -- 不需要 -- ▁doctrine -- ▁lieutenant -- ▁transform -- 途 -- ▁background -- ▁glücklich -- こっち -- ▁shoes -- diri -- ▁helping -- ▁spending -- ▁india -- ▁parent -- ▁созда -- 運転 -- ڵ -- ▁biggest -- IR -- 价格 -- ▁weakness -- 懂 -- org -- tech -- ▁algo -- ▁Weil -- obu -- ▁Parlament -- richtet -- ▁স -- ▁ŝi -- oka -- ▁surrounding -- 记者 -- ▁hace -- inda -- tiva -- för -- ▁этих -- 売 -- ▁conviction -- ▁wishes -- ▁hadn -- chant -- 寝 -- ▁народ -- wachsen -- ound -- ι -- 泰 -- ▁knife -- ▁他说 -- Ge -- ▁eventually -- jor -- tari -- key -- TH -- vir -- rimo -- ▁té -- ▁Tage -- いただきます -- буд -- ▁вельмі -- 呼吸 -- 保证 -- ▁deu -- ▁wegen -- lassen -- ▁тот -- ▁generous -- 园 -- ▁accordingly -- ▁Ei -- 乗 -- greifen -- ▁mate -- schauen -- top -- tique -- ▁प -- lov -- ▁sonra -- lav -- лось -- தான் -- ▁gefunden -- ▁heap -- ▁друг -- ▁visited -- rip -- 项 -- ▁schließlich -- дэг -- wyn -- ▁Sin -- 就不 -- buch -- ために -- ▁occasionally -- ありません -- ват -- ▁responsible -- ▁これが -- ▁Wochen -- ły -- すれば -- твор -- 开发 -- ▁несколько -- rut -- итель -- ▁কি -- ▁tale -- ▁кажется -- ▁sisters -- лом -- ্যা -- ▁largely -- ▁mewn -- ending -- ▁ස -- お店 -- ▁ເ -- bling -- ▁kings -- ▁mist -- ▁pile -- うわ -- σ -- ▁gross -- ▁lest -- ▁composed -- ▁beau -- cole -- 大統領 -- ▁quit -- 题 -- 中间 -- ▁《 -- ▁location -- ▁companions -- 部门 -- CE -- py -- aud -- ▁понял -- 家的 -- дать -- 决 -- るの -- ▁moet -- تق -- ▁bari -- 易 -- ▁Cy -- lance -- خر -- 潮 -- 唔 -- 输 -- ▁lại -- ▁россии -- 史 -- دان -- 之外 -- ▁பா -- luci -- ▁acts -- ilen -- ▁Trump -- ▁tag -- 額 -- ▁permanent -- ▁stretched -- reg -- bei -- ▁discussed -- ▁possibility -- 审 -- ▁proposal -- rück -- ▁striking -- ▁barn -- ác -- loop -- 沖縄 -- ▁properly -- ▁Sein -- 将军 -- ▁driver -- Ar -- としています -- rek -- ▁kap -- 效 -- ▁continuing -- 先月 -- sicher -- ▁proposition -- ▁expand -- organiz -- ませんでした -- ▁accustomed -- uze -- bata -- ▁sorts -- mission -- ▁butter -- ▁Schule -- 変化 -- ช -- ▁lebt -- 依 -- ▁innovation -- ▁James -- pol -- ▁spielen -- det -- 文件 -- ▁mare -- ▁الإ -- mma -- 니 -- 导致 -- kl -- ▁sovereign -- registr -- pil -- gis -- 絵 -- chel -- 東京都 -- ▁sagten -- 浪 -- ▁President -- ▁plot -- wyr -- 我和 -- シー -- 那天 -- ▁constitution -- see -- ▁Cas -- ▁đang -- 左右 -- 心理 -- 塁 -- kta -- ▁strain -- ME -- 见过 -- ▁trop -- тен -- уб -- 透 -- adas -- ▁elder -- 宗 -- 伟大的 -- comb -- グループ -- উ -- ▁stem -- în -- 我不会 -- ▁stiff -- ▁literally -- しながら -- ้ -- ▁pretend -- 和他 -- ▁Dat -- ▁rifle -- ▁mixed -- 太阳 -- ▁fragen -- ▁hoffe -- জা -- ளி -- ▁yok -- ▁wearing -- got -- 一段 -- ▁poco -- ▁சி -- 看到的 -- 美元 -- foto -- rse -- sack -- ▁servi -- どうぞ -- роб -- эв -- ▁deposit -- 沢 -- kunda -- лын -- ▁thì -- ▁jsem -- sab -- ▁poetry -- hara -- gno -- ▁bless -- یی -- IL -- 丢 -- ▁exception -- hop -- などが -- 岸 -- hack -- ▁நா -- Be -- ▁crying -- 另外 -- ▁absolut -- ▁After -- 长大 -- jä -- ▁großer -- ファン -- 大阪 -- 操 -- 战斗 -- ▁germany -- 带来 -- ▁homes -- ▁Š -- ▁einge -- 法院 -- ▁mild -- ▁делать -- 桥 -- denken -- ड -- іць -- ▁olma -- 瓶 -- ▁từ -- يس -- ண் -- ▁punt -- ▁maiden -- aquesta -- ▁appar -- жээ -- át -- ▁கு -- avo -- ป -- نو -- ▁Morgen -- irwa -- ▁tema -- 5% -- ▁katika -- ▁такая -- ▁Non -- şa -- 说过 -- ▁rob -- aren -- meter -- 温度 -- ▁mano -- 捜査 -- ▁cel -- дум -- jya -- rain -- 触 -- ▁unu -- ▁swept -- ▁invited -- 際 -- komp -- fte -- るのは -- эй -- Bri -- stadt -- したのは -- ▁bang -- ase -- 户 -- 症状 -- سب -- 一边 -- حل -- geld -- ▁Cre -- gled -- 隔 -- あなた -- ▁деле -- spira -- hou -- ▁genannt -- ▁dun -- 今日の -- ▁你怎么 -- ▁vent -- ▁যা -- 今回は -- ▁represented -- 振り -- lust -- ▁anni -- 不喜欢 -- bound -- யை -- 标 -- ▁کنید -- wl -- ууд -- 提醒 -- ै -- ▁kissed -- служ -- rai -- ▁recall -- ▁mehrere -- ▁prize -- 猜 -- 誰 -- 裁 -- ▁initiatives -- tje -- おい -- LY -- なの -- ▁vai -- lak -- ▁stud -- 版 -- やっぱ -- 作为一个 -- 摇 -- bos -- 冒 -- ▁நி -- ▁unusual -- ites -- رة -- куп -- emo -- ヘ -- ▁brings -- ▁premier -- ▁emotion -- 接近 -- ▁victim -- парт -- gio -- ▁schlecht -- إ -- 恢复 -- tree -- lau -- ؤ -- ias -- 所以你 -- 妻 -- ▁cả -- ▁cells -- 我们必须 -- ▁говорит -- ее -- ▁ym -- ▁performed -- ສ -- кай -- vern -- km -- 一切都 -- oko -- ් -- '300' -- ▁glanced -- 不断 -- 十五 -- 月に -- ▁lonely -- ▁North -- ▁neben -- ▁oak -- ▁responsibility -- 調 -- fite -- yle -- ▁poverty -- Re -- ذا -- 忍 -- 搬 -- » -- ▁Freunde -- 意外 -- aires -- эк -- ▁ambition -- ▁gibi -- год -- ▁нэг -- дол -- 猪 -- ▁Minuten -- stimmt -- uye -- ▁suo -- وج -- ▁UH -- 大脑 -- gebaut -- ká -- лог -- ▁riding -- accord -- ▁совет -- ▁sports -- turn -- はず -- ▁አ -- 相手 -- ▁tard -- leben -- dian -- ▁интерес -- ה -- 是不 -- ▁przy -- anta -- ▁frequent -- ▁Leuten -- 되 -- enge -- یس -- 而是 -- ましたね -- ▁repeat -- tiv -- ▁ali -- を取り -- 監督 -- 发生了 -- igo -- ENT -- ▁juga -- ▁dice -- гад -- 霍 -- ним -- ▁bones -- zia -- ▁greek -- رق -- 造成 -- ▁feared -- 다고 -- 好き -- ▁Facebook -- イギリス -- tatu -- 用的 -- ▁вторая -- 帰 -- ▁prospect -- ▁eigen -- 걸 -- ▁хар -- ▁오 -- ▁প -- ▁Bau -- 我们已经 -- ▁rude -- ▁loro -- ▁sehe -- bringen -- ところで -- 脑 -- 墙 -- ▁mismo -- ▁있 -- ▁poder -- usi -- 立て -- ▁verd -- 想想 -- ▁zaman -- ▁Tal -- ▁못 -- уй -- ские -- 販売 -- ▁perceived -- ▁efficient -- headed -- tzen -- quen -- ▁destruction -- 生气 -- ▁pine -- 荷 -- 印 -- ▁そこで -- اً -- ▁boats -- ologi -- ▁Pat -- ▁alternative -- ▁regiment -- 一段时间 -- ▁bor -- луч -- ▁recover -- рез -- 我将 -- ▁movements -- ▁года -- 저 -- ▁geschrieben -- ление -- ▁traditional -- sses -- ▁neun -- nc -- ▁materials -- ▁Ros -- 冠 -- '!」' -- ден -- ▁perd -- ▁guten -- ▁Av -- 映 -- ▁Sol -- ▁rail -- ▁grateful -- ران -- いった -- ် -- ▁association -- ▁ensure -- ▁adopt -- ▁داد -- ▁queer -- ktion -- ▁Gemeinde -- ▁latin -- ▁comments -- 許 -- MO -- OK -- ▁feels -- 人を -- ▁dad -- ▁brush -- ▁versus -- ▁있어 -- ▁United -- ▁payment -- ▁hid -- ける -- lian -- ▁distinct -- 撞 -- ▁অঁ -- ье -- 就要 -- ▁толькі -- ▁maj -- ▁மா -- 打算 -- 签 -- 实际 -- 経験 -- 制度 -- kata -- ifica -- 拖 -- ▁именно -- ▁یا -- ▁creation -- äng -- ▁самом -- ▁knee -- 不一样 -- نش -- 她说 -- 的那 -- ▁abroad -- ▁european -- ▁rela -- ▁nennen -- らず -- 喂 -- ▁või -- preci -- ▁slaves -- ことも -- idos -- ▁reserve -- kola -- ▁bible -- লি -- ▁الر -- крас -- させる -- ▁terre -- ▁değil -- ▁chest -- sinn -- овой -- ois -- acce -- iques -- dá -- ▁earnest -- 一千 -- ▁也许 -- கொண்ட -- ▁dag -- ▁cad -- сла -- ▁நான் -- ubwo -- ▁june -- ▁biz -- maz -- wak -- ggi -- ▁verlassen -- ▁disposition -- уда -- ▁ஏ -- лав -- ことに -- dreh -- ▁minor -- dora -- hap -- rug -- やつ -- ▁гар -- ▁exciting -- 特朗普 -- 训练 -- ▁Tages -- 厂 -- 私も -- ▁Glück -- ▁♫ -- ▁agent -- чат -- ▁distress -- ▁Op -- ッと -- eld -- ▁supported -- 也可以 -- 无论 -- 勤 -- ▁locked -- bag -- 了一些 -- ▁Zwei -- ▁cycle -- ▁administration -- 资金 -- dition -- 話を -- 現 -- ▁gap -- 卵 -- ▁Mrs -- 内部 -- cinc -- ĩ -- ▁clerk -- ▁billion -- 我告诉你 -- ▁Ordnung -- ▁farmer -- schuldig -- ▁Platz -- 见到 -- 你去 -- سه -- овский -- स् -- ▁repair -- ▁wanna -- bü -- んじゃないか -- 決勝 -- ▁goodness -- ▁Ter -- ▁interes -- 郎 -- ▁続いては -- ▁essentially -- キロ -- ▁quant -- ▁König -- ▁Ali -- んでしょうか -- ▁هستند -- ▁angle -- rib -- ▁ここで -- 昨天 -- ▁unfortunate -- gelegt -- 柱 -- ▁город -- ▁пи -- bell -- schloss -- يع -- رت -- 就算 -- atge -- ▁Maria -- now -- ▁individuals -- ▁selling -- ках -- 磨 -- owa -- fä -- ガー -- mata -- 入れ -- ▁rever -- ▁trembling -- のも -- ▁مح -- ▁cheeks -- bru -- bewusst -- ▁tidak -- ▁Так -- LO -- ▁settlement -- рен -- ▁murmured -- cup -- 孩子们 -- bera -- حق -- ▁etc -- ▁Gre -- 気温 -- zeug -- かり -- 意味着 -- ▁reasonable -- ▁vào -- ▁karo -- 逆 -- 人も -- 病人 -- iente -- зі -- typ -- ova -- 으로 -- 错了 -- politik -- ▁handelt -- ▁idle -- ▁behavior -- ▁hombre -- ddle -- 交易 -- кла -- мар -- ▁되게 -- ают -- லா -- awa -- 环 -- ▁கா -- mani -- ▁reputation -- ▁heavily -- となっています -- 表情 -- 寒 -- 드 -- ▁basket -- sept -- 是由 -- point -- いろいろ -- 大変 -- 庄 -- ▁leurs -- ▁blessing -- ▁teachers -- тон -- ıyor -- enga -- ▁select -- 続 -- ayı -- 抢 -- 互联网 -- liga -- тр -- psy -- hof -- ▁ignorant -- ▁hunt -- ▁reflected -- フェ -- ▁dame -- 没有什么 -- 银 -- uten -- でき -- hlen -- ▁pied -- ▁尽管 -- ▁shout -- 下午 -- 更に -- 台風 -- ▁eastern -- njye -- kı -- ▁bio -- 具体 -- 同学 -- ▁поселок -- ▁понимаю -- 避 -- раж -- has -- ▁depends -- ▁concluded -- ▁retired -- ▁salut -- のほう -- 潜 -- archi -- uro -- др -- оль -- 例えば -- 批 -- خت -- ▁armed -- rika -- ▁charming -- ▁piano -- まさに -- ▁abuse -- ▁contest -- 次の -- 看来 -- ▁кри -- 卷 -- ▁rend -- ▁actor -- ▁ashamed -- 国の -- 碎 -- ▁Umu -- ▁client -- ▁jemals -- lick -- 南部 -- ị -- лай -- 彼 -- weisen -- ▁massive -- ▁muito -- ▁yard -- ▁zag -- ▁coin -- 検 -- ▁consistent -- ▁belong -- ▁Sand -- 了啊 -- ワン -- ▁Kor -- 腰 -- ▁такие -- 主人 -- 동 -- ▁thấy -- ļ -- 祖 -- 力量 -- ▁teams -- 供 -- activ -- tě -- 跟着 -- ▁regions -- ▁yw -- ▁remote -- ▁print -- 演讲 -- ▁meng -- 淡 -- fus -- ▁nad -- ▁noi -- ▁Stück -- ▁まあ -- ▁bark -- 押 -- mera -- 顾 -- ▁지금 -- ▁slip -- ▁روی -- ця -- 開催 -- 多い -- ந -- ▁gekommen -- ▁việc -- çe -- aries -- 過 -- ▁sil -- nten -- 前面 -- ович -- ▁approaching -- lines -- ▁Bis -- ▁bullet -- foot -- unter -- ▁glorious -- ▁Min -- 暴力 -- ▁neuro -- жил -- 地震 -- ▁foi -- 染 -- gezogen -- ちゃ -- ▁attached -- ▁intimate -- پی -- ▁seldom -- ▁infinite -- たり -- ▁gehe -- ▁whisper -- agenda -- ゴール -- ony -- үүл -- сын -- 就说 -- ์ -- 라고 -- メートル -- ▁Kirche -- つまり -- ike -- ▁Test -- чь -- 含 -- ▁opposed -- ▁jour -- ▁ruth -- ▁Bon -- ▁Situation -- aɣ -- gur -- ▁released -- ▁fou -- سر -- ▁fois -- ▁咱们 -- ▁всем -- られない -- ▁быў -- ▁Sen -- ▁таки -- ન -- 佳 -- ▁wherever -- 調べ -- ▁aren -- ▁achieve -- ▁Tatsache -- рус -- 細 -- ▁sole -- ▁vital -- ▁institution -- ▁pala -- пі -- cis -- ▁الص -- holen -- ▁fever -- 围 -- 份 -- аа -- ▁file -- isation -- là -- dura -- 哪儿 -- pur -- 法国 -- ▁risks -- ▁continent -- lose -- cycl -- ने -- 練習 -- нар -- ▁fiscal -- iment -- ▁Fla -- ▁signed -- ▁venture -- produkt -- care -- 哪里 -- ların -- ▁dein -- グラ -- platz -- ▁display -- ▁shortly -- istan -- ▁それが -- load -- 每次 -- ▁inhabitants -- ரை -- ▁ils -- ▁Gut -- ▁plainly -- 迟 -- eze -- ▁entfernt -- ▁grandfather -- hall -- لم -- pad -- ▁Komm -- ご紹介 -- るか -- 所做的 -- ▁painted -- 熟 -- мест -- 強く -- ▁Arbeits -- ▁Bill -- ût -- ご覧 -- یان -- вали -- ▁smoking -- ▁departure -- ▁jar -- ush -- ▁fairy -- ほか -- ▁importante -- cr -- ▁consult -- 深刻 -- ▁Demà -- ▁slipped -- chter -- ▁ihres -- ▁jobs -- blu -- гляд -- ▁competition -- liness -- impo -- ▁کل -- ▁combined -- றி -- ▁nutzen -- 野菜 -- ▁closing -- ാ -- ▁supp -- inner -- 始まり -- ▁blank -- ▁towns -- ▁gihe -- レン -- ▁également -- ▁refuge -- ▁unlike -- ▁일 -- ▁rya -- ▁shirt -- ▁ও -- ▁supreme -- ▁zweite -- aki -- بعض -- ▁sak -- scheid -- 答应 -- mund -- ழ -- ▁vos -- ▁feast -- ▁momento -- ▁sempre -- ▁nghĩ -- ▁forehead -- mento -- ино -- ▁difficulties -- ▁Of -- над -- bind -- ▁drinking -- 不得不 -- tali -- гэ -- erung -- ▁мой -- enta -- ーション -- ▁বা -- 的影响 -- ▁stroke -- 但他 -- ▁jeune -- うまく -- ș -- rī -- π -- ▁transition -- ▁tek -- یو -- ▁сама -- С -- ▁ўсё -- fir -- وق -- उ -- なり -- ▁entonces -- ▁creating -- ▁وأ -- ▁gebracht -- ▁rang -- aver -- ▁jug -- 模 -- tric -- 昔 -- 館 -- சு -- fund -- fam -- ĉ -- jal -- ▁жизни -- 事实上 -- 래 -- ▁commanded -- 控 -- ▁ändern -- ▁Kunst -- ▁Dy -- motiv -- ▁действительно -- アル -- ▁але -- 更好 -- ّ -- ờ -- kni -- wang -- ▁General -- ▁owner -- 还能 -- ▁dove -- юцца -- aye -- தே -- ▁blieb -- 叔 -- ▁وجود -- 多的 -- 的眼睛 -- izo -- ▁granted -- lles -- ▁zeigt -- 犬 -- år -- 隐 -- figur -- アップ -- при -- ▁Ag -- 把这个 -- ▁admiration -- ▁baba -- 我不是 -- ▁remove -- ▁commander -- dding -- 以上の -- ところが -- jin -- وو -- ▁causa -- 幼 -- ▁CA -- ▁tijd -- ▁fame -- dium -- nez -- ▁olan -- 莎 -- だな -- 不应该 -- ▁impulse -- বি -- ▁estat -- ▁hinzu -- ▁institutions -- 这事 -- programm -- になり -- رك -- lee -- 多く -- ▁reckon -- innen -- ▁contribution -- ▁сил -- ▁adopted -- ▁distinction -- ▁فقط -- 再见 -- sitz -- 合わせ -- 艺 -- ▁tough -- 销 -- ▁Richtung -- trieb -- ▁lighted -- 快速 -- 你怎么 -- ▁اون -- 我跟 -- ▁Kol -- 更新 -- 狂 -- 雄 -- 收入 -- 武器 -- ▁seeking -- ▁ص -- ▁corre -- ▁extrem -- ▁acquired -- ▁pope -- いで -- ▁cease -- ▁сделать -- 任何人 -- 가지고 -- arse -- räum -- 搭 -- ▁settle -- ▁margins -- ▁deeper -- ▁Ol -- হা -- การ -- ▁painting -- 有一天 -- 続け -- / -- ▁infrastructure -- dress -- 去找 -- ▁Hund -- ière -- larını -- 恨 -- ▁gleichen -- ▁obvious -- ▁Gal -- cover -- ▁چې -- 仲 -- 敌人 -- лё -- ▁wollten -- キー -- تو -- ▁جو -- gues -- ▁handed -- ough -- schein -- ▁newspaper -- 予定 -- ▁bah -- 我来 -- 一定会 -- ổ -- ject -- sant -- dha -- ń -- ▁hunter -- эс -- 网站 -- lern -- সে -- ▁pages -- ▁Mensch -- ▁Sohn -- 以降 -- rand -- 乳 -- 结构 -- ▁лучше -- ▁할 -- ▁mono -- ▁git -- tuk -- boy -- erin -- 積 -- hak -- くなって -- сен -- iers -- 正确的 -- ▁interessant -- 恐惧 -- ティー -- bly -- ▁icyo -- ▁undertake -- ▁havas -- ▁irish -- brach -- キャ -- agon -- ▁italy -- ▁schaffen -- ▁ښه -- ▁australia -- ▁vrouw -- たくさん -- ▁leadership -- 押し -- த்தி -- கை -- emma -- ▁jews -- ▁curtain -- pè -- ▁Because -- боль -- 阶段 -- ▁Rwanda -- üt -- ▁და -- sell -- ▁treffen -- くん -- ▁cer -- てください -- 目の -- ▁мог -- говор -- 执行 -- ▁الف -- 出生 -- lässt -- ▁kaum -- gard -- UM -- ▁Rück -- ▁Bürger -- ▁modo -- genda -- ▁aktiv -- ▁unfortunately -- ▁Mil -- flu -- ▁Yo -- '35' -- 一体 -- wur -- won -- ▁weder -- どういう -- ▁songs -- கள -- 发现了 -- 思う -- ▁plum -- 感兴趣 -- யி -- arri -- ể -- ▁communities -- ▁anirà -- স্ -- ▁igihe -- 内心 -- hö -- ▁vot -- ایی -- 你不能 -- keeper -- nant -- geboren -- bern -- ▁Chris -- ▁logic -- clu -- нда -- 地下 -- blau -- ▁predict -- 这边 -- ▁那是 -- 鞋 -- ▁Einige -- ▁cliff -- 爱情 -- și -- ▁shell -- 近く -- やった -- ▁junge -- 收到 -- 注意到 -- 戦争 -- いか -- ote -- prov -- 峰 -- ич -- 佩 -- ▁doubtless -- ▁إن -- zimmer -- 佛 -- ёр -- ▁Tot -- طور -- zor -- esi -- quelle -- ▁Viele -- ▁terra -- ものが -- ▁vessels -- 假设 -- ロン -- ▁emotional -- ી -- idade -- лд -- ▁stuck -- stieg -- ▁increases -- odor -- ▁acting -- ▁Forschung -- ▁slope -- ▁яны -- ▁inclined -- ▁хотел -- になっています -- ▁otro -- ▁Ven -- ▁accomplished -- бар -- ▁travers -- üb -- ▁Mac -- rating -- 飞机 -- ▁fy -- ▁useless -- にとって -- ată -- 何で -- 今晚 -- 搜索 -- ▁Mel -- ulu -- ộ -- 适 -- 对此 -- dine -- geht -- ட்டி -- ▁intense -- 漂亮 -- щи -- 严重 -- 金融 -- 圧 -- avu -- ▁mask -- илась -- diği -- ▁passat -- ▁Ко -- ▁Erfahrung -- ▁داشت -- 不在 -- 你了 -- ▁Wissenschaft -- 穿过 -- ▁jur -- ât -- ▁Мо -- ▁burned -- 생 -- ▁eher -- 很重要 -- 試 -- ▁insult -- 要去 -- ▁mom -- 广 -- たちが -- ▁component -- 印度 -- лт -- 拼 -- ▁antwortete -- ▁verb -- ▁wooden -- ▁murmur -- ▁aho -- 的方法 -- ▁erreicht -- ▁steep -- ▁vorbei -- 候 -- 十八 -- ▁кан -- ums -- ▁defence -- rap -- 驚 -- گە -- お金 -- ▁especial -- ▁après -- ünde -- ▁deny -- ▁desperate -- 提到 -- 一件 -- 一致 -- 一度 -- ▁nhiều -- 老婆 -- ▁capture -- 一项 -- 的信息 -- ▁notre -- 长的 -- تە -- ▁suspect -- ús -- ▁swear -- 老公 -- ▁drum -- ▁이런 -- 慢慢 -- かどうか -- ▁hörte -- оз -- のため -- 并不是 -- ▁nella -- ▁Pla -- ▁kwe -- 려 -- ▁obligation -- ▁While -- ▁East -- ulation -- ▁응 -- ▁planning -- ата -- inc -- 신 -- зд -- ▁erreichen -- بت -- 比如说 -- 的吗 -- ▁pis -- ▁Ana -- ▁Dis -- ▁jean -- 義 -- ▁orange -- 心配 -- ▁purposes -- юсь -- ▁hervor -- ▁человека -- cció -- urt -- ▁செ -- teg -- hole -- geze -- 不够 -- fallen -- 的手 -- ▁Ж -- ▁glow -- 摆 -- 献 -- stelle -- 成长 -- ▁alter -- ских -- 台湾 -- lica -- pas -- ▁leverage -- fol -- ками -- ▁tramp -- ▁prepare -- ▁Schul -- ▁philosopher -- 三年 -- 让她 -- ▁Yu -- 订 -- 逼 -- イメージ -- ▁compelled -- 实际上是 -- аться -- ṣ -- rait -- ▁semi -- ▁evolution -- ▁adapt -- 所以我们 -- ▁upward -- ▁Tan -- ▁attractive -- ▁pistol -- னா -- ▁lately -- 건 -- ▁root -- மே -- nehm -- ▁ありがとうございます -- 実際に -- ▁rabbit -- 主任 -- ▁stern -- ому -- ',"' -- 問 -- folge -- uous -- 对话 -- حا -- ▁Jahrhundert -- ▁Name -- ▁islands -- ông -- ړ -- nger -- ▁Van -- ▁Sinn -- 勢 -- ▁dealing -- ▁cũng -- ▁bod -- ना -- oi -- рон -- 表演 -- ▁dancing -- 域 -- 创 -- ▁diferen -- ▁我现在 -- ▁eagerly -- ックス -- 难道 -- وع -- ಾ -- иде -- صد -- lets -- kil -- ▁我在 -- 支付 -- 为什么要 -- ▁volumes -- ▁begins -- ▁joint -- ▁trunk -- evi -- liz -- ▁Mary -- ▁hơn -- 냐 -- 欧洲 -- ின் -- pati -- гло -- bec -- ▁Danke -- صل -- 긴 -- vesti -- ▁negro -- ▁decisions -- рак -- れない -- 行動 -- ▁нибудь -- ▁deserve -- ▁pursue -- ▁lodge -- 毕业 -- ▁load -- ▁depart -- ▁மு -- ▁descend -- ▁sistem -- звон -- HO -- ▁America -- 撮影 -- ▁indulge -- amento -- üh -- 最後の -- 文字 -- ▁вся -- ости -- 準備 -- ▁helpless -- ▁characters -- ▁只要 -- ých -- まった -- поль -- ▁technical -- ▁plea -- ▁equipment -- psi -- 胜 -- aught -- ▁rev -- mere -- ▁nam -- ▁Ser -- ▁uttered -- ▁expansion -- ▁Gesetz -- ▁вз -- ▁obey -- ▁Mü -- ▁phase -- 殿 -- ▁vend -- 早期 -- 歌曲 -- 異 -- 按照 -- front -- ▁Arten -- 星期 -- ▁Kla -- spec -- ▁permitted -- ▁grain -- 说明 -- みると -- 判 -- 頼 -- ▁fence -- ▁assure -- 她们 -- ▁fog -- 的脸 -- 将来 -- 分かって -- ▁continu -- ▁Verbindung -- ▁whereas -- ▁providing -- dou -- ▁gather -- ▁Unterschied -- ▁Vereinigte -- だったら -- ▁wilde -- でございます -- смотр -- ▁tho -- ▁establish -- —— -- 議員 -- 拜 -- ▁historical -- ▁pursuit -- енно -- ▁lunch -- 我不能 -- ▁Aufgabe -- そういった -- 些 -- 北朝鮮 -- ▁shared -- 刑 -- шу -- 这是我 -- ▁mucho -- の大 -- ▁donde -- 租 -- ▁должен -- ▁муж -- äre -- ▁học -- ▁speaker -- ▁persona -- ▁tras -- үр -- '2000' -- 効果 -- ▁opposition -- 策 -- 音楽 -- zzi -- иль -- ▁staring -- 员工 -- рук -- 监 -- شن -- යි -- 跟我说 -- をお -- Po -- ▁今日 -- ▁curve -- 它会 -- ▁conserva -- 祭 -- icia -- தை -- ▁Reise -- anz -- ▁egypt -- ebe -- 没想到 -- dica -- ▁billy -- ු -- 意識 -- 我々 -- 满足 -- 你觉得 -- ▁bench -- ▁sowohl -- ▁substantial -- 辞 -- mur -- ость -- ▁organic -- ▁É -- ▁sensible -- ब -- ▁claims -- ▁dared -- ▁vague -- んじゃない -- ▁allows -- һы -- ark -- issa -- ▁deed -- زه -- በ -- ▁Stunden -- verse -- 尊重 -- ▁poi -- 证据 -- ▁electric -- west -- 逃げ -- 几天 -- ▁recovered -- 活躍 -- 警戒 -- ▁彼は -- ▁gazed -- ▁consumer -- ▁pound -- ▁ram -- تن -- ▁volta -- aged -- gelijk -- ▁incredible -- ▁четырнадцать -- ジェ -- في -- خوا -- arre -- ages -- ▁lesen -- ▁sue -- 肩 -- ▁enhance -- ▁misery -- ▁Bericht -- ▁league -- ▁거기 -- ▁llama -- ▁হ -- 住在 -- ▁pia -- geri -- あって -- 我不想 -- ▁straw -- 今天的 -- asse -- 地上 -- ვი -- られています -- ▁runs -- 暮らし -- ▁wander -- SI -- ▁workers -- 处于 -- ▁系 -- 施 -- пор -- реш -- ▁أنه -- ▁avons -- gab -- ▁ella -- 他对 -- கோ -- 主席 -- publik -- 窗 -- pä -- ▁inclu -- 価格 -- ▁wedding -- 掌 -- ▁begged -- 细胞 -- 得多 -- ação -- bé -- ▁señor -- 益 -- 宋 -- 중 -- يو -- ▁Hel -- メンバー -- ▁weapons -- ▁Berg -- 情感 -- したり -- sili -- ▁Gedanken -- ▁sending -- ▁sufficiently -- rzy -- ▁reaching -- 見せ -- የ -- ຍ -- ▁external -- полит -- ▁africa -- ▁chin -- 珠 -- ▁beloved -- ▁mounted -- ▁lecture -- ▁accounts -- ▁rendered -- ▁Super -- ografi -- ▁desde -- ▁camera -- ▁flung -- lect -- ▁gingen -- ▁magazine -- hoo -- にお -- ▁qualities -- 一方で -- ▁eens -- ▁observation -- saba -- ▁Col -- ದ -- ▁Washington -- sini -- ▁railway -- ▁früh -- ভা -- ஹ -- ▁bya -- که -- ▁authorities -- nutz -- য়ে -- ไ -- вай -- NA -- 拡大 -- ະ -- zahl -- ான் -- ▁Martin -- ී -- tah -- nimmt -- że -- 而言 -- ▁fired -- ▁bara -- ▁biết -- ▁India -- 紧张 -- ▁никто -- ▁langsam -- 設 -- 抓住 -- 진 -- دم -- ったり -- ▁rằng -- 意识 -- 设备 -- nych -- ▁mobile -- 专家 -- 今夜 -- ▁icy -- 極 -- なん -- ▁Trans -- ând -- йд -- 担当 -- ▁offset -- ensi -- ų -- ▁Kra -- ▁هناك -- 哪个 -- ▁cents -- ▁leads -- ▁entering -- bira -- ▁Eis -- 後に -- 时期 -- ▁padre -- ebbe -- ▁klein -- ▁reports -- 案件 -- ▁pic -- ▁statt -- ĝi -- ▁merc -- area -- يك -- ▁explore -- ▁schreiben -- ▁sentiment -- ▁verse -- 范 -- ▁tie -- ▁merry -- 建造 -- 力を -- ▁Stan -- 老人 -- 環境 -- ▁그렇게 -- ▁mister -- ▁investigation -- ▁drunk -- gabe -- ▁Val -- lled -- ▁besonders -- 宣布 -- tak -- 问题是 -- ▁rescue -- так -- wacht -- ege -- ▁brook -- ▁belonged -- 製 -- ▁cutting -- ять -- ▁tat -- ever -- ṭ -- ▁jacob -- stück -- ▁rien -- druck -- LI -- ▁cards -- ▁zeer -- ▁experiences -- iber -- ▁Erde -- نج -- 過ぎ -- ▁disgust -- ▁wretched -- 没什么 -- ▁Michael -- ▁lamb -- 来た -- ▁habits -- eke -- ▁هست -- nio -- 仕 -- moni -- nih -- ▁carbon -- тры -- 魅力 -- èrent -- ▁raising -- 电脑 -- 해서 -- ▁همه -- ▁spain -- 会議 -- ▁quelque -- ▁parole -- ▁CON -- мет -- ▁acest -- ▁passionate -- 追い -- සි -- 正是 -- ▁Sun -- ▁Anfang -- ▁fins -- ▁그래 -- ▁naj -- 理论 -- لار -- нул -- ▁mbere -- tischen -- ▁highlight -- 過去 -- ▁hind -- ▁خیلی -- ভ -- になっている -- 一方 -- ▁blanc -- 这意味着 -- 厳しい -- ▁mainly -- 运行 -- ▁cheerful -- yak -- ますよね -- ▁beam -- ▁cars -- ▁gedacht -- ▁bond -- fulness -- ▁alice -- ots -- ▁font -- 計 -- iad -- staan -- neu -- ▁Richtig -- ▁stretch -- ッド -- ▁lesson -- ▁pont -- ्या -- licher -- ▁Worte -- ▁includes -- lös -- ecek -- 拿着 -- daki -- spann -- ect -- 开放 -- 鳥 -- யாக -- çı -- ▁expensive -- ▁chase -- ▁Alter -- 分钟 -- ▁aloud -- マイ -- 手を -- Pa -- ▁Rest -- ▁Afrika -- كى -- ▁troubled -- ▁faut -- 欲 -- 风险 -- ▁なるほど -- 攻 -- ▁virginia -- 離 -- ▁другой -- 减少 -- ▁Vielen -- пят -- ▁Zahl -- essen -- ▁хотя -- 欢 -- ▁Mus -- ロシア軍 -- 면은 -- ▁باید -- ▁daughters -- ▁namens -- para -- ▁kri -- ▁ĉe -- 봐 -- ló -- ▁centuries -- 的心 -- ▁gesture -- ▁considering -- 学家 -- cele -- nyo -- جد -- 荒 -- 现代 -- menye -- ▁نیست -- なし -- tava -- 足够 -- boot -- ▁свое -- ▁kick -- 积极 -- ▁dread -- өл -- ▁personally -- ▁fuel -- ▁scorn -- ▁dwell -- vuga -- に対し -- 伝え -- ▁honey -- ▁schöne -- ▁exposed -- oedd -- 部队 -- َّ -- cido -- 启 -- 插 -- カメラ -- ▁яе -- ▁ages -- いただいて -- 被称为 -- bwira -- ▁ведь -- データ -- leb -- 谈谈 -- ▁слова -- 是他 -- ▁gates -- 弾 -- ▁于是 -- ▁journal -- 観 -- 、3 -- ▁こちらは -- ▁sed -- ▁County -- ▁كانت -- аю -- ▁declare -- hanga -- ▁führte -- ▁shadows -- ▁bestimmte -- できます -- ▁그때 -- ▁uru -- ▁гэж -- оро -- гд -- hearted -- ▁Band -- ▁kadar -- ▁cure -- ▁loves -- 伴 -- ально -- 一名 -- ▁quantity -- ▁cord -- られている -- 行く -- 狼 -- ▁saddle -- 傻 -- ť -- mü -- ▁хорош -- ەر -- ▁planned -- ▁你就 -- ▁jumped -- ▁Mars -- 正解 -- 多了 -- exc -- 看了 -- geno -- ▁dalam -- ▁ignorance -- ข -- ▁Brief -- мол -- embar -- mä -- ▁patron -- 投げ -- grün -- 作家 -- ▁само -- 过程 -- ▁editor -- ▁измен -- 胖 -- szy -- 奶奶 -- 律 -- ỗ -- 塩 -- おり -- ロシアの -- 我没 -- 钟 -- 学会 -- ?」 -- لى -- ര -- گاه -- lando -- ously -- ▁sabe -- 黑人 -- ▁conce -- ▁restrain -- nā -- ▁cloth -- 采取 -- 遗 -- 粗 -- ▁vroeg -- lieu -- みて -- ▁midnight -- ▁reduction -- ▁rolling -- ▁USA -- ስ -- ょ -- してきた -- ລ -- emi -- 对他 -- っていうこと -- bab -- ▁moeten -- 和其他 -- 大雨 -- ▁damals -- 是一 -- 规则 -- spel -- 者が -- 公開 -- volv -- ண்ட -- を中心に -- ▁hastily -- ▁gilt -- 階 -- ▁kugira -- schlagen -- さんも -- ▁scattered -- ▁よろしくお願いします -- ▁moor -- ස් -- ▁folk -- eck -- كل -- ▁знаете -- ▁bosom -- アウト -- ▁firmly -- 的情况下 -- ӓ -- raten -- ▁Вы -- ▁penn -- ▁outcome -- ニー -- ▁yara -- ▁그게 -- ▁Та -- ర -- ു -- ники -- バイ -- 闻 -- tete -- ▁ultimately -- ▁Weißt -- 很少 -- ▁infant -- 以至于 -- ▁ple -- stel -- 不足 -- ял -- обра -- ương -- dela -- ▁assumed -- 養 -- ▁recorded -- ▁நீ -- 成本 -- 的机会 -- ា -- ▁rất -- angan -- yaka -- ▁оно -- ▁Bett -- ▁extend -- 미 -- 仙 -- mour -- ▁Groß -- ▁zit -- ▁perché -- plaats -- 神经 -- һа -- tore -- 革命 -- ドル -- ▁americans -- tima -- ▁paint -- ▁Lassen -- avuga -- 没错 -- のよ -- kun -- ▁Jag -- ▁arrow -- 生活中 -- шта -- Any -- illo -- gende -- ▁100 -- ವ -- ▁голос -- 宿 -- ▁weird -- λ -- されます -- ▁verge -- 子里 -- ▁করে -- elde -- legt -- kaba -- Ч -- ▁aufzu -- رفت -- 重要的 -- を感じ -- ▁sana -- ▁год -- ▁miracle -- ▁aufge -- нии -- ▁sexual -- 失去 -- 严 -- tritt -- bahn -- 更好的 -- mäßig -- ▁returns -- divi -- ▁magnificent -- 竞争 -- range -- ▁delightful -- 历 -- ▁factor -- ▁torture -- SA -- ▁endlich -- بار -- үүд -- 要么 -- wohn -- 辺 -- аз -- ▁wären -- umva -- вел -- ▁bowed -- ▁images -- ▁gens -- ▁neighborhood -- 信任 -- ▁methods -- このように -- ừ -- ▁spur -- ▁opinions -- gura -- sucht -- ▁porte -- ▁overcome -- even -- 军队 -- ▁sowie -- ▁sig -- ▁rồi -- 旁边 -- 明らかに -- 徐 -- koze -- fang -- note -- 愤怒 -- ▁cách -- ▁primera -- AND -- ▁sink -- ▁Gegen -- 就能 -- ▁Gold -- ▁Fahr -- 最新 -- ense -- 让人 -- ncia -- ▁questa -- 不如 -- 这么做 -- ▁crash -- маг -- eid -- cid -- ▁yell -- 었 -- undzwanzig -- ▁Deshalb -- izza -- ▁valor -- 有的 -- になると -- 合わせて -- kita -- GO -- iness -- 正式 -- ަ -- ▁senior -- ching -- euse -- 怎样 -- ક -- ▁May -- rado -- ▁cheek -- ▁amid -- 也不是 -- nosti -- ▁zeal -- RI -- 穿着 -- ▁zeggen -- ▁einzu -- こちらです -- 兄 -- mik -- 的关系 -- yne -- あとは -- ös -- 分かる -- ▁پس -- ▁gathering -- maid -- lation -- nost -- していて -- ヒット -- 聞き -- 没有任何 -- rir -- mpel -- ▁这是一个 -- ▁disorder -- iĝas -- nner -- ▁случае -- ▁DO -- ▁primary -- 漫 -- ▁challenges -- 剑 -- setzung -- 纽约 -- stream -- ▁Este -- ▁lieben -- ▁boots -- 我们是 -- 発見 -- ▁третий -- ▁insisted -- مة -- atory -- ▁significantly -- 提高 -- ▁Tas -- пал -- ▁grasp -- ▁losing -- bbing -- さんです -- 一生 -- ▁King -- ▁Dingen -- ▁Ён -- ▁деньги -- あす -- 出す -- მა -- ▁brachte -- もん -- ▁quelques -- 够 -- ▁mirror -- 絶対 -- ▁altar -- ▁thinks -- さま -- たのは -- ▁Bewegung -- ▁молод -- 他们是 -- ▁پا -- ▁그러 -- ▁plays -- 別の -- 时候 -- ▁Richard -- ▁rat -- ▁kannst -- ▁owe -- ▁ahora -- ▁Air -- 本人 -- ▁vest -- ▁lid -- ▁whence -- 也不会 -- вес -- ▁Paris -- kup -- ▁nearest -- bbi -- ▁foe -- ▁Kur -- ▁adding -- 的钱 -- stimmen -- ▁Uni -- ory -- tec -- ▁conceal -- dau -- 分からない -- она -- 载 -- ▁lincoln -- 应用程序 -- bles -- tele -- 阿姨 -- krieg -- 都没 -- 把自己 -- ▁pag -- どれ -- ▁involve -- ソン -- فعل -- جي -- 或者是 -- ▁hai -- ົ -- 能不能 -- ▁против -- 宣 -- 软 -- 우 -- ▁đây -- 职业 -- ▁Ф -- 相关 -- 外面 -- ▁confirm -- チャ -- ▁Fuß -- タイ -- 滚 -- ▁момент -- you -- ▁gaan -- ▁gegeben -- алі -- gehalten -- ▁issued -- ▁deshalb -- 陸 -- ▁email -- ▁twin -- 软件 -- ▁گفت -- boat -- ▁lands -- 下降 -- tivo -- 坦 -- ▁এই -- richten -- 了这个 -- сло -- ▁Ö -- ะ -- ▁imagined -- ▁Era -- гром -- ▁außer -- 距離 -- 周围 -- ▁má -- ▁первая -- ienne -- ▁sera -- ▁noted -- غر -- 财 -- 仅仅 -- ▁chill -- ▁совершенно -- ▁corps -- 後ろ -- 距离 -- гч -- kund -- 承 -- 全て -- られました -- ▁continually -- ▁winds -- 科技 -- ▁lokal -- 降り -- ▁wagon -- 最も -- ▁september -- ▁Feuer -- ▁studio -- ▁apparent -- せる -- 练 -- ▁Nähe -- ▁inte -- ирован -- 改善 -- ▁nacht -- posi -- kleid -- ▁toujours -- ▁portrait -- ▁poem -- 识 -- tanga -- ъ -- お母さん -- ▁خوب -- ▁مثل -- ▁vin -- ▁dig -- ног -- ▁Geschäft -- 人と -- rè -- 邀请 -- マスク -- ▁concert -- ▁stellte -- 長い -- 트 -- 不得 -- ▁sci -- 敗 -- uki -- 行って -- ▁Bezug -- ству -- 乌 -- ▁shaking -- вяз -- ▁developing -- くれ -- ▁efficiency -- ▁Universität -- 期间 -- 干吗 -- NE -- 분 -- ▁april -- ▁innerhalb -- ▁кого -- wig -- ▁минут -- ▁cort -- ▁있는 -- baga -- stall -- ▁det -- colored -- 撤 -- ▁Rus -- ника -- ▁Volk -- DNA -- 什么事 -- ▁maria -- ounce -- ▁ornament -- ▁tant -- zioni -- 宅 -- gefallen -- ▁charity -- 斜 -- 讯 -- ▁multitude -- 費 -- ▁Red -- ▁sym -- ▁photo -- ▁Kraft -- 年龄 -- ▁observ -- वा -- 测 -- ▁separated -- 公司的 -- elen -- ▁Gericht -- kri -- ுள்ள -- 気が -- ▁basic -- vine -- ▁flatter -- κ -- 当初 -- ▁ບໍ່ -- 侧 -- estra -- 運動 -- laş -- ▁lee -- ▁menschen -- نده -- cita -- chas -- 話題 -- ▁anna -- ▁이렇게 -- 作った -- şte -- ▁fran -- 权力 -- 儿童 -- imper -- ▁Wu -- ▁absent -- '45' -- ись -- 不起 -- rated -- ▁mejor -- とこ -- ▁вос -- eti -- ▁missed -- йн -- 颜色 -- ją -- führung -- ONE -- 默 -- タイム -- ▁Mer -- ables -- ▁spear -- 一句 -- 日子 -- ▁spark -- 带到 -- 变成了 -- ▁15 -- ▁essere -- ▁prote -- пло -- образ -- ▁caso -- 旗 -- ▁surrender -- ▁тысяча -- écri -- ania -- ▁укра -- 购买 -- ર -- ாக -- ▁citizen -- ノー -- ▁cares -- ▁insist -- 我今天 -- 当年 -- ▁fearful -- ▁leaning -- 资 -- ▁alike -- 有时候 -- 一句话 -- ▁نام -- ▁Seiten -- ▁hunger -- ▁tomorrow -- ▁volen -- vali -- ュ -- alis -- чин -- ქ -- ▁throwing -- ▁significa -- ▁Unterstützung -- 一件事 -- 宇 -- wechsel -- mt -- вели -- емся -- 竹 -- ▁purple -- ネット -- 减 -- 蓝 -- ▁revealed -- ແ -- ides -- ▁roads -- dang -- ▁Hilfe -- cm -- 民族 -- 家伙 -- piece -- ようです -- ▁kr -- 焼 -- ▁gradu -- ▁temperature -- 长期 -- ▁hook -- passen -- ▁safely -- 全く -- maß -- ▁robe -- 奈 -- ▁thread -- '26' -- たの -- ▁mankind -- 爬 -- 找到了 -- kti -- '27' -- ம்ப -- view -- 大きい -- 规 -- 挑戦 -- 危 -- لب -- 再び -- ▁badly -- 交给 -- ▁employ -- ▁province -- 見え -- ▁entra -- ▁crowded -- 臣 -- 生き -- De -- ança -- ▁erzählen -- 自分が -- fil -- 灰 -- dek -- 劲 -- tama -- ▁aquest -- ▁rebel -- ▁provo -- ▁sounded -- ▁шо -- க்கி -- likuwa -- lev -- ▁größte -- rän -- ▁explo -- lir -- ার -- ▁improving -- 但这 -- 銀 -- чым -- ▁draußen -- 作者 -- 団体 -- ▁تع -- cco -- ▁breed -- DA -- ▁acu -- куль -- ▁huis -- 的女人 -- ▁bride -- bura -- 等待 -- ▁уг -- ▁manners -- ▁outlook -- mart -- ▁khác -- polis -- PO -- ▁drag -- 执 -- ▁chỉ -- 自分で -- rish -- ▁transaction -- ssy -- 演员 -- lerini -- ҳ -- 毎日 -- сс -- ▁craft -- ▁haste -- ▁lugar -- ի -- ▁Wat -- ▁Kultur -- ▁RE -- 遠 -- lika -- فی -- انه -- ▁kw -- popul -- ▁comparison -- iche -- ▁mensen -- ▁requires -- jahr -- ೆ -- ▁машин -- கா -- ▁chinese -- 疯狂 -- ▁contain -- tenant -- ▁произ -- ▁deci -- skri -- しましょう -- nega -- 杜 -- ▁dix -- ▁marks -- 复杂 -- 有效 -- يات -- ways -- ▁рэ -- ▁tipo -- ▁convert -- ube -- 下的 -- ffen -- aks -- ried -- 早就 -- ▁reveal -- お伝え -- itz -- ▁consequences -- ▁column -- ▁pris -- 九州 -- ▁horizon -- ▁Fern -- ồ -- ެ -- ▁яшчэ -- ▁abzu -- tief -- ost -- ▁elekt -- 돼 -- ▁더 -- 公平 -- 活着 -- ppel -- ▁Gri -- ▁alleen -- 信号 -- ▁madam -- 区域 -- ▁leaned -- 我们也 -- ▁могут -- yal -- ▁contempla -- 真的很 -- اط -- ▁brow -- ija -- ▁事实上 -- ▁trou -- これで -- mira -- kur -- 報告 -- 住民 -- ో -- ▁theatre -- ▁afterward -- ▁Preis -- bara -- ▁Schiff -- 临 -- ▁bene -- ▁drama -- jer -- わり -- labora -- ▁eki -- ▁жизнь -- 治療 -- bart -- கிற -- ▁Tiu -- yê -- чет -- ▁zonder -- kraft -- を受けて -- 表面 -- вае -- ત -- ▁implement -- 销售 -- based -- 离婚 -- ▁jungen -- tare -- 간 -- кә -- ovan -- ▁Sur -- ▁illness -- ▁engineering -- ▁ولكن -- 握 -- стрел -- ▁scrap -- зо -- ▁ব -- bine -- ▁Pero -- arian -- 치 -- ▁而是 -- gaben -- නි -- 你知道吗 -- ▁compliment -- suf -- 同事 -- eja -- ▁priests -- ▁говорить -- ▁originally -- IF -- 忘 -- 吐 -- 医療 -- ▁شهر -- kee -- aca -- nyama -- mother -- ▁பு -- Mo -- ▁encourage -- lash -- ▁생각 -- ▁stati -- ям -- ▁câ -- ▁humor -- ▁Kam -- 当たり -- aine -- 扬 -- ▁nào -- ▁ernst -- ல்ல -- らしい -- かん -- کس -- შ -- ▁utmost -- freund -- ▁என்ன -- ▁cerca -- ising -- LA -- リーグ -- ▁کنیم -- ▁oath -- こそ -- 呗 -- ี -- сел -- ▁الذي -- St -- zik -- 腹 -- 药物 -- volle -- cep -- god -- 公众 -- ▁ваш -- ▁borne -- ▁noon -- ▁clay -- ▁ал -- ▁vre -- UN -- ▁gotten -- ▁neces -- ▁flock -- ▁cock -- ▁plat -- ▁Job -- ▁furniture -- ▁Straße -- fur -- ځ -- ▁melancholy -- ▁То -- ▁کی -- 逊 -- berry -- 数量 -- вести -- ▁urged -- 上班 -- ණ -- вать -- 聴 -- ▁đầu -- 할 -- geschlossen -- んの -- ▁attempted -- 灭 -- زا -- ▁Website -- child -- قى -- ▁Zeitpunkt -- 餐 -- ▁groot -- ▁knock -- ▁ansehen -- かも -- 开了 -- 工程 -- 類 -- 过程中 -- ▁genuine -- ▁están -- '28' -- ▁cet -- wara -- ▁großartig -- メディア -- ▁schl -- 我我 -- ▁landing -- ▁monarch -- 烈 -- ▁arrest -- tico -- ▁stout -- 市民 -- ▁enthusiasm -- ▁messenger -- ▁brick -- vig -- Da -- ▁molto -- ▁meantime -- んだろう -- ▁preserve -- ▁هیچ -- 档 -- 攻击 -- すでに -- uc -- دل -- ▁könig -- VE -- ления -- tical -- ▁referred -- ▁WAS -- зда -- ▁trend -- ▁thine -- avait -- ▁acquainted -- ▁meadow -- კ -- ▁cosas -- ▁studi -- ▁அவ -- 人都 -- quent -- zak -- ▁Heute -- வர -- ▁школ -- 鹿 -- 若い -- ▁ciudad -- ▁investiga -- の皆さん -- geni -- mod -- 你需要 -- unu -- IM -- arme -- version -- 的行为 -- 说是 -- ध -- ▁misfortune -- 健 -- ▁objective -- 尚 -- ▁missing -- MA -- ▁sixth -- ▁bloom -- かない -- пас -- ▁feature -- ▁lucky -- used -- 画面 -- ▁conclude -- ▁nag -- 猎 -- ▁प्र -- nol -- 食品 -- ▁এক -- したこと -- ▁Hat -- swa -- ▁prin -- ▁Japan -- halte -- ▁никогда -- 通知 -- 以下 -- ▁operational -- cción -- ▁todas -- 所说的 -- によると -- ären -- util -- hing -- ibly -- ▁steal -- ▁قبل -- ▁constru -- ë -- と同じ -- tua -- ▁pār -- ▁الط -- ▁одно -- ▁fost -- ไม่ -- ▁назад -- SNS -- センター -- 走吧 -- чын -- ▁мало -- miş -- 当他们 -- ू -- ▁cau -- ▁wilt -- лага -- ▁mail -- ▁pad -- '400' -- ▁leaf -- sburg -- muz -- ▁مد -- ▁initial -- ▁childhood -- ▁kot -- ingham -- тив -- 吸引 -- 机器 -- 沃 -- 悔 -- play -- haber -- 的世界 -- работ -- の影響で -- ▁abandoned -- 出来的 -- けて -- ▁الخ -- などに -- っていうのが -- uter -- ぶり -- ски -- 的节目 -- ▁First -- ▁monument -- ைய -- ましたが -- ީ -- 와 -- ▁gratitude -- ▁Street -- 食べて -- 見える -- 수 -- ▁Тэр -- ▁threatened -- 上去 -- 好不好 -- 今は -- delijk -- ▁durant -- ße -- matic -- ▁og -- flow -- ▁trat -- نە -- 好きな -- ▁Ek -- ▁当我 -- ▁darling -- ▁introduce -- න්න -- ▁Blut -- ▁dispute -- ▁avenue -- ▁laut -- ά -- ▁Erfolg -- ▁nights -- 红色 -- 巡 -- mist -- ▁visual -- kah -- ▁secured -- 桃 -- bere -- ▁examples -- әй -- ▁retain -- ▁Gr -- wagen -- 汤 -- ▁Quan -- ckte -- aven -- ▁provisions -- ▁iby -- ▁Euro -- しっかりと -- ▁dining -- ▁vriend -- کم -- ▁maig -- nische -- tī -- 伸 -- ř -- ▁vorstellen -- 有趣的 -- ▁candidate -- 玛 -- ▁ugly -- ▁terug -- ▁examination -- われ -- 好处 -- ēja -- 出版 -- އ -- pac -- 摸 -- ▁двенадцать -- 敏 -- 大家都 -- ▁seal -- ▁estar -- 阻止 -- ▁hasn -- ▁harder -- が入って -- 业务 -- すぐに -- ச்ச -- ▁employment -- ▁Yuba -- ння -- スの -- mí -- пре -- 什么呢 -- ▁trên -- 体验 -- ▁apa -- 帮你 -- 朗 -- 给他们 -- ▁Gebäude -- 泥 -- musik -- ც -- ▁ئە -- どの -- 跟你说 -- ▁això -- ▁daher -- 皇上 -- ▁ак -- ью -- 很容易 -- 下さい -- ▁あれ -- تل -- nick -- ▁тысяч -- 국 -- ▁landscape -- ▁آیا -- 用于 -- 北部 -- ▁Region -- ▁село -- ▁finance -- ▁viv -- iß -- ▁전 -- 会儿 -- برا -- ▁recognition -- tered -- ▁yıl -- ▁rational -- ▁prompt -- ▁続いて -- ▁wage -- ▁Wahrheit -- 閉 -- 新たに -- أس -- 会場 -- ▁sonst -- ▁toch -- ▁statue -- 质量 -- 工作的 -- tiques -- eno -- 震 -- ministr -- ▁gloom -- піс -- stab -- وە -- чная -- に向けて -- abel -- ▁detective -- 德国 -- ▁anchor -- 思想 -- ありがとう -- ▁champion -- بن -- 我的意思是 -- もいい -- ▁然后我 -- ▁kö -- ▁شو -- ▁couch -- 明白了 -- ▁relationships -- бит -- '*' -- డ -- 葉 -- 微信 -- тын -- ▁wanting -- ▁estava -- 変わって -- طر -- ▁Ili -- eyed -- ▁fuhr -- ステ -- 의 -- ל -- ▁sou -- ām -- 始めた -- uber -- ▁shield -- ▁acted -- და -- ▁shone -- ▁inferior -- 覚 -- ▁swell -- ▁anderer -- цию -- ▁প্র -- ▁Uhr -- نفس -- ▁receiving -- ительно -- fik -- ▁rhy -- lag -- ▁grade -- ▁nascut -- friend -- вый -- ▁russia -- ▁relatively -- ঁ -- ▁bade -- ▁công -- важ -- ock -- ር -- 很大 -- stern -- rf -- 虎 -- ▁suchen -- 是这样 -- ▁saß -- โ -- chia -- mination -- ▁cries -- ▁Doch -- ▁toutes -- onder -- 去做 -- ▁Би -- clin -- buka -- ▁hoping -- gers -- ▁mondo -- ▁poured -- pher -- ▁likewise -- 浅 -- ▁gebe -- ▁Rob -- ▁Charles -- ▁historia -- 紙 -- 术 -- ▁poste -- ுவ -- トン -- ▁permet -- とともに -- 名前 -- থ -- 在我的 -- ่า -- ▁hated -- 故 -- ▁determine -- 忠 -- 做的事情 -- rò -- ▁resistance -- ▁以及 -- ▁дома -- ▁contempt -- низ -- ▁literary -- ▁Familien -- ▁urbo -- رج -- ▁award -- なんですよ -- 自信 -- ▁зап -- 大型 -- 他也 -- rina -- 悪い -- ▁свою -- ▁invitation -- гон -- 品牌 -- そのまま -- それに -- eerd -- 杀了 -- ▁دا -- commerce -- 稳定 -- ▁Typ -- ары -- ▁bowl -- овка -- cted -- 这些人 -- ám -- 闲 -- ▁England -- هایی -- 的就是 -- dust -- 祝 -- ▁zweiten -- ▁jag -- ▁Mat -- 一日 -- kultur -- arch -- ▁Hor -- 得很 -- 的这种 -- ான -- ▁Frank -- ブラ -- 的第一 -- ക -- 살 -- kota -- maga -- 定义 -- 听说 -- ▁право -- ▁얘기 -- wenden -- ख -- ترین -- ít -- away -- dil -- өг -- 对我们 -- 例子 -- ▁Ok -- ▁بیا -- ост -- 約 -- ▁territory -- фі -- るように -- ▁powder -- 创建 -- ▁cared -- ▁reaction -- ピー -- 瞬間 -- ▁july -- ではなく -- 她是 -- ってきた -- ▁otra -- пад -- rab -- 你对 -- pó -- ▁fantastic -- ▁dreißig -- 개 -- ▁mock -- 态 -- dow -- と思った -- 秦 -- ▁fetch -- cl -- ▁football -- ▁detect -- ▁verändert -- 禁止 -- ▁Jack -- mica -- ▁также -- 采访 -- ▁mam -- ▁Are -- 芸 -- マー -- ▁2017 -- يب -- ▁TED -- ▁charged -- oid -- ▁mistaken -- nji -- つき -- ▁sighed -- 简单的 -- ▁bedroom -- ▁ridiculous -- ▁disappointed -- ▁bot -- ▁Geschichten -- ▁strangers -- ▁Entscheidung -- ▁確かに -- ▁occasions -- ▁irà -- ▁sia -- ▁pil -- ▁сразу -- ずに -- ▁whirl -- ▁expecting -- mitten -- гн -- ला -- エン -- 最終 -- ▁femme -- ▁вид -- 黑暗 -- ▁ним -- ▁wet -- nahme -- ▁pipeline -- 熟悉 -- воз -- ▁pointing -- ppy -- ▁solchen -- ▁commitment -- ▁বি -- ▁vanished -- 逮捕 -- 束 -- ▁Fehler -- дын -- 周辺 -- ▁backward -- Imana -- شار -- mol -- 물 -- ▁trained -- これも -- انت -- 头发 -- 点击 -- ▁senses -- ता -- اک -- 为你 -- Do -- ▁arts -- ▁Spi -- bonne -- ▁barba -- fassen -- ▁freely -- ▁climb -- ydi -- 喊 -- ĝ -- 佢 -- 道理 -- сте -- 在美国 -- isierung -- тыр -- كي -- 有多少 -- ▁Bru -- ▁Bedeutung -- ▁apt -- 写的 -- ▁Ton -- 世代 -- ▁unconscious -- 账 -- 財 -- ▁michael -- 住了 -- 做得 -- ▁Zum -- git -- уш -- lara -- ēt -- ▁mijnheer -- 是怎么 -- culture -- ▁vorher -- iere -- 可怕的 -- ▁encouraged -- ▁monk -- ▁stabil -- ▁говорил -- свобод -- 一半 -- ▁inches -- 针 -- ями -- ibility -- 谱 -- posta -- 'No' -- ▁iyo -- 毕竟 -- ▁телефон -- 立即 -- kore -- ▁これで -- có -- この日 -- rren -- 发出 -- üs -- ▁favorable -- 込まれ -- йте -- ▁probable -- 附近 -- ▁mig -- VI -- ຕ -- 研 -- ▁род -- ▁items -- 恐 -- 特定 -- 甜 -- ໄ -- ▁Anne -- 제 -- toria -- ますか -- aging -- ▁offensichtlich -- 一步 -- 周り -- '!"' -- ▁Möglichkeiten -- 効 -- さっき -- ▁vergessen -- ▁nuestro -- ▁pattern -- ▁specifically -- дом -- dě -- rok -- フィ -- ối -- 来る -- 需 -- 你可能 -- 妹妹 -- 位于 -- 改めて -- how -- ▁puc -- rán -- premi -- igis -- ▁patch -- ▁poll -- ▁erinnern -- ▁Met -- খা -- もない -- ▁commit -- ▁erwähnt -- ▁ciutat -- 相談 -- Ch -- ían -- ▁Ji -- ▁Computer -- となって -- 裂 -- herr -- ▁vein -- ode -- astronom -- 划 -- ager -- まずは -- ▁È -- はどう -- ím -- youtube -- ▁conception -- 巨大 -- ▁fisher -- mouth -- かせ -- ▁Africa -- lö -- 惊讶 -- ▁contains -- жен -- ▁видел -- 今まで -- ▁religi -- lte -- там -- ▁oedd -- ▁vì -- ык -- 庭 -- ▁năm -- ▁denk -- kwe -- ▁reproach -- ▁occupation -- ▁Joe -- ▁spoil -- stock -- ▁häufig -- uge -- ▁lane -- ▁inventory -- boo -- 我必须 -- ▁trot -- ேன் -- ibil -- ▁shareholders -- AC -- ▁Gleich -- ▁treball -- 都市 -- 组成 -- ▁Roman -- وَ -- date -- öz -- ▁aquel -- 週 -- fro -- ▁kama -- ฉัน -- ▁befindet -- ▁Med -- GE -- 議 -- ▁我会 -- уль -- ▁Steve -- ▁ellos -- face -- ▁viz -- ▁Lehrer -- 我给你 -- ▁hinein -- ▁millor -- ▁toute -- ôl -- 天気 -- 러 -- gina -- ▁disgrace -- ▁oude -- لف -- ▁Dieses -- ▁monster -- ▁teu -- shin -- tial -- რ -- klu -- ▁Kal -- ▁trin -- istes -- franc -- ▁ब -- rhe -- ▁Damit -- ▁drank -- дин -- ogo -- ▁кры -- kauf -- کار -- ▁regulation -- 民主 -- ▁endure -- 梁 -- 是吗 -- ▁gukora -- ▁legend -- ▁chicken -- baha -- ▁pursued -- цев -- ▁那就 -- யின் -- бр -- 様子 -- 금 -- 威胁 -- ▁nonsense -- ▁conducted -- hard -- ▁ɣer -- 門 -- 骂 -- 增 -- ▁quote -- 议 -- یکی -- ört -- ▁johnson -- ▁sources -- ▁হ্যাঁ -- ▁最后 -- litera -- 公开 -- odi -- ▁weet -- 的书 -- imp -- 基于 -- erlei -- vos -- 筋 -- дж -- ▁prayers -- 都可以 -- ▁menos -- 政府は -- 伺 -- ▁её -- овая -- 程序 -- 干嘛 -- ARE -- romp -- zzo -- ине -- チャンス -- خط -- UT -- ▁zuerst -- ▁essen -- ▁spectacle -- 才是 -- arra -- uche -- ▁belle -- ルー -- ▁compassion -- عاد -- としても -- SU -- 第二个 -- ▁breeze -- ▁tool -- 教堂 -- ▁глаза -- gwe -- 采 -- ▁permission -- ▁cultural -- ▁instruments -- をした -- ▁outline -- ▁tutti -- mez -- 警察は -- ▁пятнадцать -- стой -- ▁circumstance -- 了我们 -- 发生的 -- තු -- 苹果 -- DE -- ▁Tim -- 盟 -- ▁Bücher -- スポーツ -- ▁Personen -- ▁आ -- ▁consequently -- ▁Rom -- ▁kuwa -- zoek -- ▁estimate -- ▁ramp -- 俗 -- ▁identify -- ようと -- ▁coward -- М -- 物质 -- ogen -- ▁attacked -- ັ -- වෙ -- ologist -- 引起 -- cola -- ▁muttered -- ▁shu -- ▁employees -- ancy -- 嘉 -- ▁inspired -- 模型 -- に対する -- ▁hob -- 届け -- 这是我们 -- sprung -- ▁selected -- 取得 -- ハー -- 道德 -- fau -- 十九 -- ▁30 -- ய் -- ош -- ▁frau -- пра -- ▁Medien -- 你应该 -- 用意 -- kolo -- ▁perfection -- 奇怪的 -- ▁cómo -- ▁fühlen -- イベント -- пыт -- ▁jamais -- ▁blush -- imana -- 寄せ -- 재 -- прост -- ▁elsewhere -- 소 -- 隣 -- дам -- ▁территория -- ▁gö -- 撒 -- 始 -- даа -- ▁فکر -- ▁passa -- ▁Barcelona -- 话题 -- som -- ▁comun -- lhe -- 限制 -- よし -- media -- ▁tonight -- 指示 -- culo -- gren -- ▁keeps -- ▁Polizei -- ▁sharply -- ▁Louis -- 一本 -- ▁betty -- ▁silly -- マーク -- count -- шка -- schlag -- ▁starts -- ▁Amb -- chie -- èn -- 小的 -- ▁pump -- ▁” -- ▁Star -- 向け -- ▁procure -- ▁verbunden -- ▁steadily -- ろう -- 容疑者は -- ▁kleiner -- ▁marble -- ▁urban -- ▁erfolgreich -- ▁julia -- heiß -- зов -- ▁artificial -- ▁astonished -- ▁Telefon -- ▁naked -- ▁facing -- ▁virus -- ▁nhà -- 節 -- ▁devotion -- mensch -- ▁hitherto -- ▁seventh -- فق -- 雑 -- ▁bend -- 我怎么 -- ▁对于 -- ▁directions -- city -- dır -- 奪 -- füg -- ково -- 選手の -- 了他的 -- ▁Serv -- zustellen -- だけど -- ▁lei -- 内で -- power -- ▁curl -- łem -- cir -- kho -- 疼 -- вала -- ▁alguna -- rp -- reichen -- ▁Qu -- ▁crystal -- ▁avant -- ▁свой -- ider -- 这对 -- 負け -- 创业 -- 鲜 -- cles -- слав -- 一定是 -- ▁revenues -- 表現 -- ▁startled -- 匹 -- siz -- 下了 -- лам -- ுக்கு -- eron -- его -- ▁Chance -- igne -- しまった -- 改革 -- 别的 -- ▁records -- ▁mache -- ▁pomp -- BA -- 在那 -- ▁decir -- 動か -- ▁contre -- ▁сколько -- ný -- 追求 -- 動画 -- 香り -- 方は -- ▁capabilities -- ела -- olog -- 行き -- ▁wh -- 五年 -- ຫ -- ▁asia -- ▁ticket -- ▁halb -- جو -- ▁ده -- ▁Sport -- cija -- ▁Gebiet -- 使い -- ▁accurate -- ▁leisure -- ▁indicated -- ▁liquid -- 補 -- ▁povas -- 晴れ -- 门口 -- 鼓 -- ಕ -- iau -- ром -- ▁integr -- ▁lab -- kula -- ▁하고 -- ▁음 -- ▁sembla -- سە -- ▁promote -- 協力 -- 残り -- ▁conta -- 闪 -- then -- ▁brutal -- 他不 -- yong -- 凉 -- ▁nap -- ▁chiefly -- ▁decent -- 理想 -- ▁timing -- 成長 -- ▁Jean -- まれ -- ▁মা -- ими -- ▁Verhalten -- ало -- shya -- ▁sunshine -- 评 -- iah -- pare -- ▁State -- ▁гэтага -- ▁engineer -- кал -- 生まれ -- ху -- ということは -- ং -- ▁gener -- 所有人 -- ▁UN -- ▁стран -- anno -- 裏 -- حي -- ないように -- ドイツ -- ▁pierre -- ▁depth -- ▁belonging -- with -- NG -- 某些 -- lek -- zira -- ▁session -- ▁wandering -- 否则 -- ән -- ▁fears -- を出 -- ▁francis -- chet -- mpi -- 消防 -- 出身 -- ▁nieder -- vention -- onde -- shyi -- فل -- ści -- ▁omu -- ▁beard -- elijke -- ▁players -- uno -- huit -- 废 -- steigen -- ෝ -- ▁стороны -- 要做 -- ▁gleiche -- ▁உள்ள -- ▁folgen -- ▁persone -- person -- ▁Win -- ▁terwijl -- ▁narrative -- ▁estos -- ▁values -- ブル -- aĵo -- 剂 -- 検討 -- 思います -- ▁entend -- 感染者 -- 两年 -- meister -- oval -- кат -- timo -- ▁worried -- ▁давай -- тру -- ▁compare -- ▁achieved -- ▁tio -- ちょうど -- جه -- пов -- ▁Ban -- ▁näher -- 같 -- miz -- ▁regional -- ▁belt -- ży -- 聚 -- ▁peasant -- nish -- kha -- ▁climbed -- ▁Versuch -- ▁resumed -- ▁比如说 -- них -- 粒 -- うれしい -- 做好 -- 政権 -- 生活的 -- ▁pendant -- شان -- ▁umuntu -- 是非常 -- univers -- ▁dragged -- houden -- 身份 -- 我一直 -- 穷 -- ফ -- ▁hecho -- ope -- ▁난 -- tour -- 在他们 -- 赫 -- ▁bueno -- 個人 -- cip -- ▁processes -- ▁marie -- ▁führt -- ▁scholar -- ▁mateix -- má -- こうやって -- 兴奋 -- ▁قرار -- ▁ainsi -- ザー -- 入って -- 空气 -- 質問 -- ▁switch -- ッシュ -- lauf -- holt -- قال -- ▁invisible -- üste -- ▁Om -- ▁hip -- 兴趣 -- 角色 -- が出て -- 分の -- ▁Monsieur -- ーム -- ▁readily -- ▁satisfy -- ▁parla -- ▁traf -- ▁usted -- ▁каб -- ▁Pal -- ▁Ebene -- はある -- ении -- ây -- ▁hesitated -- رم -- 都要 -- ▁astonishment -- ▁свои -- ▁riesige -- ▁بار -- بط -- ▁buying -- ений -- worm -- 这个时候 -- koj -- dern -- 臭 -- nach -- ▁rug -- гай -- чай -- ▁Kampf -- цэ -- ▁gifts -- 黄色 -- 播放 -- ▁düşün -- 手术 -- 等着 -- lumin -- ▁dirty -- 同样的 -- ▁lessons -- ▁travail -- 写了 -- ▁Markt -- 止め -- 的力量 -- 決定 -- 添加 -- ▁Ah -- 日から -- ners -- ▁совсем -- ifying -- меш -- ▁स -- ころ -- 速度 -- ▁gemeinsam -- өөр -- ▁thorn -- んじゃ -- rov -- gelassen -- ▁rested -- バン -- ▁armen -- 埋 -- nahm -- cate -- xo -- ▁tau -- ▁strengthen -- ambo -- ▁examine -- ▁commun -- ▁dorm -- ▁mutual -- ثير -- ох -- 忘了 -- лер -- 王子 -- 던 -- 缓 -- 承诺 -- ▁cyf -- დ -- 遺 -- rico -- sı -- ▁hiding -- ▁abstract -- 积 -- ▁unexpected -- ▁Yn -- ант -- лас -- 酷 -- 生意 -- 巧 -- xic -- ▁railroad -- кы -- ▁Ay -- ыз -- sagen -- ▁Hill -- ▁hopeless -- prä -- ▁heir -- 岁的 -- ▁insurance -- ▁disappointment -- etta -- ▁возможно -- рем -- 实验 -- 自动 -- ▁Sed -- ▁agreeable -- leigh -- 正确 -- ▁examined -- 述 -- 十一 -- ති -- ▁slightest -- уп -- ▁зам -- ▁crossing -- ▁maken -- ▁他是 -- 肥 -- lp -- ề -- ском -- 他の -- ▁manufacture -- 在他的 -- ▁Hä -- ▁байгаа -- ался -- じゃん -- ▁wreck -- ▁quo -- ▁Wieder -- したと -- زار -- ڕ -- とした -- ▁Mir -- 不见 -- ▁Sy -- tron -- ▁Green -- ibwa -- Й -- 特徴 -- ▁lunga -- ▁Regel -- дээ -- 操作 -- ▁cyn -- organisation -- 我们正在 -- 页 -- 豊 -- ▁models -- ▁Professor -- ▁дальше -- dict -- iens -- ▁captured -- ক্ষ -- ▁suspected -- ▁engage -- ナー -- '1000' -- フランス -- ▁Bel -- tina -- ރ -- ▁hoofd -- ッチ -- ▁Ang -- ▁pupil -- 她在 -- ▁establishment -- 防止 -- ▁چیزی -- ales -- ▁improvements -- undi -- 浦 -- ▁sensitive -- uɣ -- ыч -- 听起来 -- ▁owned -- eman -- word -- ▁dish -- ষ -- 蒸 -- ▁utili -- ▁калі -- Applause -- 秘 -- bing -- 因素 -- ▁arme -- ▁hugh -- ▁polite -- وز -- ясь -- ▁weren -- ▁doctors -- ▁panel -- 进行了 -- ▁beings -- ▁gesamte -- ▁гру -- ▁Jordi -- 奇怪 -- enne -- ▁goods -- ▁partie -- 場合は -- isieren -- ▁cinema -- ▁exhausted -- ▁tenía -- class -- 通り -- ப்பட்ட -- В -- ▁deserted -- еть -- 第二天 -- ▁vow -- 穴 -- ▁finest -- ▁Ehe -- ▁heavens -- ▁museum -- ▁gib -- unga -- の方が -- 刷 -- ▁beaucoup -- ▁River -- inu -- 混乱 -- 使う -- ▁쫌 -- ▁sido -- ▁landed -- 気になる -- ▁cigarette -- dolph -- ▁continuous -- 聊天 -- ▁monitor -- 続き -- 滴 -- ▁glimpse -- ▁surprising -- 这是一种 -- easing -- 後半 -- ګ -- лат -- legi -- ▁akk -- 特殊 -- ▁называ -- 不知 -- ▁maintained -- ▁Juli -- ▁propose -- ▁Del -- ▁자 -- ▁públic -- 勝ち -- 快点 -- 心情 -- clos -- У -- fire -- 今度は -- ばかり -- スピード -- ▁arī -- އި -- ▁aby -- ▁точно -- ▁colors -- ыў -- ▁sins -- 促 -- قص -- ▁появ -- 建物 -- ▁descended -- ▁durante -- ▁quart -- ▁gleam -- 沿 -- chip -- ▁slavery -- 出来了 -- ▁jones -- volg -- ▁percentage -- ▁avoir -- वि -- ää -- центр -- ▁zuvor -- 咁 -- ▁Seg -- 你认为 -- ▁seconds -- ▁Himmel -- ▁precisely -- なんですか -- open -- iter -- ▁knocked -- ▁World -- 的儿子 -- ▁raw -- ▁Kas -- onge -- 什么呀 -- 叔叔 -- ▁wunderbar -- 彼此 -- سو -- ▁yüz -- 对自己 -- gelegen -- 擦 -- ruf -- ▁civilization -- 课程 -- ▁jail -- stell -- ▁snake -- 期間 -- ções -- زم -- ▁perceive -- ▁solicit -- 使われ -- дай -- гре -- ▁gusa -- ستان -- 抜け -- ▁laten -- یل -- 단 -- ▁whistle -- 联邦 -- ドラマ -- 农 -- игр -- 能量 -- ▁пожалуйста -- 什 -- 规定 -- 认真 -- ▁kinda -- 何も -- ありました -- スーパー -- ▁dip -- ▁你可以 -- issen -- стаў -- ▁2018 -- مى -- film -- ይ -- ▁unterstützen -- ▁introduction -- wiesen -- モン -- ▁loan -- ビー -- ▁Bay -- ▁unglaublich -- nici -- reba -- ▁stamp -- ר -- 联合 -- ▁ئۇ -- ▁jusqu -- ▁analysis -- ▁facility -- 날 -- ▁peaceful -- ▁готов -- dock -- ▁wichtige -- meri -- 頑張って -- ög -- ▁18 -- ▁chemical -- ood -- ▁departed -- ▁ваше -- üz -- ミサイル -- ▁inquiry -- ▁weapon -- ▁چند -- ▁دوست -- ▁composition -- 手に -- 菌 -- рова -- nata -- الد -- 坚 -- ▁essay -- ▁guter -- ▁Stil -- бира -- 礼物 -- ▁instructions -- 去吧 -- 師 -- ▁confused -- ▁bite -- trud -- ▁лес -- ▁shooting -- するため -- alität -- 的那样 -- 扎 -- ▁angels -- gum -- مال -- ▁höher -- ▁într -- 就这样 -- ozi -- ▁cloak -- ▁будем -- まって -- guer -- ▁device -- ▁Ба -- ▁こんにちは -- ▁testing -- maal -- 数学 -- 好多 -- 相对 -- くなり -- wesen -- 세 -- ▁Mau -- ▁August -- 出した -- ▁materially -- ຄ -- 汁 -- 愉快 -- こういった -- ▁collect -- 避免 -- utu -- ▁republican -- ▁своей -- 最後に -- 计算 -- 个月 -- ▁matt -- ▁bord -- rade -- rê -- 卢 -- ▁saturday -- ો -- imiento -- ▁vollständig -- ▁circ -- 我妈 -- 食べる -- を作って -- ▁bringt -- 帅 -- っちゃ -- rose -- ▁provides -- ▁transformation -- اص -- ▁나도 -- ▁buri -- 剩 -- ▁revenge -- ▁mult -- lais -- ▁后来 -- までの -- 放心 -- 화 -- ▁பொ -- ▁selfish -- ▁wirst -- ▁Studenten -- ング -- だし -- ▁emotions -- 渴望 -- ▁kui -- oba -- ▁öffentlichen -- ▁collected -- komen -- ▁hedge -- ști -- ▁libert -- ▁lightly -- ▁motive -- ▁mole -- ▁rice -- مو -- 没关系 -- 是要 -- 称之为 -- DER -- 满意 -- っちゃう -- deck -- ▁Hände -- pack -- gaan -- PR -- jung -- ordnung -- ▁nooit -- ▁обо -- 少年 -- ▁Pass -- wasser -- 信仰 -- ▁guerra -- ĝa -- dru -- ▁kendi -- 尖 -- ▁pearl -- Ha -- 巨 -- 续 -- ▁Cette -- ▁attract -- ▁ag -- 面临 -- 時の -- ▁Süd -- 基因 -- ▁lucy -- ▁À -- werfen -- ▁gek -- ▁Klasse -- 家の -- ▁ёсць -- 不去 -- schätz -- besitz -- ishi -- ▁scenes -- ớ -- ♪ -- ▁thực -- ▁giờ -- どうして -- 这不 -- niz -- 我从 -- Ba -- ▁France -- fälle -- sein -- するのは -- सा -- 戦い -- ▁Ale -- 每年 -- 的能力 -- 碰 -- カル -- ▁Organisation -- душ -- neɣ -- 现在是 -- 是我的 -- ▁باز -- кр -- час -- 最初の -- ▁jou -- еп -- ▁split -- atan -- lings -- 不懂 -- ტ -- ▁furnished -- 泉 -- разум -- 这样一个 -- ファ -- chin -- ▁انجام -- ▁voll -- вис -- 込む -- ▁அது -- 所谓的 -- 時期 -- ▁cigar -- ▁روز -- ▁shepherd -- னர் -- ▁справ -- nnes -- ළ -- ▁approval -- sak -- ▁Vous -- কার -- 安定 -- tex -- ▁option -- 合う -- ivan -- ▁vivi -- нет -- tego -- 雲 -- 的好 -- OUR -- ▁première -- ▁2016 -- ्य -- rop -- 享受 -- usta -- ▁lleva -- agost -- itation -- ▁dorothy -- 厉害 -- ▁expos -- ▁droit -- シン -- ▁belongs -- ▁Netz -- جان -- ▁holds -- Ho -- ▁killing -- 科学家 -- tub -- ▁уж -- stav -- 적 -- ▁ntabwo -- gué -- 是最 -- ▁shine -- ledge -- imento -- ▁compete -- ▁US -- ▁crawl -- ▁لكن -- ▁partnership -- ▁math -- 美丽 -- ▁Jud -- 这条 -- ▁complain -- ▁masters -- octubre -- ▁struggling -- ▁patent -- 有些人 -- 你这个 -- なくなって -- 漏 -- がこの -- ▁recovery -- 赌 -- 遇 -- 我记得 -- ▁bé -- loj -- digit -- ▁Anti -- ەت -- ▁Tak -- ▁bwo -- ▁practically -- ▁meines -- ನ -- ▁граждан -- ▁Regi -- کان -- maya -- ▁BUT -- ▁Са -- kubi -- ▁Foto -- ҙа -- جل -- lton -- alde -- ▁Smith -- 悲伤 -- お伝えします -- 许多人 -- ▁eaten -- 天天 -- ▁disturb -- 書いて -- konstru -- 乗り -- 勝利 -- 専門家 -- 我们知道 -- 文章 -- nsen -- rash -- ▁jemanden -- うち -- 出现在 -- ▁defense -- ▁parallel -- 真实 -- ന -- ▁thirst -- ▁fühlte -- ▁Fort -- ▁Tr -- を行う -- ▁cose -- ▁google -- ▁ته -- 花了 -- axe -- енный -- ▁Baby -- nın -- ▁rivers -- bour -- 性格 -- ▁thứ -- dden -- heben -- чер -- ▁例えば -- ▁pessoas -- ▁preparing -- гул -- jja -- 空気 -- ▁niets -- 克斯 -- ▁schedule -- ▁frown -- бил -- ▁byose -- ▁vậy -- ▁festival -- ▁definitiv -- нае -- 化学 -- ▁harsh -- ▁violet -- ▁überall -- ▁lean -- brechen -- ▁moins -- Pro -- 想知道 -- ▁intellect -- 桌 -- サービス -- ▁هل -- 的歌曲 -- 商店 -- ▁telephone -- ası -- ▁norman -- tip -- ▁Ideen -- ▁alma -- ▁territori -- ▁passieren -- 过的 -- どちら -- كا -- klo -- 有趣 -- ▁بزرگ -- 英雄 -- ilo -- нуть -- ▁span -- ▁canoe -- ▁cub -- య -- 躲 -- ▁jerusalem -- 肺 -- 和平 -- ▁hebt -- ▁setzte -- лез -- anca -- オープン -- IGHT -- ▁beating -- ▁voir -- 吃了 -- пом -- ▁wing -- ▁arrested -- 敷 -- ơ -- ▁frankly -- 出现了 -- ▁joining -- 队长 -- 问我 -- ▁transfer -- まま -- 腾 -- 伏 -- bita -- ▁Gesundheit -- ▁spun -- ▁kaufen -- ▁crop -- ټ -- ▁dynamic -- 刺激 -- ▁بول -- sea -- ▁curse -- ▁fortunate -- 迅速 -- ▁grandmother -- ができる -- 卫生 -- ছিল -- 移動 -- ู -- ▁passes -- ▁Why -- عب -- zogen -- ử -- бал -- ▁wash -- 宾 -- أكثر -- られます -- ▁concealed -- dors -- 順 -- même -- 牧 -- 連絡 -- ▁cotton -- チョ -- ▁swiftly -- ▁дээр -- schap -- ▁sustain -- வெ -- iyorum -- いると -- druk -- かね -- ってくる -- hill -- zam -- rons -- ▁Ха -- onda -- bach -- 答 -- ▁accent -- 破坏 -- ▁complicated -- اخت -- moto -- ▁kiu -- rul -- ▁سي -- 張 -- 但它 -- Ә -- 孩子的 -- stol -- ▁há -- 误 -- ▁Chúng -- 合同 -- ▁kumu -- 投入 -- ủ -- ▁accompany -- ープ -- ▁links -- ▁ответ -- 你们的 -- ▁jako -- ▁convenient -- ích -- condi -- hound -- 永远不会 -- ▁chapel -- 人在 -- eixen -- ▁père -- bá -- 帝国 -- 强烈 -- oja -- でお -- 纯 -- ത -- ▁Sil -- 忘れ -- 也在 -- ▁planta -- Sch -- 的一切 -- 보 -- ▁During -- rest -- ▁Linie -- ▁havia -- 开车 -- чка -- ▁boston -- 予 -- 桑 -- رف -- 也就是 -- ыми -- 年的 -- ▁vivid -- 堡 -- hub -- ▁disturbed -- ▁creative -- ▁Fran -- ▁Black -- ▁elegant -- levant -- ▁duck -- ▁identity -- Д -- ▁أي -- ▁medio -- ▁poz -- をつけ -- ▁HAVE -- 見た -- もらう -- 不必 -- ▁当你 -- たちは -- دید -- ▁gracious -- ▁pint -- 免费 -- 添 -- ▁owing -- ▁fabric -- kap -- 社長 -- 日間 -- turi -- destin -- ▁Obwohl -- ▁così -- ▁boast -- үн -- Emp -- founded -- ▁drugs -- ▁clothing -- 阵 -- 揚げ -- ▁Pres -- ▁Wand -- ▁visitor -- vant -- CA -- fahr -- ▁например -- yin -- ▁touching -- 者は -- ▁wives -- kaza -- ても -- ண்டு -- He -- hí -- klar -- 独自 -- ໂ -- のだ -- ятся -- 聞いた -- ▁основ -- 知道了 -- ▁Essen -- ▁amusement -- 候補 -- ikan -- にした -- ▁sicherlich -- 很有 -- graph -- ▁Fra -- сид -- dah -- ▁medium -- 留在 -- ▁dressing -- atori -- 连接 -- ▁sola -- わない -- ▁stato -- ▁tutto -- agit -- ▁是啊 -- せて -- '%' -- ▁roger -- 元気 -- ▁Außerdem -- ▁един -- gana -- copi -- 踏 -- 飛び -- nă -- تج -- 済 -- ええ -- მე -- ▁priv -- ▁moderate -- ▁virgin -- лек -- ▁formerly -- ▁Mitarbeiter -- kuba -- фер -- 記 -- ▁Laufe -- ▁Titel -- remo -- 姓 -- ▁Thomas -- ▁jaar -- glia -- ▁Ŝi -- صف -- ▁associate -- 実際 -- 進んで -- ▁wrath -- ▁asset -- りの -- 一群 -- gestalt -- ▁preferred -- 爱你 -- تس -- ▁technologies -- ▁hyn -- 夫妻 -- ன்ன -- ents -- ▁walter -- 方も -- お父さん -- ▁哦 -- нг -- 玛丽 -- liste -- 한테 -- 他没有 -- しても -- optim -- 走到 -- īt -- ALL -- рас -- ▁Poli -- otto -- 続く -- にする -- ▁breathing -- валі -- ▁fille -- ▁چا -- ▁democracy -- ▁october -- ▁prejudice -- енные -- ホームラン -- minded -- 做到 -- 韩 -- 会在 -- 猛 -- டா -- ▁propos -- ▁entertain -- 애 -- ▁handkerchief -- treiben -- nym -- itza -- ▁complaint -- bry -- amerika -- 块钱 -- ▁operator -- ▁дэ -- rufen -- ▁Every -- ▁байдаг -- ▁Partei -- gga -- 妙 -- ▁länger -- 非常非常 -- ▁minimum -- ▁entwickeln -- EM -- 왜 -- ライン -- ▁echo -- यो -- 今週 -- ▁важно -- 瀬 -- ▁mình -- ▁scotland -- ▁television -- ほぼ -- маш -- ids -- ▁зачем -- riz -- zó -- ▁我不知道 -- 何を -- lij -- ▁месяц -- 它在 -- مون -- 海洋 -- gine -- ▁hatred -- 如果他们 -- tero -- ▁atom -- uur -- aeth -- 計画 -- ▁په -- 違い -- вым -- ▁crow -- 갔 -- acions -- ▁происходит -- ores -- பு -- ▁país -- ▁lightning -- ffin -- iji -- ▁гэтым -- zzle -- zte -- ▁submit -- гар -- 雨の -- ▁farewell -- 教会 -- big -- labor -- ographic -- ச்சி -- 传播 -- 下一个 -- ures -- ▁Twi -- ▁kant -- ▁indifferent -- 母親 -- 征 -- を超え -- 戻 -- aşı -- ▁nut -- 泽 -- 我们应该 -- нан -- ▁jealous -- ミリ -- ▁California -- 世界的 -- гән -- 先週 -- zul -- ▁мор -- 手が -- 推荐 -- 株 -- 子どもたち -- ▁Santa -- 发生了什么 -- ▁existed -- нер -- ▁таксама -- 概念 -- Sp -- mış -- 値 -- ▁quel -- 这里的 -- Ro -- ▁seed -- ▁fishing -- いけ -- ▁cleared -- ▁disaster -- ▁glaubt -- හි -- ▁traveller -- ან -- děl -- 一个小 -- 获 -- 给她 -- ء -- 法官 -- ango -- 時は -- edifici -- uck -- rav -- 就是我 -- koh -- ▁nail -- dó -- 危険 -- ▁shiver -- ▁relax -- ▁Herausforderung -- ▁funeral -- ▁بس -- ▁sup -- 番の -- ▁confession -- 倾 -- ▁اند -- ▁除了 -- ▁favourite -- ▁replace -- と一緒に -- 讨厌 -- ▁immortal -- 돈 -- 工资 -- 还有一个 -- ▁robust -- ▁ireland -- 毁 -- мон -- ▁monte -- ▁Wind -- ▁Durant -- ▁tran -- ▁tribe -- ▁doorway -- 咖啡 -- 명 -- あるいは -- ▁bulun -- ▁deutlich -- 背后 -- ▁dwelling -- 效果 -- 과 -- ▁способ -- ▁мяне -- ▁riches -- ▁whip -- Mail -- нев -- ▁arrangement -- ▁sober -- ▁anticipated -- ▁bana -- öd -- bridge -- ▁Nation -- coloured -- 好啊 -- '29' -- ▁nan -- 鉄 -- ři -- maker -- ▁volunteer -- ่ -- ▁autumn -- 说他 -- ▁Gro -- ▁bestimmten -- ▁Alles -- ▁hans -- 事业 -- ▁Fan -- ▁Ils -- 的观点 -- 言った -- tures -- ▁dalla -- हरू -- ▁independence -- ▁py -- に戻 -- иш -- 形で -- ▁bone -- ▁Ty -- lever -- ehr -- 对他们 -- ▁ongoing -- 在家 -- 制限 -- そういうこと -- お願い -- ▁indicate -- ▁anymore -- るんだ -- lima -- ▁sailed -- ▁Hin -- ▁Gib -- ▁distinguish -- cock -- 壮 -- telah -- ▁сай -- ▁marched -- ▁solar -- Li -- ең -- ▁viņa -- ▁applications -- ▁vegetable -- mag -- ▁Lösung -- ▁بیشتر -- ▁gelernt -- lă -- 設置 -- eaux -- ▁copper -- ▁bewegen -- 这两个 -- politi -- ▁torment -- 那个人 -- wch -- undu -- ▁같은 -- ▁Fri -- 바 -- ▁isabel -- 患 -- tör -- 経 -- past -- ▁brig -- స -- ▁استفاده -- borough -- ▁anh -- 激しい -- 抜 -- 他们都 -- ▁illustration -- née -- ▁darf -- 页面 -- 发表 -- 地位 -- NHK -- ▁prominent -- ▁provision -- ▁ເອີ -- 分子 -- が見 -- 直播 -- ANT -- ▁tribes -- ▁rarely -- ▁jury -- 去看 -- 种族 -- ▁trug -- どうですか -- ▁aussehen -- ▁trait -- 付き -- クラ -- 眠 -- ▁нашей -- ▁extensive -- 타 -- 某个 -- ▁байв -- ▁regards -- ▁план -- liko -- 我跟你说 -- ▁tank -- 汗 -- ▁eighth -- mesi -- ▁caution -- 全員 -- ▁speaks -- ▁stephen -- mov -- Medi -- すぎ -- ▁carpet -- iriza -- ▁lend -- ▁leather -- würdig -- ▁gallant -- 유 -- fach -- 诉 -- ▁Shi -- estre -- ▁Omu -- ▁letting -- っか -- রি -- ▁sino -- ▁soup -- zina -- energie -- ▁grandes -- க்கும் -- 绿 -- 得点 -- десят -- ニア -- ਾ -- ▁wis -- füll -- ▁moest -- 的一种 -- ml -- レイ -- print -- ▁defeat -- ウクライナの -- ▁стал -- ▁characteristic -- namen -- pē -- mala -- 充满 -- itaj -- abilir -- ▁আছে -- ▁Text -- 不上 -- ▁cream -- organ -- wahr -- ▁kenne -- ▁encounter -- ▁zeker -- ▁expectation -- rique -- ▁dios -- ▁upstairs -- 司令 -- 上がる -- ▁wid -- ▁dues -- 互相 -- وك -- ▁наверное -- ▁finds -- грамм -- ▁perfekt -- 行われた -- ▁personas -- 回目の -- 损 -- ლი -- ▁label -- ▁Stelle -- 我应该 -- 思い出 -- assi -- ▁execute -- 奔 -- ▁büyük -- 兹 -- ▁говорю -- six -- جم -- መ -- 연 -- 立刻 -- case -- regel -- ハン -- ▁какая -- 做一个 -- ▁Ken -- ▁notwithstanding -- ▁Jung -- 你跟 -- ショ -- SS -- ▁Mill -- ▁influ -- 香港 -- ▁awkward -- порт -- ▁estu -- hoor -- 保存 -- udo -- kai -- öt -- 強化 -- てしまう -- ທ -- ▁politische -- できて -- tio -- ▁Bilder -- ▁elected -- 帯 -- 病毒 -- 求め -- ▁gazing -- ▁pun -- ▁behalf -- mmi -- kia -- ▁timid -- ల -- ера -- 腕 -- aran -- 意見 -- aĵoj -- 大体 -- ▁Gran -- ök -- ▁japan -- を受けた -- ▁Sicht -- 新型コロナウイルス -- মি -- ▁zona -- 搜 -- 敌 -- TS -- 湾 -- ▁exists -- てくれ -- ම් -- politic -- えない -- gid -- ति -- yobozi -- 反対 -- 赞 -- ▁boom -- ▁pret -- ▁Venim -- ▁sui -- ▁Пра -- 问你 -- 催 -- 医学 -- дем -- 阴 -- ▁Fel -- って言って -- ▁Kindern -- ▁Spr -- ▁canada -- ▁hanno -- ▁پیش -- 应用 -- ▁monta -- ▁natives -- ▁african -- ▁interfere -- ▁senator -- ▁mug -- known -- itas -- ▁nhưng -- 哇 -- ඉ -- ▁assembly -- stop -- нав -- cura -- ▁recommend -- ▁Dame -- trat -- 抑え -- ▁crept -- 対象 -- ▁fury -- ▁petite -- frag -- ▁gospel -- ▁outer -- ▁restrict -- いわゆる -- 孤独 -- য়া -- ▁Tam -- stick -- wald -- аар -- 监狱 -- ▁preserved -- 手里 -- なんですけれども -- 安妮 -- 告诉我们 -- ▁Хо -- قی -- 这一切 -- ▁ჰო -- ▁profitability -- 奶 -- gani -- ▁democratic -- ▁tones -- ができ -- ▁Modell -- ▁casual -- 具有 -- ваць -- かかる -- wali -- дра -- ▁enabled -- nico -- voir -- をかけ -- rock -- களில் -- はもう -- ▁restored -- ▁Bruder -- зар -- により -- とにかく -- 的身体 -- ós -- چى -- 風が -- ▁decrease -- ▁danach -- ▁jaw -- 他自己 -- うん -- ▁hefyd -- ▁besondere -- нік -- ▁größten -- もらって -- К -- ▁власти -- 伝 -- cata -- 夺 -- schneid -- ▁radical -- ▁porter -- ▁Bob -- 것 -- ▁discharge -- ▁beasts -- ức -- ▁Australien -- ▁اگر -- cular -- 撮 -- ▁romance -- ▁вами -- ছ -- ▁react -- daw -- '00' -- ものです -- ▁strict -- idas -- 彼の -- ▁answers -- ▁covering -- 细节 -- hul -- ▁relevant -- ▁kurze -- ▁romantic -- 脳 -- ▁километр -- ▁november -- ەوە -- تان -- اره -- 这项 -- ▁helps -- ▁assurance -- EST -- вен -- ▁grab -- ▁Then -- 真相 -- கே -- ▁тысячи -- めた -- ▁pap -- ▁cheese -- дь -- agu -- 收集 -- ▁segui -- ダイ -- leute -- ▁player -- 成立 -- nego -- ▁creek -- ▁beaten -- ▁constitute -- 平时 -- як -- ▁lust -- ▁gale -- үҙ -- 私たち -- ▁taxes -- 化的 -- vê -- ▁profile -- 해야 -- шь -- ▁outward -- ▁poc -- 进步 -- blich -- nelle -- 我发现 -- ▁dedi -- 担 -- anye -- ▁manufacturing -- بح -- 链 -- 接着 -- қа -- ▁swung -- 胜利 -- ево -- wise -- ất -- ▁aveva -- ▁50 -- 두 -- 的国家 -- ▁Grand -- ارت -- போது -- station -- ило -- の一 -- cı -- ▁Patienten -- frei -- ▁funds -- сказ -- 見事 -- ▁executive -- 変わり -- hana -- 独特 -- 市で -- பா -- 肖 -- 编辑 -- 漁 -- ▁acknowledge -- ▁positions -- 訪れ -- ▁Herrn -- ▁egal -- 被告 -- ▁mm -- Đ -- 亏 -- ▁erklären -- ▁dhateng -- ▁shudder -- 设置 -- cada -- ▁gün -- ▁Bildung -- viol -- となり -- ▁выступ -- ▁machines -- ▁Dum -- mpe -- ▁impressed -- いきたい -- ায় -- ▁definition -- 医疗 -- ▁schrieb -- ▁barrier -- 始め -- كر -- ▁Member -- 时刻 -- වා -- kou -- 差不多 -- drückt -- ▁давайте -- 他们说 -- セット -- عل -- 经理 -- ▁Sel -- 柳 -- 航空 -- ▁Freude -- 不愿意 -- ▁чувств -- 让它 -- ▁trends -- ▁attracted -- レス -- kehr -- ▁loĝ -- 保险 -- 一个非常 -- 发生的事情 -- 的位置 -- ▁бес -- ▁aggressive -- ▁betrachten -- ▁visitors -- ▁soci -- ▁graceful -- 白人 -- ▁wali -- hielt -- ▁zweitausend -- 向き -- qi -- ▁Mess -- há -- ނ -- ▁funding -- 高度 -- 着急 -- tempe -- 隊 -- дей -- ▁واقع -- ▁அந்த -- cam -- ያ -- 粘 -- ▁Texas -- ▁Carl -- Ц -- யும் -- ează -- ▁coisa -- へと -- کو -- ுடன் -- 重大 -- チャー -- しまう -- しさ -- ▁zumindest -- 課題 -- ▁bezeichnet -- El -- ▁determination -- alia -- ▁snap -- 我先 -- лей -- ነ -- ▁наши -- ieron -- ▁Ganz -- inin -- 모 -- ▁Partner -- ▁bez -- ▁schlechte -- شي -- ▁Adam -- 人数 -- 軍事 -- ですので -- ▁langen -- ▁دیگر -- ▁баш -- थ -- ▁Char -- ▁perse -- ஃப -- მო -- 歯 -- rücken -- cà -- тө -- SP -- norm -- ▁isso -- ▁writers -- iller -- fish -- 公主 -- 発射 -- arna -- 着我 -- علم -- ▁rapport -- ▁eben -- クロ -- を変え -- ▁injury -- ▁britain -- 観光 -- ▁wereld -- ▁moses -- ▁Hall -- 嫁 -- AI -- ▁generate -- ▁stole -- leu -- tale -- ▁truck -- ँ -- 奴 -- 韦 -- 可能性がある -- 首都 -- ▁laying -- ▁são -- ▁cunning -- 彼女 -- ▁nuestra -- acco -- ▁кү -- هر -- ▁دې -- ▁Haben -- 描 -- 診 -- ▁Staat -- ziel -- wegen -- 金メダル -- argent -- غل -- ▁interessiert -- ▁christians -- いまして -- ugi -- ▁Unsere -- 一声 -- 郑 -- ▁English -- ▁ceremony -- 月の -- arbeiten -- кин -- ▁спасибо -- あげ -- ▁boss -- ▁parish -- ▁Anwendung -- ▁profitable -- ▁republic -- 怎么说 -- きょうの -- ▁reminded -- 鼓励 -- 相互 -- ▁saving -- almente -- ▁attain -- となります -- ▁differences -- 抵 -- 孔 -- ▁Hay -- 对不对 -- рок -- ▁collar -- 了她 -- ▁Steuer -- ▁Quin -- ▁dislike -- の姿 -- ▁mutter -- 非常好 -- ▁trifle -- 方便 -- witt -- 取れ -- ▁hinge -- 地元 -- ▁În -- の話 -- ▁mum -- めちゃくちゃ -- ▁Pas -- จะ -- 很高兴 -- ▁mechanical -- cell -- 这也是 -- তার -- ▁veröffentlicht -- ▁Fenster -- بة -- 日中 -- нат -- ▁protestant -- stoß -- 饿 -- ▁首先 -- forme -- ▁restless -- ▁bolt -- 就有 -- ▁kõ -- 闭 -- 掉了 -- сем -- ▁daylight -- 你先 -- ▁cael -- ▁maxim -- 的最 -- ▁scarce -- ▁administra -- kreis -- 太好了 -- 手段 -- ▁Camp -- がい -- 十七 -- gado -- onne -- ▁properties -- DI -- 发生在 -- — -- ますよ -- ▁Af -- ▁lass -- ▁endeavor -- ▁соглас -- ▁seltsam -- ▁номер -- ▁woe -- ghi -- 最多 -- ▁menschliche -- loft -- чный -- tzt -- häng -- ▁wool -- ▁denied -- ▁tay -- ▁политик -- ▁imbere -- 来年 -- ▁所以说 -- 太太 -- ▁moja -- けどね -- pira -- ▁interessante -- ürü -- ▁erfahren -- ▁remainder -- ஷ -- ▁Israel -- nemen -- ▁multe -- 这将 -- kwi -- 最重要的 -- ▁euro -- ▁ໄປ -- 指挥 -- harmoni -- nız -- ▁parece -- 那个时候 -- くない -- üyor -- ▁grows -- ▁studying -- 息子 -- ovi -- ▁nei -- entre -- eco -- ▁Monate -- rite -- roc -- TI -- ▁یې -- ▁participate -- ▁folly -- ▁convention -- beeld -- 各地 -- pek -- ▁Asia -- ▁Vorstellung -- をしている -- ells -- 对待 -- 个小时 -- ▁churches -- ▁appointment -- ▁uses -- ▁zá -- ũ -- ▁کرده -- Di -- тел -- ▁gyda -- 谋 -- 创新 -- ▁swim -- ▁acid -- ▁perception -- ▁alien -- ▁exceedingly -- 願 -- ▁geheim -- 序 -- 赚 -- 胎 -- ▁Viņš -- ▁elephant -- ▁damp -- ▁Jeder -- ▁12 -- ▁illumin -- ▁hail -- ▁пес -- ▁которых -- ▁boil -- kibazo -- 時間が -- 见面 -- ground -- מ -- ▁достаточно -- ▁imperial -- ▁package -- ▁stimul -- ▁esti -- gründe -- iously -- ▁pains -- ీ -- ▁febrer -- ebilir -- ▁definite -- ĉa -- baar -- 你把 -- ▁impu -- sters -- 回目 -- ▁случа -- ▁gardens -- 년 -- 갈 -- 茨 -- ▁tranquil -- ▁Landes -- träge -- வில் -- 怎么能 -- илось -- lec -- ▁repar -- 他还 -- を求め -- 昼 -- 这就 -- ▁Drei -- 공 -- ▁трэба -- 東北 -- 辛苦 -- ▁invention -- ▁гэты -- wich -- rance -- ▁disappear -- サッカー -- зем -- 那时 -- 一个问题 -- ▁cable -- 柔 -- IE -- ▁thrill -- соб -- ▁наша -- 就是你 -- たちの -- ▁celebrated -- ▁concerns -- neb -- 選手は -- 遭 -- 방 -- ▁занима -- ▁одиннадцать -- عرف -- мын -- 下雨 -- ▁God -- risto -- ▁особ -- 仔细 -- 小さな -- ▁ox -- ▁Link -- ▁echte -- 好奇 -- änder -- มี -- てきました -- は何 -- вез -- ▁Australia -- 依然 -- ▁großartige -- jär -- quar -- folk -- glio -- 有所 -- ▁Hoffnung -- スタン -- 可以在 -- shaped -- 一周 -- ▁Handel -- 言われて -- ▁conservative -- regen -- ▁saa -- ▁можна -- ホテル -- ▁anyhow -- ▁собира -- вых -- ái -- Me -- مار -- 缘 -- ▁сообщ -- ▁hadden -- ▁Tier -- 违 -- 何が -- стат -- nuncia -- tato -- ▁layer -- Bo -- ▁German -- ▁Beziehung -- ▁elbow -- 十六 -- カレー -- ▁bunu -- ▁flank -- раш -- ▁Maar -- っていく -- 遊 -- ▁clau -- ▁trusted -- projekt -- ▁但是你 -- 估计 -- وح -- Ver -- ▁erzählt -- 安心 -- ▁endeavour -- 进一步 -- ▁canal -- ▁этому -- ▁schwarze -- ▁болон -- lini -- ได้ -- 時点で -- 超级 -- なければ -- ▁successfully -- 支え -- ▁mama -- ▁thence -- ▁Gelegenheit -- ▁después -- ▁forecast -- ▁consists -- しようと -- 爷爷 -- cional -- ▁roar -- haltung -- ▁romans -- 助け -- 砂 -- ▁mwa -- opa -- fia -- ▁barrel -- fford -- ▁nuclear -- 算是 -- ▁blanket -- 这种情况 -- 恐怖 -- メッセージ -- 在她 -- yana -- 的任何 -- ▁steer -- ▁peril -- gebiet -- 女朋友 -- 明确 -- ▁upset -- ▁convey -- ▁formula -- 关闭 -- しょう -- ▁bị -- Mi -- 者的 -- দা -- ▁distinctly -- aves -- ▁producer -- 体育 -- 可怕 -- bred -- ▁cape -- を持つ -- мир -- 考える -- ▁можа -- атор -- ちゃった -- ▁Prim -- ▁Aquesta -- 不住 -- ▁princes -- 绑 -- rats -- ▁whit -- ▁resting -- ▁présent -- ▁wax -- tention -- றை -- станов -- ▁andrew -- দের -- 読 -- yim -- ▁onto -- ffi -- lade -- ශ -- ▁thành -- ▁ndetse -- 十三 -- ▁export -- ていて -- ▁acquisitions -- ▁нельзя -- ▁befinden -- 来源 -- ▁Ĉi -- anu -- api -- dala -- 也很 -- 呼びかけ -- ますので -- ▁Bitte -- lob -- るという -- ▁brains -- raw -- ▁собственно -- gic -- krat -- ▁Liste -- ▁grounds -- ▁vede -- ▁pru -- ▁Rock -- ▁depths -- pok -- Sa -- сю -- ▁accused -- 文学 -- ▁política -- 小说 -- ▁containing -- ▁punto -- ▁assistant -- ▁Folge -- ühl -- ▁Before -- 很棒 -- ▁continua -- ufu -- 証 -- されていた -- wall -- ▁stake -- 最低 -- ▁residence -- 温暖 -- 探索 -- ▁echt -- ▁Vol -- ▁Tisch -- えた -- ▁Flu -- mite -- ્ -- ▁corporate -- MENT -- chair -- ▁typically -- 会不会 -- ▁reli -- ▁silently -- пада -- ន -- 京都 -- няя -- 和我们 -- IVE -- ほら -- ีย -- fica -- ▁بازی -- 每天都 -- ▁говорят -- 壊 -- ▁WITH -- fed -- ▁fünfzig -- ▁humour -- ▁Kosten -- lekt -- ▁getroffen -- ▁obscure -- ▁invent -- ▁Jim -- ▁zwölf -- ▁опять -- ▁далее -- ▁tire -- 種類 -- ▁milit -- igheid -- သ -- ▁erstaunlich -- мент -- ▁amendment -- izen -- レベル -- ▁Farbe -- ▁squire -- ▁communicate -- рат -- すいません -- UL -- 劝 -- ピン -- ன்று -- hend -- ちなみに -- ▁الآن -- ▁さて -- كت -- rita -- nü -- пон -- 填 -- ▁appetite -- 向你 -- ▁мужчин -- 先に -- ▁chez -- ▁promo -- 上げて -- бан -- ▁scratch -- سى -- 宝宝 -- ▁但是我们 -- find -- ▁Straßen -- でしたが -- ▁omdat -- 妇 -- ▁poly -- 英语 -- 不容易 -- ▁nobles -- η -- それでも -- 白色 -- 热情 -- がいい -- ▁Many -- ウェ -- ▁إذا -- 確保 -- east -- 歴史 -- ということを -- 当て -- ▁frost -- ではありません -- 想起 -- 电子 -- 结合 -- anche -- ▁ấy -- るのか -- ▁Sud -- ▁fem -- ▁bears -- ▁Ul -- 的样子 -- ▁Fre -- zeichne -- 배 -- 億円 -- ▁Druck -- ▁domina -- tiu -- リング -- ▁тому -- idades -- న -- ▁blew -- 炸 -- 怎么会 -- duct -- wehr -- deel -- 無理 -- 경 -- حر -- ▁feeble -- 交谈 -- 崩 -- ▁chart -- ▁embrace -- 的主要 -- ご覧ください -- 削 -- ▁shriek -- 湯 -- ของ -- bula -- 我再 -- tli -- ố -- jah -- ▁تمام -- sort -- ▁пара -- بع -- ▁wordt -- 跨 -- autobús -- ▁scandal -- ilor -- ▁Stein -- ▁tudi -- vara -- ▁stomach -- システム -- 実験 -- 責任 -- ▁放一下 -- 邪 -- 帽子 -- 访问 -- ▁Şi -- BI -- 版本 -- Applaus -- 储 -- 開始 -- kopf -- ▁altijd -- ▁attendant -- ▁hastened -- patri -- ▁uncertain -- lager -- 来て -- ắ -- ウル -- леп -- 液 -- '800' -- ゾ -- ▁dragon -- 目を -- の世界 -- ▁persönlich -- phon -- kind -- gha -- ▁tables -- ▁факт -- 碗 -- ▁salvation -- iet -- ▁nunca -- nette -- agne -- taka -- とっても -- 식 -- ▁scientists -- cation -- ▁ascend -- ▁temptation -- ▁shalt -- ▁entertainment -- osi -- 高中 -- ▁Stunde -- ▁tribu -- ▁searching -- මා -- кие -- るような -- ඩ -- 听着 -- ▁älter -- für -- পর -- 隠 -- tır -- ▁Fisch -- えっ -- mato -- 就没有 -- ▁Tochter -- ▁место -- lug -- 単 -- 自民党 -- ▁schu -- ток -- ▁Geschäfts -- ▁然后他 -- gte -- ның -- ▁troubles -- ▁Lee -- ısı -- 仁 -- رض -- 略 -- itor -- aille -- ▁senate -- 件事 -- ▁mussten -- 出てくる -- ному -- ▁Zeug -- ▁Wirtschaft -- 奉 -- 恵 -- ▁расс -- ▁Tru -- ▁offence -- ▁sama -- ▁Aufmerksamkeit -- GAAP -- 广泛 -- ▁ngi -- 申请 -- 除非 -- lett -- ▁shan -- 进了 -- ▁vigorous -- baren -- ▁Cam -- 区别 -- 败 -- んじゃないかな -- pression -- 工人 -- を使った -- ▁relieved -- 主要是 -- 妖 -- ▁menyang -- 途中 -- RES -- ▁Welche -- ▁Kunden -- capacit -- お客さん -- هن -- লো -- tamente -- ▁dumb -- court -- だね -- 信じ -- ▁продолжа -- 幸运 -- කි -- 不是说 -- ▁delivery -- кор -- ▁Junge -- ▁nämlich -- ▁является -- 大事な -- leva -- ▁parted -- を迎え -- ▁bust -- ▁lodging -- ▁Leistung -- lha -- angi -- 笑声 -- automat -- lur -- zunehmen -- аб -- geschichte -- ▁newspapers -- 这些东西 -- してくれ -- 慌 -- 相反 -- 堆 -- ▁ўжо -- といった -- ▁surgeon -- 見えて -- uwa -- eko -- ▁perpetual -- ▁mechanism -- ▁شخص -- しかった -- とする -- それぞれ -- ▁Hon -- zaba -- ▁formation -- ື -- 这只是 -- 普遍 -- cord -- ▁siempre -- 勇 -- zal -- ▁timber -- ▁dearest -- 把她 -- utter -- 我把 -- பார் -- нне -- pier -- ▁cabinet -- ▁skull -- 荣 -- body -- ▁binnen -- 多分 -- ▁tales -- 森林 -- onia -- ▁termina -- ▁latest -- inta -- 角度 -- ▁allowing -- ▁després -- 받 -- 伙伴 -- ▁při -- teen -- amour -- 仍 -- ▁hawk -- 敲 -- 교 -- 上の -- ▁monkey -- ▁desires -- ませ -- ▁withdraw -- 放下 -- nade -- ▁simp -- 哲学 -- 体を -- ▁Schi -- کا -- ▁podcast -- コー -- ▁anticipate -- 的研究 -- ▁skirt -- ▁facilities -- 私たちは -- 肯定是 -- ほん -- name -- ▁beheld -- ▁municipal -- 绿色 -- 说得 -- ▁стол -- ▁абсолютно -- 分かります -- ural -- ▁Hauptstadt -- かれ -- gema -- ▁murderer -- 忘记 -- arma -- 如今 -- ▁имеет -- ▁laura -- ▁mau -- 外交 -- ▁Most -- ▁sauce -- лиз -- ▁Position -- ற்க -- ▁dash -- abana -- ట -- 国家的 -- ına -- 什么是 -- 情况下 -- ▁sunset -- nice -- бур -- ▁testimony -- omu -- ▁bundle -- ▁roots -- வீ -- ŭ -- kab -- artig -- дым -- ということなんです -- ▁despre -- ▁prose -- ▁pense -- 曹 -- 弁 -- ▁competi -- ▁bother -- ▁assembled -- ▁яна -- ▁deadly -- curi -- の問題 -- сна -- ▁wrap -- ▁sketch -- 是真的 -- 終わり -- 均 -- ▁unge -- 回転 -- ▁компани -- bwo -- 的意思 -- acak -- 競技 -- 間に -- 体験 -- voca -- wah -- は今 -- 一个月 -- ▁giả -- ợ -- 对象 -- しよう -- 不对 -- މ -- ▁envelope -- 中継 -- ▁Büro -- リスク -- اری -- ▁resident -- 説 -- ▁paw -- En -- ▁doubtful -- プーチン大統領 -- ▁ehrlich -- just -- ▁vue -- ▁passions -- industrie -- ▁erhielt -- 집 -- ▁Mitte -- じゃなくて -- ины -- ār -- ▁habla -- läuft -- വ -- ▁президент -- 備 -- кар -- 出演 -- のうち -- ですけれども -- かけて -- чен -- ahu -- ▁guarantee -- ▁unpleasant -- gó -- パス -- shore -- мысл -- ▁insight -- 五个 -- ▁stolen -- hut -- ▁excess -- เป็น -- オン -- әр -- 一部分 -- cine -- ▁былі -- 丰富 -- 原则 -- 这就是为什么 -- тик -- аем -- મ -- ▁comprend -- ▁Papier -- 焦 -- 杉 -- ▁doll -- いえ -- 展開 -- 알 -- 锅 -- ▁courts -- ▁начина -- ▁options -- 必ず -- erei -- ▁staying -- 一首 -- 生活在 -- ӧ -- ని -- ベスト -- ▁insanlar -- 选举 -- нская -- '2019' -- هی -- 这件事情 -- oph -- 所以他们 -- წ -- bikorwa -- iser -- ერ -- ▁Anda -- gion -- ▁damn -- ập -- ▁maison -- ▁prevented -- ▁ralph -- ▁unver -- کش -- 地点 -- ▁offers -- сход -- பே -- ива -- ▁roses -- スタ -- ▁такого -- けども -- ண்ண -- лем -- ▁oameni -- ▁guards -- ▁tobacco -- ▁olduğu -- ivo -- ▁دارم -- bron -- 競 -- 夸 -- 矿 -- γ -- 採 -- ▁Denken -- ▁Ergebnisse -- 重点 -- ▁exquisite -- 辺り -- fest -- ▁monday -- 飞行 -- 寻 -- equip -- ziert -- ▁fitted -- ▁Он -- ▁argue -- 受伤 -- ▁xwe -- ▁pulling -- ▁agony -- のない -- ▁甚至 -- ▁туда -- ▁Funk -- 那儿 -- ▁boxes -- 扣 -- fähig -- 応援 -- ▁relativ -- ▁otros -- ▁заб -- を作る -- 也要 -- hri -- ▁stopping -- ▁общем -- ▁stirred -- ді -- ilia -- сут -- 把它们 -- 小孩 -- litz -- 継 -- ▁Vorteil -- 至于 -- ▁слуша -- ▁Sim -- ▁zunächst -- かわいい -- 敵 -- ▁scripture -- 互 -- ▁hammer -- ена -- ▁Auswirkungen -- 氷 -- ▁disguise -- aş -- ▁adjusted -- 也不能 -- 财产 -- 梦想 -- ▁officials -- frau -- ▁admire -- స్ -- empat -- ▁прямо -- 统 -- ▁gesamten -- が発生 -- ▁earnestly -- ester -- ヨ -- ▁образом -- езд -- ▁sitzen -- さあ -- 杂 -- 的那种 -- ԥ -- ▁wilderness -- bird -- uso -- ▁limbs -- стве -- ▁prend -- 飲 -- ▁Herzen -- ▁marine -- cun -- iaeth -- لق -- মে -- ▁varia -- itud -- ▁procession -- кер -- だが -- 会说 -- が行われ -- 不出 -- teria -- lui -- ▁profess -- 무 -- ె -- 월 -- ▁каждый -- ▁زندگی -- grade -- 地元の -- 墓 -- 달 -- ▁понятно -- ▁bias -- ▁supporting -- ически -- たっぷり -- ▁differently -- 盤 -- ▁retire -- ▁brass -- 往往 -- chine -- ▁Software -- ▁accelerate -- ▁fatto -- ▁взгляд -- lari -- ließ -- šo -- ▁இருந்த -- ▁curt -- коп -- 市内 -- 告诉他 -- ▁mou -- sley -- ▁Gesundheits -- ▁meta -- ▁inevitable -- りとか -- 会談 -- ▁villa -- ▁Kä -- ▁времени -- 记忆 -- ▁extract -- rci -- 一开始 -- ঘ -- ▁cog -- ▁Cho -- 我们今天 -- 一面 -- valu -- ▁washed -- ▁vive -- ▁accomplish -- zehn -- Mar -- ▁sterben -- gramm -- posa -- ▁lloc -- ▁Haar -- ベル -- 華 -- є -- ходит -- 走进 -- ▁launched -- 谈话 -- ▁natur -- eight -- ▁chicago -- ▁technique -- 中国人 -- moc -- shot -- ▁pushing -- ލ -- ▁rural -- ▁blossom -- ▁ነው -- ▁architecture -- ▁summit -- 感觉到 -- ības -- gone -- ▁esteem -- 还真 -- ▁قو -- 一遍 -- ▁راه -- ▁lustig -- пам -- έ -- 俄罗斯 -- oud -- ▁neighbourhood -- source -- gari -- kura -- чил -- ула -- pence -- ▁выбор -- ▁knights -- 用の -- 所以这 -- ▁effectively -- ▁needle -- ▁persuaded -- 消失 -- 仪 -- reiz -- anzwe -- ▁wrapped -- 微笑 -- トラ -- ▁oleh -- وار -- 上升 -- ▁hinder -- ▁cats -- 戈 -- ▁puzzled -- фон -- ▁meaningful -- やすく -- ▁Dit -- 統 -- ▁geweest -- ▁glasses -- ところに -- mount -- 糟糕 -- 不是我 -- ▁achter -- 你们俩 -- ▁решил -- дон -- кро -- ▁самое -- anı -- ▁divide -- ▁offices -- 弃 -- män -- 庁 -- 睡眠 -- 上昇 -- 如果他 -- 您可以 -- اخ -- ライブ -- ▁flashed -- ▁abruptly -- 遥 -- 友達 -- bí -- 足够的 -- 都能 -- 美丽的 -- そこで -- ຈ -- ▁prey -- wissenschaftlich -- orden -- chief -- weis -- ▁sailor -- ৈ -- ▁augen -- ▁responded -- QUE -- ór -- trägt -- 低い -- 他有 -- 播客 -- яць -- 的呀 -- ▁humans -- puesto -- wami -- ▁diejenigen -- ▁Ram -- 特別 -- ▁Akt -- ーク -- джа -- ▁journalist -- きている -- 不像 -- ▁familia -- 故意 -- हा -- ▁số -- ▁gerek -- を超える -- ▁Natürlich -- ▁cardinal -- ▁ruler -- ▁Monat -- ▁представи -- دون -- ▁subtle -- anima -- ▁commenced -- ▁Gene -- 早速 -- ▁Two -- 稳 -- ▁Glauben -- struktur -- 需求 -- 否 -- ▁donne -- 까지 -- ▁depuis -- erweise -- ▁irrita -- pole -- ▁generations -- ▁gelang -- meli -- を示 -- 億 -- embe -- ▁Tar -- ▁reception -- ▁Brit -- 炮 -- ό -- ▁obstacle -- ▁occupy -- impa -- ▁jewel -- ▁quello -- を引き -- овых -- 都知道 -- چه -- şti -- ຮ -- ▁fatigue -- づ -- 这张 -- ясн -- جز -- 많 -- ▁Plu -- ▁Bundes -- ▁verrückt -- ▁marquis -- ว่า -- ▁category -- енных -- 荡 -- fashioned -- 体制 -- ▁aka -- ▁знал -- رە -- 也就是说 -- 議論 -- 전 -- に行く -- bby -- ▁தொ -- ▁clinical -- гер -- ぐらいの -- 你没有 -- impe -- ▁bleibt -- ▁license -- ▁Joan -- ▁genauso -- 気温が -- ▁Zustand -- rgi -- ▁pillow -- uß -- ▁suitable -- oza -- いきましょう -- スク -- ▁seas -- ▁winning -- ▁grove -- テーマ -- ▁faculty -- ▁december -- 倉 -- 付出 -- ▁ruhig -- ▁creo -- ▁Design -- ための -- 輝 -- weil -- ▁таким -- ▁genera -- metri -- 作って -- 特别是 -- ▁virtues -- ▁reverse -- 酒店 -- コース -- наход -- ▁còn -- 桂 -- ▁resemble -- 的历史 -- 攻め -- ▁tener -- ▁scent -- ось -- ▁leaped -- ▁status -- 在你的 -- ▁jove -- ▁amen -- ibu -- quí -- સ -- ▁assault -- ▁advantages -- ание -- ▁saints -- чит -- 適 -- うまい -- ATION -- 挣 -- ▁nephew -- ▁supplies -- poko -- ▁neighbors -- ▁indica -- ▁fazer -- ▁عنوان -- 我爸 -- ▁fruits -- 我们家 -- tē -- 幻 -- 日常 -- ▁можем -- ▁کښې -- ヨーロッパ -- ▁sabi -- ▁grava -- ▁antwoordde -- ▁öffentliche -- ▁Schl -- ▁momentum -- ▁bitten -- ▁그니까 -- インド -- ▁사람 -- ▁golf -- 美国人 -- ▁globe -- ены -- ரிய -- 動物 -- ▁tune -- BO -- 彼女は -- losen -- ▁leer -- mates -- 中国的 -- ▁prudent -- 的男人 -- ▁vader -- ▁standards -- 時から -- ▁alexander -- रि -- ffle -- ▁armies -- 资本 -- ▁wire -- 詰め -- ▁Schlaf -- ții -- ▁Nummer -- etto -- ものの -- iwa -- قابل -- ļa -- 資 -- ▁succession -- 広がって -- rechte -- صر -- 버 -- zugehen -- μ -- depend -- かし -- alb -- が多く -- までに -- ▁glas -- ▁scared -- ▁nas -- 浴 -- ▁результат -- ▁Second -- ランナー -- 不久 -- чных -- ▁diamond -- ▁contribu -- ますが -- ජ -- ▁sergeant -- ▁Bell -- tano -- 家长 -- nard -- 上来 -- ▁Beste -- ▁правильно -- 童 -- tanz -- ▁duchess -- kari -- 经营 -- ▁Ng -- ▁erinnert -- 出して -- 買い -- 海岸 -- 将其 -- ▁nerve -- sine -- ▁Maß -- ワールドカップ -- 兼 -- 使って -- hte -- ついて -- ▁dutch -- 所在 -- ▁Canada -- ▁Interesse -- бой -- ۰ -- markt -- ▁VER -- oper -- ▁register -- ▁blast -- бед -- ▁respectable -- ▁breathe -- ▁cran -- గ -- 鮮 -- 逆に -- ▁strangely -- ▁serving -- ▁tube -- ▁slain -- 我们没有 -- 帝 -- ▁mars -- タン -- ▁libro -- ▁nerves -- ▁grip -- しまって -- 一万 -- ▁مورد -- бү -- ▁glen -- stände -- ță -- ▁призна -- ▁Gil -- ▁mademoiselle -- 層 -- ▁vista -- ிருந்த -- 失去了 -- 黑色 -- gge -- ▁devices -- 什么的 -- ▁процесс -- ▁proces -- ▁الل -- yah -- ގެ -- ▁masses -- ئو -- 亲自 -- ▁minu -- ғ -- ▁entweder -- eorang -- 平等 -- ▁banda -- ▁hohe -- ▁Tour -- illusion -- ▁solitary -- 惠 -- 脉 -- ▁abbiamo -- ▁furnish -- vio -- あんまり -- 五百 -- кров -- 시간 -- 来月 -- smith -- 増えて -- ▁florence -- 是关于 -- ▁таких -- ර් -- schiff -- ▁delivering -- யர் -- ▁homo -- ্ব -- ▁fünfzehn -- 如果你想 -- ▁repent -- ▁toda -- dores -- ▁parce -- 什么意思 -- 我们对 -- камі -- 所说 -- 発生 -- ▁irgendeine -- していきます -- 读者 -- ե -- ▁aquella -- 房间里 -- 尝 -- ▁großes -- ▁contents -- ▁brands -- 辈 -- ▁Schmerz -- 神秘 -- ▁sunk -- ▁لدي -- ▁seda -- かかって -- ▁procedure -- AB -- ▁Mund -- cía -- ▁لقد -- क् -- 的结果 -- ދ -- 剪 -- ▁вместе -- スタジオ -- ▁muốn -- 你可 -- 分け -- ▁wandered -- ▁wages -- ▁loyal -- 大量的 -- 예 -- ramo -- ▁mögen -- 演奏 -- ▁Generation -- ▁illegal -- 危机 -- ▁Bor -- ▁Kro -- ▁mio -- というもの -- 琴 -- 小组 -- ए -- ▁valid -- SH -- altra -- ▁betrachtet -- ▁söyle -- wissenschaft -- ப்பா -- ▁اینجا -- кус -- ▁但是他 -- ▁vehicle -- いいですね -- ▁documents -- 这么大 -- ▁ஆஹ் -- ▁steamer -- ハイ -- ▁limits -- bih -- 一気に -- ▁amigo -- kala -- IG -- ▁effet -- лаг -- ▁двух -- ▁tendency -- emt -- ▁metro -- スタッフ -- writing -- 보고 -- лийн -- ▁Stellen -- اند -- ▁floating -- 开始了 -- ▁путин -- ▁uwo -- テン -- 也好 -- 込んだ -- ▁gloomy -- lma -- ▁Kir -- を作り -- 琳 -- 機能 -- าย -- 咱俩 -- 再開 -- ▁writes -- ▁choses -- რი -- pfen -- ▁либо -- ▁victims -- 民主党 -- каў -- ▁guardian -- ▁முடி -- 地面 -- ▁Bezirk -- ▁Ntabwo -- ▁popula -- хай -- нал -- ▁equity -- 公園 -- еб -- ▁бог -- গে -- flex -- ▁Bevölkerung -- 障害 -- ▁Here -- ▁serpent -- bou -- 赢得 -- iska -- رات -- aq -- ▁Arzt -- ▁sob -- 規模 -- ▁아니야 -- ▁cluster -- 椅子 -- mming -- ▁გა -- positiv -- ▁tienen -- ▁Dort -- 句话 -- ї -- ▁yea -- lē -- 调整 -- 職員 -- ationen -- ▁contracts -- 安静 -- 尽可能 -- ыт -- пле -- 勝負 -- 是这样的 -- ▁уу -- 垃圾 -- 挤 -- gesellschaft -- த்தின் -- ▁olduğunu -- igh -- ▁polly -- rische -- ели -- 你和 -- 什么都 -- エネルギー -- 离开了 -- human -- ▁revelation -- фор -- ▁مست -- ▁своих -- 市場 -- 附 -- もありました -- 회 -- ▁guilt -- ▁Reich -- ▁bran -- 协议 -- ▁ili -- ▁مرد -- ▁gleichzeitig -- ▁inspiration -- ▁Pferd -- 不是你 -- 你都 -- 谷歌 -- بق -- ckle -- ▁часть -- 主意 -- ▁যে -- 主题 -- ▁spielt -- 这本书 -- hla -- ▁lud -- ▁Feld -- とおり -- Union -- ▁sali -- 解決 -- つけて -- 重复 -- 非常感谢 -- ▁domain -- ▁chứ -- still -- ▁Please -- ▁attorney -- ▁funktionieren -- んでいる -- steuer -- brid -- ligt -- eği -- ▁cá -- 技能 -- 径 -- 賀 -- ▁foul -- ▁говоря -- бри -- ▁Kaj -- 有机会 -- MI -- ▁fountain -- 瑟 -- кино -- ▁Schei -- 都被 -- familie -- 正好 -- solut -- ան -- шо -- ▁flee -- 现在的 -- 想过 -- 石头 -- ▁sweep -- 豚 -- ▁harvest -- ▁murdered -- вяр -- ▁спи -- ▁ruined -- 还会 -- 究 -- maa -- 付近 -- ▁separa -- 먹 -- مۇ -- ▁Web -- ▁scott -- 我看到 -- ▁resolve -- ▁commonly -- ն -- 构建 -- ▁verdad -- ガス -- ▁பல -- ▁Schrei -- ▁recollection -- lg -- 指出 -- ▁тринадцать -- emple -- ▁pastor -- '600' -- ▁nnyo -- ▁Mul -- ା -- 批判 -- цыя -- ▁brows -- тельно -- ▁egyptian -- 缝 -- ▁elf -- ваў -- стей -- ▁indication -- ▁dolan -- ▁foarte -- ▁speziell -- 便宜 -- ▁Ker -- ▁ئى -- нич -- ستا -- 意见 -- торы -- 在家里 -- ▁chairs -- shim -- стер -- isk -- 予報 -- ▁없어 -- レース -- fitting -- ▁defect -- ▁integration -- ▁групп -- dag -- ▁Scott -- ولا -- ▁sadly -- TION -- ▁равно -- 截 -- ▁fortunately -- цэн -- айте -- ▁neues -- иг -- മ -- ▁insbesondere -- 炭 -- kö -- яў -- ▁mă -- 买了 -- zier -- kür -- 的爱 -- ▁alcohol -- 教えて -- ัง -- твер -- anne -- ▁representative -- 法案 -- ▁fastened -- 两千 -- 也就 -- 扫 -- 성 -- قة -- ▁transparent -- ▁announcement -- ▁Fähigkeit -- 不好意思 -- 目に -- pto -- ▁Autor -- 않 -- ▁кстати -- erna -- ▁outrage -- anthrop -- ээс -- 関係者 -- 很有趣 -- ボー -- の影響 -- 暑さ -- 逐 -- 铺 -- ▁temporary -- ▁блок -- инский -- ▁channels -- ложен -- つい -- なと -- 孝 -- ▁claimed -- ▁widely -- ▁programme -- 一系列 -- Il -- yat -- 一把 -- 疲 -- ▁slender -- stamm -- zicht -- quir -- 公园 -- ▁cual -- kere -- 全国の -- ▁spre -- नि -- ▁bushes -- ▁selten -- made -- ▁travelling -- fis -- ▁depression -- 初の -- 栏 -- 承担 -- alen -- ▁чт -- 通信 -- TED -- 的学生 -- ウン -- ▁deeds -- ▁Az -- ற்று -- ▁executed -- 東京オリンピック -- HER -- 代码 -- 胃 -- ▁cavalry -- ▁그리고 -- ▁шмат -- ▁cambia -- よい -- aciones -- いう -- 后的 -- ▁meetings -- ▁hired -- ▁approved -- ▁addressing -- ▁mischief -- 和他的 -- ▁units -- ழு -- rne -- 育て -- 生存 -- tega -- ▁weigh -- 这也 -- さい -- 不着 -- wari -- ▁vz -- 解除 -- 繁 -- 完美 -- сторон -- ▁streams -- 専門 -- ▁unbedingt -- halb -- 动作 -- Podcast -- ▁format -- ちょ -- させた -- ǧ -- ▁Größe -- 方針 -- '150' -- 脸上 -- ▁poe -- ▁attempts -- Lachen -- ▁لأن -- 阳光 -- ▁willen -- ▁passengers -- ▁viva -- 贾 -- خانه -- ▁financi -- iadau -- performing -- энд -- 沉默 -- ▁enorme -- ▁memories -- kend -- munt -- 村さん -- ▁forests -- ▁hush -- ▁legislation -- 巻き -- الي -- ▁buryo -- unddreißig -- ▁wrought -- 伸び -- ▁Fluss -- ▁okul -- link -- ▁Une -- のもの -- ▁pirate -- 这个词 -- ▁lieber -- ▁pronounced -- dür -- するなど -- 优势 -- ▁идет -- ▁consumers -- ジュ -- ▁affectionate -- 珍 -- abend -- ▁från -- そんなに -- ▁wink -- үл -- ări -- ంట -- ▁Jen -- ▁gym -- ▁confined -- indu -- ▁confirmed -- gation -- ▁Hallo -- 現在の -- vē -- 绕 -- ▁Var -- ▁chances -- idée -- 麦克 -- 乘 -- 券 -- 領 -- やってる -- ▁costume -- 明显 -- 前半 -- poj -- obo -- вра -- jed -- lun -- ▁printed -- IA -- niu -- ▁demands -- بات -- ▁nhất -- ▁abundant -- 年轻的 -- ▁heels -- gekommen -- ▁Ра -- 双方 -- 诊 -- ▁personality -- presi -- 工业 -- ▁poden -- ▁disco -- ▁pillar -- jwe -- 饼 -- ្ -- arca -- ▁holes -- vind -- 费用 -- рай -- ▁geheel -- 这场 -- ▁clara -- called -- 雇 -- bier -- 丑 -- amendement -- ▁replaced -- ▁neglect -- ▁yeni -- ▁sustainable -- ですし -- 并在 -- 找你 -- ắc -- ▁longing -- ▁которой -- ▁Material -- zima -- ▁ساخت -- dob -- 的老 -- ▁instances -- ▁Vir -- аба -- roma -- ▁Esperanto -- ▁bose -- ▁Where -- 多年 -- 행 -- Ich -- angira -- ▁vulgar -- zette -- ▁bewegt -- tious -- ▁sharing -- このまま -- 喝酒 -- ика -- ▁presents -- ▁sees -- ▁delicious -- ваю -- 防衛 -- ▁sweat -- tou -- ▁gravely -- ▁Schwester -- 더라고 -- ffel -- の声 -- руд -- ▁Arab -- nine -- ▁estado -- なあ -- lateral -- 屏幕 -- ▁шестнадцать -- 一些人 -- ▁helpful -- 把他们 -- 将在 -- ▁但是在 -- ▁Ту -- 援 -- ▁хоёр -- ▁telegraph -- 谈到 -- доў -- ▁briefly -- 的目标 -- 妮 -- brau -- 凭 -- omni -- ▁francs -- ▁Day -- ▁apostle -- ▁aceste -- ▁admiral -- ▁whoever -- 一大 -- はありません -- ב -- ▁suspicious -- mena -- abandi -- itate -- ▁crimes -- ▁protected -- 我叫 -- ▁canvas -- ▁savings -- ތ -- lique -- 多少钱 -- ▁ripe -- るのが -- 习 -- ▁challenging -- 披露 -- ப்பி -- 基地 -- ▁exempl -- ▁slim -- فة -- ▁цен -- ▁بسیار -- rama -- lığı -- ▁Tie -- LL -- ▁جدا -- 改变了 -- ▁resort -- ში -- 陛下 -- ае -- ія -- ▁inward -- ▁endless -- 集团 -- ▁betray -- 同情 -- 公民 -- ▁itu -- 协 -- ▁música -- ▁wann -- 更大的 -- 行政 -- ▁stap -- ▁beginnt -- ▁slecht -- zahlen -- そば -- ▁Einzel -- ▁fiction -- 火车 -- 你已经 -- ▁nahe -- zieren -- まだまだ -- ৃ -- ryo -- ▁tid -- 检 -- ▁обрат -- руч -- ▁Rand -- ▁rider -- 女王 -- 川さん -- gewalt -- 焦虑 -- 混合 -- ▁moonlight -- だったり -- think -- кую -- ▁deinen -- 天下 -- ますと -- ▁shower -- א -- ▁هغه -- 我认为这 -- һә -- taba -- жо -- ▁nehme -- 情報を -- 给大家 -- ▁Publikum -- ▁wherefore -- ▁mingled -- альный -- mati -- ▁villages -- aco -- ▁tad -- 烂 -- ▁behaviour -- ▁arguments -- ▁pockets -- ▁sahen -- 遺体 -- ▁kullan -- ▁namely -- 今も -- ▁chimney -- দে -- گیر -- の一部 -- 多么 -- ▁julie -- ▁dive -- võ -- ▁warten -- ▁calmly -- ▁Hör -- ▁elaborate -- 把这 -- ▁politique -- 外国 -- ▁شب -- ▁одной -- 很大的 -- ▁thereby -- ▁Suche -- ▁добра -- ▁arrangements -- ▁Inhalt -- ▁Island -- 未来的 -- kommt -- ▁joan -- 有事 -- 债 -- 共产党 -- ▁trabajo -- ▁discourse -- してた -- کت -- ▁exposure -- っちゃった -- 切れ -- ▁indignation -- ▁clima -- を行って -- zep -- に関する -- ировал -- ▁criticism -- öyle -- 司机 -- 图像 -- glass -- ▁barely -- ▁absorbed -- ▁constitu -- ▁cooking -- ▁careless -- 旁 -- জন -- 预测 -- もあり -- ▁начальник -- ▁команд -- ▁myth -- 和她 -- nwa -- 就这么 -- ▁сур -- に来て -- 我们不 -- ▁pall -- ▁lingvo -- ▁charges -- ▁alex -- ологи -- Un -- ▁bestehen -- ở -- 送到 -- クリ -- oca -- zwi -- 瞧 -- ▁reprodu -- ▁dreamed -- 和他们 -- ▁tragedy -- قول -- stö -- 伟 -- mona -- 你真的 -- esten -- ▁jsme -- うちの -- ▁agency -- nika -- 報道 -- ▁weiteren -- даў -- раў -- life -- 男朋友 -- 范围 -- dog -- 善良 -- 私人 -- contra -- 場で -- ▁emerge -- ▁rushing -- hart -- 状况 -- ▁hano -- ▁сами -- ▁heavenly -- ▁veu -- ▁specimen -- ▁seize -- grat -- 很久 -- ajo -- ▁wheat -- ▁Werk -- ▁analog -- ▁burnt -- どっち -- ▁sailors -- 两种 -- 我得 -- pio -- 胆 -- بان -- ゼ -- ион -- ▁آب -- melde -- ▁commune -- ▁neutral -- ▁holl -- ▁Zimmer -- ▁carr -- ▁puff -- ▁страны -- ▁fires -- inci -- ਰ -- ▁ursprünglich -- 咲 -- ใน -- tabl -- schritt -- 创作 -- kak -- あら -- ▁맞아 -- ▁должно -- ▁tenir -- ▁campus -- ▁friday -- appel -- ▁podemos -- ▁Lehr -- 事業 -- foc -- ப்பட -- اپ -- ▁weeping -- ▁действ -- рог -- ▁opge -- 跡 -- ▁Council -- ▁napoleon -- ▁interven -- රි -- ▁producing -- ▁DIE -- ▁partit -- ▁borrow -- ▁veces -- 多大 -- ▁minut -- ▁riu -- proc -- たって -- 结束了 -- ▁contribute -- MAN -- versa -- vill -- ▁verme -- ▁сюда -- нымі -- 移民 -- ▁Nachrichten -- ▁spät -- ▁правда -- シュ -- ▁وقتی -- ▁injured -- 的数据 -- ▁Rue -- 取り組み -- ует -- schutz -- making -- 链接 -- ▁laŭ -- ىنى -- ▁sac -- ▁Studie -- ஸ -- spire -- ▁Club -- ▁Beginn -- いいですか -- ▁meg -- ▁fathers -- ža -- 他们有 -- 司法 -- ▁represents -- ▁sao -- 百万 -- ▁participa -- ධ -- ța -- obli -- ▁году -- Ab -- と思うんですけど -- 燃 -- ▁lofty -- ccio -- state -- ▁Sub -- eres -- 蛇 -- 获得了 -- 大多数人 -- ாள் -- ▁Pin -- ▁exceed -- ▁என் -- ▁marsh -- ▁Cent -- trop -- ▁painter -- ▁conversion -- ▁Radio -- 婴儿 -- ▁enjoyment -- ▁alert -- fekt -- OL -- ograph -- いきました -- dna -- изм -- ▁Teile -- 一時 -- ▁supplied -- ▁haz -- ▁experiments -- ▁sunlight -- ению -- 购 -- 耐 -- 하면 -- ▁hogy -- ▁organism -- ▁risen -- fähr -- ▁Fle -- quatre -- ▁мед -- ftig -- иа -- ▁Ча -- 幸せ -- ▁Pop -- خبر -- ▁rays -- ላ -- ▁provin -- 面白い -- 男女 -- AG -- 舍 -- 广播 -- 彻底 -- 一片 -- 就是这样 -- ▁partially -- ▁Sho -- market -- 負 -- abantu -- 紹介 -- To -- 鼻 -- いよいよ -- ▁investors -- るんです -- ▁Minister -- 的日子 -- 平衡 -- ▁nên -- ▁любо -- ▁raus -- সি -- іх -- space -- ▁kriti -- 았 -- ▁recruit -- 十四 -- みます -- ▁Бо -- ▁erstellen -- 今シーズン -- 題 -- AP -- ▁random -- ▁condemned -- shyira -- 枝 -- ▁prohibi -- ▁telefon -- 機関 -- 不明白 -- やら -- ▁Kandi -- を務め -- زو -- 了一下 -- urteil -- ▁entitled -- 워 -- 竟然 -- 有点像 -- ▁warned -- услов -- 皇帝 -- rier -- ▁vardı -- ▁hinunter -- 讲述 -- ▁loaded -- ▁Zugang -- ▁preparation -- 多久 -- 高さ -- ▁thumb -- 切って -- 劳动 -- 迎 -- 州的 -- ач -- ▁soziale -- 衰 -- ▁mexico -- 으니까 -- ▁suite -- shaw -- ▁daring -- 初めての -- 日本は -- 类型的 -- хі -- 彼は -- евская -- 媳妇 -- ▁eagle -- glück -- ▁inch -- ▁Studien -- 영 -- 점 -- 彼得 -- спор -- 回头 -- ▁помог -- ▁seves -- school -- ▁nasıl -- ▁toil -- が今 -- stup -- トリ -- istoj -- ▁seats -- ologia -- ▁thither -- 损失 -- 으면 -- या -- 東部 -- uburyo -- ▁roughly -- 牢 -- 반 -- 업 -- 起了 -- дея -- npr -- ▁condemn -- ▁coarse -- läng -- 转向 -- これだけ -- ▁brethren -- ▁achievement -- sprach -- brü -- 提供了 -- ▁typical -- はおよそ -- ▁House -- ▁bulk -- 鬼子 -- 障碍 -- ҙә -- 関連 -- 分手 -- 和一个 -- 誰か -- 見る -- ▁ladder -- ▁treaty -- tian -- の映像 -- ▁demon -- おはようございます -- 町の -- 反応 -- ▁derived -- ▁discussions -- крыва -- пат -- مَ -- ▁bureau -- ▁functions -- elte -- ▁interact -- ▁Mike -- ▁languages -- 英里 -- 军事 -- ▁promotion -- bber -- ▁cresc -- 柄 -- なきゃいけない -- ▁santa -- ぜ -- 主張 -- ением -- ▁levi -- こんなに -- ▁satu -- 児 -- 摔 -- ▁сме -- gung -- ▁pressing -- 加上 -- ですからね -- руу -- abord -- ▁женщин -- 、4 -- 醉 -- kräfte -- ▁Nhưng -- ▁vengeance -- RU -- ària -- '5000' -- 对她 -- дя -- 自治体 -- ▁stond -- ▁countess -- 半年 -- ▁idol -- kling -- ▁Armee -- قط -- hne -- 可以看到 -- 讨 -- fug -- 級 -- 西方 -- ▁diana -- ほどの -- ▁feather -- があると -- 編 -- ▁currency -- verein -- 姿勢 -- ▁Daniel -- 紫 -- ▁elect -- 物を -- 指导 -- conc -- ▁Artikel -- 緊張 -- ▁Weiß -- ateur -- ▁sermon -- 田中 -- نما -- 彼ら -- uke -- ▁survive -- teilung -- Č -- だい -- য -- ▁Frei -- 刑事 -- 世界の -- ▁kang -- െ -- ▁obedience -- ▁resource -- 覆 -- であり -- cloth -- ▁Wild -- ▁când -- menti -- 生産 -- erfolg -- ▁algun -- ▁jackson -- 场景 -- ユ -- ▁weiterhin -- 旋 -- ifer -- 就把 -- ▁следующ -- قوم -- やめ -- 单位 -- が続く -- ▁faci -- ума -- ▁چیز -- 纵 -- 차 -- ▁solitude -- ▁Nie -- ▁revolver -- рет -- 知り -- российск -- फ -- дыр -- ▁prevail -- 方の -- iest -- ▁gallop -- 確かに -- ▁Kontrolle -- 的照片 -- 突破 -- িত -- цыі -- からも -- 仲間 -- 来讲 -- 生日 -- ▁mwen -- chem -- воль -- 暑 -- ەکە -- oti -- ▁conversations -- сно -- ▁normalerweise -- ▁dost -- ▁верх -- ▁Brown -- ▁versuchte -- ereza -- brun -- ▁ample -- ▁clan -- いるんです -- ▁artists -- غان -- ▁blade -- 銃 -- 仅 -- bac -- ▁colleagues -- ▁exemple -- 宝贝 -- ▁movies -- IST -- ▁hopefully -- erwa -- 声明 -- 吵 -- 练习 -- 对手 -- macht -- 吃的 -- ▁jewish -- 你不会 -- 我们想 -- 咬 -- ▁newly -- 针对 -- ▁sets -- dron -- ▁signor -- ▁بۆ -- ▁Seele -- 葬 -- ▁других -- ▁robin -- 大谷 -- سته -- ▁certainty -- ciò -- க்கப்பட்ட -- ▁casi -- 符合 -- вялі -- 男が -- みんなで -- ミス -- ▁vera -- ▁periods -- ▁farmers -- ▁aya -- ല -- ූ -- ▁happily -- 新型コロナ -- ▁Pod -- eqq -- なか -- ▁promptly -- 坏了 -- ĝe -- もともと -- ▁waist -- るため -- 矛盾 -- ▁verlieren -- ▁THIS -- 重要な -- ▁Esto -- руш -- ▁Marc -- 声が -- ▁хүн -- 用来 -- 喊道 -- 主动 -- ▁před -- ▁yol -- ተ -- ▁irregular -- ▁Turn -- shop -- ▁önce -- ▁displayed -- ▁acquire -- 規 -- ▁ascertain -- ▁tenderness -- neuf -- ▁Richter -- ▁можете -- rob -- ケース -- 比我 -- еры -- 入れる -- ▁dyn -- heure -- ▁entscheiden -- ▁practices -- 烦 -- タイミング -- 是很 -- ▁Ergebnis -- rill -- ▁invite -- 祈祷 -- ▁hoop -- ▁selection -- ▁Who -- ▁germans -- ▁providence -- ɣa -- ску -- сом -- 机器人 -- ▁anim -- 上有 -- ▁denkt -- ▁judges -- avaient -- ▁simon -- 最高気温 -- гы -- 買 -- 鳴 -- ské -- 干净 -- ▁trembled -- ▁findet -- Lo -- ▁swallow -- ência -- ▁flutter -- ▁aqui -- 中学 -- ▁Wil -- liest -- の日 -- ▁그럼 -- 原谅 -- 掌握 -- craft -- ▁лично -- ▁emily -- ござ -- tral -- brei -- もんね -- ▁convict -- ▁gesund -- ფ -- ▁sebagai -- ▁dividend -- ▁flows -- ▁lively -- 扭 -- 事実 -- nate -- ていきます -- ▁entreat -- 送り -- ደ -- ို -- ▁january -- ▁entdeckt -- ▁kent -- 的过程 -- ▁compte -- eter -- ына -- ▁Feind -- ▁magistrate -- 世界中 -- PL -- ▁হয় -- ▁detailed -- šu -- omi -- ํา -- ▁welke -- ▁nouvelle -- ▁jerk -- 缺乏 -- がん -- ▁считаю -- ▁lace -- 又是 -- ほかの -- 朋友们 -- ▁advocate -- ▁hı -- UP -- း -- だろ -- ▁tête -- ▁purse -- ▁باشد -- 会被 -- فه -- 召 -- ▁Gewalt -- ▁corridor -- ères -- ljen -- ивать -- рма -- eus -- ▁forming -- がいる -- ▁fein -- ▁Grundlage -- ▁pove -- ffa -- ▁stare -- 관 -- ▁почти -- лова -- 指摘 -- ▁yeux -- ▁decorat -- 今日も -- داری -- mila -- 庆 -- 一代 -- mutig -- ▁followers -- ▁PRO -- lā -- oda -- ▁vanity -- ▁frozen -- を調べ -- 师父 -- ▁ليس -- ▁иван -- ▁restore -- ▁fum -- ▁zeigte -- TRA -- 批评 -- ▁knot -- 孤 -- ną -- ▁penetrate -- ▁divorce -- 警告 -- ▁kleines -- andi -- ▁declined -- 蓝色 -- práv -- ģi -- гын -- breng -- ▁bitterly -- 沿着 -- сим -- ▁drops -- ▁Good -- ▁bargain -- 楽しい -- 补充 -- ▁brute -- ▁Lebensmittel -- imwe -- magnet -- zorg -- ▁conform -- 俊 -- ▁Städte -- 智慧 -- ▁texas -- ▁trim -- 分开 -- алт -- ▁Christ -- bian -- ▁Tagen -- 规模 -- ຊ -- ことです -- ▁turk -- 하지 -- 边缘 -- mill -- ▁invented -- 这就是我 -- пуска -- ▁colours -- িয়া -- 当局 -- 相关的 -- などと -- 肌 -- பி -- ▁numéro -- 輪 -- êm -- ▁consist -- ivity -- 观点 -- 思った -- zas -- ▁aga -- ▁dense -- wür -- 混ぜ -- ワー -- னு -- іў -- ▁nawe -- 毎 -- მი -- އް -- ஓ -- ▁comprehend -- ש -- 陷入 -- ▁nowhere -- 会見 -- ▁brood -- 邦 -- یب -- 走向 -- 不少 -- ▁bate -- ики -- ▁undoubtedly -- ديد -- tekereza -- ランド -- рд -- льна -- rog -- liği -- ▁Sto -- igita -- ▁underlying -- EX -- 频道 -- ▁breite -- が起き -- Ç -- 我一 -- 扇 -- 财富 -- ▁Reaktion -- ▁dramatic -- きています -- ▁navy -- ▁dave -- 赢 -- ං -- Au -- fällt -- 没人 -- ▁allí -- schule -- ▁notwendig -- ▁Änderung -- 一辈子 -- 随便 -- 有两个 -- оны -- ▁salva -- ▁amused -- ▁diverse -- ▁Religion -- ▁vigil -- ▁trials -- ▁islam -- 那就 -- 的父亲 -- acle -- ▁кре -- ▁simplicity -- 寻求 -- houd -- ▁positively -- ▁baz -- ggy -- を得 -- 知って -- ▁spy -- 拔 -- 措施 -- ▁clutch -- ▁které -- いただく -- ▁terme -- 老爷 -- に行って -- cze -- ▁decidi -- 立つ -- を加え -- ▁blaze -- ▁soit -- ▁tumble -- 指導 -- ニング -- ▁친구 -- zeichen -- ▁deja -- 評価 -- ▁milli -- ▁Ober -- ▁centro -- дог -- 自从 -- ovat -- 尊 -- ▁birthday -- シーン -- ▁consisted -- ▁들어 -- 委員会 -- ▁которое -- ▁fanny -- ▁взял -- ggs -- ▁mob -- と呼ばれる -- anzi -- ▁Schuld -- アイ -- ▁advertising -- ▁identified -- ▁relate -- ▁sofa -- 愚蠢 -- ▁intervals -- ▁wept -- Or -- なんですよね -- 投稿 -- ▁Kommission -- ▁mouse -- ▁caesar -- ▁prayed -- pell -- べき -- 裁判 -- 漂 -- 罚 -- 如果您 -- 事態 -- iam -- ▁Mos -- ▁». -- 納 -- ▁correspond -- ▁юр -- ▁weer -- ▁Cro -- 两位 -- zieh -- action -- 飲み -- すこと -- ▁Chicago -- рал -- kubwa -- крыл -- ▁aspects -- ▁measured -- ▁zéro -- ▁які -- கால -- ▁limp -- 到现在 -- ▁construct -- ▁sozialen -- 警方 -- ▁chính -- conte -- メニュー -- ებ -- ▁reside -- 汇 -- ▁advancing -- ತ -- ▁colony -- ▁requirements -- ým -- ▁jolly -- ▁Wald -- ▁bessere -- 電気 -- களுக்கு -- อง -- 士兵 -- 繰り返し -- ▁crois -- ▁gaat -- ▁feu -- ▁warrant -- plat -- estima -- ▁renew -- 魂 -- ▁хө -- 目標 -- ▁baa -- ▁flames -- 今朝 -- 统治 -- ினார் -- ▁تت -- baba -- ほしい -- 罗马 -- ▁stolz -- ▁Meer -- ▁luxury -- ▁circuit -- ▁Ini -- gora -- 딱 -- ▁Risiko -- そんなこと -- yez -- 調整 -- guin -- 飛 -- だという -- ▁regularly -- 複 -- 脾气 -- ▁Henry -- schaffen -- 結局 -- 听听 -- 相似 -- 味道 -- ▁pelo -- 不说 -- ız -- ジャンプ -- 実現 -- 漫画 -- 野さん -- ▁sample -- nomen -- ▁엄청 -- ▁bedeuten -- ▁wach -- 标志 -- どうも -- 月份 -- لات -- んですけども -- ▁grau -- すべて -- ▁vertical -- ▁Führung -- 董事会 -- 窗户 -- 稍微 -- ▁lantern -- vuit -- メダル -- ather -- ことができる -- ▁ratio -- 르 -- compli -- linda -- なくても -- kumi -- нен -- ▁panic -- дор -- шча -- 使用的 -- 少ない -- リード -- ▁сум -- サイ -- ▁gusta -- ▁urge -- bruch -- ▁быстро -- ERS -- 消费 -- 迹 -- ▁Up -- லாம் -- ▁celui -- lep -- 建设 -- ▁picking -- gih -- 互动 -- теп -- Ы -- ▁maka -- ▁خواهم -- の間 -- histoire -- ビル -- ▁partir -- ▁Standard -- տ -- ▁Gefahr -- ▁власть -- ▁extension -- ▁sais -- 他们可以 -- feuer -- ▁instruction -- ▁employer -- ▁essence -- が高い -- ▁hoog -- 烤 -- ▁Ад -- ▁понимаете -- 増加 -- ▁honestly -- ▁Last -- ▁eerste -- 共和党 -- ▁erwartet -- ▁sphere -- はその -- いますが -- тели -- bonye -- mbwa -- 高的 -- ින් -- ▁convince -- τ -- 我们能 -- ▁schlug -- ▁niece -- ▁quien -- ▁frog -- гаар -- ▁pře -- сня -- 最後 -- ▁daniel -- iker -- ごろ -- ehrt -- ▁кабинет -- ▁sleeve -- جميع -- Ja -- ගේ -- ▁flourish -- ▁sara -- ▁potentially -- ▁swing -- 特征 -- ▁bisher -- を獲得 -- ということが -- migrant -- рг -- 勉強 -- 都很 -- خص -- ▁dashed -- ▁blows -- ▁grupo -- drin -- ▁bump -- 純 -- ▁agents -- ▁luego -- ▁động -- ரோ -- ▁pension -- afrika -- 全面 -- ▁проект -- seven -- ▁mexican -- polo -- まい -- 回应 -- 凶 -- ▁Cur -- たく -- 就不会 -- ▁Mitglieder -- ▁highway -- ɛa -- ああ -- 你给我 -- ▁secrets -- 側の -- カード -- ▁theater -- 妇女 -- ▁Indian -- पा -- なと思って -- なくなる -- umba -- ▁destiny -- dama -- ▁scream -- oce -- IP -- ▁чалавек -- っていました -- führer -- utilitza -- ▁incredibly -- 盐 -- ▁dropping -- 非洲 -- ▁Lang -- ▁neglected -- 大卫 -- ▁Diskussion -- ▁soixante -- posició -- 过去了 -- ▁factory -- 固定 -- ▁susan -- шә -- 度过 -- 是如此 -- empresa -- ▁politischen -- ▁Kann -- いき -- ▁Gö -- ▁mère -- çek -- 第四 -- eira -- 懸念 -- 可怜的 -- ▁весь -- 他把 -- ukan -- 現地 -- にいる -- stecken -- ▁muß -- ▁Bil -- нач -- ▁ebenfalls -- 帮忙 -- ▁kru -- ▁Anzahl -- ▁groan -- ▁tv -- ▁frontier -- 将是 -- ▁intens -- 側に -- ▁Pot -- ▁успе -- ▁интересно -- ▁deiner -- ▁beth -- ▁passe -- ▁pensar -- ▁красно -- tada -- 收听 -- osten -- ▁uncon -- そこから -- 风格 -- 叫我 -- ▁Mai -- ▁raison -- ▁menschlichen -- ▁ventured -- ▁Even -- ▁celle -- ვე -- さら -- ▁uncertainties -- ▁dependent -- ▁organized -- ▁moves -- ▁ross -- ▁folded -- ダメ -- ▁cô -- 实在 -- বার -- ாய் -- 命运 -- ▁prosperity -- ▁discern -- 署 -- のではないか -- 聞 -- 他妈 -- ▁occasional -- ▁wherein -- getragen -- ▁ihe -- ▁estan -- ▁uncomfortable -- ▁nett -- jj -- ですかね -- ً -- ▁cannon -- ▁deploy -- philosoph -- ▁install -- 捨て -- ▁plusieurs -- 他已经 -- ▁rond -- ▁وقت -- ▁dacă -- ▁Ibi -- ▁Berlin -- Ş -- વ -- 緑 -- ▁primitive -- conf -- 会長 -- mpli -- を入れて -- 히 -- ▁commence -- rane -- ▁nivel -- ▁четыреста -- ▁angesehen -- ▁segments -- ▁idee -- ▁beschäftigt -- 驾驶 -- ▁Brazil -- まさか -- ▁ett -- 去世 -- mula -- ▁Mut -- رک -- री -- ▁Abantu -- ▁revolt -- 沟通 -- скую -- その時 -- fond -- ▁байх -- artagnan -- すばらしい -- ▁owners -- ▁Ĉu -- 专门 -- ▁doth -- ▁harbor -- ▁хэл -- ация -- ēr -- ▁كما -- ▁gang -- 钢 -- 打了 -- ▁quella -- ▁газ -- ▁erect -- енә -- lja -- を確認 -- ▁acknowledged -- ඒ -- ▁گرفت -- ▁Spaß -- 他被 -- ▁presume -- enten -- 半分 -- щу -- 廊 -- 横浜 -- orienta -- 篇 -- лон -- bett -- 上次 -- ▁Як -- ▁faded -- 瓜 -- ▁dien -- ▁ceiling -- までは -- 日本代表 -- рк -- 泣 -- ެއް -- ▁nouveau -- ▁deals -- ▁lawn -- ▁gebruik -- 窓 -- ▁colon -- 保護 -- 이야 -- ▁renewed -- قب -- 봤 -- ție -- wedd -- ▁کردم -- ihen -- ▁Ва -- ▁dedicated -- ▁repose -- 前から -- PAR -- 誰も -- ▁exhibit -- メン -- stunde -- takse -- だったんです -- чик -- ▁camel -- 智能 -- بخ -- ▁idiot -- yum -- ием -- 午 -- 襲 -- ▁Florida -- ▁christianity -- ▁multaj -- igno -- ▁sandy -- ▁eby -- 交代 -- Univers -- ▁flour -- ▁deaf -- 怎么回事 -- ▁Así -- 拆 -- 卓 -- ▁восемнадцать -- ▁Freiheit -- 乎 -- 一刻 -- ▁Sommer -- веч -- 然后你 -- ▁subsequent -- 冲突 -- 大声 -- uloj -- ▁Jahres -- ▁recognised -- ▁كنت -- ▁categories -- 詳しい -- ັນ -- 电台 -- рис -- ▁afite -- ▁summon -- شته -- 净 -- 芝 -- 还得 -- طب -- 两天 -- tuur -- ▁conquest -- ▁владимир -- ங்கள -- ▁attacks -- ayi -- حة -- 分かりました -- ▁goat -- мал -- fata -- ɛe -- ▁определ -- ň -- ▁emergency -- ▁adventures -- ▁вось -- ▁Element -- 纹 -- 在这种情况下 -- plu -- 很明显 -- ▁Staats -- ▁divert -- bic -- ▁Zahlen -- ▁aujourd -- 縮 -- ▁Themen -- 代の -- ▁obeyed -- ▁thankful -- ▁users -- ▁institute -- gă -- кос -- ывать -- 一口 -- ▁marvel -- ▁melt -- ワクチン接種 -- ▁trebuie -- 前进 -- ไป -- ▁preparations -- ▁steve -- слуш -- ▁perish -- ▁victoria -- ▁suck -- 俺は -- 基金 -- nier -- 是从 -- ▁governments -- prop -- ▁questioned -- 学者 -- ▁recollect -- ▁diu -- ▁depending -- ▁bass -- ▁whale -- bourg -- ▁Dun -- ということですね -- 在我们的 -- ▁visitar -- ▁bars -- нні -- кө -- ▁Gründe -- уме -- いただきました -- ▁counted -- 平静 -- 杆 -- 演出 -- ▁rigid -- ▁mixture -- が必要です -- ▁moss -- лев -- 丰 -- 운 -- ▁servir -- 唯一的 -- لە -- اي -- ▁representation -- ▁vivo -- ▁nosotros -- 講 -- 上学 -- ▁стала -- зан -- ским -- ▁crush -- ▁Sorgen -- ް -- ▁managing -- ▁عم -- hafte -- kud -- osos -- ▁publish -- ▁ministers -- ▁Ну -- шен -- ▁goals -- ▁advised -- rani -- ▁geven -- 工程师 -- ▁twist -- ▁Vergangenheit -- rischen -- чна -- провод -- ▁плат -- ▁größer -- ▁Klein -- ▁losses -- ▁krank -- قدم -- ▁user -- ▁Rad -- fter -- 中でも -- 좋 -- ▁illustrate -- cule -- 総理 -- ▁doit -- fremd -- ▁Begriff -- acre -- ▁Zusammen -- ▁неза -- 郭 -- ብ -- 書き -- 给你们 -- arı -- fact -- ▁shoe -- シーズン -- 掛け -- කා -- ▁принима -- ▁stran -- ▁sultan -- Bu -- проч -- 首相 -- ▁বল -- 概 -- ங்கு -- 危機 -- 出于 -- ί -- ▁rely -- 南方 -- ष -- tö -- 我还是 -- 请你 -- ▁amerikanischen -- ▁என்ற -- ▁variation -- ҙы -- ▁muse -- ▁ئۆ -- とり -- ▁teatre -- 我确实 -- ▁visiting -- みました -- ▁ĝin -- 聖 -- ୍ -- 行為 -- ▁bisa -- ▁Ме -- どうしても -- ಸ -- トロ -- ▁investing -- суд -- ▁дня -- ▁jerry -- ▁ranks -- 購入 -- ▁музык -- ▁computers -- reka -- ▁ebenso -- ▁dried -- valo -- なくなった -- bund -- ಲ -- ▁семнадцать -- مز -- ▁сделал -- ắn -- ▁Sym -- 强大的 -- 生徒 -- voor -- 准确 -- ▁sentiments -- 释放 -- ijwe -- 厳 -- mede -- zir -- 復 -- szcz -- ▁situated -- 做到这一点 -- ▁peep -- 大家好 -- mettre -- ký -- ▁права -- ▁Kri -- ▁знаешь -- と思いますね -- ▁cordial -- رى -- 進出 -- カラ -- ▁estamos -- 邮 -- ӑ -- ▁indignant -- мас -- ▁forbid -- сту -- 翔 -- 唱歌 -- 听众 -- 事を -- hwa -- 随时 -- 的车 -- ▁chatter -- 喷 -- 郊 -- 你来 -- ▁trova -- ▁summoned -- ▁limb -- ▁readers -- ▁NOT -- ured -- firma -- あなたの -- 牵 -- ▁shrink -- ▁gelesen -- 行った -- 那时候 -- ▁flies -- selt -- ▁дур -- vri -- 涉 -- ▁Rechts -- के -- 小子 -- ▁Angelegenheit -- 困惑 -- ativ -- ansah -- ▁filling -- fällig -- HA -- ▁rechts -- 玩儿 -- duction -- тек -- しかない -- උ -- ーター -- 報 -- 夫婦 -- ▁그랬 -- 感激 -- ▁Ты -- machen -- 0,000 -- ▁кому -- Ko -- zieht -- шей -- 两次 -- mail -- ▁famille -- 策略 -- ▁twilight -- ▁gig -- 知道你 -- ▁garments -- американ -- දි -- ▁drie -- 成熟 -- жит -- ▁jemandem -- дает -- ▁freundlich -- 訳 -- ▁induced -- ▁seul -- ▁twe -- 墨 -- ▁Ressourcen -- ▁diminish -- 食材 -- ▁sites -- atur -- ▁lên -- ▁roused -- uran -- ▁Hoch -- õi -- AM -- ކ -- ▁giới -- 芬 -- ▁tạo -- ▁ruins -- поч -- 降低 -- ▁impatient -- ▁beef -- 点儿 -- 兆 -- δ -- ყ -- ▁lösen -- 爽 -- ▁gossip -- bora -- มา -- ▁hamwe -- ▁проста -- nini -- ▁exit -- 変え -- とう -- 内の -- ▁Erinnerung -- しまいました -- ▁Barr -- 在哪儿 -- 这个地方 -- rava -- ốc -- ▁scout -- 巻 -- ▁dug -- 带来了 -- 食事 -- زان -- ▁sarah -- ▁varied -- ▁visto -- 引用 -- ▁lease -- 区の -- Wa -- ▁gains -- 解放 -- ▁biblioteca -- どうやって -- ▁Länder -- zil -- 我们如何 -- ▁Gruppen -- 诚 -- ছি -- ывает -- 当她 -- ▁mule -- 报纸 -- ась -- bang -- ▁miteinander -- ▁mwaka -- 权利 -- ルド -- ることができ -- ▁decades -- quisi -- олог -- ▁apprehension -- ▁pacific -- 的部分 -- 出席 -- проб -- ▁guessed -- ẽ -- rong -- ▁பிற -- 咯 -- 입 -- ▁instruct -- するという -- ▁joc -- torio -- ▁Organ -- ▁reeds -- ▁fee -- capa -- 心脏 -- 犯人 -- ▁gewinnen -- lice -- ▁shouting -- ▁harp -- ▁skills -- sima -- 東京の -- ガン -- 保留 -- ▁alarmed -- と言って -- ▁pluck -- မ -- ▁herauszufinden -- 滞 -- ▁erwarten -- ▁checked -- ▁satan -- رن -- ▁palabra -- 失望 -- ▁madre -- はまだ -- ukuri -- 体の -- ▁basin -- を入れ -- 金を -- フレ -- ▁threshold -- 値上げ -- 必要な -- іст -- ▁Boston -- ▁پای -- систем -- طة -- ▁вечер -- hita -- 事物 -- 里克 -- 最喜欢的 -- 物の -- ▁September -- ▁Behandlung -- ▁porch -- ▁Boot -- ▁realm -- いち -- present -- 看你 -- 後の -- ろうと -- сот -- ▁erinnere -- フォ -- ▁simul -- idio -- 其实是 -- くれて -- 其中一个 -- 险 -- лес -- wärts -- ▁توان -- ▁verbracht -- ▁Wood -- ▁bells -- 笑顔 -- 他们没有 -- ▁contributed -- antoj -- 不确定 -- 構 -- ▁austria -- ▁bekam -- մ -- 跌 -- 誘 -- vā -- рв -- üü -- ▁wealthy -- 得了 -- 真っ -- osta -- 曜 -- ಮ -- 予選 -- もらった -- kunft -- ▁pepper -- しょ -- 居民 -- āja -- ▁кем -- bring -- 让自己 -- いるのは -- きっかけ -- 演技 -- 到底是 -- ▁resulted -- 前線 -- ▁genetic -- тин -- 计算机 -- ▁плохо -- کاری -- 果たして -- ▁ora -- 斯坦 -- 待って -- ▁pretended -- ▁emphasis -- 仮 -- скай -- ▁flushed -- の部分 -- gefühl -- களின் -- ▁warriors -- ču -- ளை -- ▁Cra -- 一回 -- પ -- 冇 -- ▁headquarters -- ması -- जा -- 艺术家 -- ▁ninth -- ின -- ِي -- 我才 -- ▁төр -- ▁Stu -- ▁gearbeitet -- િ -- ▁believing -- そもそも -- ▁awoke -- ▁fist -- ▁pasa -- 商量 -- ▁oogen -- ▁herunter -- пав -- agira -- もので -- ▁parson -- ▁Feder -- crit -- ▁اله -- ▁francisco -- 他现在 -- annya -- おっ -- ▁такі -- ▁yid -- ▁voller -- さすが -- ▁max -- ▁International -- ▁plunged -- ▁downward -- ▁hierher -- ologische -- ▁claro -- ambu -- クション -- போ -- ▁starke -- ▁Albert -- ▁Parti -- 为此 -- زي -- 月から -- るために -- ▁constrain -- kosten -- そのあと -- جمع -- ▁saat -- ▁Sehen -- 的家庭 -- ▁richtige -- 西日本 -- 夕方 -- 仗 -- strat -- ▁Schlüssel -- ▁которую -- 弥 -- পা -- ஞ்ச -- ▁neighbor -- ▁jealousy -- ▁zelfs -- を探 -- ▁derzeit -- ▁история -- 覆盖 -- cem -- ест -- ▁basa -- 群体 -- ثر -- ▁confessed -- みよう -- 四年 -- letter -- ▁scor -- ▁Besuch -- bala -- ▁escort -- рост -- barkeit -- ▁lowest -- cchi -- ışı -- ▁THEY -- ▁стара -- イル -- 凝 -- 七十 -- 充满了 -- цый -- ▁jene -- яз -- ▁fils -- ▁wheels -- fér -- カン -- ▁observations -- istische -- 鼠 -- ▁diseases -- '99' -- ▁anfangen -- ▁lasted -- ▁uncertainty -- 实施 -- хар -- unternehmen -- hoff -- dığı -- лик -- ▁адзін -- ソース -- ▁furious -- assa -- ▁그렇 -- 眉 -- ▁Això -- ▁phenomena -- ▁Viņa -- ▁gravity -- ▁Sä -- 期望 -- 数は -- ception -- てくれる -- ▁სა -- tino -- 等你 -- 発言 -- ▁bestand -- 取った -- ▁Fue -- ▁ekonomi -- ▁Kollegen -- ▁Lü -- ▁Kap -- 历史上 -- 拿到 -- 洁 -- ວ່າ -- ▁lime -- ▁выход -- ildi -- ▁suburb -- ▁Mikro -- straße -- に入り -- ▁weten -- ▁trouve -- 실 -- rato -- 评估 -- ▁babies -- kirk -- ▁witnesses -- pfel -- ▁долго -- 国防 -- 了个 -- 카 -- ▁Umwelt -- ddu -- ▁تح -- ember -- 可以说 -- 发挥 -- ▁admired -- ▁лишь -- 簡単に -- ▁här -- まとめ -- ▁pav -- ▁lordship -- kül -- empre -- oul -- ▁hohen -- ▁entr -- ▁fancied -- ▁variable -- ▁сказала -- aidd -- hali -- わら -- ▁packed -- ▁jewels -- ▁Mond -- ▁LOS -- 翼 -- ▁calcul -- ▁carro -- ▁oldest -- あなたは -- 得意 -- ▁вдруг -- ▁jsou -- ▁Beth -- ▁swimming -- けん -- 制定 -- łu -- ▁Lake -- ▁sai -- 涨 -- 各国 -- 现象 -- 上下 -- масс -- ьте -- 牺牲 -- 滋 -- 垂 -- 樹 -- داخل -- ▁Chinese -- 弟弟 -- 成绩 -- からです -- sobald -- ņu -- 取って -- ▁finde -- 電力 -- ▁attraction -- PS -- ▁weep -- ▁dood -- noma -- 三百 -- ▁warmth -- ▁geschickt -- ້າ -- ▁maintenance -- ▁уверен -- キュ -- dauer -- 続けて -- ▁benutzt -- geschlagen -- ▁pobre -- ▁contented -- ▁bills -- ję -- lch -- のみ -- ▁schrecklich -- пут -- кән -- подоб -- 夏天 -- 抬 -- general -- ▁rocky -- abwe -- ▁liebt -- وری -- 耶 -- 钻 -- ▁unwilling -- したもの -- ▁thief -- 安慰 -- ▁чуть -- сөн -- 千葉県 -- 別に -- 教练 -- ôn -- ▁Nachricht -- 深い -- 赖 -- ▁environmental -- ▁tett -- мін -- ▁arbeitet -- bereich -- ▁herein -- బ -- ▁conquer -- ごはん -- ▁impacted -- gamba -- iris -- ர்கள் -- ставить -- くり -- ▁reporter -- が必要 -- empe -- 为自己 -- ▁harmony -- ▁velvet -- ▁çalış -- ▁awakened -- ▁moan -- をかけて -- なと思います -- طو -- ▁bekommt -- ▁Schlag -- cado -- 工場 -- ބ -- ▁Gefängnis -- ヌ -- ▁suicide -- チーズ -- チェック -- 适应 -- ▁April -- ▁promises -- ▁hire -- っこ -- ▁Quelle -- ▁underneath -- bek -- ▁быць -- ▁정도 -- 医師 -- comm -- illon -- ▁Mitglied -- ▁مهم -- するために -- ジョン -- することで -- ▁musician -- bola -- ▁Stern -- únic -- ங்கி -- ▁inflict -- 稍 -- '31' -- 거 -- ▁prac -- ▁historian -- ▁recalled -- ехал -- ▁anxiously -- ▁Gesetze -- ▁initiative -- ▁rings -- ▁viņš -- 更高 -- 石油 -- plex -- fusion -- ▁assert -- 你得 -- ▁Karte -- problem -- ҵ -- ▁Chan -- ▁anguish -- ▁plastic -- ือ -- woman -- ▁wounds -- 官员 -- 震惊 -- ▁wenige -- どうした -- ▁strategies -- ▁upright -- 車が -- 郡 -- ▁profund -- ▁fais -- ▁Beweise -- 构 -- 头上 -- '36' -- ▁ashes -- ▁Și -- 川の -- きっと -- ▁существ -- 黄金 -- three -- ▁cage -- 来吧 -- ▁конце -- ▁jacket -- 到来 -- oxid -- 通報 -- ▁punish -- 良好 -- ▁gewisse -- 知らない -- 伟大 -- しろ -- 的内容 -- нак -- ▁hue -- ▁unterstützt -- 旨 -- ڪ -- 嘅 -- ▁Jugend -- ▁Mari -- 亡くなった -- ▁спросил -- 分かった -- объя -- ▁trading -- ▁принят -- 举行 -- ▁refresh -- 你看看 -- lise -- 加速 -- ▁Sinne -- ▁avail -- ▁получа -- ▁那我们 -- ▁egy -- ▁şekilde -- ▁dialogue -- ▁මේ -- ▁productivity -- 浪费 -- エリア -- ▁Iran -- щего -- ▁situas -- ▁tread -- bê -- анд -- 炉 -- ▁Kommentar -- ▁gallery -- 的女儿 -- евич -- ▁Kern -- 大幅 -- оо -- rrington -- ருக்கு -- デン -- 聚集 -- ▁libera -- ▁struggled -- теля -- 棋 -- seb -- ねぇ -- ▁nang -- ▁lagi -- 伪 -- வில்லை -- 在这些 -- pere -- lijke -- үүн -- ▁corruption -- ▁lado -- 二零 -- ставил -- Á -- 遍 -- オミクロン株 -- ▁teh -- ▁induce -- ▁policies -- っぱ -- طول -- ▁cần -- ▁tests -- 实践 -- ▁conceived -- messen -- ▁арт -- ▁groote -- ች -- ▁legte -- arak -- ▁año -- ▁yonder -- ▁няма -- ▁symptoms -- чал -- やか -- ▁prepara -- 授 -- 为我 -- mbang -- ▁آخر -- ▁другие -- ポン -- ▁enfants -- 强调 -- はこちら -- 偶 -- るから -- liver -- ▁tue -- なのに -- 我需要 -- biologi -- 聞く -- 物語 -- неш -- ▁konuş -- ▁erschien -- ▁lifting -- ▁vile -- gali -- aktion -- ▁tracks -- 出る -- 他想 -- itel -- ▁prendre -- 昏 -- ▁transactions -- らし -- ▁colli -- zw -- 有问题 -- yla -- nywa -- 怖い -- тка -- က -- ▁Hälfte -- 解説 -- EC -- ▁kämpfen -- kay -- eria -- уют -- 肚子 -- LES -- ▁livre -- 岸田総理 -- į -- ▁moeder -- ▁Gla -- sätze -- 天然 -- lista -- ▁Tiere -- ▁answering -- ▁Fal -- ▁shakespeare -- ▁mới -- ▁Mehr -- يح -- 相比 -- anstalt -- onym -- dez -- mac -- ▁Code -- ▁terribly -- と発表しました -- ▁turkey -- 冷静 -- ▁Cel -- mile -- 当時の -- 为我们 -- kole -- 强大 -- ấ -- 儿啊 -- ▁ладно -- IND -- ▁Objekt -- ▁possibilities -- ▁excel -- ▁bronze -- ▁drain -- lī -- ▁третья -- 培训 -- ▁froh -- 就没 -- ▁Schulen -- ▁enlighten -- ▁grieve -- 小时候 -- ladi -- ▁gezeigt -- schläge -- road -- 했어 -- 带走 -- 在外面 -- 很好的 -- ijo -- 漂亮的 -- 姨 -- 置いて -- ▁dunkle -- ▁captive -- あん -- ▁minha -- 想像 -- 間違い -- 楚 -- landa -- ỏ -- ▁cove -- ▁democrat -- 地图 -- ▁pencil -- 在那个 -- 董 -- ▁equivalent -- ▁менән -- 某人 -- 贷款 -- année -- self -- ▁throng -- 差し -- ▁مخ -- ▁betrayed -- ずつ -- 専 -- ▁february -- '&' -- ▁footsteps -- 杰克 -- なります -- 空港 -- ▁Ny -- ▁assassin -- 小学 -- ▁exile -- てくる -- ▁gehören -- ▁comedy -- ▁мои -- ehe -- ▁Lord -- ▁cứ -- ▁linen -- ▁Phil -- ▁Max -- ▁zufällig -- 我们看到 -- ▁Vall -- 였 -- 高级 -- ▁собой -- নের -- 載 -- ▁schätze -- ▁segon -- gericht -- gä -- ▁viene -- médi -- ▁què -- リスト -- shuri -- 主义者 -- 靴 -- ▁nếu -- ▁proven -- ▁Schutz -- ▁tunnel -- ▁classic -- щен -- なさい -- wain -- ▁cooper -- ственно -- ▁waved -- 裤 -- ▁White -- だんだん -- ები -- 做过 -- ▁наших -- finanz -- ▁wretch -- '2020' -- valent -- 符 -- ▁demonstrate -- 娶 -- ▁hilft -- をつけて -- gust -- ▁jours -- ▁programa -- شى -- hra -- 陣 -- 电子邮件 -- 組織 -- 居然 -- вит -- ▁substitute -- ▁моя -- griffen -- トラック -- ahan -- ▁decade -- ▁высок -- ▁hình -- ▁landlord -- 写作 -- ▁agua -- ▁reject -- ▁проблема -- ▁какое -- クト -- 国外 -- ▁Ehre -- を進め -- ড -- kulu -- してきました -- drücke -- もあった -- ▁buiten -- ▁бүр -- ▁Finger -- ▁precede -- ▁indifference -- ▁innocence -- 堪 -- ▁Kurs -- ▁beggar -- 的精神 -- ▁mọ -- 狠 -- ٹ -- 勇敢 -- ▁plen -- ▁jimmy -- 杀人 -- рыв -- UND -- ▁pueden -- мах -- ▁motionless -- ▁одного -- ▁schönen -- фр -- 杀死 -- ▁messages -- ▁vrij -- ▁Höhe -- ▁gefragt -- ▁fac -- ▁stages -- ▁curiously -- siniz -- yamba -- 出发 -- ▁কর -- 纪念 -- ▁assez -- 審 -- ▁aucun -- してくれる -- 下げ -- 找不到 -- ▁pledge -- cina -- 臨 -- ілі -- 」「 -- 最后一 -- 揭 -- ▁déjà -- ▁tierra -- ▁süß -- ▁nuevo -- ▁Alb -- 病気 -- ature -- espera -- 其他的 -- 才会 -- すべき -- 怨 -- ূ -- デザイン -- 联盟 -- ▁kau -- ▁decree -- ▁funciona -- ▁cao -- 发明 -- ▁array -- 打席 -- ▁schä -- ホーム -- ▁quoi -- ▁tengo -- ▁proceeding -- ▁flowing -- 奸 -- 海上 -- ▁hideous -- тора -- әк -- 皆 -- ▁Today -- たった -- ▁blown -- ▁Gui -- 拉斯 -- 氏は -- ивает -- жан -- ປ -- ି -- コーナー -- chron -- ▁heartily -- ▁admirable -- 实验室 -- cky -- ▁Beruf -- 泪 -- ੀ -- ▁nicholas -- 募 -- 回忆 -- 担任 -- の動き -- ▁invade -- 导演 -- ▁разговор -- 前回 -- ▁planted -- ách -- ▁мала -- ▁tug -- dele -- バッター -- ▁crimson -- ▁amazement -- ▁inclination -- ▁Schwarz -- corn -- 几个月 -- 이랑 -- ▁Waffen -- guha -- urb -- ▁dangers -- хож -- 华盛顿 -- かというと -- ▁overhead -- kasi -- ką -- ▁vater -- ▁брат -- 更有 -- 思いました -- 就像我 -- komeza -- ▁carl -- bó -- 在于 -- 好看 -- ▁opponent -- 挺好的 -- 著名的 -- imbu -- の味 -- ▁saber -- 徳 -- лах -- 的发展 -- ▁exceptional -- ▁Winter -- 었어 -- ▁Jane -- মান -- 位の -- 爆炸 -- さが -- ▁subscribe -- 負担 -- ▁Ces -- informa -- ▁translation -- ▁каза -- すと -- ▁Després -- ▁ermöglicht -- 公子 -- dini -- deki -- バック -- フォー -- ▁openly -- ▁dentro -- پل -- 明け -- 屈 -- беж -- ▁praktisch -- ▁Charakter -- ▁earliest -- ▁customs -- 为什么不 -- ▁Nya -- ▁luna -- ▁oncle -- umbi -- ▁feathers -- ▁frightful -- ▁barbara -- ▁Argument -- 対戦 -- ▁Einfluss -- ▁arbeitete -- fizi -- ▁drivers -- sieg -- дов -- ▁videos -- 的确 -- 取决于 -- ▁niba -- sail -- ▁recording -- tafel -- 西部 -- kond -- шым -- ▁retro -- read -- 芳 -- ▁россия -- 准备好 -- 战略 -- 推动 -- ▁publication -- まん -- ▁beobachtet -- ▁heilige -- PER -- енко -- ▁sailing -- 法庭 -- 始まった -- ▁schwarzen -- ▁pode -- 突き -- ▁gotta -- step -- ▁thoughtful -- ▁interval -- 보다 -- 试着 -- ▁triumphant -- чыць -- ▁менее -- ▁Però -- luft -- ▁dünya -- роў -- hängen -- ランキング -- ▁причин -- ພ -- 応 -- imiz -- るんですよ -- 替え -- gyn -- ▁dorthin -- ▁هنا -- ffy -- казать -- ▁From -- 客人 -- 著 -- vian -- ையும் -- ▁exclude -- 温柔 -- zugeben -- タイプ -- らが -- どういうこと -- ▁englishman -- lessness -- heer -- 若者 -- 入れて -- ▁செய்ய -- つつ -- 这个国家 -- ▁européenne -- 警視庁 -- ▁separation -- filter -- terie -- obi -- 箭 -- 작 -- ▁yourselves -- つもり -- 亿美元 -- ▁Baum -- trouw -- ద -- mächtig -- ঠ -- brand -- ▁threatening -- ▁gutes -- ▁하나 -- насці -- ▁corners -- ▁Jungen -- 提前 -- त्र -- ▁Allgemeinen -- 捜索 -- ற் -- нию -- ▁Come -- grand -- することが -- 人群 -- 尘 -- ▁attribute -- chop -- わせ -- ▁persist -- かって -- ▁satisfactory -- ▁завтра -- 拳 -- ▁encouraging -- 선 -- 聞こえ -- ▁tại -- 等我 -- ▁같이 -- 分から -- ▁giá -- willig -- itari -- ▁inquire -- ▁ultimate -- ▁gush -- 覚えて -- ▁Earth -- 千万 -- ▁Opfer -- ▁distributed -- ையில் -- ▁envy -- 盯着 -- дт -- 有着 -- nisse -- ▁ranch -- 天空 -- جن -- ত্র -- 到时候 -- تها -- 师傅 -- ▁Fred -- ▁ogni -- 본 -- ▁muchos -- ESS -- の上に -- wish -- 真实的 -- ▁durchgeführt -- gero -- 다가 -- lwa -- ▁Sonnen -- တ -- ▁Què -- haupt -- くれた -- ланд -- 呐 -- 宏 -- 조 -- ▁inspector -- ▁девятнадцать -- ▁maintenant -- ものは -- ▁enjoying -- ბ -- пала -- 依赖 -- iek -- ▁trata -- 疫情 -- ▁disciples -- 心中 -- 仇 -- 맞 -- ▁бизнес -- 盆 -- ޭ -- 你再 -- やん -- ▁altered -- ▁стоит -- യ -- ▁raven -- の前に -- حم -- ▁CAN -- aktiv -- ▁academic -- ▁цяпер -- spiegel -- awo -- عتقد -- ▁artistic -- ▁hiện -- ▁framework -- rva -- ▁Wohn -- いなかった -- 追加 -- 계 -- ▁Elizabeth -- 图书馆 -- ▁augment -- 道歉 -- rump -- sistent -- 思维 -- ▁Other -- 自分たち -- lingen -- ▁Kerl -- lje -- strahl -- ▁Einer -- ▁imit -- ▁plains -- ▁reuni -- というのも -- бач -- ▁hostile -- どおり -- пля -- maso -- 瞎 -- ▁matthew -- 痴 -- 詳しく -- parent -- ▁пост -- めっちゃ -- лять -- ница -- 再生 -- ▁mould -- ▁unjust -- tuvo -- 근 -- ▁conven -- ▁Prä -- ▁Zeiten -- ▁slid -- ▁jahre -- nigh -- lif -- tius -- 教室 -- ▁особенно -- ▁robber -- ▁tenth -- セン -- ирует -- 耳朵 -- ront -- さない -- ▁göster -- lite -- ▁Sonne -- ▁willst -- ▁rattle -- 女性が -- ▁uneasy -- ▁trabaja -- ▁compound -- یز -- ▁nationale -- aña -- logi -- せい -- ▁secretly -- 躺在 -- のことを -- ର -- ▁выгляд -- ▁alliance -- 的看法 -- ▁whither -- enfant -- ▁trenta -- なこと -- ▁vierzig -- ▁deliberately -- ▁narra -- فهم -- 头脑 -- ▁своего -- ▁greeks -- ▁persuade -- ▁然后呢 -- 降る -- ▁chaque -- গা -- ▁foster -- 白い -- ▁weißen -- ▁dicht -- ማ -- ▁excellence -- 屋さん -- kende -- サイド -- رز -- 年前に -- ần -- креп -- ▁Bö -- gesetz -- abba -- chau -- 奴隶 -- 剤 -- ▁tự -- முறை -- ▁dingen -- ப்பட்டது -- けば -- ▁Nó -- mura -- ▁degli -- ▁старо -- 存在的 -- мел -- ▁tragic -- үс -- ▁relatives -- ▁dopo -- 且 -- cott -- haga -- ▁victor -- ▁откуда -- 쪽 -- ▁möglicherweise -- фу -- ▁genoeg -- ショット -- ▁strongest -- ▁leisten -- ாத -- 高橋 -- 你你 -- 失敗 -- 厨房 -- ▁Regen -- 拍摄 -- ▁Dol -- が出る -- しまいます -- насць -- ▁strictly -- ▁purely -- ▁بم -- ▁firing -- 信心 -- 说的话 -- fahrt -- ゅう -- ▁fosse -- ography -- ▁aufgrund -- 叛 -- վ -- 娱乐 -- 贡献 -- といえば -- ドラ -- ▁affirm -- ▁sommes -- held -- وک -- ▁genom -- ▁amy -- ▁cathedral -- ▁Neben -- 这份 -- ໍ -- 六十 -- ▁Ari -- ën -- ▁wishing -- お話 -- reef -- ▁marketplace -- лэг -- töö -- ってきました -- ▁sper -- ▁sally -- 議会 -- inya -- ▁вопросы -- ▁Таму -- ▁karşı -- かつて -- ▁appro -- ▁wütend -- 资料 -- ▁morris -- ▁respective -- ▁아이 -- 不一定 -- wandel -- ▁mansion -- larında -- ▁Бу -- يز -- ▁Traum -- 能源 -- altro -- いただきたい -- ▁связан -- 有限 -- ▁recommendation -- 込め -- ▁Präsidenten -- ▁housing -- 記念 -- здоров -- 万美元 -- ▁motives -- දු -- ▁nachdenken -- 気に -- ▁hoy -- ▁계속 -- 皮肤 -- شو -- ▁Frieden -- 術 -- 哪些 -- 类似 -- ▁creep -- ▁conceive -- ▁sống -- ▁adjust -- ▁هە -- үүр -- ▁aroused -- おう -- ▁decay -- ▁australian -- кнул -- ▁Пер -- 受け入れ -- ▁снова -- 穆 -- ▁Karriere -- экономи -- 晴 -- ほうがいい -- 你说的 -- ▁ажил -- 農 -- ▁jew -- trans -- ▁blowing -- 殺害 -- ▁fantas -- 大学的 -- ▁naught -- ▁tenia -- ww -- ▁platforms -- ▁йо -- klop -- ▁بش -- 邻居 -- 知事 -- ▁vraiment -- ▁deinem -- ▁cob -- 我们俩 -- END -- 马克 -- 一些东西 -- ▁unmöglich -- tension -- 悠 -- mädchen -- beck -- êr -- ▁reverence -- lien -- ektiv -- ▁testament -- ▁Finanz -- ▁einzigen -- lasse -- ▁exhaust -- mong -- шая -- ▁nhận -- EAR -- ▁consul -- 听见 -- дат -- 做的是 -- schluss -- ▁Verfügung -- ▁Ren -- 的身份 -- 少爷 -- ▁shops -- papier -- ▁tempest -- 在过去的 -- 好事 -- ิน -- ▁convent -- 狱 -- ▁twentieth -- ▁flexibility -- ▁japanese -- 因为她 -- ▁nutri -- ▁personne -- ▁кара -- ▁Realität -- 完成了 -- ▁advise -- 洪 -- ▁그러면 -- ulen -- ▁pill -- ნა -- クラス -- ▁mga -- ▁declaration -- 如果说 -- 投手 -- 遇到了 -- 的时刻 -- ▁només -- 生まれた -- ▁questi -- ▁descent -- ▁kya -- 床上 -- 兽 -- utse -- meze -- рә -- ▁Flor -- 情报 -- ▁Dokument -- ▁organizations -- ▁significance -- 反映 -- asso -- ▁swarm -- ▁ваши -- ▁concrete -- 捉え -- 统计 -- тат -- ▁Gottes -- 翻译 -- 如果有 -- ▁footprint -- ▁scarlet -- CI -- ரே -- лап -- ▁wilson -- 莲 -- 피 -- 收拾 -- ▁begonnen -- ▁echter -- 進む -- visor -- ▁mineral -- wirken -- richtung -- うちに -- зон -- ▁posted -- 驱 -- ▁butler -- 无论是 -- ▁escrit -- EE -- 厅 -- 梯 -- 泊 -- ▁madness -- ▁violently -- ▁dispers -- 上げる -- ▁jeff -- anja -- ▁Ding -- 镜 -- ▁Oliv -- 燕 -- ▁ກະ -- цо -- 到这里 -- ▁şu -- ▁British -- 问他 -- umbu -- ▁fragments -- стью -- sett -- ▁regula -- 帰って -- thra -- ▁stove -- 寄り -- 平和 -- 苦し -- けが -- 深入 -- technologie -- ▁discussing -- ▁eenige -- рек -- ırı -- 冒险 -- 感覚 -- 歩いて -- mela -- ▁diverses -- 中国の -- ▁constructed -- ▁edition -- 全世界 -- ▁gefährlich -- ▁donner -- ▁comrades -- 态度 -- そうか -- ▁Fähigkeiten -- ▁Ball -- rata -- 我知道你 -- ▁لن -- lok -- ເ -- 奏 -- ütt -- 魏 -- 主義 -- ▁Ни -- hield -- キン -- ▁адна -- 克里斯 -- 的生命 -- ▁membres -- 払 -- 肝 -- ▁abraham -- ▁নাই -- ssystem -- خواه -- 经历了 -- ipun -- 不怕 -- ふう -- 弯 -- 泳 -- 赔 -- вшись -- づけ -- مب -- بدأ -- leit -- vollen -- を集め -- ▁poets -- ▁destined -- angka -- ▁sulla -- ▁imperfect -- ının -- 精彩 -- ▁encountered -- 充分 -- ssé -- graben -- ▁Sar -- exist -- ▁Gas -- лич -- ▁konzentrieren -- 髪 -- ▁mijne -- ▁boven -- 装置 -- শি -- 为他 -- 瞬间 -- ▁calculated -- ▁Actualment -- ▁bout -- 万一 -- 美国的 -- ▁increasingly -- ▁electricity -- ಯ -- فن -- chtige -- ▁Big -- ▁phenomenon -- ▁religiös -- 文明 -- おく -- ▁шаг -- 部长 -- ину -- ▁стать -- ▁corrupt -- ▁Sachen -- ▁lifetime -- ▁architect -- itse -- ▁electro -- 들이 -- 的其他 -- troph -- ▁cơ -- るんですけど -- ▁zusätzliche -- 说说 -- 一杯 -- ggle -- 私たちの -- คุณ -- ▁paradise -- لىق -- mpamvu -- त् -- fari -- ▁Amerikaner -- するよう -- ▁Straf -- 灾 -- зер -- ▁Wesentlichen -- しゃべ -- ▁busca -- yam -- ルール -- ▁Mini -- genera -- ać -- 说到 -- бол -- ఇ -- 茂 -- аецца -- ▁failing -- 来週 -- ৰা -- ▁urgent -- ▁Cer -- 色の -- ▁prospects -- にくい -- ▁ambassador -- тары -- ▁Botschaft -- なった -- گان -- ▁greeted -- ▁zullen -- რე -- енная -- ķ -- てた -- ▁кир -- 特别的 -- ▁назва -- ▁smallest -- 这里有 -- тура -- ▁tiger -- ishwa -- ▁travelled -- 浩 -- Ю -- 先輩 -- pte -- ▁muscles -- ▁igual -- ▁erg -- ▁Over -- ▁proceedings -- хүү -- 我又 -- ਸ -- 夹 -- 겠 -- 入院 -- ▁давно -- ▁aliaj -- 放心吧 -- ций -- зву -- 高齢者 -- lò -- 闘 -- зор -- 闷 -- 車の -- кру -- 死者 -- ▁metge -- pov -- 不相信 -- るんですね -- 的文章 -- лены -- ▁severely -- 纪 -- park -- に入る -- ▁cargo -- ▁Madame -- 伦敦 -- 血液 -- 協 -- ▁attach -- 注意力 -- дали -- 比例 -- 一套 -- ▁signifi -- undvierzig -- クイズ -- roche -- ▁granda -- antwoord -- drag -- 男性が -- نز -- 骄傲 -- 艘 -- ▁ancestors -- ▁garrison -- ▁ungefähr -- ▁nacional -- ▁Kongress -- みましょう -- ận -- どのように -- 僕も -- ▁slate -- ▁আর -- ▁dritte -- ▁Öffentlichkeit -- entes -- ▁Genau -- でしたね -- kuza -- ▁Ash -- 动力 -- ダンス -- EV -- 早い -- 위 -- クリーム -- ından -- ▁تلك -- これまでに -- 成为一个 -- ▁nime -- ▁harris -- ホントに -- ▁incremental -- ▁dismay -- ▁impressive -- ▁الناس -- 系列 -- ▁shopping -- وض -- unuz -- leta -- ▁އެ -- 全力 -- ▁viola -- KE -- 长得 -- ▁diversos -- dres -- дова -- 働き -- бле -- ▁legacy -- posto -- ▁повер -- داد -- 社交 -- 狙 -- avant -- ▁திரு -- ▁clair -- nais -- ありがとうございます -- лив -- 变得更 -- ▁woke -- 栄 -- लाई -- ▁besoin -- pool -- ▁wist -- ▁ancora -- sobanu -- 売り -- 两人 -- 类型 -- өрө -- ▁catching -- 很快就 -- инг -- طي -- なるほど -- ▁рассказыва -- 庫 -- ște -- デー -- nox -- 的房子 -- 福岡 -- ▁Center -- '32' -- ▁invested -- ▁platja -- ▁heroes -- ▁reporting -- 的第一个 -- 消费者 -- biro -- 透明 -- pois -- خدم -- ▁dahin -- 柏 -- ▁medal -- 緊急 -- ▁dominion -- ▁أم -- フリー -- def -- ▁sour -- 行われる -- mēr -- 梨 -- ஐ -- ▁tumult -- uva -- 停下来 -- roni -- ▁realmente -- ▁shaft -- ัน -- 有一点 -- muni -- ▁devour -- 有钱 -- に住む -- ▁deceived -- تك -- 劫 -- ▁بخش -- ▁sever -- ▁Angel -- ▁crushed -- 在线 -- illiard -- mash -- ることで -- ▁hẽe -- ▁glare -- ▁Können -- determin -- ▁traurig -- দু -- 觉得自己 -- ▁Alex -- ▁général -- bereit -- larda -- cry -- пры -- berries -- ▁compromise -- ▁Mur -- 这将是 -- ▁shells -- 赚钱 -- ▁holland -- 衛 -- ▁fram -- ▁machinery -- 培养 -- ▁Central -- aplica -- ▁eigenes -- 加油 -- 井さん -- 感受 -- ▁bonds -- ▁tommy -- いたのは -- 乾 -- 挡 -- ▁perfume -- 暂时 -- 摆脱 -- 勇气 -- giving -- ▁Krist -- வ் -- ▁toilet -- 随后 -- を終え -- gesprochen -- ارة -- ▁observer -- ▁dusk -- 作る -- ვა -- ▁manuscript -- ▁fascinating -- アー -- ▁einiger -- ▁Bio -- ▁offend -- きれい -- 有利 -- كس -- 従 -- 申 -- 给自己 -- ▁ҡу -- ابت -- 的经历 -- ▁può -- 護 -- вання -- ▁Journal -- ▁böse -- ▁자기 -- 読み -- ubuzima -- ▁Labor -- 宣言 -- ▁cruelty -- ▁verses -- なお -- obten -- 即将 -- 徹底 -- ▁troviĝas -- ▁তিনি -- ▁Früh -- 逮捕された -- ▁Gall -- 重要的是 -- ckel -- 飯 -- そうで -- ▁مختلف -- 울 -- treffen -- ティング -- 恐怕 -- ▁hesitation -- 手指 -- あんた -- ▁blend -- ▁petition -- を与え -- сць -- ▁greeting -- 这首歌 -- 是一名 -- ▁compa -- ▁också -- 損 -- ▁ribbon -- ▁скоро -- ünü -- 线索 -- るよ -- ▁johnny -- nage -- 桶 -- ▁Krebs -- ▁corporation -- ▁devas -- ▁provinces -- ▁troop -- ▁polític -- 视为 -- èl -- kera -- ▁lovers -- 长时间 -- 阻 -- ▁amafaranga -- ウイルス -- ▁Joseph -- ▁naval -- いるので -- ▁fees -- ▁trente -- 人気の -- '700' -- rott -- ▁dön -- ▁должна -- 尸体 -- рот -- 供应 -- бро -- ▁schneller -- ▁fili -- 金属 -- ▁sinking -- りたい -- ▁Tele -- ansi -- 你可以看到 -- 女生 -- 富士 -- かく -- ▁Mak -- ▁arrange -- 团体 -- ▁transportation -- ▁отдел -- ໃ -- 挙 -- marin -- ▁martyr -- нский -- ホール -- 差异 -- ▁язык -- ▁defeated -- ▁entertained -- лена -- ▁Anem -- ▁Spitze -- 으 -- ▁expanding -- ▁erster -- toire -- 人士 -- fragen -- ▁вещи -- ▁Angeles -- kuwa -- もらえ -- 一眼 -- ▁femmes -- நேர -- ▁twisted -- 提到的 -- 激动 -- において -- 成就 -- risch -- ▁pesa -- 的变化 -- ▁terrified -- 你为什么 -- ▁кил -- ального -- 我只 -- 続いては -- ▁Wohl -- ▁Kel -- ▁glowing -- 進め -- альная -- 大好き -- 孟 -- ▁Zweck -- ▁Ausbildung -- ついた -- ▁announce -- cela -- だけでなく -- ▁проблем -- ▁Ara -- ▁insects -- ▁cellar -- 始まる -- ▁Uganda -- وش -- 成功的 -- ▁wichtiger -- daj -- ▁Monaten -- 심 -- ▁fazla -- ▁placing -- ను -- ستر -- 最初に -- ▁reasoning -- laub -- 难过 -- ግ -- ▁четвёртый -- aggi -- ▁crest -- كان -- руб -- ото -- ▁militar -- ▁unabhängig -- トー -- ▁align -- ▁oui -- ▁loudly -- 見えます -- 籍 -- 青春 -- жар -- 一座 -- ซ -- 찮 -- pple -- ží -- ▁دارند -- ▁earthly -- чо -- esco -- ▁eldest -- つける -- мур -- ▁tarafından -- 串 -- قت -- ర్ -- 分配 -- тая -- ▁excessive -- 営業 -- kiwa -- ▁bloody -- ▁voz -- ▁опас -- いたします -- ▁tú -- නා -- 堵 -- ▁банк -- '75' -- ёл -- ▁encara -- angu -- isé -- ▁neighbours -- 拿走 -- 野球 -- cito -- 丘 -- ▁withdrew -- 做一些 -- ড় -- ▁Jun -- ▁stroll -- ありまして -- mien -- prost -- 不是一个 -- லே -- 終 -- ▁haunt -- ыць -- ▁Пры -- 磁 -- ▁Hintergrund -- ▁anstatt -- toren -- modul -- ▁drill -- ▁أنا -- ▁manier -- oč -- ▁Stre -- 的目的 -- mania -- 日本で -- ちゃって -- ถ -- 确实是 -- 我非常 -- ου -- слаб -- ▁поле -- したということです -- 過ごし -- vik -- ▁dagegen -- ▁zufrieden -- 外国人 -- 実施 -- ▁danced -- ▁explosion -- '.000' -- 糟糕的 -- 生きて -- ▁habitual -- していると -- ▁attending -- ▁charlie -- ▁justified -- ▁purchased -- acord -- 第五 -- ▁befand -- ▁confer -- 誉 -- 크 -- ▁nineteenth -- வாக -- 就是我们 -- どころ -- 好吃 -- 摘 -- ▁слово -- ▁Што -- ▁Fund -- ▁bending -- ▁Road -- 岳 -- લ -- ▁lowered -- 严重的 -- まえ -- ▁Glo -- もう一度 -- ▁نوع -- 站起来 -- 迈 -- ▁இரு -- အ -- 哀 -- ความ -- 提升 -- しております -- 年生 -- 保守 -- ▁Oni -- ▁entry -- 僕が -- ▁இட -- 你喜欢 -- ޮ -- 物理 -- いらっしゃる -- ▁أنها -- schafft -- 嫁给 -- 所谓 -- ậ -- ▁거지 -- ▁mach -- ļu -- menge -- 2% -- ▁twas -- Est -- ▁jonge -- ▁shocked -- ▁groupe -- 请求 -- フル -- ▁стране -- Rh -- の間に -- 高速 -- 有任何 -- kunde -- ▁interpretation -- ▁plato -- ION -- 脂 -- 回り -- ▁Аднак -- ▁attentive -- ▁blocks -- ▁punct -- 見ると -- 跟踪 -- ▁Beziehungen -- ▁fraud -- 被害者 -- 这个故事 -- вил -- 唉 -- ▁reckless -- ▁över -- ▁corpse -- ▁laat -- 不管是 -- 足球 -- ▁außerhalb -- prüf -- 脏 -- ▁considerably -- 阿尔 -- ▁Figur -- 融 -- нят -- ▁davant -- ผ -- ▁ຢູ່ -- ▁verändern -- ▁Werkzeug -- பட -- ▁Glas -- zī -- ические -- 有一次 -- ▁negli -- 遅 -- 对对对 -- ナイ -- kono -- ▁Sex -- ழ் -- ▁jongen -- ▁verstehe -- 一路 -- 公式 -- 之下 -- 玻璃 -- 贸易 -- ▁expanded -- ▁chains -- ▁colonies -- ▁Seit -- ▁mereka -- ▁villain -- 后果 -- 歇 -- デビュー -- ▁competitors -- ▁Oku -- 見つかった -- ▁решение -- hong -- onic -- сек -- ▁positioned -- 轻松 -- мыш -- வின் -- 把握 -- ▁schwach -- 的例子 -- iol -- 祥 -- ▁cuatro -- ▁engineers -- 马上就 -- ▁kell -- ▁بالا -- 向上 -- ەم -- とお -- 朵 -- йду -- ં -- ▁formidable -- 措置 -- ▁каким -- ▁большой -- யே -- valuation -- ▁Version -- ▁pow -- 婆 -- ▁Holz -- ր -- 稿 -- 一些事情 -- 辣 -- ආ -- ▁пятьсот -- cava -- ▁trumpet -- ▁größere -- ▁observing -- があるんです -- ▁lachen -- 不是吗 -- ▁People -- ▁থেকে -- ▁unterschiedlich -- ▁côté -- 看过 -- ▁cinco -- ▁rejected -- ▁Fest -- 制裁 -- 遅れ -- mişti -- ペン -- 居住 -- FIL -- хә -- ▁fuck -- atrice -- 恐らく -- 季節 -- ▁Umgebung -- ▁Dü -- ▁causing -- ▁blij -- 大夫 -- lege -- サイト -- 打电话给 -- ▁داشته -- gula -- ▁membre -- ▁psycho -- ▁mevrouw -- 膜 -- ▁nữa -- 辩论 -- گیری -- ▁pleasing -- ▁gasped -- ▁செய்த -- ්‍ර -- ▁seltsame -- nieuw -- گرد -- 资格 -- 廷 -- どこに -- ▁molly -- schel -- اشت -- 変わる -- buk -- 教师 -- үз -- 蔵 -- 燃料 -- ▁alexandr -- ▁Quer -- 乔治 -- 常见 -- ▁commissioner -- چە -- yaga -- 昭和 -- ないか -- volk -- ▁бир -- ▁ngày -- SCH -- 数が -- 災害 -- ▁komt -- konna -- ▁peng -- ▁drowned -- ŵ -- ▁Parliament -- ▁liquor -- corre -- のほうが -- Ra -- ▁barri -- ▁Entscheidungen -- ▁lily -- ▁allgemeine -- ▁carrier -- ▁iemand -- ▁triste -- شكل -- ▁screw -- けない -- ▁avoided -- ▁üç -- けた -- ▁заяв -- ▁bail -- PE -- ▁insect -- ▁germ -- ▁студ -- かける -- ▁regi -- ▁March -- ▁Erfahrungen -- ▁것도 -- 这个东西 -- 服装 -- ▁llega -- ▁kostenlos -- द् -- 出口 -- صح -- ▁niemals -- 杂志 -- ▁Edward -- ▁antaŭ -- ▁север -- 工厂 -- نان -- ▁negoci -- MS -- bah -- ▁Struktur -- igihugu -- ▁welfare -- 飲食店 -- OP -- 邪恶 -- 牧师 -- ▁العالم -- ัก -- ▁wrist -- jih -- öhn -- ▁Merc -- ▁höchst -- cula -- кія -- ▁Strom -- ලා -- 凤 -- ▁différent -- 沮丧 -- ੇ -- モデル -- ▁электр -- ▁원래 -- 英尺 -- ▁alongside -- ▁dishes -- 但我们 -- зм -- ▁deemed -- 这真的 -- hour -- 年度 -- たくさんの -- ▁regulatory -- ▁tenemos -- kurs -- 標 -- ▁ehemalige -- ▁tribunal -- 代理 -- ట్ -- bintu -- ▁Norm -- ற்ப -- ▁battery -- loos -- سان -- 掘 -- ▁misschien -- ▁Hab -- сә -- ▁мире -- ▁zweifel -- enca -- дель -- 物种 -- 挨 -- ▁LIKE -- ▁провер -- ▁harbour -- 警察官 -- preis -- ことが分かりました -- ▁gladly -- ▁viu -- 笑话 -- 누 -- ▁interna -- 难以 -- んじゃないですか -- aggio -- ▁normally -- ならない -- ▁gesti -- ▁poems -- ▁anos -- 呼び -- ▁Wy -- ▁Tio -- ancing -- quant -- できるよう -- 場面 -- ▁foam -- 状態で -- ▁recess -- ▁нормально -- ▁brisk -- ▁havis -- ▁comparatively -- ▁yapı -- 打破 -- ijas -- ո -- ▁compensation -- ▁assigned -- 疑い -- ▁twitter -- ▁hither -- ▁zouden -- ▁elector -- ▁exploit -- ▁نشان -- ходят -- ▁tornar -- 劇 -- ▁yielded -- овал -- ▁Motor -- 강 -- ▁Museum -- ▁več -- 有意义 -- ходить -- ▁sanct -- ▁fluid -- ваецца -- ▁menjadi -- 这些事情 -- ıldı -- 会社の -- ющих -- るんですか -- ▁sustained -- ▁confine -- 几次 -- ĝo -- お天気 -- ৰি -- 艰难 -- ▁Johnson -- ▁honourable -- وف -- lili -- 客气 -- 的父母 -- ▁দেখ -- ▁coral -- 不动 -- ▁yön -- escola -- 1% -- ▁якія -- 自ら -- ▁devant -- ▁hacia -- ライト -- yel -- ▁கட -- appa -- terra -- āju -- ▁счита -- ruff -- ▁encuentra -- ▁sinner -- ▁oriental -- 大小 -- iq -- いるのが -- мак -- jährige -- ▁بودند -- 導 -- ▁breathed -- 抱歉 -- ▁Jahrzehnt -- TEN -- 各地で -- ▁shallow -- pata -- ▁abode -- 最佳 -- леч -- VO -- avais -- 面包 -- 飾 -- 広島 -- 鈴木 -- 还可以 -- ▁leise -- йм -- iện -- ында -- ▁swamp -- 筹 -- ក -- 虐待 -- 粉丝 -- фо -- ▁hommes -- '46' -- ▁olive -- MP -- Italia -- ▁feeding -- 歌手 -- 瞒 -- ▁maintaining -- oare -- wohl -- 的母亲 -- ▁дерев -- گل -- 急に -- народ -- 続ける -- شون -- ▁amazon -- ▁엄마 -- ▁teori -- ▁Estas -- 自体 -- ენ -- ▁Nova -- ▁heroic -- ▁thorough -- යක් -- 人たちが -- 一起去 -- ▁retained -- ▁publicly -- ▁collapse -- 値段 -- ▁oxford -- 说服 -- 倒是 -- 我可 -- ▁controlled -- せず -- 斗争 -- ▁terrorist -- streit -- மெ -- 她会 -- 跟我们 -- 你知道我 -- 地域の -- ▁notable -- これまでの -- nyarwanda -- 咨询 -- ▁marvellous -- ▁verdienen -- వా -- ▁protested -- 输入 -- 是对的 -- ▁protein -- ▁oldu -- っしゃ -- ▁adjustment -- PA -- ▁loans -- ▁tossed -- 我开始 -- ඳ -- ▁injustice -- പ -- றிய -- ▁exhibition -- ▁emerged -- 尼亚 -- ▁More -- ▁nancy -- வும் -- 显 -- ▁shillings -- قام -- 惩罚 -- 开玩笑 -- バランス -- 这些是 -- sanga -- ▁aufgenommen -- ▁seeds -- ▁dumm -- samkeit -- ▁judged -- いている -- ▁Rücken -- slov -- ▁welcher -- 営 -- ようになった -- ▁руки -- ▁oogenblik -- 三天 -- 你没 -- ▁tact -- ▁Ruhe -- 公里 -- تور -- ▁dome -- 伝わ -- ▁manche -- 隐藏 -- තා -- てくれた -- 僕の -- анне -- ▁erklärt -- 复杂的 -- ▁Tasche -- ▁brin -- ▁weekend -- ▁McC -- ▁resent -- ▁проблемы -- ▁kilo -- 再来 -- ▁terrace -- 企 -- 有名 -- ニューヨーク -- してほしい -- ▁florida -- ▁Hinter -- 等于 -- 回復 -- 瘦 -- 竜 -- ▁никаких -- 下载 -- 何度も -- çar -- ▁torch -- 走り -- бре -- 他们对 -- emper -- ATE -- ▁مردم -- ▁Verwaltung -- 懒 -- ▁ambitious -- জি -- ▁downstairs -- 你们都 -- visa -- tesse -- slag -- ▁Quel -- ▁cai -- kiza -- ▁ĉiuj -- ▁gulf -- ▁Não -- ▁работы -- bericht -- ▁collective -- ▁knit -- OT -- ▁cough -- ▁banner -- ▁открыт -- 小さい -- ▁dismissed -- ический -- にとっては -- 耀 -- 哎 -- 妃 -- ▁Rahmen -- ▁French -- сси -- 这就是我们 -- ▁gaf -- 旦 -- ▁så -- 这个世界 -- ▁hizo -- ▁zulk -- muş -- طل -- modell -- 少女 -- ▁dwelt -- މަ -- おっしゃって -- ونه -- 相同的 -- ▁clergy -- 悩 -- ▁Brand -- いたら -- рей -- 看一下 -- 晶 -- ніка -- ▁buena -- ▁Francisco -- uci -- ▁000 -- ▁diamonds -- ▁vault -- ▁verstanden -- 目が -- ▁ardent -- 他要 -- ▁Virginia -- ▁successor -- jana -- Г -- 指定 -- ▁broader -- ▁Main -- ▁تش -- 责 -- 这句话 -- Ү -- ▁supplement -- trek -- fant -- 戒 -- 小学校 -- энне -- ▁henri -- υ -- гээ -- '34' -- ▁зрения -- 柴 -- ▁nueva -- برد -- 说的是 -- 现在我们 -- ▁unity -- ▁allies -- 待ち -- 남 -- ▁کے -- antic -- 夕 -- 你说你 -- ▁agitation -- чным -- carna -- 経営 -- ▁borders -- ▁overlook -- 鉄道 -- алга -- ▁climbing -- 면서 -- ▁demonstration -- schlaf -- 認 -- ▁ibintu -- دىن -- เขา -- ුව -- დი -- dorf -- ▁Great -- フト -- aching -- 一篇 -- ▁verder -- ▁hört -- шло -- 浜 -- ศ -- 膨 -- ▁Milliarden -- ▁شيء -- ▁كۆ -- ▁süre -- téri -- ▁erzählte -- ▁Wein -- іцца -- 我当时 -- YouTube -- ▁атрыма -- ▁completion -- ▁speculation -- 賃 -- ▁lump -- muka -- ▁acute -- ▁mystic -- ashaka -- ebwa -- ▁memiliki -- ▁reinforce -- 参考 -- 父親 -- leistung -- wuchs -- 躺 -- ときは -- 最大の -- vēl -- كە -- adores -- ▁어떻게 -- ▁desirable -- ▁offerings -- ▁haul -- ▁fanden -- 去看看 -- ▁sahip -- 花园 -- azioni -- レッ -- 错过 -- ่อ -- 今後の -- ▁fühlt -- ▁boiling -- 诸 -- 편 -- 菓子 -- らせ -- ▁thật -- 詰 -- 发言 -- 形象 -- わず -- 跑了 -- 든 -- ▁migra -- なもの -- اث -- ▁traces -- ▁quasi -- ▁experts -- flamm -- しましたが -- ပ -- ▁aange -- 是一个非常 -- ▁promising -- bû -- 伙 -- 最后一个 -- ▁geringe -- ▁roi -- 贝尔 -- пот -- ▁prudence -- ▁Long -- 했는데 -- ەی -- ▁faz -- ▁prev -- dov -- ▁ثم -- ▁рыб -- ▁öffnen -- 神奇 -- 还记得 -- فض -- ▁charlotte -- geschäft -- ▁drap -- ▁guided -- wunde -- それだけ -- 之中 -- 每一 -- ▁Ländern -- луу -- 旅游 -- ▁Kamera -- linie -- ▁commend -- このような -- individu -- ሰ -- ▁котором -- 相撲 -- ▁seeming -- ▁starb -- boj -- irira -- ▁Vertrauen -- ▁participation -- ▁destination -- ▁Fällen -- ▁Vergleich -- 活用 -- ▁Put -- ิด -- 싶 -- 肠 -- ▁dürfen -- ▁bieten -- ▁bamb -- ▁offensive -- ▁кроме -- üsse -- ▁probability -- vuze -- acqua -- ਹ -- ▁clasped -- ség -- てない -- ▁знает -- рин -- 它们是 -- lıyor -- mita -- udge -- 绳 -- 鶏 -- ▁consolation -- ▁intercourse -- ▁punch -- ▁слыш -- 连续 -- 東海 -- 已经被 -- 现在已经 -- ▁guitar -- tuig -- ▁calculation -- ebla -- ていない -- 卑 -- ▁philadelphia -- ▁количество -- オンライン -- ▁fragment -- ちゃんの -- ็ -- 之一是 -- ▁Lass -- 方案 -- ▁spraw -- ▁Manchmal -- ▁bắt -- ▁زمان -- ▁répondit -- 教え -- 成分 -- ▁persönliche -- ▁ceva -- ▁کردند -- EA -- ▁inquiries -- 考えた -- 現実 -- objet -- жим -- ▁halbe -- ▁игра -- maschine -- ▁quanto -- līdz -- ▁economi -- ▁seasonal -- ▁побед -- sprache -- ຂ -- ▁pueblo -- ▁Russia -- ▁trotzdem -- коло -- брос -- تاب -- sional -- の予想 -- ▁difícil -- 倾向于 -- アフリカ -- ▁скажу -- ▁slaughter -- ▁bản -- 的消息 -- gata -- bö -- ▁null -- 带来的 -- ジャー -- limi -- ▁đề -- шке -- 昆 -- 姉 -- 貴 -- 叹 -- ▁Lied -- 竞选 -- ▁columns -- ▁waving -- ▁disagreeable -- ார்கள் -- ාව -- 问问 -- ということになります -- 悟 -- 斤 -- VA -- FO -- 合法 -- ▁Produktion -- ▁offended -- の情報 -- ▁benshi -- ▁spaniards -- 내 -- ▁gestern -- 逻辑 -- 予約 -- овый -- ▁mason -- ▁salon -- стоял -- ại -- 々と -- 忧 -- 노 -- ▁Kontakt -- ▁हो -- ▁тийм -- ▁conquered -- ▁senza -- 忍受 -- TY -- рать -- qü -- gada -- ▁gevoel -- かかり -- arbe -- ▁scope -- 很长 -- ▁trotz -- ▁прошло -- ▁книг -- čí -- ிலும் -- ▁pinch -- ▁слож -- மூ -- ないので -- рван -- بور -- ▁түүний -- ▁seien -- 店舗 -- ▁ojos -- 原始 -- رود -- 整体 -- 舒服 -- ▁shaken -- ▁learnt -- ▁arran -- 祸 -- ӗ -- ▁exclamation -- ▁خلال -- шиг -- ئی -- 年以上 -- 是非 -- ▁месте -- werp -- ▁Orte -- ▁roast -- ▁preceding -- ▁slumber -- 完美的 -- 您说 -- ▁vilaĝo -- バラ -- ▁cria -- ちゃんが -- できません -- 自動車 -- sigur -- quarter -- ▁Ал -- 就是一个 -- ▁attained -- シェ -- ▁sina -- かれた -- 话说 -- たかった -- green -- ▁работает -- ▁drawer -- ▁fürchte -- lada -- たん -- 立って -- ▁richtigen -- 邓 -- ប -- ▁premium -- ▁petr -- 进化 -- 要請 -- 不舒服 -- 悩み -- ▁запад -- ▁Rose -- embre -- ▁lớn -- 给予 -- ▁теле -- ▁estoy -- ▁Öl -- センチ -- يرة -- ▁compris -- ▁یاد -- виз -- arrêt -- なんとか -- ▁Nda -- ▁yaşa -- ▁stack -- 彭 -- 严格 -- ▁mentre -- ▁creator -- 世界各地 -- щих -- 正直 -- 山口 -- ▁trauma -- '65' -- 雨が -- introdu -- ▁авто -- ▁searched -- ▁linked -- 继 -- 雾 -- ω -- 矢 -- 我们从 -- енным -- いましたが -- ▁equality -- ▁Home -- ▁சரி -- 元素 -- ▁parlament -- abaye -- தாக -- 溪 -- うえで -- ▁Methode -- こうして -- 佐藤 -- 女的 -- ▁Kim -- 実に -- ▁числе -- ▁tropical -- 孕 -- потреб -- ストレート -- 欣赏 -- ▁Both -- ▁chuck -- ▁Andrew -- 后悔 -- ியா -- сар -- 这样的人 -- ▁chorus -- ▁solemnly -- ▁legisla -- ▁wählen -- কি -- 範囲 -- град -- ▁retorted -- ▁многие -- свят -- 最後は -- това -- ▁strive -- ▁priority -- 稀 -- 따 -- 組み -- ▁Zeichen -- を目指す -- の名前 -- нула -- یده -- ▁divid -- 浸 -- ▁Ing -- ▁bella -- èr -- ▁misma -- ▁behave -- ▁strand -- 注册 -- 监控 -- ්‍ය -- 一辆 -- garde -- 要不然 -- ự -- 大手 -- ▁versuche -- 桌子 -- ▁schreckliche -- 绘 -- ▁verkauft -- ▁intern -- ন্ত -- たんですけど -- kuta -- ▁wussten -- ште -- 古代 -- ▁Their -- ▁generated -- kong -- ▁adoption -- ▁loom -- esprit -- ▁мной -- ▁Worten -- Ingenieur -- ▁شروع -- 温泉 -- ウィ -- ▁hazard -- 你今天 -- ▁своим -- cida -- 創 -- مات -- 这么多年 -- 同一个 -- ▁шар -- 大丈夫です -- 考试 -- ▁Industrie -- ▁quaranta -- 你可能会 -- 完全に -- ▁campo -- ▁seulement -- ▁clue -- ponent -- ▁dieselbe -- pera -- ▁pony -- 姜 -- ▁Slide -- หน -- рош -- ▁guerre -- ▁errand -- ▁möglichen -- 或许 -- koresha -- ▁erhob -- ▁precaution -- ▁кооператив -- 加拿大 -- ▁evangeli -- 興味 -- ▁Со -- ▁embargo -- ▁conclu -- ▁revel -- glaub -- ▁юу -- 看起来像 -- 女性の -- ▁отправ -- ピッチャー -- ▁cinquanta -- ▁Haushalt -- 向前 -- 我刚才 -- ▁begannen -- ▁siege -- bazi -- ▁heer -- 整天 -- makers -- 免疫 -- の一つ -- elimina -- どうなる -- 可以用 -- 脑子 -- liku -- 你就是 -- தற்கு -- 颜 -- 蜂 -- ▁juffrouw -- 坑 -- ▁tako -- ▁پێ -- ▁domini -- 始めて -- 灵魂 -- ruka -- ğini -- ▁Matt -- ▁materi -- ziri -- であれば -- груз -- ijs -- profit -- していない -- ս -- ▁pursuing -- ▁reducing -- 意大利 -- ทํา -- ▁trước -- ▁joyous -- ▁regain -- ▁goddess -- puesta -- ▁могли -- ▁mußte -- ▁baker -- 疾 -- やかな -- 羞 -- ▁cùng -- 荣誉 -- 农民 -- 股票 -- 同時に -- ▁standpoint -- ▁voran -- ▁amusing -- code -- 嫂子 -- kina -- ▁einzelne -- diye -- 任何东西 -- stricken -- 出た -- 太平洋 -- 从事 -- ▁Theorie -- ▁Haut -- ▁stag -- 找我 -- ަށް -- ਕ -- メーカー -- gezeichnet -- ppi -- ▁schützen -- わけですね -- шёл -- Michel -- ▁Ти -- ▁buff -- schicht -- rima -- 纠 -- ת -- 逐渐 -- 문 -- ▁Diumenge -- ▁которого -- page -- ▁souvent -- 水分 -- ▁splash -- 受欢迎 -- ▁нэр -- fordern -- 这一次 -- زى -- ▁flush -- ▁நட -- ▁tien -- ▁Ве -- 吻 -- ކަ -- ▁shrill -- 的许多 -- 问道 -- ▁Unser -- 包含 -- ▁mining -- miento -- ▁فرا -- ▁usage -- jó -- хад -- ▁characteristics -- たんです -- 疗 -- kämpft -- 迁 -- 桜 -- 新鲜 -- 袭击 -- 姐妹 -- ▁Rede -- ▁sincere -- 核心 -- gereza -- கூட -- 如果是 -- ánh -- を伝え -- covid -- ▁staircase -- ▁слишком -- 解决方案 -- ▁زمین -- ▁مص -- 没有办法 -- 研究所 -- لَ -- が一番 -- ▁государств -- τα -- рап -- 狭 -- ▁buffalo -- ▁Dal -- 给您 -- wright -- ▁amerikanische -- ▁Lor -- 扯 -- geworfen -- ▁discourage -- ▁Gewinn -- ались -- ▁дараа -- ложил -- 千葉 -- 醒来 -- ங்களை -- ▁генерал -- んだよね -- ▁Kreis -- ufer -- öpfe -- ▁incapable -- ▁witnessed -- gato -- செய் -- ▁prosper -- ▁recommended -- ▁neighbour -- ләр -- ▁pilgrim -- ▁deserved -- 戏剧 -- んな -- 乃 -- トマト -- 余り -- ▁ashore -- 多个 -- ▁disagree -- gence -- ▁nützlich -- ▁buchstäblich -- ▁família -- ▁вроде -- なきゃ -- ضحك -- 3% -- благодар -- 毫无 -- ▁submitted -- ▁preference -- ▁Besitz -- ボールを -- 去哪儿 -- ▁Schulter -- あんな -- 的天气 -- 夜晚 -- vallen -- коў -- ▁cuộc -- ▁verkaufen -- 消失了 -- 之类的 -- ▁negotiations -- NI -- ibyo -- gespielt -- ▁slap -- 顺利 -- म् -- ▁prevailed -- 癌症 -- に行った -- ▁converted -- ▁impatience -- ▁nhìn -- 西班牙 -- ▁있잖아 -- 首脳 -- imbi -- 暴露 -- 看待 -- ▁draft -- 不信 -- 像我 -- 価値 -- ▁என -- 抗议 -- າຍ -- kenntnis -- だということです -- ▁tym -- おいしそう -- ▁ilk -- ensemble -- 規制 -- かけた -- ▁rejoined -- ▁ceux -- ▁реально -- 溜 -- 拓 -- 靠近 -- adju -- 都已经 -- ▁договор -- いま -- ктив -- ▁Auge -- ıcı -- ▁será -- 列表 -- 惹 -- ఆ -- 各种各样的 -- Ө -- ▁Song -- ▁усё -- ▁disclose -- mish -- mali -- ▁theories -- ▁riep -- ▁độ -- ▁traveling -- ▁yose -- 雕 -- ― -- ▁artillery -- 당 -- ▁tới -- ▁routine -- ▁près -- 这是你 -- ▁disrupt -- gewicht -- körper -- ▁pious -- ário -- ших -- ▁mı -- ▁verde -- control -- ▁när -- 配合 -- ▁Untersuchung -- ▁Planeten -- ▁acaba -- ▁dealt -- rigo -- ▁behandelt -- 明星 -- ▁princip -- ▁weiße -- 歴 -- ▁bonnet -- يه -- 八年 -- ▁virtual -- 性别 -- Music -- 준 -- 芽 -- 下班 -- ▁pregunta -- ▁vaccin -- чар -- 产业 -- ▁tremble -- عرض -- 没问题 -- turo -- へん -- ▁dernier -- سبب -- いるのか -- ▁отношения -- ▁adequate -- ▁необходимо -- ▁поводу -- ▁canadian -- ▁توسط -- нап -- 街道 -- ▁vehicles -- 地球上 -- 扩大 -- 比你 -- aime -- נ -- pane -- ▁otras -- 青年 -- ▁детей -- ▁Flo -- ▁amazed -- ▁Geräusch -- ▁ese -- party -- いだ -- ▁proto -- してます -- ▁singer -- gruppe -- 晃 -- ▁Fünf -- ▁façon -- ▁glancing -- να -- нк -- ▁لأ -- 雲が -- ▁Яны -- ▁Quant -- το -- heden -- ފ -- ອງ -- ▁patterns -- 一点点 -- ▁potent -- ▁جای -- kub -- 在里面 -- 老鼠 -- 一緒 -- ▁Gü -- ▁геро -- ▁evolu -- 原子 -- ▁Är -- ให้ -- ▁entgegen -- тим -- 规划 -- ▁Те -- ▁Pil -- ▁мнение -- ユー -- ▁پار -- ල් -- 之处 -- 轨 -- ماذا -- इ -- 颗 -- zera -- ▁aboard -- ▁streng -- ▁довольно -- ngingo -- 爆发 -- ▁Obama -- ▁retra -- ▁mô -- хэн -- っち -- ਨ -- 柯 -- deb -- 笑了 -- 的衣服 -- ▁algunos -- ▁folgte -- ▁Ray -- 耍 -- ▁verbessern -- 踢 -- ▁Grad -- ▁Aktivität -- ▁хотите -- 非常重要 -- žen -- ▁blanche -- ▁samuel -- ▁обще -- 可爱 -- 有助于 -- JR -- sız -- tiere -- 相处 -- ▁airport -- 盲 -- ▁happier -- 无论如何 -- 工作人员 -- ▁torrent -- バル -- ▁watu -- 赤ちゃん -- ▁merge -- 하게 -- ▁corpo -- টে -- 濃 -- 侯 -- hog -- 怎么做 -- ▁dachten -- 不幸 -- 跟大家 -- 威尔 -- お二人 -- ありますね -- っていうか -- ▁дуу -- 술 -- 줄 -- 的事儿 -- 選手権 -- ▁investigate -- ▁projet -- meni -- ▁کسی -- паль -- ▁fühle -- ▁meek -- 回报 -- 쓰 -- 识别 -- ▁이게 -- улы -- ▁всю -- шир -- ▁vrai -- ▁passer -- ▁punished -- 的态度 -- цов -- 起来了 -- ▁compass -- 履 -- ▁Tradition -- gawa -- gelöst -- を使う -- ่น -- 안 -- farb -- ▁selle -- ▁États -- 下次 -- ▁бок -- ▁garanti -- ▁samo -- スマホ -- アジア -- ▁aynı -- ▁wildly -- ▁нават -- 指控 -- ▁batter -- 療 -- ▁Cat -- せない -- ▁Roger -- reise -- ▁pau -- ▁sunny -- 備え -- ▁Market -- Qua -- そこまで -- 拐 -- cala -- VTR -- bald -- ▁correspondence -- ▁spreading -- யான -- hurst -- пач -- 的音乐 -- ▁가서 -- числ -- ▁greatness -- 想办法 -- んですかね -- 也能 -- 簡単 -- ▁faintly -- ▁Harris -- ûn -- ረ -- ▁congregation -- 蓄 -- анс -- ▁dreaming -- ▁fos -- 读书 -- ிட -- 物価 -- wirtschaft -- ▁preacher -- ▁privat -- に向かって -- 阔 -- ▁anthony -- 五千 -- 即使是 -- ▁irgendwo -- 你不要 -- әл -- zusetzen -- ▁requested -- ▁داده -- ワイ -- いただいた -- ▁bruce -- яс -- 的角色 -- 我不认为 -- ▁Regeln -- ુ -- ▁sólo -- 見ていきます -- 思われ -- 哭了 -- 大学の -- という事 -- wähl -- ▁grind -- もう一つ -- ▁Tä -- 埼玉県 -- 오 -- ▁fing -- விட்ட -- ▁энерг -- ▁chuyện -- 来来来 -- ▁Flug -- ▁работу -- ▁недо -- защит -- ▁Alice -- lette -- bizi -- すぎる -- schreiben -- ▁temperament -- 但是如果 -- ubwi -- baum -- wał -- 朕 -- 博物馆 -- 畑 -- 陶 -- ▁Fortschritt -- ▁consumption -- ▁veteran -- ▁spared -- гле -- ▁baseball -- empl -- مور -- ▁Gel -- ▁steward -- ▁fueron -- 每周 -- これらの -- بوو -- 这时 -- ź -- ▁Außen -- сам -- 少数 -- ▁большая -- ▁சொல்ல -- ▁remembering -- fowl -- ▁acum -- ▁jedno -- ▁Times -- 而已 -- beera -- ▁unnecessary -- 自転車 -- 打击 -- ▁يكون -- ▁Gan -- wanga -- ▁picturesque -- ▁personnes -- 生病 -- 所以它 -- ново -- ▁spider -- 挖 -- 锦 -- ▁junior -- ▁ఆఁ -- ющие -- 信用 -- ▁float -- 配置 -- articula -- 際に -- ации -- ▁comic -- 美好的 -- ▁الو -- 的任务 -- ますけど -- 傘 -- ▁Zwischen -- geteilt -- ▁başka -- ▁comrade -- ▁Such -- дад -- ▁bike -- ▁gesicht -- morph -- ▁raid -- ごと -- 就开始 -- 上がった -- ▁Best -- ▁gewonnen -- cji -- 乐队 -- ▁darunter -- ура -- ▁точки -- ▁места -- ▁situé -- eble -- riko -- ▁wail -- ▁quad -- 的状态 -- werken -- 啲 -- ህ -- 変わった -- ▁justify -- ▁Aspekt -- anan -- ▁Sozial -- タル -- ▁عليه -- ▁riot -- منت -- 这两 -- ▁respected -- 合って -- ▁اینکه -- キング -- tausch -- ▁converse -- spreken -- ј -- かなと思います -- 俱乐部 -- 砸 -- ਦ -- すべての -- ическая -- 地址 -- aigua -- zukommen -- ▁serait -- ラスト -- ▁ragged -- ▁heures -- õp -- ▁fig -- 只需要 -- ▁actua -- 行吗 -- ▁Sind -- ▁Männern -- ▁soldat -- 这个节目 -- ▁schlimm -- ▁brad -- ▁rechten -- ▁бара -- ▁intervention -- 課 -- 抱怨 -- ▁genial -- ppo -- ▁Anna -- おお -- ▁pest -- යේ -- chod -- 引き続き -- نَ -- ▁slice -- يون -- ▁jungle -- 坎 -- ▁potatoes -- ふだん -- パラリンピック -- क्ष -- ▁atlantic -- ▁которым -- 标签 -- 扮演 -- ▁тобой -- ▁eighteenth -- んや -- 得太 -- ▁conspicuous -- bürger -- ▁abundance -- 陰 -- 仪式 -- とみられる -- ▁loyalty -- führt -- 行きます -- 喜马拉雅 -- ▁이러 -- 议员 -- ravi -- шил -- coli -- wide -- ことによって -- 我想知道 -- ▁sect -- 要说 -- ▁Tā -- ▁uncommon -- زر -- 宣传 -- ški -- ▁Amazon -- ▁олон -- ▁dauert -- ▁ولی -- teller -- 始めました -- ▁Jones -- 批准 -- 築 -- 傾向 -- 也不知道 -- itatea -- ▁amidst -- ▁policeman -- فضل -- ▁bidding -- icamente -- issement -- ▁blog -- ገ -- ▁georgia -- ▁sadece -- ▁meditation -- giu -- れている -- भा -- ▁suspended -- चा -- ▁June -- ỉ -- 袖 -- ▁comprehensive -- ▁suffice -- ▁crumb -- ▁좋아 -- ▁importantly -- ▁HIS -- ▁guarded -- プラス -- 这可能 -- 八十 -- 我有一个 -- 坊 -- てしまった -- ▁calendar -- natured -- ҥ -- xel -- ▁resta -- 올 -- ▁problème -- 認識 -- ▁dasselbe -- ▁massa -- ▁despatch -- صور -- 惜 -- 一个新的 -- ▁ayuda -- ▁Ansicht -- furi -- ▁breathless -- ▁мира -- 把我们 -- niej -- ▁handful -- 植 -- lohn -- ▁mortgage -- jroning -- 女の子 -- issant -- ▁veya -- 发送 -- 整理 -- 選手たち -- ▁пример -- ▁muchas -- 산 -- aquest -- ▁Dorf -- ▁Deutschland -- хам -- vocation -- ▁Vila -- こちらは -- ▁washing -- bali -- 一看 -- ▁libre -- gültig -- 広がり -- ▁Hotel -- ▁thanked -- 会让 -- дели -- ▁confront -- ▁hwn -- 菅 -- 見込みです -- ▁spielte -- 自杀 -- 勢い -- ▁yapma -- 野党 -- ▁morir -- 減少 -- ▁Party -- ▁gamb -- つけた -- ▁Verständnis -- ▁respekt -- 伝統 -- தன் -- ▁implementation -- ▁المن -- ким -- ▁flora -- ▁heutigen -- ▁halo -- ▁mesmo -- vär -- ▁Wissenschaftler -- ▁polic -- んだって -- 向我 -- 罩 -- 終わった -- ▁accomplishment -- マジ -- ▁இரண்டு -- ஸ்ட -- 時には -- 我跟你 -- ▁меньше -- ▁debat -- ▁kalt -- рев -- ▁sanft -- ических -- menya -- ▁luz -- 大使 -- ▁leiden -- 왔 -- ▁confederate -- 細胞 -- gebrochen -- estro -- ▁tante -- ▁شوند -- 体重 -- яй -- ▁telegram -- ţe -- ▁بده -- 只会 -- ▁mike -- ption -- ▁unua -- material -- 的计划 -- ▁einfacher -- 的项目 -- ▁alto -- раг -- ▁yabo -- ▁gast -- ▁sûr -- ▁ampli -- ▁Todes -- 共有 -- ▁emerging -- ▁relates -- ▁2015 -- 我们不能 -- ▁يتم -- ▁equi -- двига -- stained -- 营销 -- ▁übrig -- ▁Verantwortung -- ▁александр -- 체 -- ▁assuming -- ▁vertraut -- ▁nhân -- ▁hayi -- ▁Mira -- ▁horrid -- 彼らは -- ▁இருக்க -- кет -- ድ -- ▁franchise -- 鍋 -- ▁geliebt -- ▁approximately -- ▁Rasse -- ▁willingly -- ▁altri -- 関わ -- nack -- seitig -- 阶 -- ▁swan -- boden -- ▁reluctant -- ▁일단 -- ێن -- 微博 -- ▁Wohnung -- コード -- ▁dolor -- ▁그래도 -- 护理 -- 际 -- ▁fortnight -- 会发生什么 -- لاق -- 这座 -- zeichnung -- 용 -- おととい -- vina -- 拿出 -- ▁tempt -- ▁youngest -- 听说过 -- 但在 -- ţii -- venue -- ▁estão -- 超越 -- tili -- दा -- どこか -- ▁возник -- 天堂 -- ▁Julia -- ု -- 以色列 -- 糟 -- 诶 -- ▁Technik -- ▁sympathetic -- 任何事情 -- ▁gloves -- されていました -- лыш -- 等到 -- 楽し -- エル -- ečč -- ▁slay -- ▁sinh -- 銀行 -- خان -- ▁настоящ -- 파 -- 究竟 -- コメント -- AIN -- laki -- ▁Daher -- оне -- 出门 -- ▁suited -- 织 -- 旬 -- ▁ejemplo -- 它将 -- 爆発 -- しゃ -- 達成 -- 我也是 -- alimenta -- ▁spit -- istischen -- 残って -- уха -- 正义 -- ▁afforded -- تنا -- ავ -- Смех -- ▁месца -- 매 -- ▁Lernen -- elor -- щие -- 戻って -- ▁نیز -- 向他 -- وارد -- 短信 -- 煤 -- ▁внимание -- ▁Geheimnis -- プレゼント -- 抵抗 -- ▁Mannes -- ▁Га -- ▁Meilen -- あい -- がこちら -- ▁ноль -- ▁Roma -- ディー -- ▁assumptions -- ▁machten -- 所有人都 -- 晨 -- ▁sanction -- 这段 -- 投資 -- 社員 -- 所以我认为 -- ▁progressive -- 次は -- ことがある -- を示しました -- bril -- ▁Lager -- kord -- auto -- ワーク -- 肯定会 -- ▁Lady -- wadde -- 撕 -- ặ -- ▁chariot -- ▁Ati -- ▁hymn -- ▁database -- 及时 -- டிய -- नी -- flug -- プレ -- 但他们 -- 似的 -- 惨 -- ▁আৰু -- 试试 -- ▁vacant -- ▁paz -- 落とし -- ший -- ▁Bord -- 的技术 -- ▁Spo -- կ -- 菊 -- χ -- 부터 -- 梅雨 -- 違います -- avoir -- ▁subsequently -- ▁spreche -- àtic -- EEN -- ▁louise -- ▁mature -- ▁bởi -- ▁девушк -- の結果 -- cushion -- lux -- ▁chiar -- ▁Meister -- клон -- 子供たち -- ▁poate -- ▁이거 -- ▁foresee -- 周末 -- และ -- ▁você -- 糸 -- ▁çocuk -- ▁invasion -- кана -- ▁comunica -- 过得 -- ību -- ▁wichtigsten -- ▁winding -- 跟她 -- аас -- ▁Denk -- ầ -- ョ -- ෂ -- ▁resolute -- 運営 -- 記者 -- 全ての -- こん -- ▁nuit -- விட -- ブリ -- 的作品 -- 利亚 -- சை -- 尴尬 -- ▁Erklärung -- ▁November -- 棍 -- 查看 -- ▁そうすると -- の疑いで -- ▁carries -- CR -- 終了 -- ▁захо -- ▁делает -- 郁 -- 咪 -- 熬 -- ▁истории -- аваць -- 怀孕 -- ▁gilbert -- 俳優 -- ▁但是他们 -- ▁Start -- ▁plague -- 大胆 -- 感謝 -- 笔记 -- ってください -- 迎えた -- pfa -- haired -- ▁kinderen -- 立場 -- 饱 -- ▁товарищество -- ▁Islam -- 第二次 -- ▁twi -- Man -- ழி -- ▁juan -- ▁industries -- ▁verließ -- ▁دهد -- कार -- ▁چرا -- ประ -- ▁betrifft -- りません -- 我以为 -- ▁Bol -- を続けて -- ▁getötet -- ▁kümmern -- に応じ -- ▁Konzept -- 还有什么 -- 小朋友 -- ▁productive -- ▁sensor -- ▁Nick -- 近づ -- йын -- nimi -- ▁sullen -- ▁drehte -- 터 -- ▁willkommen -- 玲 -- ▁Wachstum -- ▁angrily -- 交渉 -- tev -- 本周 -- 验 -- 繰り -- 訪問 -- ▁accordance -- 大きさ -- ▁angefangen -- のもと -- ▁rachel -- ▁hinauf -- ▁partial -- 申し -- rito -- 貌 -- 了下来 -- ▁mysteries -- 毎年 -- luck -- 会合 -- ▁тое -- 相手の -- ţă -- 此时 -- ▁хочет -- ▁edith -- 听到了 -- 六个 -- ▁район -- ▁halted -- ▁gender -- 尿 -- bă -- ▁snapped -- ▁денег -- ▁obliga -- よろしくお願いします -- 新型コロナの -- ▁Dick -- யல் -- ▁Latin -- контрол -- ▁keiner -- 並 -- いこう -- রু -- 笨 -- ▁мил -- 干啥 -- ▁celebra -- ▁parler -- urwa -- ▁говорили -- ▁representatives -- ▁зада -- 清晰 -- ▁Dissabte -- ਿ -- るべき -- ▁درباره -- 祝福 -- ▁Ці -- ▁другом -- ▁sian -- burger -- ҙе -- සා -- ▁часто -- ▁Яна -- ▁frühen -- ▁bibli -- 年前の -- 我们认为 -- ▁있었 -- 柜 -- ▁Victoria -- ニュー -- ▁circum -- ▁efter -- ▁있고 -- 的产品 -- kapa -- ▁queste -- ▁nannte -- ▁nennt -- 这可能是 -- ▁gewisser -- ▁الْ -- ▁ўз -- pí -- ¡ -- お互い -- čen -- 因为这 -- ▁kişi -- ąc -- 放松 -- 考虑到 -- ▁Sü -- 也得 -- 欣 -- коммерческое -- මු -- ▁دارید -- 反而 -- ▁lahko -- soma -- ▁Valley -- 近い -- 提出了 -- 访 -- плы -- ▁boldly -- პ -- ľ -- ච -- ▁Universitat -- ▁Brun -- ▁Grenzen -- ▁pagan -- ▁masa -- عَ -- ▁относ -- というのを -- phra -- Б -- ▁tempted -- 訓練 -- 得好 -- ▁elderly -- ▁Vier -- ▁بشكل -- ▁overwhelming -- ნი -- 请问 -- トル -- 像你 -- beug -- ▁oficial -- ▁أحد -- ▁diğer -- 楽しめる -- жиг -- ▁tlie -- ▁daraus -- 機会 -- ▁садовое -- меж -- hala -- ▁cautiously -- 做到了 -- 高校生 -- vidi -- لند -- sobola -- 校长 -- komst -- ▁qo -- ▁último -- ▁pensi -- চি -- 你不知道 -- 黎 -- 的城市 -- ▁server -- bwiye -- gisha -- ▁luke -- ▁deprived -- proof -- conscious -- ▁precipita -- みたいに -- చ -- 拯救 -- ▁понять -- ▁Sendung -- ECT -- それも -- ▁Stock -- ▁alguns -- 城镇 -- ▁Real -- த்துக் -- ▁bubble -- ▁থাক -- teeka -- ächtig -- ▁удар -- 三千 -- ▁blink -- バイデン大統領 -- ▁насколько -- 형 -- 详细 -- ▁remedy -- ▁Colo -- ́ -- ▁loi -- ▁Open -- 无聊 -- ▁coco -- middel -- 只是一个 -- 部署 -- それぞれの -- ▁figured -- ccions -- ▁tightly -- ラーメン -- 見られます -- ▁veux -- ▁Sicher -- ▁sentir -- ▁remembrance -- ▁همچنین -- ▁Cloud -- 有更多的 -- เล -- のですが -- 겠다 -- yama -- க்கா -- 入れた -- сет -- ▁Apple -- телей -- кина -- ることができる -- ▁contend -- tops -- ▁clearing -- ▁அவரது -- ▁français -- শা -- ▁Ky -- 去年の -- 北方 -- گا -- ▁schaute -- ▁geschaffen -- さんから -- するか -- метр -- ▁steckt -- rink -- ▁bằng -- ▁medizinische -- ▁некалькі -- シュート -- ▁focusing -- ▁impart -- ▁mujer -- 围绕 -- mack -- ▁gyfer -- ▁connais -- kurikira -- тав -- hund -- ▁ringing -- ەکان -- 鹰 -- ራ -- ▁pauvre -- ▁muslim -- ▁Folgen -- ▁此外 -- paka -- ард -- ▁خوش -- ído -- curso -- 钥匙 -- 乖 -- excursió -- ▁Wahrscheinlich -- ▁această -- ▁поскольку -- 記憶 -- 酬 -- ▁siya -- ▁awhile -- ▁inspire -- 食べた -- ありますか -- ▁сильно -- ▁stump -- ▁fright -- ▁strait -- ▁tarde -- ठ -- ▁scotch -- 手中 -- ▁thay -- ▁знаем -- 就得 -- 誓 -- ▁хот -- 盒子 -- 訴え -- ▁tinha -- ከ -- ▁thời -- ▁знаком -- ▁entschieden -- чака -- NATO -- ▁warrior -- 殿下 -- ▁conventional -- ▁cảm -- 陵 -- ▁glacier -- ▁kelkaj -- ▁reconcile -- ▁helmet -- 增加了 -- ▁лицо -- ジー -- Oh -- ▁parcel -- ▁круг -- TU -- 窝 -- ▁tính -- zeiten -- ināt -- という感じ -- てほしい -- ▁ddim -- ▁dritten -- ▁gemeinsame -- pita -- ▁moyen -- lå -- ptic -- 的大脑 -- らせて -- ▁WHAT -- ▁rejoice -- 弄清楚 -- ▁gasp -- ▁Wall -- 形状 -- нец -- ▁agnes -- ゼロ -- istisch -- மீ -- ▁来一首 -- '48' -- ość -- 絶対に -- anje -- lüh -- ستی -- 屏 -- 唤 -- ▁chocolate -- ▁invariably -- ▁secondly -- ▁стен -- ▁сказали -- لس -- ▁tej -- ▁algorithm -- ▁müsste -- 资产 -- ▁stray -- ▁tracta -- ▁COM -- пись -- 昌 -- 贪 -- ▁Maßnahmen -- gita -- 揺れ -- డు -- ▁rey -- ▁rhai -- dran -- ▁weinig -- ▁Town -- ▁respectful -- ▁contradict -- నా -- ওয়া -- ▁حتى -- schoon -- 年齢 -- ▁desolate -- 提案 -- ▁existe -- ▁Gang -- をしていた -- ▁reicht -- ▁parade -- ったこと -- عات -- 就跟 -- ▁alchemist -- 몇 -- ▁fulfilled -- 的专辑 -- ▁Jeff -- 陪伴 -- 争论 -- 你妈 -- ▁einzelnen -- ▁இல்ல -- の方に -- ▁Fach -- もうちょっと -- 锐 -- యి -- american -- ▁гри -- んだから -- ▁uitge -- ▁organiza -- ▁voix -- Я -- ドリ -- ▁specially -- 崩溃 -- 塗 -- ▁beschlossen -- ▁erlaubt -- ▁aunque -- zego -- ▁المت -- ▁vegeta -- лева -- ▁Antrag -- ▁secondary -- ▁angenehm -- と共に -- ▁forbidden -- ▁vicar -- ைப் -- 時間を -- ▁pulse -- eṭṭ -- ҭ -- taking -- ailleurs -- ▁آر -- ▁erklärte -- 准备好了 -- ▁Out -- 集団 -- 大切な -- IO -- leɣ -- ރު -- 当然是 -- аваны -- ▁ruled -- 饮食 -- ▁integrated -- プラ -- 殺人 -- zellen -- ▁whereupon -- ▁incentive -- ▁первых -- ▁salary -- ▁تحت -- たこと -- 的速度 -- ▁возможность -- 一根 -- gebung -- related -- ▁கரு -- ու -- ▁pourquoi -- 키 -- ച -- − -- 感动 -- ▁bietet -- stürzt -- 癌 -- gression -- ▁balloon -- ▁hoarse -- zze -- ▁explica -- 山さん -- ▁numero -- ッツ -- issait -- ▁summary -- 氧 -- イタリア -- ▁Niemand -- ▁überrascht -- インタビュー -- amiento -- หล -- ▁swore -- 单独 -- 発達 -- 楽しんで -- დე -- ▁verdient -- даль -- 非常重要的 -- ▁reconciliation -- ▁wünschte -- を取って -- ▁plunder -- ▁prova -- ▁haunted -- 外部 -- íme -- ğu -- 这话 -- ▁гос -- ▁جهان -- zaam -- 发现自己 -- というような -- ▁weltweit -- スペイン -- 卒業 -- ▁отвеча -- скі -- 就知道 -- ▁tế -- быт -- 建て -- gibt -- annu -- ▁martha -- ▁Kanada -- に入れ -- ním -- ования -- 负担 -- сер -- ranye -- Audi -- ▁dump -- ▁моей -- ▁хто -- 胶 -- 稼 -- ▁hearth -- information -- ▁bodily -- ைக் -- ▁mieux -- ▁writ -- ▁jardin -- んでしょう -- ▁fortress -- 赏 -- 沼 -- 素晴らしい -- ▁строительный -- igeze -- 涉及 -- படி -- 你又 -- 所以这是 -- lige -- ▁nước -- niveau -- ▁fulfil -- ▁dominant -- 算了 -- チェ -- 别说 -- 泄 -- ▁голову -- 日曜日 -- ▁dụng -- ▁சில -- ▁rosy -- ▁Indien -- ミン -- ▁страна -- '37' -- erade -- ▁благо -- нулся -- ▁üle -- ▁muntu -- ▁influenced -- 好听 -- 伸ばし -- ▁circular -- ານ -- мова -- ▁Christian -- ▁объ -- 专辑 -- ▁profond -- Rires -- 企画 -- ▁Kritik -- '38' -- กล -- 事务 -- indre -- eerde -- асці -- ▁애들 -- を見つけ -- Һ -- ▁wanneer -- Risas -- чих -- П -- けれど -- セル -- 可以通过 -- blan -- ▁таб -- ▁wrth -- 想定 -- ▁clung -- ή -- ▁anterior -- ▁Debatte -- なんでしょうか -- ▁voraus -- ▁hull -- ▁hearty -- ▁thereof -- szt -- ▁loin -- ▁corona -- CHE -- ▁Revolution -- ▁раньше -- 賛 -- 労働 -- âr -- ▁Wirtschafts -- zusehen -- ▁electronic -- даж -- dub -- åg -- 他是一个 -- ▁deliberate -- 罢 -- ことから -- ▁евро -- ▁естественно -- రు -- ▁doom -- ając -- ෙන් -- NN -- 時間に -- 这是一个非常 -- Gelächter -- Plattform -- ết -- 代价 -- ▁Во -- OM -- ▁Have -- mian -- くなった -- 蛮 -- check -- fläche -- いかがですか -- ப்படுகிறது -- あさって -- 在我看来 -- talk -- ▁şeyler -- ▁undertaking -- ▁youthful -- raub -- 将会 -- 指数 -- ▁Angriff -- ▁behalten -- 满了 -- ▁Harvard -- 새 -- ▁kamp -- ▁constitutional -- 日まで -- 神奈川県 -- klad -- ▁leider -- दि -- ▁exertion -- 五月 -- ▁goede -- 体系 -- ▁bloß -- 有意思 -- 驾 -- ギャ -- ご飯 -- ▁storage -- 芸人 -- 一颗 -- 通過 -- 预算 -- ▁poble -- били -- drop -- 早点 -- züge -- 说实话 -- ▁resemblance -- ▁gigantic -- ▁клуб -- 产生了 -- ище -- ▁Group -- だいぶ -- ▁Punkte -- ▁lemon -- けさ -- 崩れ -- ▁tất -- ほうが -- ▁времен -- 周围的 -- ▁acres -- ▁habia -- ▁supposing -- ▁adhere -- 就是想 -- ▁Cli -- 安装 -- ▁cavern -- гьы -- ▁fugitive -- シリーズ -- ▁Häuser -- ▁Did -- ▁owl -- 에는 -- 饮 -- 类似的 -- 原さん -- 尽快 -- ▁pry -- ▁jaun -- ▁combine -- 舒 -- が好き -- ▁parlour -- ▁agencies -- ▁successive -- ▁большое -- 结论 -- ▁Serie -- гээр -- ▁tested -- 的事实 -- unterricht -- 蜜 -- ▁요즘 -- 暗示 -- bildung -- loof -- ና -- 阁 -- ▁tissue -- ▁deceive -- ケーキ -- ▁pavement -- ▁Tema -- ▁frederick -- ▁reserved -- ▁parle -- يى -- ▁بىر -- raient -- 货币 -- ▁audio -- hava -- 绝望 -- ▁commanding -- ▁никак -- EP -- ▁THERE -- 50% -- ▁interaction -- ordre -- ほう -- ões -- 二十四 -- 測 -- ▁تغییر -- 雰囲気 -- ▁bitterness -- ފަ -- ▁benutzen -- ▁kubera -- ბა -- Plat -- streb -- jski -- ▁erected -- 的建议 -- 始まって -- 寿 -- 換 -- ▁thursday -- だよね -- に加え -- ▁precise -- ついに -- IDE -- gänge -- ませんか -- ▁stain -- ▁exterior -- ▁shrewd -- ▁உம்ம் -- ▁sponsor -- FA -- 種目 -- cali -- 十万 -- 言われた -- ▁اسم -- ▁fulfill -- schnitt -- خور -- korera -- 길 -- ▁dacht -- ▁sheriff -- 開幕 -- アプリ -- ▁Blue -- ▁حول -- 工夫 -- 他又 -- чны -- 名单 -- ▁wales -- 違 -- 这并不 -- ителей -- ▁doğru -- ▁bacon -- 集まって -- ▁Wirkung -- ▁feedback -- ▁smash -- borg -- ▁wiederholt -- ▁Nachde -- тир -- 取消 -- つなが -- ▁cautious -- illion -- ▁humility -- ▁effektiv -- imecres -- দিন -- ▁Zweifel -- ▁resulting -- 庆祝 -- bouw -- ▁добры -- вший -- そうですよね -- ▁Mariya -- 仍然是 -- 遗憾 -- 浪漫 -- rix -- ▁gedaan -- ▁Zug -- サル -- кен -- ▁exert -- ▁barren -- ▁cuenta -- iteit -- эш -- оцен -- 你有没有 -- ▁saith -- ಂ -- ▁elevated -- 相次いで -- 臓 -- ▁douglas -- iyordu -- IB -- ▁intensity -- ▁juist -- ▁grape -- ▁sombre -- कि -- 来ました -- 转变 -- ▁chris -- 踏み -- いるという -- ჩ -- 宴 -- ▁كبير -- ▁goose -- 想着 -- ▁robbed -- ▁Unit -- 守り -- ▁الان -- ▁تنها -- ▁kubona -- FE -- 槽 -- ▁Experiment -- ▁awesome -- 九点 -- 审查 -- ▁каких -- город -- bika -- 離れた -- fanya -- ▁exclusive -- quadra -- clama -- 大雪 -- син -- ▁traitor -- mütig -- pala -- jang -- ရ -- 坡 -- 希腊 -- ▁Zeitung -- очка -- ▁reflecting -- ▁contro -- ▁bezahlen -- 空中 -- 把这些 -- 子どもの -- 组合 -- ▁Füße -- ▁französische -- ▁định -- ▁prairie -- ▁donald -- ▁translated -- ▁êtes -- 仕事を -- ności -- 都不知道 -- ▁preach -- ۋا -- ثلاث -- 耶稣 -- 被认为是 -- ツアー -- gah -- ▁komun -- čno -- ▁Tau -- ▁yani -- 苗 -- 프 -- ▁Schwierigkeiten -- 摧毁 -- 无数 -- 但她 -- ▁speedily -- ▁zač -- ती -- ▁Mä -- 所以我想 -- ▁casting -- ▁philosophical -- ▁tersebut -- ▁Түүний -- 麺 -- ▁kwenye -- alina -- ▁juice -- тара -- ▁diversity -- شە -- ția -- を行い -- ▁Qual -- ▁educational -- 咩 -- 呂 -- ▁dreary -- ▁console -- حمل -- ▁நகர -- 坚定 -- reiche -- っつ -- いますね -- 直後 -- ▁infinitely -- ▁childish -- ▁nhau -- 转移 -- ▁скажем -- 薪 -- 锻炼 -- ▁terrific -- ▁babe -- さぁ -- ▁enthalten -- ▁skies -- poro -- たくない -- ▁смотрите -- sichtig -- 我认为这是 -- ▁comte -- 今から -- 提交 -- ▁sozusagen -- ▁bacteria -- ▁conveyed -- 掌声 -- ▁untersucht -- 的概念 -- grond -- るもの -- の天気 -- ったのは -- 男性は -- रे -- лаш -- পি -- ▁ensuite -- 事務所 -- ▁vocal -- われた -- ▁delayed -- ▁recognise -- 我们希望 -- ▁harold -- ▁già -- пен -- white -- スープ -- ▁shelf -- 姑 -- rono -- 侵 -- 窃 -- クリスマス -- ▁greece -- ▁پیدا -- ▁hesitate -- kwiye -- ▁смысле -- 一号 -- ▁fapt -- ってきて -- 浓 -- ▁occurrence -- ▁arriving -- ▁vamos -- ▁corresponding -- 政治家 -- 出てきた -- what -- 美しい -- ▁fiery -- ▁bliss -- presa -- ▁approve -- kubernetes -- ▁energetic -- ▁innovative -- ▁turb -- ▁мозг -- 监管 -- ▁Westen -- 复制 -- 两者 -- ▁camin -- 음 -- ▁fé -- 你如何 -- 上げた -- ▁unfold -- 次に -- ▁representing -- 低気圧 -- 史上 -- ▁cheerfully -- もらいたい -- ▁наступ -- ▁Insel -- 冯 -- 受害者 -- ▁rebellion -- ▁bucket -- 小屋 -- っちゃって -- ارات -- bogen -- ▁шест -- 以上に -- 表现出 -- ▁Kun -- ▁wanjye -- ▁спас -- ▁proced -- mutima -- ▁flexible -- ▁نیاز -- サイズ -- ▁میں -- ▁Right -- 恐れ -- ▁ماه -- ▁其实我 -- ږ -- ▁Sing -- аза -- 论文 -- ▁cultivated -- ▁persian -- 弁護士 -- ▁dissolve -- нікі -- あふれ -- 平安 -- 週末 -- カリ -- ▁Terra -- 処 -- ющий -- ística -- ladı -- ▁orang -- 留下来 -- asyon -- 契約 -- යට -- 剩下的 -- ▁assisted -- казаць -- ▁één -- ▁confus -- 空間 -- வரை -- 手術 -- greif -- こちらも -- eṛ -- ▁unseen -- లు -- einig -- に参加 -- licit -- 严肃 -- ▁transformed -- ▁puzzle -- ▁legitimate -- anın -- ▁fiercely -- граф -- EU -- ▁bestow -- ▁begon -- 冻 -- ▁numa -- 潜在 -- ▁eingesetzt -- ▁sprak -- ھا -- 敏感 -- ▁eternity -- prozess -- ▁нашего -- 日目 -- 思いを -- 看不见 -- ▁steeds -- ▁cancel -- 老大 -- '33' -- ▁awaiting -- мор -- ▁beautifully -- таш -- を挙げ -- ▁Tanzania -- ար -- bewegung -- ▁erlebt -- になってる -- 公正 -- ▁freud -- ▁хоть -- ▁canon -- ▁Jackson -- 更容易 -- خواهی -- And -- 幻想 -- ▁sweetness -- ▁bois -- ستم -- 生态 -- 特殊的 -- ▁consented -- 帰り -- 宠 -- Ḥ -- 予算 -- ▁смог -- ▁accounting -- ▁මෙ -- 国連 -- ▁letzter -- ▁loath -- ▁eerst -- ระ -- قات -- ▁lebih -- ▁nowadays -- ▁Stephen -- オーストラリア -- ▁학교 -- ▁ລະ -- ▁pioneer -- ▁Institution -- ▁Qualität -- ▁Tel -- ▁ernsthaft -- ▁Sarah -- ユニ -- ▁venus -- ▁Hut -- グル -- ▁admission -- ▁morality -- ▁exchanged -- ▁enfin -- ▁carved -- 近くに -- 它可以 -- ▁herausfinden -- びっくり -- ▁redeem -- ▁eleventh -- 買って -- руп -- 机场 -- 协会 -- ▁Acht -- MU -- ▁попыт -- 蔡 -- ▁passar -- ▁disconnect -- ▁hospitality -- эння -- ▁bezahlt -- ダン -- 工事 -- 食感 -- ▁hỏi -- hilfe -- ▁wunder -- 女孩子 -- 我以前 -- 以内 -- risti -- 霸 -- ▁neden -- ▁augenblick -- ذهب -- ▁quarterly -- 近くの -- そうそう -- ▁Andere -- தில் -- ▁awfully -- ▁همین -- ではなくて -- PP -- ▁elfu -- альных -- 键 -- ographie -- ▁товарищ -- ▁politicians -- ▁thoughtfully -- ▁implica -- ▁показыва -- 正面 -- länder -- とかも -- 的证据 -- いたい -- 三振 -- いかない -- лык -- 使得 -- ▁stimme -- ▁zahlreiche -- жат -- '98' -- stimmung -- design -- ▁fotografi -- 冬天 -- 单词 -- ▁Zweiten -- ▁Information -- aurait -- ▁sentimental -- もあって -- ▁Donc -- イー -- ▁crude -- ▁Quando -- 只是为了 -- 我家 -- 官方 -- 所以如果你 -- ▁vedere -- 時代の -- vang -- Ex -- ▁Front -- ▁Pour -- ペース -- ▁taun -- ▁manière -- マス -- ▁beliebt -- கிறது -- 时光 -- ێک -- 時半 -- ▁seixanta -- ゲスト -- ▁Verwendung -- ▁Donald -- kê -- ▁தலை -- 偶尔 -- 陽性 -- ▁câu -- ▁echoed -- ▁geloof -- крат -- 定期 -- 克拉 -- ▁polar -- ่ง -- था -- ▁Online -- ড়া -- 作戦 -- ▁вокруг -- යා -- 找个 -- ▁dunkel -- ▁Middle -- tauchen -- ▁cruise -- rook -- ▁années -- 天才 -- ▁Satz -- ▁Ost -- 方がいい -- koli -- 鼻子 -- 潘 -- 煙 -- రి -- 这很 -- 置き -- 合格 -- tijd -- ▁canvi -- ▁стали -- ование -- ຽ -- ▁Instrument -- ▁dwarf -- ▁hinzufügen -- ▁apenas -- spoonful -- гран -- हि -- ▁Schau -- ▁гаражно -- валь -- 友好 -- тыш -- ▁мяс -- ▁arribar -- かさ -- 脂肪 -- ▁bestimmt -- usia -- ▁actively -- lardan -- افت -- 审判 -- ▁Lauf -- ▁таго -- fassung -- ູ -- 匪 -- 晕 -- 捷 -- ▁persistent -- ▁rubbed -- ▁extinct -- 開いて -- ▁orbit -- сце -- হু -- ▁screamed -- يست -- 命名 -- ucu -- જ -- ▁моему -- rolle -- ▁Those -- 创造了 -- 号码 -- ▁тихо -- かぶ -- ▁langer -- mizi -- 年ぶりの -- ▁beteiligt -- ▁OKAY -- ▁Minute -- 否定 -- ▁Treffen -- ▁gegenseitig -- ▁nebo -- 我真 -- geza -- ▁kort -- FF -- ▁bestowed -- 踊 -- ▁subdued -- ▁Bildschirm -- ▁څه -- ències -- 另一种 -- ▁disput -- ▁ministry -- ▁universit -- ▁fourteenth -- ▁identific -- ▁primo -- ▁predomin -- ▁gewählt -- uzo -- ▁আমি -- জে -- ▁mogelijk -- 喜欢你 -- 就行了 -- ▁gill -- 富有 -- 以便 -- гэр -- 見てみましょう -- rauch -- ▁inventor -- 案例 -- ▁Selle -- 岗 -- ▁genre -- ▁Hinsicht -- ▁найти -- льны -- ▁morgan -- 全身 -- ▁بأن -- 岩石 -- 限定 -- 我就不 -- duka -- 白天 -- sohn -- 東日本 -- ▁hause -- 船长 -- 普通の -- koloni -- ▁distin -- 知道他 -- ▁русски -- ▁fain -- ▁அமை -- 日々 -- sorge -- ▁catherine -- ▁innumerable -- ▁privacy -- ▁đổi -- говарива -- '95' -- 校园 -- ▁manipula -- ško -- ▁Wege -- ▁relating -- ▁impatiently -- ▁nơi -- 心理学 -- ▁පි -- ればいい -- ▁dimensions -- ▁އަ -- ▁sublime -- '3000' -- ucc -- 対策を -- いける -- らん -- ▁trouver -- ILL -- bě -- ▁roedd -- ▁مې -- meza -- 返し -- 響 -- 崇 -- 통 -- 基础设施 -- 基準 -- ▁verfolgt -- ▁பகுதி -- டர் -- ▁arriva -- ▁получил -- ▁construir -- ▁rive -- 業者 -- 涛 -- ▁appreciation -- ▁carolina -- ▁regardless -- 少なくとも -- ダブル -- ▁freight -- ▁trigger -- kami -- 立法 -- ▁persisted -- ▁bemerkte -- ▁rhan -- 変更 -- 広い -- سون -- 場所で -- ▁jumping -- ▁Bedingungen -- ▁Another -- 協議 -- ▁Brust -- ▁Ora -- ▁Letzte -- ▁stirring -- ▁کجا -- zubringen -- ましたけど -- ẻ -- বো -- ▁ببین -- ▁рядом -- ▁descri -- ▁physically -- に入った -- лым -- ▁historic -- 不明 -- імі -- 多数 -- ▁lind -- 匠 -- 舅 -- 太陽 -- ▁slash -- ەیە -- ▁benim -- ▁Harry -- ファイ -- 路线 -- ▁marian -- ţie -- ▁annoyed -- ▁Würde -- 保健 -- ▁peuvent -- ▁englische -- 要不要 -- の裏 -- 溶 -- 感染拡大 -- ▁kitty -- ▁Lieblings -- ▁trivial -- ▁refrain -- щик -- 运营 -- 亿元 -- ssex -- öö -- 标题 -- ▁onward -- ▁underground -- ゃ -- 布莱 -- ▁Deck -- 没办法 -- ▁swallowed -- ▁quiero -- ▁už -- ▁communicated -- 铁路 -- ▁Dev -- ӡ -- ▁ошиб -- 主播 -- '[' -- 他认为 -- ▁clergyman -- office -- ▁части -- ▁capability -- বু -- ург -- 送给 -- ည -- ട -- хоз -- 在中国 -- ▁autonom -- ▁junto -- ové -- ▁musket -- 分かり -- ▁alternati -- 队伍 -- эў -- terri -- льная -- ▁retour -- ▁اول -- țe -- koko -- Prince -- جار -- ▁squirrel -- ▁ມັນ -- ▁Einrichtung -- ایت -- දා -- 疯 -- 皆さんに -- 遇见 -- 特定的 -- ▁verdi -- ừng -- евский -- ▁ocupa -- 侠 -- ▁nachzudenken -- trage -- impul -- ▁tailor -- ▁Questo -- '55' -- ▁retirement -- තර -- ▁minim -- ımı -- ▁đâu -- ▁penalty -- 維持 -- 局长 -- ▁живот -- cato -- ▁plank -- ▁diffus -- ▁impress -- 上市 -- ▁ohio -- ▁важны -- 我真的很 -- يين -- ▁trov -- vēr -- pür -- фан -- '=' -- ▁grandi -- ▁mabel -- singa -- wamu -- ゆっくり -- 什么东西 -- を認め -- ▁fossil -- ▁digest -- ▁Mah -- pion -- ゅ -- ▁Gehen -- نب -- ▁Mexico -- 現状 -- 公寓 -- ▁yep -- 太多了 -- 误会 -- 进展 -- 我说的 -- ▁Wunder -- కు -- леш -- 分裂 -- ▁Ohne -- ச்சு -- funa -- 落下 -- 贤 -- ▁verdammt -- 見つかり -- 应对 -- ராக -- ▁interrupt -- ▁podía -- ▁gaining -- 唱的歌 -- ▁frisch -- この辺り -- ▁superstition -- ▁suppress -- มัน -- ▁Operation -- ▁hurrying -- ▁yaptı -- كار -- ندی -- ▁Brad -- ▁Cle -- зак -- horse -- 我们有一个 -- ▁extending -- 扶 -- ▁remorse -- を巡って -- ▁немного -- ▁floated -- ▁marion -- laps -- ▁bernard -- lil -- ▁forgetting -- ▁dép -- ▁syria -- ▁graham -- 常に -- kku -- 不要再 -- を使い -- 触れ -- ▁Kapitän -- 呵 -- 仏 -- ▁funkci -- ▁encontrar -- kiye -- ▁pup -- ▁пойм -- топ -- فو -- தெ -- นี้ -- ▁أخرى -- 誤 -- ▁ນີ້ -- 游泳 -- ▁gewissen -- ▁Pala -- ▁bilden -- 上空 -- 去过 -- illy -- ▁entlang -- ▁tourist -- ▁radiant -- ▁dicho -- ▁добро -- لې -- ▁milieu -- ▁attachment -- හා -- に乗って -- 吞 -- ▁December -- 嘘 -- ▁courtesy -- дают -- ▁quiere -- лета -- ▁Privat -- ▁olur -- ▁bunny -- ▁hiyo -- 夏の -- ▁hyd -- ▁treu -- 尸 -- pida -- ▁Divendres -- ごめん -- ▁되는 -- 安全保障 -- ▁buzz -- 擅长 -- 谋杀 -- давать -- ▁luther -- wahl -- نمو -- ▁hurriedly -- 该怎么办 -- ▁joue -- 惑 -- 恒 -- 犹豫 -- ▁Bewusstsein -- ▁regelmäßig -- 比較 -- смотрел -- なぁ -- реди -- 相信我 -- ▁futbol -- かす -- ▁lachte -- 你们两个 -- ಗ -- ▁achtzehn -- けがを -- ▁мае -- 心态 -- ▁negroes -- 那一刻 -- হি -- unterschiedliche -- ▁hallo -- ▁speeches -- ▁enthusiastic -- ▁fifteenth -- ありますよね -- 谦 -- ▁bewildered -- ▁vorne -- ▁nourish -- 人工 -- 护士 -- 伙计 -- ▁болно -- マル -- ▁Weiter -- ▁tamam -- ática -- ▁Streit -- ▁карт -- ▁desperately -- しん -- 书中 -- kampf -- 榜 -- 铜 -- ▁ممکن -- 自行车 -- ▁dadurch -- ANN -- ▁tìm -- ▁Alexander -- ▁verstand -- anyu -- acho -- блі -- RY -- Ame -- шчы -- prak -- urile -- ▁năng -- ▁آل -- حب -- ▁yali -- ▁стало -- tawa -- 不认识 -- hagen -- 碑 -- නවා -- ▁получается -- ▁союз -- ▁batt -- 円安 -- 把你的 -- 売れ -- grä -- ▁deepest -- ▁полу -- ▁neuer -- ▁relieve -- pik -- 七年 -- 有的时候 -- ネタ -- 年ぶりに -- ▁tenderly -- 宜 -- ▁Nehmen -- 働いて -- ▁aircraft -- が確認され -- lerinde -- ▁كه -- ▁lazy -- ▁adapted -- يج -- ▁слышал -- いきたいと思います -- Atlanti -- 淘 -- 锋 -- 働く -- 延長 -- ▁baixa -- rijk -- ▁highness -- 明明 -- 緩和 -- وجه -- 漠 -- ▁регион -- reɣ -- 挥 -- grown -- ▁tries -- ▁Pap -- ▁Zusammenhang -- ▁Schönheit -- quil -- goro -- ▁woorden -- schmerz -- 亲密 -- ▁verdade -- ▁gentil -- حص -- τη -- ▁кост -- っていうのを -- ▁vient -- ▁scientist -- wujudk -- 양 -- ಪ -- 年纪 -- ▁Boy -- ▁Universum -- impine -- ▁Top -- ▁линия -- ▁hyper -- 革 -- 離れ -- ▁diversaj -- ษ -- ▁frighten -- さえ -- わし -- ▁هستم -- ▁interrog -- 额外的 -- 強調 -- ▁Mol -- حدث -- ▁miriam -- ▁drown -- ▁nieuwe -- ▁Evan -- cari -- ▁identical -- ▁doubted -- θ -- ▁earthquake -- ▁склад -- Pierre -- ▁phát -- braun -- ▁submission -- ▁circula -- ▁Калі -- 使える -- 议会 -- ▁swinging -- ছা -- ってしまう -- あたり -- 试验 -- ҳа -- ▁gezicht -- 物体 -- 拨 -- 启动 -- ▁spray -- artisan -- овым -- ▁setanta -- िक -- fenster -- ▁argued -- ▁mourning -- īja -- BER -- reisen -- 疫苗 -- ▁tuesday -- 金曜日 -- ވަ -- ▁optimistic -- ▁Western -- ième -- ▁Live -- 6% -- origine -- ▁Sitz -- 抛 -- 悬 -- ▁Sab -- න්නේ -- が続き -- ▁seguir -- 全都 -- ▁chemin -- 合适 -- uwen -- 有能力 -- žu -- ▁geschehen -- ◆ -- 脅 -- ▁engaging -- 眼泪 -- 観客 -- ligi -- ▁있는데 -- ▁transferred -- ▁accessible -- についても -- ▁Absicht -- ▁waking -- ▁mourn -- 在网上 -- rseits -- ▁එක -- となっている -- ▁waiter -- 趁 -- může -- ▁вполне -- 年後 -- ▁Abschluss -- 他们已经 -- bole -- ▁Ausdruck -- 有几个 -- 会得到 -- 让人们 -- 観測 -- gerufen -- ボン -- ▁joyful -- 外出 -- ţa -- ẩ -- 싸 -- ▁automobile -- 鍵 -- ▁Kreuz -- ▁oxygen -- ▁whatsoever -- affi -- 紧急 -- 附近的 -- 提议 -- ▁sneer -- ▁Schauen -- 营养 -- ໍາ -- ▁appearing -- 裙 -- ステージ -- ▁aktuelle -- ật -- ダウン -- ▁Drogen -- ▁Trotz -- 团长 -- ▁armor -- dokument -- viel -- 第三个 -- 无关 -- ▁Ро -- ▁عام -- ジャン -- カット -- ▁Hü -- gruppen -- about -- ሽ -- ▁sylvia -- ▁документ -- 真ん中 -- த்திற்கு -- ▁Germany -- 罗斯 -- achtet -- ▁enlarge -- ▁klug -- ▁үйл -- ▁бага -- ▁города -- ▁ufite -- 何だ -- Kanal -- হে -- ▁demonstrated -- strom -- 係 -- マンション -- 縁 -- ▁oppose -- しているということです -- ▁күр -- umugore -- 今天晚上 -- 電車 -- 过度 -- ▁passenger -- の様子 -- 爸妈 -- த்தார் -- 支配 -- ுகிறது -- 我想要 -- Guard -- кала -- ▁amiable -- ワード -- ▁tennis -- 如果没有 -- 一夜 -- цией -- 月亮 -- 驻 -- 涵 -- ▁discretion -- ▁pennsylvania -- ▁matin -- 俺が -- ▁marching -- Gelach -- ▁examining -- ▁système -- 選ばれ -- ▁indirect -- 农村 -- ▁сторону -- ▁அதிக -- 经典 -- 我很高兴 -- тэн -- 太郎 -- ▁Bevor -- ベース -- ▁compact -- 囲 -- 丧 -- ▁военкомат -- 熱中症 -- を含む -- 不同意 -- ▁Nta -- 密码 -- occupa -- その中で -- ▁Verkehr -- 我也不 -- ▁allowance -- ▁Они -- ných -- ▁jaroj -- овали -- 残る -- zē -- 退休 -- ▁nosso -- ▁miller -- ▁passive -- ິ -- 死去 -- 疏 -- ▁scenario -- 扑 -- 妨 -- ▁Flugzeug -- లో -- ▁confidential -- 基督教 -- مەن -- ▁poetic -- 广州 -- ▁пя -- ▁wohin -- sinde -- 炒 -- ▁missus -- ▁Gw -- 足以 -- ▁Kein -- чку -- ▁futuro -- ضع -- ▁molecule -- ▁Grün -- ですとか -- ▁Quina -- ▁hablar -- ▁vinden -- 便利 -- ▁subsist -- ▁lume -- ော -- ▁carpenter -- ▁unworthy -- ▁verfolgen -- 渋谷 -- はどんな -- ▁Finally -- ذر -- ුණ -- 加州 -- 偶然 -- 看不到 -- ▁exhibited -- GEN -- 测量 -- ▁eagerness -- 雨が降り -- ေ -- 罐 -- 느 -- ▁unglücklich -- ▁حيث -- ▁comparable -- ▁therapy -- 我一直在 -- 的风险 -- を食べ -- 哪怕 -- ولد -- 長く -- ▁maakte -- ▁counting -- 纽 -- ▁societies -- ĕ -- ▁sequence -- ▁agricultural -- ▁sotto -- 周年 -- カップ -- trakt -- の写真 -- ▁välja -- 在上面 -- 很简单 -- すみません -- 踩 -- ▁posterior -- 慮 -- ▁brillant -- 维尔 -- ▁dedicat -- 十分钟 -- sehn -- ▁stärker -- ▁coffin -- ▁invalid -- ozo -- 推出 -- 我父亲 -- ười -- 任命 -- ▁Hij -- 廃 -- 抹 -- 볼 -- équipe -- ▁شرکت -- 欺负 -- ▁hindi -- ấu -- wè -- ▁ними -- 的主题 -- 本部 -- ▁attire -- 一歩 -- ▁geste -- toleran -- cò -- 悦 -- ▁Wunsch -- 気象庁 -- ほんとに -- ▁показал -- ubah -- 供給 -- ັກ -- ▁surgery -- 然后是 -- خدا -- boek -- responsabil -- ່າ -- ▁dret -- 山上 -- ▁Sara -- 識 -- ▁brigade -- ▁Vision -- န -- 模糊 -- 订阅 -- ▁dernière -- ▁figura -- ▁insane -- 你看到 -- ▁zyn -- čni -- ▁praying -- 闯 -- ▁telescope -- meɣ -- ▁inspection -- ▁пусть -- ▁vacation -- 所属 -- ▁afge -- ىدۇ -- 跪 -- 帆 -- ▁isolated -- 燃烧 -- ▁Ecke -- වේ -- 怎么可能 -- aard -- ▁زیر -- ▁waarom -- ロケ -- ▁Kurz -- Video -- ▁convenience -- రా -- ▁banquet -- ▁clam -- ▁albert -- ▁பேச -- ヘル -- ▁Option -- ▁exercised -- ▁pasture -- あすの -- ▁países -- ▁nke -- ▁sujet -- ▁wonderfully -- ▁probabil -- وں -- ▁Bach -- 叉 -- 鉴 -- 㗎 -- ▁fuss -- ▁européen -- ▁který -- ▁thyself -- ▁banking -- ▁eric -- оруж -- ▁печ -- 言われ -- 接受了 -- 十个 -- 当成 -- ▁když -- ▁скорее -- バーディー -- ▁wolves -- ▁Sagte -- intel -- ▁stammt -- ▁geschah -- 評 -- 是个好 -- mico -- ▁Biz -- ▁останови -- が流れ -- みんなが -- ▁abide -- ▁explaining -- amazi -- ▁falta -- вест -- ښ -- 痕 -- ▁Krankenhaus -- ▁увидел -- 授業 -- 側は -- メジャー -- ▁wengi -- 然后在 -- 一顿 -- бав -- 排除 -- 狙い -- 你可以在 -- ▁polished -- ツー -- 陽 -- ▁tint -- дала -- 生长 -- 彻 -- ▁virtuous -- 온 -- ▁gewoon -- 名古屋 -- ▁Back -- ▁trousers -- 逆転 -- ▁administrative -- ▁welcomed -- ▁ради -- ▁assumption -- ママ -- ▁ultra -- の仕事 -- ▁resentment -- CD -- ცი -- فكر -- із -- لعب -- ▁Interview -- 겠지 -- ично -- ▁dictate -- ۋ -- ▁strife -- 灾难 -- 見通し -- じゃないか -- ▁surpass -- dodd -- 一堆 -- ▁Té -- ▁வந்த -- வேண்டும் -- ▁feminine -- 緊急事態宣言 -- 不管你 -- ▁mesure -- かわい -- ▁rector -- ▁gerecht -- овые -- くれる -- 完整的 -- 聚会 -- ▁баг -- ▁fuera -- ▁veure -- ▁газет -- ▁Firefox -- ▁twelfth -- ▁maître -- 账户 -- ▁trở -- ▁канал -- ுகிறார் -- 太子 -- 做了什么 -- ▁voted -- ▁crust -- ▁camino -- 澤 -- ▁coverage -- 車を -- にあります -- 前提 -- وضع -- 运动员 -- 你想要 -- gekomen -- هُ -- 这个项目 -- いくと -- kurya -- ▁Like -- စ -- ▁obstinate -- ▁এবং -- 遮 -- ▁sechzig -- ▁erscheinen -- šķ -- ▁داریم -- したという -- ▁señora -- 你这么 -- grado -- third -- ▁dart -- ▁mora -- ▁беларус -- を持ち -- ▁collaboration -- ▁conjecture -- ▁вчера -- ▁девятьсот -- ▁Spring -- ▁гэтай -- ▁violin -- 的每一 -- hani -- お話を -- 但是如果你 -- ▁üblich -- BC -- chol -- ▁Norden -- ▁travaille -- ሁ -- 拦 -- ▁Praxis -- ▁Frankreich -- べる -- maro -- 维持 -- ▁dismal -- 場所に -- ▁vorsichtig -- iez -- 不开 -- 文本 -- kò -- 我觉得我 -- вался -- schijn -- ▁яму -- 各个 -- யோ -- 诚实 -- ▁привет -- アナ -- uganda -- ▁stamped -- tsinda -- ىدى -- 我心里 -- ▁мере -- 決まって -- ▁Geburt -- 稲 -- ▁alternate -- 中止 -- 这都是 -- ▁склада -- ▁kiuj -- ▁verbringen -- ▁sử -- ▁dose -- 房子里 -- 覧 -- 凌 -- 佑 -- 勾 -- ▁ситуация -- ▁ingredient -- ▁sweeping -- ▁contrived -- ▁draught -- 大规模 -- kili -- おなか -- فور -- ▁Rang -- 缠 -- ▁mississippi -- 외 -- ijk -- ▁seule -- foje -- пис -- 他能 -- しまして -- ීම -- ▁iraq -- ਤ -- ▁тэгээд -- ▁pouvoir -- ないといけない -- halen -- ▁quá -- ▁historically -- ▁Tamen -- ▁laatste -- ▁Como -- 浏览 -- 在某种程度上 -- ▁sealed -- ▁everyday -- ▁dreaded -- 为您 -- ▁humain -- geladen -- ▁complexion -- ▁dije -- ▁classroom -- احت -- ▁серьез -- パパ -- ސ -- ▁Afghan -- 沸 -- 될 -- ▁Schatten -- ▁inflation -- أن -- ▁cabeza -- மைய -- ▁Herren -- ▁거의 -- 娘娘 -- ▁그치 -- 感受到 -- под -- 気づ -- teko -- fungu -- бег -- ▁Anwalt -- ▁startling -- ▁farklı -- ▁опера -- たいと -- ▁perdu -- ▁Gast -- 姿を -- gezi -- iĝo -- ▁bộ -- 然后他们 -- くなります -- ▁sev -- хгүй -- ▁horizontal -- 确 -- 其他地方 -- ▁Tief -- ▁そのため -- を目指し -- ovitch -- щий -- umuryango -- ▁главное -- ▁dirigi -- も多い -- 得很好 -- ▁tiek -- 相同 -- そうですか -- ▁cinquante -- 천 -- 心灵 -- ▁realised -- шат -- eeuw -- 男は -- ▁drunken -- тоў -- 成果 -- Risos -- 欺骗 -- 这是我的 -- ▁whereby -- 次々と -- 六年 -- 到处 -- ▁Rod -- 逃跑 -- ▁yake -- ▁technische -- ▁món -- 眼前 -- ság -- そこは -- ▁Fleisch -- 一分钟 -- ▁жыв -- 織 -- ҩ -- ď -- ▁хочешь -- 担忧 -- čin -- ▁hebrew -- 市では -- 顶部 -- ▁parc -- ▁Jesus -- ▁tray -- ▁scheinen -- fydd -- âl -- ▁Senat -- 轩 -- 逛 -- ▁fröhlich -- ▁chưa -- 高騰 -- ▁Prop -- 広がる -- ▁процентов -- ▁Theater -- 二十五 -- 10% -- ▁shipping -- ▁ئەو -- ▁blut -- ল্ -- 币 -- ▁proprietor -- 刊 -- ▁disdain -- 的反应 -- ுடைய -- ambul -- lamp -- ▁infantry -- baho -- ▁clothed -- ▁wünschen -- 检测 -- 东北 -- 栗 -- ▁einzigartig -- ▁먹고 -- ▁rumor -- 成年人 -- ▁gabriel -- ▁круп -- You -- нә -- ứng -- ▁Clo -- ▁yella -- ترا -- ▁provoca -- ▁Since -- thal -- 并非 -- mén -- жать -- 屁 -- ▁честно -- ▁دنیا -- 洲 -- ად -- 産業 -- stärke -- ▁общественн -- ▁upside -- ▁melted -- ▁gris -- ▁حرف -- ▁everlasting -- ▁niedrige -- yerek -- ▁awareness -- Comp -- 我们一起 -- 留言 -- 合适的 -- wende -- empi -- 睁 -- 娅 -- アイデア -- sammlung -- ▁incessant -- 腺 -- 你爸 -- ▁fashionable -- キャン -- ەڵ -- гийг -- ▁Einsatz -- ▁связи -- 旋转 -- ▁உள்ளது -- この時間 -- ▁தன -- 大厅 -- ▁stepping -- ▁Stamm -- ▁embraced -- hampton -- aquests -- ▁Kommunikation -- ▁expenditure -- 先ほどの -- ▁gehabt -- 继承 -- ▁Church -- ▁produziert -- ира -- kret -- 導入 -- ▁வந்து -- ▁figli -- ▁چون -- 谈判 -- 大学生 -- 还想 -- 回到了 -- лыг -- おいしく -- ▁realidad -- vana -- LU -- ▁também -- 网上 -- 져 -- ע -- でもいい -- ▁owed -- アリ -- ▁kicked -- ▁самый -- ▁Antoni -- ▁menace -- 可爱的 -- 毫无疑问 -- ወ -- 遊び -- 産の -- ▁orphan -- рабоч -- 简直 -- 政党 -- ▁Bad -- 私たちが -- ▁oliver -- 汽 -- ▁tiuj -- ▁Keine -- щения -- 分布 -- UG -- 仕組み -- zelve -- 決まり -- ▁superintendent -- ▁nicely -- 主持人 -- 的人来说 -- larga -- ▁assess -- 你还是 -- ▁purity -- ▁marshal -- 专注于 -- 畏 -- ▁Tatsächlich -- 铃 -- 鎖 -- ▁حد -- ▁seria -- ▁stability -- ▁banc -- ▁Martí -- がついて -- ▁conversa -- ▁사람이 -- contin -- 停车 -- ▁January -- ▁klas -- ▁quaint -- räng -- sulta -- ▁digo -- 棵 -- 鸣 -- Ь -- ▁decisive -- ▁broadcast -- ▁survived -- ▁سره -- 基本上是 -- 兔子 -- 角落 -- 都不会 -- 决心 -- туры -- 陌生人 -- ▁imposed -- 最新的歌 -- 大师 -- ʻ -- いただきたいと思います -- 警報 -- 奇迹 -- ▁signature -- ▁töten -- ativa -- feind -- шев -- ▁Act -- ▁tõ -- ▁duration -- 袭 -- ▁concentrated -- ▁öğren -- 喽 -- ▁knelt -- ▁refined -- instagram -- щение -- 建設 -- ▁erfüllt -- 筋肉 -- ▁necessit -- ிலிருந்து -- funktion -- fashe -- '39' -- ț -- 为何 -- лося -- 7% -- 只要你 -- ▁kerja -- ▁ответил -- ۔ -- ▁kompliziert -- 伐 -- 趋势 -- 가지구 -- 真理 -- 运作 -- ▁quoted -- ▁sixteenth -- ▁아무 -- jye -- ▁известно -- ▁Iyo -- 疲れ -- ▁کمی -- 名为 -- ▁плане -- 控え -- 逗 -- භ -- ▁manual -- 舒适 -- に移 -- を前に -- ▁放一首 -- ▁nossa -- 進化 -- 不清楚 -- STE -- ▁hafi -- 美好 -- ▁дух -- ▁Militär -- ▁hauptsächlich -- ▁orleans -- 民間 -- ▁parlor -- ▁insert -- ▁konzentriert -- ▁Premi -- ▁tribute -- DEN -- ショー -- ▁allgemein -- прэ -- ▁Kate -- 我妈妈 -- ▁shark -- ▁breadth -- ARD -- රු -- وست -- 爵 -- 4% -- ▁spake -- ▁stretching -- ▁aussieht -- ▁находится -- ▁видео -- ▁foremost -- ▁ئې -- 为他们 -- mele -- ▁установ -- ▁habitat -- ▁readiness -- fluss -- 十字 -- 見えない -- かわ -- 抑郁 -- 辜 -- ▁Allerdings -- 舰 -- 試験 -- speicher -- 脆弱 -- ▁квартал -- ▁أيضا -- ▁видите -- 农业 -- ▁Carolina -- 的角度 -- initi -- ボード -- ▁attempting -- ▁அவர்கள் -- ▁Ар -- 獲得 -- が非常に -- agog -- ▁manifestation -- 饰 -- 腐 -- 詹姆斯 -- ▁тупик -- 构成 -- ▁خواهد -- ▁exploration -- ▁hejuru -- ▁laboratory -- ▁schlafen -- ▁frantic -- сны -- ▁dresses -- ლა -- 8% -- mayı -- 打って -- ▁shit -- 砲 -- ▁gregory -- 旧統一教会 -- ▁colonial -- ▁Veränderungen -- ▁நிற -- ▁hệ -- ▁heftig -- ี่ -- brook -- 远离 -- kamera -- 的意思是 -- ▁correctly -- 忌 -- ▁иногда -- ▁hübsch -- 複数の -- ▁wandte -- 隔离 -- lisi -- ▁kuvuga -- ▁слушай -- 图片 -- ▁stride -- ▁процент -- ôi -- 诈 -- ▁pouvait -- ▁vuitanta -- ▁neunzehn -- ▁plough -- ▁பய -- ителя -- цам -- wanda -- 周期 -- ▁Demokratie -- ALLY -- 晋 -- 嘉宾 -- 両親 -- ▁pleaded -- ▁такую -- ▁klingt -- verfahren -- sexual -- نق -- ▁Free -- ▁kadın -- ▁dispar -- ▁Album -- 等一下 -- ちゃんは -- ▁realise -- ▁peg -- 遣 -- ▁fry -- しばらく -- ស -- ▁jersey -- ▁quarante -- ▁privi -- ▁carrera -- ▁reap -- ది -- ▁stealing -- လ -- ▁Bäume -- ▁astonishing -- 声称 -- 传递 -- ▁solely -- ▁나오 -- ▁ужас -- ▁priorities -- に合わせて -- 中午 -- ▁الأول -- ▁advertise -- 正常的 -- ▁Atem -- ▁Süden -- ▁واحد -- が出た -- ▁grasped -- あるんですけど -- ▁beschreiben -- 激情 -- っていない -- сво -- ▁Fil -- ▁await -- ▁visi -- ▁Coll -- 这些问题 -- 上手 -- ▁demanda -- дох -- 轰 -- ▁verfügbar -- 同性恋 -- ▁satellite -- ▁escala -- ▁行了 -- ▁пятый -- ▁fonction -- ▁guinea -- ▁consumed -- と指摘 -- өлө -- 受到了 -- ▁kutoka -- わかる -- 訪れた -- 螺 -- ▁beantworten -- ▁ситуации -- льно -- ▁bachelor -- 資金 -- ▁Demokrat -- 利润 -- ▁righteousness -- 小麦 -- pflicht -- ▁diff -- ▁lawrence -- étais -- ▁trường -- ▁inherent -- ▁mmhm -- ▁gerald -- 我想说 -- ▁timp -- ▁necesita -- を出す -- 重视 -- ▁które -- âm -- ▁pathetic -- 向こう -- லோ -- ▁fret -- ▁resigned -- ▁máy -- イチ -- weiß -- ▁slack -- ▁rouge -- ▁attributed -- үй -- うま -- ▁outstanding -- 框架 -- 很高 -- ▁eminent -- 八月 -- ▁animated -- ▁personage -- パラ -- সু -- ▁acceptable -- 犯行 -- قار -- 把手 -- يَ -- wego -- んだね -- âme -- Office -- ▁Lyn -- 垫 -- ▁verheiratet -- ម -- ▁byinshi -- ▁muscle -- иров -- движ -- スキー -- ▁Nieder -- ண்டி -- рий -- 耐心 -- сни -- アイス -- تَ -- 的时候呢 -- ấp -- ▁resume -- ობ -- ifika -- ▁shrub -- ▁Oberfläche -- дро -- ▁sandwich -- ▁Там -- 並み -- лок -- 盒 -- badde -- ▁Hong -- ▁rencontre -- ▁heathen -- ▁durum -- 魔法 -- তু -- ▁despise -- ▁кап -- ▁depended -- kracht -- лө -- ▁öffnete -- 札 -- ▁verbreitet -- ▁klicken -- ▁agitated -- 理性 -- ▁скажите -- bä -- ミー -- ▁disposal -- ভি -- ▁Betrieb -- ▁noranta -- ▁Verfahren -- 的房间 -- ▁Vorstand -- ▁Villa -- 小小的 -- 几乎没有 -- leitung -- ▁Nel -- ▁sekolah -- 安倍元総理 -- ▁geändert -- ▁گروه -- 保険 -- ▁rwose -- ▁Stimmen -- 証明 -- ▁tätig -- ▁glittering -- ▁korea -- ▁dismiss -- 鸡蛋 -- 凶手 -- 粮 -- ▁crowned -- 誕生 -- 大海 -- ▁Institute -- も含めて -- ▁plein -- ▁weaker -- 太棒了 -- 贼 -- orthodox -- 倡 -- ▁Тэрээр -- OUS -- ▁financing -- ▁qualified -- ▁retten -- 落在 -- ▁sorgen -- ▁migration -- kanye -- ▁elsie -- 一个女人 -- बा -- ▁determina -- 紀 -- кажет -- ▁entrepreneur -- ▁saviour -- ǧǧ -- 一个很好的 -- 圣经 -- ▁louder -- 意义上 -- ▁hopeful -- 到这儿 -- ▁Dijous -- ▁Soldaten -- ▁федер -- 演唱的歌 -- ▁наблюда -- 小学生 -- 对他的 -- 無料 -- きれいに -- ▁assertion -- 有效的 -- ▁Klima -- ▁carta -- ▁بۇ -- ▁видимо -- ▁cursed -- 可惜 -- dzīv -- zünd -- ▁encouragement -- шан -- 很多事情 -- 晚了 -- 畅 -- 됐 -- ▁EBITDA -- ▁افراد -- 庞 -- ṛṛ -- خنده -- ▁enorm -- ▁какую -- знача -- بك -- ▁skeleton -- ▁unnatural -- リズム -- なければならない -- がたくさん -- ҭа -- 层面 -- ▁breach -- 焦点 -- 的灵魂 -- ▁Cri -- estructura -- 酱 -- ▁Bühne -- ӧр -- 打扰 -- ▁Dio -- ▁Ansatz -- ▁engel -- ▁بدون -- 但这是 -- ▁répond -- ▁applause -- ▁verursacht -- ▁কথা -- ▁llarg -- һын -- 你刚才 -- eilte -- 综合 -- ▁کمک -- 战士 -- ▁حالا -- ▁renov -- 你有什么 -- ▁eliminate -- 这么一个 -- ▁quina -- त्य -- ▁cooked -- ▁excursion -- 결 -- бат -- ோம் -- 赤い -- baye -- ▁ownership -- ▁berühmte -- カフェ -- 陪你 -- ▁tưởng -- クル -- ▁Gli -- 衝撃 -- ▁সং -- ▁région -- ▁boiled -- krit -- ▁solomon -- ாங்க -- ▁Verstand -- ▁plantation -- ывают -- 我正在 -- esqui -- 言うと -- 我刚刚 -- யூ -- 改造 -- spoiled -- گونه -- 歳で -- 教训 -- 敦 -- ▁pyramid -- ▁depressed -- ▁Krise -- einheit -- 碰到 -- 撤退 -- の中から -- 环境中 -- ▁charter -- ▁Maybe -- 逸 -- 殴 -- ▁mindestens -- ▁Gedicht -- 扩展 -- 极端 -- ▁denomina -- සු -- 爵士 -- 车站 -- ことができます -- 明显的 -- ▁gorgeous -- mitglied -- 本质上 -- Episode -- ▁внутри -- ▁понимаешь -- ▁ຫັ້ນ -- ▁እንደ -- ▁herald -- ▁kimwe -- つながり -- behörde -- ▁hände -- bh -- ネー -- ▁Beach -- تحدث -- 做饭 -- が生まれ -- 涂 -- ▁psychological -- ▁çünkü -- ▁невозможно -- лыҡ -- ▁درست -- 早餐 -- ▁referring -- ▁Fried -- ▁fling -- ▁Kleidung -- ▁krista -- ddin -- ▁صورت -- 候选人 -- 執 -- 土曜日 -- ▁вульф -- 退出 -- ▁thông -- ▁enthält -- 画像 -- ▁shifting -- ▁durchführen -- ▁Blan -- 来看看 -- ▁Erwachsene -- はっきり -- と思うんですが -- ▁içinde -- ▁журналист -- ▁weighed -- ключа -- ▁schuld -- größe -- ▁Hinweis -- 侦 -- 壳 -- ▁difficile -- ▁eindeutig -- ▁tiến -- ようになって -- ▁endured -- оби -- ディング -- ▁mehreren -- طف -- ▁Interessen -- ▁Reform -- ▁honesty -- ▁flowed -- ▁soort -- ▁polish -- ▁ikintu -- 20% -- ▁Garten -- 斑 -- ▁umbrella -- ▁sabbath -- 必须要 -- わたし -- ▁lumber -- ▁beobachten -- ddling -- kker -- 无人 -- 娃 -- ாளர் -- ▁erneut -- 一块儿 -- ▁hayat -- 走过 -- 僕ら -- ▁Work -- 覚え -- ▁dankbar -- ▁يُ -- 统一 -- 龄 -- ▁dintre -- дө -- ▁mathematics -- ▁sculpture -- ヴィ -- verkehr -- ▁hàng -- 你到底 -- ली -- 假装 -- ▁podría -- uč -- ▁Muster -- ▁nostra -- కి -- lulu -- เก -- ▁facile -- نے -- ▁vya -- 耗 -- 村上 -- パリ -- strich -- ▁направлен -- 出去了 -- hydr -- ▁imitate -- ▁diferents -- 还挺 -- GU -- 借り -- 還 -- 호 -- ▁chambre -- 然而 -- 倒れ -- ▁gihugu -- 精力 -- 北日本 -- を発表 -- afu -- ▁vicious -- ▁terrorism -- みてください -- нек -- zah -- 仓 -- ▁THINK -- ▁orchestra -- 逮捕されました -- ▁پنج -- ächte -- 良い -- ▁kết -- ரெ -- 这个想法 -- bela -- Risate -- 辅 -- ▁persecution -- 衆 -- ▁Benutzer -- ▁vấn -- 滅 -- 連携 -- நிலை -- வெளி -- 不正 -- ▁disturbance -- wendet -- tivi -- мента -- ▁complained -- ▁труб -- 考え方 -- フライ -- ▁Händen -- ▁Phase -- ▁Laura -- ganda -- モー -- 冠军 -- ▁Play -- ▁мэдэ -- କ -- ▁Although -- 想出 -- 裸 -- 違って -- ▁nearby -- ēm -- 标记 -- скіх -- ▁creed -- 保罗 -- いいね -- のまま -- مین -- vado -- 碳 -- ようやく -- 違反 -- ▁Dewi -- дзень -- 拥抱 -- 况 -- やりたい -- ▁patiently -- ▁ewig -- 所以现在 -- 景色 -- ▁harmless -- ှ -- 幺 -- 愧 -- インターネット -- ▁አዎ -- ▁eloquent -- ▁vergangen -- 委屈 -- ▁Knie -- ▁matches -- 激烈 -- ▁знать -- ▁чита -- ▁reaches -- گه -- ▁kasuta -- ▁Castell -- кле -- bedien -- ▁harness -- ▁sadness -- ▁metrics -- 都内の -- 领导人 -- 謎 -- 縦 -- ▁orchard -- нин -- ▁meilleur -- ebene -- ▁جدید -- ▁accusation -- losigkeit -- ▁envoy -- 从来不 -- 的权利 -- っていうふうに -- 这孩子 -- ზ -- 坐着 -- ▁monstrous -- ▁Abendessen -- ▁tidings -- 的需求 -- ▁admir -- ▁Szene -- 先発 -- 餐厅 -- ▁gosh -- の前で -- ▁vaguely -- 里面有 -- ▁tüm -- ल् -- ▁nhiên -- 劣 -- 诉讼 -- ▁Schrift -- ▁дверь -- ▁другое -- 就好了 -- スパイ -- ▁Cada -- ▁نور -- まるで -- ▁dự -- nvänd -- ơi -- ▁Konflikt -- ĥ -- ▁فیلم -- ▁буй -- ▁entrar -- ▁acceptance -- ▁streak -- ▁putea -- باب -- ▁keer -- 災 -- 萌 -- ▁shrugged -- anomena -- ▁biba -- ▁Està -- を重ね -- ▁அத -- リオ -- 休み -- ▁blake -- ▁overwhelmed -- 只不过 -- ▁Meter -- 더라 -- 脊 -- トラブル -- 世紀 -- ছো -- boro -- legung -- ▁saloon -- 这一切都 -- pta -- З -- ▁Graf -- なのです -- ▁страх -- ラム -- 高級 -- ▁göz -- ▁Brian -- あげる -- 保障 -- 薇 -- 발 -- 威廉 -- ▁crucial -- ▁друж -- integra -- ▁Tout -- 祖父 -- 东方 -- ▁аан -- ▁Pause -- ▁Vertrag -- ▁இர -- 寒さ -- ▁petty -- тәр -- ヒント -- ▁treasury -- ▁Gewicht -- 学术 -- ▁quantities -- 什么样 -- ▁utterance -- өс -- іль -- 星星 -- 六月 -- ▁прекрасно -- ▁litter -- ▁yawe -- 嫂 -- 峡 -- 郷 -- ▁extinguish -- ▁конкрет -- 騒 -- ▁discontent -- ▁같은데 -- ovna -- مُ -- ▁paragraph -- 徐々に -- 频 -- ▁Komis -- あそこ -- ivamente -- ▁bajo -- mette -- opera -- ▁nhw -- 捐 -- ▁Pakistan -- ▁Philosophie -- ▁интернет -- ▁сначала -- 놀 -- rechnung -- torial -- ▁rascal -- 北陸 -- 收藏 -- ▁bland -- ▁banker -- रो -- 他们正在 -- ▁கட்ட -- имся -- せん -- 容器 -- ▁executing -- ▁наконец -- 激励 -- غو -- ▁Lind -- ▁overtake -- 見られる -- ▁Armen -- ▁tackle -- Orient -- 这样的话 -- 机制 -- ▁mnie -- قان -- ▁Syn -- ▁grunt -- ▁jaren -- という話 -- Infrastruktur -- 珀 -- ▁gild -- ▁gordon -- 秒钟 -- 跳舞 -- ▁African -- ▁pew -- 血管 -- 四处 -- に関しては -- タイトル -- ▁utiliza -- yumba -- 塚 -- ▁tốt -- ▁العديد -- ▁complement -- ▁реша -- gá -- 伯特 -- ▁moviment -- бин -- 济 -- ▁tanta -- ائي -- 欲しい -- aquell -- ▁yiwen -- basha -- に来た -- ▁armour -- ▁primero -- ▁Aktion -- ▁seemingly -- ிருக்கிற -- ▁mož -- পে -- ▁xem -- 亦 -- 刃 -- Instagram -- ց -- ▁arnold -- を通じて -- ▁internacional -- スタイル -- ▁Unión -- 是一样的 -- 一起来 -- ▁Saya -- ▁estimated -- liwa -- ▁loko -- ىسى -- Aplausos -- ▁giorno -- ▁Bereit -- ▁Umstände -- ▁تب -- ulated -- チャレンジ -- ▁Molt -- esque -- ▁повтор -- ▁kraj -- ▁assessment -- ▁boca -- wyl -- ▁archbishop -- ▁wednesday -- ត -- energia -- ▁punika -- ▁initially -- 估 -- ▁Quindi -- ▁concentration -- 期节目 -- ▁Ул -- ▁fino -- ▁consulted -- 多次 -- 认识到 -- alda -- ▁женщина -- ▁Про -- 必要がある -- 了多少 -- ▁wiped -- を出して -- 恋爱 -- あなたが -- ▁repeating -- findung -- 見ていきましょう -- 欢迎来到 -- 范围内 -- ▁feat -- ▁gael -- ▁okwe -- yita -- ณ -- ▁embarrassment -- ▁regime -- 期限 -- 争议 -- ▁දෙ -- يط -- カ月 -- 约会 -- ▁ئەم -- buah -- quisition -- ▁Palm -- ▁excite -- 维护 -- ▁traveled -- قطع -- ▁العمل -- assem -- 驱动 -- ▁magnitude -- ▁Cafodd -- ▁skilful -- ▁blunt -- kibi -- 戦闘 -- ▁какого -- ▁руку -- монт -- ▁grub -- 镜头 -- ドン -- うまみ -- ▁tercer -- 笼 -- 초 -- œuvre -- ▁faculties -- 大姐 -- 冲动 -- ländische -- 時ごろ -- コロナ禍で -- ▁appealed -- लि -- ▁jog -- ▁Verlust -- ▁করা -- 认可 -- 三个月 -- 其中一些 -- ▁nursing -- 藤さん -- ▁dignified -- ▁Architekt -- 洗濯 -- fluent -- われて -- ▁asylum -- 岸田 -- 院长 -- ▁blijven -- ▁jason -- たちに -- 一本书 -- ▁Как -- ▁yapıyor -- 今度 -- бак -- agh -- ่ว -- 직 -- 棚 -- ▁کوچک -- 豆腐 -- 这就像 -- 真心 -- ▁consegui -- 大変な -- 韩国 -- ıp -- ▁snatched -- 付いて -- ▁evolved -- 谨慎 -- ▁JUST -- ▁survivor -- ▁verantwortlich -- ▁önemli -- ▁üzerinde -- ▁squeeze -- 获取 -- 五分钟 -- 親子 -- 毫 -- ▁bleef -- وص -- ▁lucruri -- ▁castell -- īgi -- 並んで -- diplom -- 己 -- ▁dunia -- ▁surf -- ショート -- హ -- ▁phần -- 我们开始 -- どのような -- ▁comfortably -- 本地 -- ▁awaited -- ▁thirteenth -- を取る -- 締め -- burgh -- RED -- 这些都是 -- مند -- ታ -- ▁jurisdiction -- 감 -- の間で -- 脖子 -- darb -- schieben -- ▁bantu -- 一直是 -- ▁дене -- ▁reminder -- stairs -- ▁donkey -- もらえる -- 很长时间 -- ッキー -- ▁versteckt -- ▁brandy -- 还有其他 -- 沃尔 -- ியது -- ▁whe -- ▁associ -- ▁Pic -- 人が死亡 -- ▁kaiser -- ここの -- ▁Мин -- observa -- accus -- ální -- 詐欺 -- ▁nich -- 朋友圈 -- runner -- 意味着什么 -- 很清楚 -- ▁همان -- 嘞 -- 婚礼 -- 鸭 -- ヶ -- ▁komunumo -- ▁provincial -- À -- ▁ຊິ -- セント -- ▁Grab -- ▁другим -- vī -- слух -- 在此 -- ▁Aussage -- ొ -- ▁chwarae -- 레 -- 喝了 -- 视觉 -- Institut -- hagi -- 采用 -- 乗せ -- 教学 -- 根本不 -- ▁whispering -- 我是一个 -- あいつ -- 食料 -- ▁Ereignisse -- ▁detected -- netz -- ึ -- ▁küçük -- ▁sydney -- ▁vorhanden -- чные -- ▁meisje -- For -- barra -- 扩 -- ということなんですね -- خورد -- フィー -- meid -- ▁tiefer -- 看得 -- 临时 -- вядома -- ▁Taylor -- 日本海側 -- ހަ -- ނު -- ▁одоо -- 身后 -- ▁получи -- прям -- brä -- 我个人 -- ▁principalment -- φ -- ▁Pflanzen -- ▁expertise -- ▁gezwungen -- maktadır -- ▁unfair -- っけ -- 飛ば -- ▁fünfundzwanzig -- ही -- ехать -- ▁temporal -- ▁seventeenth -- ▁嗯嗯 -- ▁attendance -- ▁посмотрел -- таль -- 拿出来 -- нстру -- ▁hunted -- ▁Personal -- ▁folgenden -- 小林 -- ം -- 胳膊 -- ▁مشکل -- 鲍 -- ▁پرو -- 偷偷 -- ▁roaring -- ▁clinic -- ▁Шу -- qualifi -- locat -- ifuza -- るなど -- ▁devote -- われる -- ▁asserted -- belli -- ▁doute -- ▁świ -- ▁yanjye -- 公安 -- ▁benefici -- ▁убийств -- スケート -- ▁Olymp -- ▁macro -- асць -- ▁discoveries -- ▁erano -- にあった -- یەک -- 堀 -- 月曜日 -- ▁wesentlich -- ▁Aufnahme -- ▁siaj -- ێت -- ▁Kong -- 对抗 -- بری -- cī -- 确认 -- ▁preaching -- metric -- ▁tyrant -- 인데 -- 地域で -- 一趟 -- awal -- ▁gefällt -- களும் -- 毫不 -- cuba -- 二十年 -- ▁superiority -- ▁academy -- ▁luncheon -- ▁wrinkle -- сім -- 询问 -- väg -- ▁Helen -- 底下 -- 地看着 -- してしまう -- ▁للم -- 我只想 -- 王国 -- geordnet -- 我希望你 -- 抚 -- ▁verletzt -- 叠 -- ▁besuchen -- ▁sacrament -- 够了 -- 懂得 -- jící -- 好朋友 -- をつか -- ▁instructed -- ▁vanish -- ▁praw -- ▁бөгөөд -- ▁distrust -- 节奏 -- どうする -- migr -- цяг -- 提示 -- 说出来 -- ▁يجب -- андр -- ▁хотят -- ▁körperlich -- анг -- vå -- льц -- 男生 -- ძ -- 鎌倉 -- հ -- ▁Ärzte -- 星球 -- 就不能 -- ▁frère -- 是否有 -- gerät -- කු -- ▁Kenya -- ▁کشور -- ël -- kanya -- 彼女の -- ▁voilà -- ▁llibre -- ▁connu -- ▁نگاه -- 央 -- partei -- 般 -- だとか -- ას -- ▁geldi -- 不许 -- '47' -- 底部 -- 奇妙 -- ▁Deutsch -- ▁imitation -- ▁Ку -- ▁Sydney -- 軒 -- ▁обычно -- ▁সেই -- つながって -- ▁warfare -- فَ -- tiene -- नु -- 感染対策 -- prem -- 談 -- 山田 -- ▁Oberst -- ▁Stimm -- 数百 -- えば -- 痛み -- 晒 -- amategeko -- ఎ -- 土砂災害 -- ▁ප්‍ර -- 船上 -- ظهر -- ▁الأمر -- 緩 -- ▁franklin -- ▁суу -- ▁hängt -- ▁chaos -- පා -- ▁Europäischen -- 今大会 -- ёс -- бә -- 诱 -- Kampagne -- ▁contemporary -- ▁어디 -- ▁customary -- ▁kuwi -- ▁advertisement -- 三点 -- institut -- ▁mirth -- ▁ändert -- ▁класс -- 僅か -- ▁акт -- spezifisch -- ̣ -- ▁ຫວາ -- ▁judicial -- 岐 -- 始める -- ▁candid -- lomb -- ন্দ -- 常常 -- ▁Tausende -- னும் -- ▁filed -- ▁prick -- льных -- onian -- шко -- operative -- ▁девят -- ▁healing -- AV -- ▁grote -- 贫 -- 通常是 -- 凑 -- ▁psychology -- ▁zurückkehren -- ▁besorgt -- 技巧 -- fähigkeit -- ▁подумал -- 质疑 -- ▁respon -- ▁savu -- иков -- ▁ответствен -- beruf -- かつ -- ▁WOULD -- ▁subscription -- 龍 -- ▁izmanto -- ▁اليوم -- ▁behandeln -- ▁Deci -- ▁publisher -- 通行 -- ▁creeping -- ▁Stati -- ▁muerte -- ちょっと待って -- ▁importa -- ▁مرا -- 밖에 -- یار -- avons -- Râsete -- ▁Ozean -- ▁цар -- 会让你 -- ▁greg -- ▁decidedly -- 观看 -- 番目 -- ▁Osten -- ▁bafite -- ▁gemein -- ▁copies -- ▁hợp -- 불 -- 晩 -- 申請 -- ▁prussia -- ▁thôi -- ▁Mehrheit -- ▁schickte -- 少しずつ -- ▁download -- ▁willow -- 最新の -- ▁scheen -- ▁vertrauen -- 能看到 -- нең -- 予定です -- ▁MM -- 正如你 -- ▁врач -- ▁کنی -- ▁strategi -- рю -- ▁staatliche -- やってみ -- ▁российской -- ▁fehlt -- ▁ingenious -- ▁compelling -- 修复 -- alba -- еньки -- '120' -- 接到 -- ▁celebrate -- 就是因为 -- 作业 -- ▁borrowed -- ▁Veränderung -- 巨人 -- 慧 -- ▁allerdings -- ▁нравится -- ▁المع -- ▁Prinzip -- 尊敬 -- 援助 -- 炒め -- loot -- ▁vật -- ▁derecho -- ▁personnel -- わずか -- 分散 -- से -- ▁ăn -- ▁specio -- uğu -- อา -- িয়ে -- ▁Wann -- йтесь -- නු -- ▁transmit -- ▁succe -- итесь -- ▁cultura -- 鹅 -- ▁gewöhnlich -- ▁Befehl -- 吵架 -- 不管怎样 -- ぇ -- ▁beendet -- ▁universitat -- ▁görün -- 犹太人 -- దా -- Franc -- àng -- ▁digging -- ິນ -- ▁ஆனால் -- 伊斯兰 -- ▁Đây -- ▁stesso -- ▁flicker -- ஷ் -- ▁Zusammenarbeit -- ▁série -- ▁bamu -- 一阵 -- عر -- ▁pesca -- ▁Sobald -- жым -- ▁discount -- 段階 -- зур -- ▁moll -- 働 -- いずれも -- ▁almighty -- 久しぶり -- ▁congratulate -- 八点 -- 観光客 -- 輸入 -- tsiooni -- 広く -- ▁Dabei -- ▁packet -- читать -- 什么都不 -- 树林 -- 一点也不 -- علوم -- 总结 -- ▁clark -- 他にも -- ▁cependant -- ▁extravagant -- ▁постоянно -- ▁Kredit -- ▁kehrte -- تُ -- 冷凍 -- ▁vierzehn -- apport -- ▁Ruf -- 水果 -- world -- ▁richmond -- ▁ааа -- сор -- ▁Mission -- 建立了 -- ▁strengthened -- ▁truc -- ▁generosity -- 衝突 -- 鹿児島 -- わからない -- ▁clinging -- ▁конкур -- ▁Aku -- ित -- intensive -- ▁endeavoured -- ▁felicit -- ▁precisa -- ică -- 救助 -- ▁ویل -- ▁affecting -- ▁horace -- ▁trench -- garten -- leiter -- ▁gezien -- czas -- と呼ばれ -- を求める -- 二人 -- ▁terminal -- пустил -- 遂 -- نظام -- ▁Simon -- ливо -- TT -- ování -- ▁bilo -- っぽ -- 惊人的 -- ▁approaches -- Ĉ -- ▁Wörter -- 支払 -- ▁coch -- ▁expressing -- 皇后 -- 火事 -- 无限 -- 出てきて -- ▁tradi -- 在做什么 -- ▁kvar -- ▁ridicule -- 狩 -- 大規模な -- oxy -- zentrum -- ▁কৰি -- たいと思います -- ліз -- ▁Power -- ▁бело -- 推进 -- څ -- croft -- ▁kennt -- 太空 -- ▁collecting -- 我在这里 -- ▁destaca -- ▁khu -- トイレ -- ▁favourable -- état -- 天使 -- घ -- ▁hurricane -- こだわり -- ▁puerta -- ▁legislature -- âng -- ▁optimize -- ▁necessari -- ▁flashing -- ▁Kevin -- いわれ -- 出售 -- 告诉他们 -- ▁Fälle -- プリン -- ▁lewis -- ▁краін -- ▁presu -- මි -- 捡 -- ▁ребята -- ▁والم -- ▁baggage -- ▁прежде -- プロジェクト -- ロボット -- ▁comercial -- ▁Heimat -- 实在是 -- ロック -- ▁liking -- ドア -- 另一方面 -- ހ -- ▁Hari -- パワー -- inscri -- 抬起 -- 長期 -- jährigen -- ட்டை -- өнгө -- ▁housekeeper -- ▁socialist -- そうした -- お酒 -- ▁vod -- ▁embarrassed -- abaturage -- 鏡 -- ලි -- ▁こうした中 -- ாவது -- ICH -- 有许多 -- مثل -- อน -- holm -- ▁corri -- lith -- 按钮 -- ▁hereafter -- ល -- ▁habt -- 房地产 -- 演説 -- ▁liable -- 戴着 -- ▁obstant -- ▁آس -- いくつか -- 七月 -- 克莱 -- 可怜 -- ▁oyun -- 誰が -- 我问你 -- kintu -- ▁иә -- '".""' -- ▁chairman -- ▁đấy -- 贫困 -- ▁memorial -- ▁никакого -- ▁flavor -- блюд -- ▁Paar -- ▁Tony -- ▁Vorschlag -- 激しく -- ▁strained -- clav -- ▁yacht -- ▁Quar -- 这样的一个 -- ▁vulnerable -- ▁сельсовет -- ▁Nahrung -- ▁cualquier -- ▁keel -- ▁gradual -- ▁газар -- 信念 -- nwen -- ▁realiza -- ▁удиви -- ▁Dave -- ▁vegades -- ▁gezegd -- 枠 -- ▁describing -- ▁або -- ▁produit -- ▁berlin -- が続いています -- ▁universities -- بحث -- pā -- ▁outdoor -- ▁Bou -- ▁kugeza -- 克服 -- вец -- 的记忆 -- альной -- éré -- 之内 -- قدر -- ১ -- હ -- ▁hakkında -- 犠牲 -- 循环 -- ▁dispatch -- ▁Medizin -- märk -- ▁නො -- Net -- ▁Royal -- 原発 -- ▁система -- 开会 -- свет -- ก็ -- 颤抖 -- ▁reagieren -- ▁нічога -- ▁Englisch -- 網 -- 晚餐 -- ▁pathway -- 連れて -- ▁தீ -- 去哪里 -- いくら -- ▁mochte -- ▁ভাল -- ▁mujeres -- 野生 -- thought -- ▁محل -- ▁pleasantly -- ▁adviser -- cima -- ▁depois -- شعر -- ▁coil -- stow -- 体操 -- 酒吧 -- 両方 -- telli -- ▁semble -- еду -- ▁amuse -- ▁prosperous -- ▁ہو -- 人才 -- 契 -- しまい -- Ɣ -- ▁authentic -- ▁некоторые -- 肩膀 -- ▁prescribe -- 伊藤 -- 生物学 -- ▁ҡара -- ▁Viertel -- 津波 -- ▁ziet -- wirkung -- ▁oars -- 遭受 -- urira -- 跃 -- ▁처음 -- ▁nobility -- ▁renown -- 另 -- ņa -- ▁propre -- 明治 -- 配信 -- ▁hả -- したうえで -- taifa -- თი -- お肉 -- vila -- альные -- ぷ -- スポット -- 焼け -- 始终 -- gène -- 車両 -- 新聞 -- 否认 -- 设施 -- escent -- handlung -- 埃及 -- 回复 -- 発売 -- 拿起 -- rouw -- 坐下 -- ització -- ▁Zentrum -- ▁través -- ▁implied -- ▁fringe -- чныя -- zuhalten -- kiko -- compose -- ▁serene -- 強さ -- aĝo -- 般的 -- بال -- 栋 -- ▁höre -- ▁Pel -- 这个事情 -- дина -- 知道吗 -- Krista -- ▁사람들 -- 認め -- ▁passé -- ▁пару -- జ -- ▁микрорайон -- ゥ -- архи -- ங்களில் -- 岁的时候 -- mdash -- ぱ -- schalten -- aquestes -- にしても -- ▁Einheit -- ▁сильн -- ▁melodi -- 眼里 -- 尤 -- பர் -- бот -- コーヒー -- националь -- ▁commodity -- ▁касается -- 引っ張 -- 更好地 -- ▁одну -- ▁sneak -- ▁roared -- ▁incorporate -- نْ -- 積み -- ▁rubber -- ▁protecting -- テスト -- trifft -- meester -- syll -- ▁Marie -- ことば -- Bahn -- denial -- ോ -- ూ -- ▁Perspektive -- ▁drifted -- 伸出 -- ▁evaluate -- leuchtet -- ▁automatically -- ▁diminu -- ▁Menschheit -- živ -- ▁courteous -- ▁нужны -- frica -- に向けた -- 单身 -- 只有一个 -- ▁Off -- 资助 -- ▁savoir -- ▁людям -- 偽 -- 与其 -- ▁civilized -- uelo -- ▁இல்லை -- ▁Atom -- ▁hành -- أشياء -- ▁좋은 -- ▁решения -- ▁übrigens -- ▁basketball -- 问一下 -- respecting -- ▁vragen -- ▁состав -- ひとつ -- 找出 -- ▁путина -- objekt -- تعلم -- bär -- ỹ -- ▁eloquence -- ▁receipt -- ▁обязательно -- カナダ -- обеща -- 商人 -- ▁иначе -- ▁Schreiben -- kî -- EIN -- ღ -- ▁meteor -- ībā -- пит -- ▁мус -- ▁handeln -- hér -- 先頭 -- روف -- 做了一个 -- せっかく -- 雇佣 -- ハウス -- ▁cuerpo -- きょうも -- ▁popol -- ▁Arch -- hinda -- ▁dusty -- すぎて -- нікаў -- ▁khá -- 灰色 -- ▁Each -- ▁defended -- 会发生 -- 売り上げ -- かえ -- kamu -- 美味 -- ▁Geschlecht -- ▁பயன்படுத்த -- 勘 -- ▁benjamin -- ▁negativ -- ▁غیر -- 我们发现 -- вацца -- ▁abrupt -- 几十年 -- ELL -- ▁Austr -- 认知 -- wash -- ▁billig -- 辩 -- eusement -- tuvi -- رَ -- 数据库 -- ▁accuracy -- ▁jullie -- ▁verbinden -- ▁Spur -- ▁шестьсот -- 明天早上 -- ▁cement -- ▁exalted -- ▁continual -- ▁garment -- ▁blur -- ▁хол -- annon -- '64' -- бен -- ▁एक -- ▁Sitzung -- soever -- ぶつ -- ▁Wid -- 瘾 -- ▁apparatus -- 携帯 -- 但我认为 -- 赋予 -- ▁cricket -- جعل -- günstig -- ▁வழி -- ▁festgestellt -- ▁robinson -- ▁silenci -- って言った -- ▁doktor -- 汪 -- ▁accumulate -- ▁catastrophe -- ▁практически -- 札幌 -- かれて -- ▁اولین -- ▁spoon -- ▁zitten -- праў -- ▁babi -- ▁адно -- ▁Old -- ▁Oxford -- ▁москвы -- 寂 -- 貨 -- 钢琴 -- ىلى -- ▁bastante -- foli -- ацыі -- ▁behaved -- ível -- 合理的 -- ▁زیادی -- ▁kujya -- ▁lucru -- ▁rainbow -- ▁segundo -- ▁blazing -- шне -- 的核心 -- ▁Katze -- ▁despised -- îne -- ▁Chef -- ической -- строй -- ญ -- ▁mặt -- ▁soutenir -- ▁sworn -- ▁قىل -- ▁merciful -- ۇن -- ▁dragging -- ▁самого -- ▁patriot -- いいのか -- ▁разные -- ▁வரு -- ▁войны -- 媒 -- ▁honorable -- 迎え -- できなかった -- 弾道ミサイル -- 証拠 -- ▁thereupon -- ▁überzeugt -- thorpe -- ▁Schlacht -- ▁Hügel -- ▁الأس -- guye -- ▁велико -- tracht -- 顾问 -- ▁lautet -- witz -- ▁größeren -- ▁занят -- ▁implemented -- 珊 -- ▁cylinder -- ▁disadvantage -- 름 -- ▁Science -- ▁الوقت -- 倾听 -- ▁primi -- ▁HAD -- ことになりました -- чки -- ▁automatic -- 農家 -- ▁neighbouring -- 涌 -- dimensional -- 枯 -- 님 -- ナンバー -- ▁arasında -- ▁Rick -- ▁complicat -- споко -- ▁yavuze -- ంది -- 台上 -- ▁conqueror -- čči -- ▁Cela -- andika -- ▁treating -- 很可能 -- ▁conduc -- ▁forgiveness -- 欺 -- œ -- ▁exaggerate -- ▁bicycle -- ▁다른 -- ▁başladı -- 债务 -- ▁sicherzustellen -- 么 -- 年级 -- operation -- ▁ceea -- شاهد -- 態 -- ıyla -- учен -- vira -- لج -- 漆 -- ▁무슨 -- 喉 -- очку -- 義務 -- bikora -- ▁беларускі -- 另外一个 -- ▁governed -- ▁Court -- 深度 -- плеч -- 尽量 -- 的说法 -- shinga -- 病床 -- yobo -- ▁اور -- ▁jenny -- ▁tipus -- 释 -- ▁quindi -- ここが -- ▁bijna -- 你会发现 -- 到目前为止 -- 摊 -- 포 -- ▁überzeugen -- பெயர -- ▁lettre -- 我总是 -- ▁reliable -- ▁そんな中 -- ▁scold -- 木さん -- ▁contrari -- 背中 -- を止め -- ▁carne -- だと思う -- 価 -- ▁mournful -- 寸 -- 葛 -- ▁موقع -- 大好きな -- regierung -- опо -- 赶快 -- ▁crab -- 応え -- と思うので -- ▁maggie -- ▁мөн -- ▁ужо -- 称为 -- ▁crisp -- eisen -- 七点 -- BS -- 嗨 -- ▁Literatur -- ▁చే -- ▁cotxe -- یں -- 亲戚 -- ▁Kohle -- ▁remarkably -- ▁diameter -- ▁hạ -- ▁simultaneously -- ▁proclaimed -- ▁torre -- raad -- 战场 -- 不在乎 -- 種類の -- 污 -- 布里 -- ▁inscription -- 市长 -- ▁taylor -- 留给 -- பட்ட -- の方は -- かき -- 的思想 -- پرس -- ▁translate -- ▁untersuchen -- ▁genutzt -- umugabo -- ▁Four -- getrieben -- парат -- ▁proverb -- ▁смотри -- ▁kennedy -- mysl -- gry -- ▁marque -- ▁thicket -- ▁folgt -- ▁blev -- 引き上げ -- ގ -- 姥 -- 蚊 -- ▁treason -- ▁podem -- ▁праз -- ▁missionary -- 两百 -- '......' -- 你会看到 -- EW -- ▁توانم -- 的意见 -- 面子 -- ▁دانش -- вд -- wyth -- holz -- kiem -- ာ -- 萝 -- 秩序 -- 稚 -- 规矩 -- ▁abbey -- ゴン -- ándose -- ▁damned -- пет -- ▁militär -- ▁prolonged -- 流动 -- 大陆 -- ジョ -- stāv -- 气候 -- pter -- เด -- டைய -- でしょうね -- 我刚 -- insel -- ▁lawful -- 萧 -- 飘 -- أصبح -- 詞 -- ▁противо -- だと思って -- ▁Studio -- век -- 喜剧 -- 하다 -- க்கை -- 慎重 -- жыць -- spruch -- ▁completa -- ▁unconsciously -- ▁lernt -- ▁frenchman -- ▁quả -- ▁buli -- ▁twain -- 糊 -- ▁bölge -- ▁알아 -- ▁inheritance -- ボタン -- 又不是 -- を抱え -- 古老的 -- 時代に -- すき -- ▁அதன் -- كرة -- 即便 -- għ -- 腕を -- を行った -- ▁بودم -- ▁predic -- ってほしい -- ډ -- ▁Kö -- ▁lapse -- shima -- 大谷選手 -- ▁Kalifornien -- するのが -- валася -- 世界上最 -- ▁indicator -- 直前 -- ▁australische -- ▁angenommen -- ▁Psy -- ▁বলে -- そうと -- 加强 -- 慣れ -- グルメ -- දී -- ковская -- ▁kreativ -- ▁sorrowful -- 花钱 -- 公表 -- 侵攻 -- ễ -- ෑ -- ▁امروز -- ホームページ -- 新幹線 -- ▁подожд -- ▁arriba -- 諦め -- ▁разве -- 決めて -- ▁majoria -- لەر -- ▁баб -- ganya -- ▁iawn -- ▁moist -- ējā -- 決して -- ático -- 筒 -- ▁defiance -- ▁prêt -- 登録 -- generation -- ▁сябе -- طلب -- ▁Verbrechen -- ACH -- 果然 -- ▁집에 -- 道具 -- 下がって -- ▁начала -- を観測 -- ▁preached -- ▁годы -- 砍 -- ▁Lincoln -- ▁eyebrows -- ▁jünger -- 구나 -- ▁Hard -- 社交媒体 -- 是什么意思 -- ▁будто -- ▁کتاب -- 肌肉 -- 雨雲が -- ▁pouvez -- ▁Philip -- 合意 -- ކު -- ▁болох -- arbeiter -- 火星 -- waż -- ▁ҡал -- ▁Beamte -- 义务 -- ▁brauche -- ▁cultiv -- ▁bunk -- ▁fantastisch -- ય -- 밥 -- ▁constance -- ▁intrigue -- ▁Umfrage -- 国葬 -- ▁brazil -- ▁flog -- пай -- かしら -- ستخدم -- ▁бесп -- ▁கூற -- 最后一次 -- 阿拉伯 -- Ó -- 역 -- 那不是 -- ▁Korea -- ▁называется -- 电池 -- 开枪 -- ▁obtaining -- 格雷 -- ▁kettle -- ▁perished -- 是一件 -- ▁இருந்தது -- ▁сидел -- 感染者数 -- 一起工作 -- pound -- 목 -- 舎 -- ▁максим -- ▁صحبت -- ▁behauptet -- ▁komplexe -- ▁lavoro -- 并将 -- ▁nghe -- iyoruz -- ▁zooals -- ▁спец -- 热爱 -- 三角 -- angwa -- ▁ĉefe -- ø -- ▁поддержива -- 崇拜 -- 繁荣 -- 谁能 -- ▁davis -- 県内 -- ந்தார் -- ริ -- ▁ditch -- ▁Zitat -- Ё -- 吹き -- ▁Microsoft -- entreprise -- ▁замечательн -- сця -- 微妙 -- ▁aspiration -- をご覧 -- ▁fakt -- ▁integrity -- ▁Мне -- 自主 -- оф -- ▁schei -- mıştır -- ▁kız -- kontroll -- скры -- ▁supernatural -- ▁grundlegende -- 引导 -- ▁presque -- ▁часов -- ▁growled -- ▁electrical -- wickelt -- 不能再 -- ランク -- 犹太 -- こんにちは -- 福利 -- 引发 -- 一方面 -- 谁知道 -- 日期 -- を示す -- ▁До -- ▁друзья -- 你放心 -- 存储 -- ▁sniff -- 確認された -- ▁rocket -- もう少し -- ▁haute -- 短暂 -- ковский -- ▁Fur -- ▁kapit -- ▁äußerst -- োৱা -- 貸 -- ▁sincerity -- につながる -- ▁самых -- 预期 -- ▁overflow -- ▁hostess -- ▁Dienste -- ēl -- iyle -- kämpfe -- が起きた -- ლ -- ▁별로 -- ▁choosing -- 阴影 -- ▁அவள் -- ▁archer -- miseks -- ▁куз -- ▁новый -- ▁কোন -- ▁apron -- 也许是 -- 达成 -- リアル -- ▁interruption -- ▁alfred -- держать -- ▁laquelle -- uḍ -- енной -- 的感受 -- されてる -- ▁installed -- மற்ற -- 子弹 -- リーダー -- ▁Су -- ▁withdrawn -- жин -- ▁Neuro -- അ -- '`' -- ٍ -- ▁scary -- ▁Handlung -- ▁пакуль -- czą -- 打つ -- cull -- ▁Danach -- 起床 -- demokrat -- ▁isaac -- 我听说 -- 会觉得 -- ▁quedar -- を見た -- 時まで -- いろいろな -- ▁container -- ▁preliminary -- ▁emphasize -- ▁Elektro -- 儀 -- ▁உட -- 天哪 -- ▁பண்ண -- ▁đồng -- 广场 -- ▁Social -- ▁Gründen -- 该怎么 -- 朝から -- ĵ -- ▁نفر -- ▁concession -- ▁человеческ -- ▁Schauspieler -- 山本 -- 長崎 -- ▁než -- ীয় -- работал -- 相手に -- ▁utilize -- 音频 -- ▁erforderlich -- ृ -- 谁呀 -- もしかしたら -- ブルー -- ▁değiş -- ▁exclusively -- ▁sauber -- пресс -- ▁mulher -- ▁printing -- 更快 -- 発電 -- 回答说 -- джи -- ▁schade -- 火山 -- ▁complexity -- とかそういう -- ▁kontrol -- ▁besiege -- 诗人 -- ▁countless -- ▁rejoiced -- 培 -- င် -- ▁stooped -- ▁vicinity -- ▁внутрен -- 筆 -- ▁wreath -- ▁equation -- grenzen -- ணை -- 相当于 -- 三月 -- ▁Voll -- ▁diplomat -- decken -- ▁propag -- gesehen -- ▁vermute -- 一点儿 -- lê -- ▁wirtschaftlich -- ▁verhindern -- ▁caracter -- ▁فإن -- ▁submarine -- ▁latitude -- 给了我 -- gegeven -- 戦略 -- ▁mooi -- ▁peine -- ▁kitten -- 黒い -- 职位 -- concili -- 名称 -- 季节 -- ddau -- しないと -- RIS -- ▁repeatedly -- ▁Цяпер -- ▁thường -- ▁inclou -- ▁Gegensatz -- ষ্ট -- 促进 -- 价值观 -- ▁그걸 -- ▁selben -- ▁أَ -- ▁systematic -- გი -- ▁Ми -- fí -- 又一次 -- ▁stata -- ▁listeners -- ▁empfehle -- ▁çıkar -- 消除 -- 駆け -- ▁Bak -- ÍA -- ▁holiness -- സ -- ▁biological -- ▁trouva -- لِ -- ▁joven -- 首歌 -- 也知道 -- ģ -- ▁consistently -- したいと思います -- ұ -- ຫຼ -- ▁zerstört -- ד -- ▁experiencing -- 帖 -- ▁خارج -- 亚洲 -- ▁righteous -- 分别 -- 艾伦 -- ▁conjunt -- ▁melhor -- образован -- ▁nchi -- ▁Rou -- 效率 -- ▁disregard -- 爪 -- 須 -- 従業員 -- ង -- ▁Russland -- 9% -- ▁sasa -- ピーク -- ART -- マリ -- cross -- ▁Jason -- oran -- сну -- 看起来很 -- 结束时 -- ケー -- čne -- 哲 -- ਲ -- ▁phantom -- ▁затем -- ▁stuart -- ▁потеря -- ▁Schnee -- wendung -- ▁pip -- 南京 -- 美女 -- ▁offenbar -- leştir -- 录音 -- ▁мама -- ▁semana -- 这只 -- 軽く -- ▁conspiracy -- ▁removal -- ▁полно -- の歴史 -- ▁Laut -- ▁freuen -- ▁açık -- ォ -- ▁Arthur -- ▁böyle -- 特别好 -- 听过 -- ▁commandment -- appelle -- ▁sitzt -- 累了 -- 剥 -- 鑑 -- ▁District -- ▁oppressed -- ▁socrates -- ▁اتفاق -- 償 -- 整備 -- ▁longue -- ▁sağla -- 优秀的 -- ющим -- ицы -- クラブ -- ▁targeted -- ▁substitu -- するのか -- ▁Einstellung -- 车辆 -- 点钟 -- escu -- ガラス -- üßt -- 搁 -- 砖 -- ▁vernünftig -- 군 -- ▁зүйл -- にわたって -- 财务 -- 殖民 -- ছেন -- verhalten -- ▁phụ -- 危険な -- ▁Verein -- ▁Creek -- ▁loaf -- ▁Shu -- ▁pobl -- 动议 -- ▁lebendig -- を続ける -- 墙上 -- 則 -- ▁ghastly -- 共和国 -- 気分 -- 最後まで -- になれ -- ▁Dž -- 座位 -- dział -- ▁كو -- 植え -- ▁Kenn -- ▁tutte -- larına -- 这是什么 -- راء -- ▁зуб -- ▁Schluss -- ▁Signal -- コーチ -- ▁stimulate -- 不良 -- んでしょうね -- 었는데 -- ▁mostrar -- ымі -- awen -- 部落 -- ▁erkannte -- ண்ட் -- 没事吧 -- mischt -- ড়ি -- 微信公众号 -- düğü -- 時間帯 -- ▁descending -- тери -- ▁prezent -- ▁Innen -- ▁westward -- ▁jugador -- springen -- 寒い -- يقة -- ▁المست -- writer -- ▁считает -- ▁Leidenschaft -- ▁tiếp -- 活跃 -- ▁constable -- monat -- 一支 -- やっと -- 远远 -- 有人说 -- писал -- ▁brace -- gemacht -- traction -- 回事 -- ಹ -- ▁bảo -- Europe -- නය -- ▁noisy -- ▁WILL -- 代わりに -- ▁glimmer -- こんな感じ -- ▁Water -- 承受 -- ▁visage -- 現金 -- 年生の -- ぽ -- ▁зелен -- 掩 -- 涙 -- ▁intimacy -- ▁thieves -- 难以置信 -- ▁ساعت -- ▁принял -- 征服 -- ▁ascended -- corp -- ▁Betracht -- っていきます -- ▁horseback -- ▁frail -- ▁maud -- ▁contradiction -- 陸上 -- ▁счет -- 一応 -- 冷たい -- UE -- あした -- روس -- 練 -- 銭 -- ▁Geschenk -- ▁hurled -- 厕所 -- gewinn -- 我也不知道 -- 客厅 -- ▁basta -- ▁bildet -- genomen -- பின் -- ▁svět -- 有这样的 -- ▁belangrijk -- ▁matrimoni -- 색 -- ▁Company -- గా -- ▁جنگ -- ometer -- ▁tutor -- ядзе -- ▁severity -- 尼斯 -- 不止 -- 争取 -- ▁cooperation -- ▁aldı -- ▁რომ -- buck -- ▁europäischen -- 吊 -- ▁refusal -- 沖 -- ▁chancellor -- ▁portal -- 内閣 -- ▁allusion -- 怖 -- INE -- ▁devons -- 金钱 -- ▁анти -- blé -- ▁روش -- 토 -- LED -- ▁لذا -- 一个巨大的 -- очки -- صنع -- ▁wickedness -- ▁distressed -- سلام -- ▁conoce -- ▁гораздо -- ▁Jersey -- ▁Verteidigung -- ▁amateur -- 歌词 -- ▁Papa -- 誕生日 -- 军官 -- まっている -- ▁звонил -- ▁regal -- 看着我 -- 起诉 -- vamo -- すり -- 穆斯林 -- ▁atrodas -- ▁vermeiden -- ব্য -- ▁pregunt -- ▁எனக்கு -- ▁lingered -- كَ -- 好听的 -- 判決 -- ▁keenly -- bido -- pola -- ▁groaned -- শে -- ▁outfit -- ▁shattered -- ▁beberapa -- ▁மிகவும் -- ހު -- ▁вперед -- ▁peel -- ▁equipped -- bū -- 术语 -- 四月 -- ▁ligne -- improvis -- みたいな感じ -- 描いた -- ▁طريق -- ▁Kauf -- 做得很好 -- 未知 -- ▁Beide -- หา -- ▁gravel -- 体調 -- father -- spitze -- ▁виду -- 交换 -- jú -- ई -- preservation -- 勧 -- rinda -- 珍しい -- 優しい -- ▁schreibt -- 加工 -- ▁priorit -- ▁implore -- ▁Maz -- ▁accuse -- 地理 -- CC -- ▁revolu -- ▁Mario -- помин -- 겨 -- йшоў -- gaciro -- '96' -- ▁qil -- 春天 -- 消え -- ▁демократ -- analyse -- druž -- ▁около -- ▁государства -- টো -- ▁maximum -- ยา -- しているんです -- ▁любой -- ▁выборы -- 意志 -- 颠 -- Restaurant -- ۱ -- ▁trình -- ▁сожалению -- 絞 -- ▁psychische -- ▁Тэд -- ▁подход -- 総合 -- ▁començar -- funk -- ▁charley -- ▁geschafft -- ▁suppressed -- ▁Grenze -- があるので -- ▁Emma -- ▁我想听 -- ▁inherited -- ▁Бер -- 惯 -- даць -- ▁adjoining -- ▁kontraŭ -- ▁société -- 桐 -- ▁Investor -- чнай -- träger -- ▁хор -- ▁Pur -- ▁brightness -- ▁поднял -- 会导致 -- ▁Mind -- 庙 -- 哟 -- ▁loneliness -- 炊 -- 挣扎 -- ▁spectrum -- 创伤 -- rühm -- 售 -- 遭遇 -- 把它放在 -- ▁plaça -- ▁SEC -- ▁ethel -- дзв -- ▁Alors -- šā -- ங் -- ▁mantle -- Ҡ -- 陷 -- ▁Griff -- 録 -- ▁affliction -- ▁mathematical -- 困扰 -- ▁koran -- ▁declara -- читыва -- ▁رسید -- '250' -- 昨晚 -- 昭 -- 있 -- ▁vapor -- を起こし -- :“ -- を通して -- কো -- 得起 -- рожд -- 以一种 -- 册 -- ▁Details -- ▁lydia -- ぁ -- ক্ত -- 村庄 -- 相机 -- ▁chiama -- 業務 -- 保安 -- ▁ведаю -- 不然 -- 武装 -- ▁шүү -- ப்படுத்த -- ▁hose -- ▁gewann -- 书记 -- pharma -- half -- 动机 -- になってくる -- に近い -- нув -- 老百姓 -- ▁zoals -- етесь -- між -- నే -- ▁ladyship -- ▁bemerkt -- õl -- ▁conductor -- ▁Senator -- 谈过 -- 丈 -- 盈 -- ▁beschrieben -- 질 -- ▁battalion -- ▁participants -- ▁Wetter -- 农场 -- ▁zegt -- كتب -- ▁hardware -- 为什么会 -- ஞ -- 呈现 -- న్ -- ޅ -- ▁anticipation -- 巾 -- ▁sammeln -- ▁römische -- гара -- 使命 -- リップ -- 展开 -- geschnitten -- ▁Bush -- ▁Beweis -- ▁consultation -- ▁plunge -- 密切 -- ħ -- ელ -- ▁deployment -- ▁admiring -- كۈ -- ケア -- 行不行 -- ▁дети -- attend -- ゼレンスキー大統領 -- 杠 -- 選択 -- schmutz -- ▁compliance -- geleitet -- паз -- ACT -- ▁Vogel -- 诊断 -- ▁malheur -- ▁Sekunden -- 有趣的是 -- ▁Hast -- নী -- ▁simplement -- 玫瑰 -- ▁instinctively -- ▁trọng -- ▁analyze -- ▁Three -- 楽しむ -- ▁Abteilung -- männer -- 天主教 -- 上课 -- ▁бала -- 取代 -- ▁circus -- மோ -- шую -- ▁occhi -- ▁Diana -- する方針 -- ▁kvin -- 仔 -- અ -- 脇 -- やろう -- ▁empower -- 平方 -- '2009' -- 明智 -- 体内 -- 最重要的是 -- 斯顿 -- わかった -- 熊本 -- 行う -- ▁verdict -- acca -- ŝa -- 幻灯片 -- ▁erhöht -- ▁perquè -- ▁영화 -- ▁desirous -- AGE -- 見てみますと -- ▁blunder -- ▁striving -- lösch -- ▁ег -- óc -- 夫妇 -- 同様 -- ▁Ohio -- ▁müde -- ▁groom -- ibindi -- geschrieben -- 鹏 -- 雀 -- ▁Canadian -- ▁произошло -- ▁أيضًا -- ▁ecosystem -- ▁bleeding -- ▁eleanor -- ▁dialect -- 我就想 -- したところ -- тап -- 欧米 -- ▁fué -- ▁Pfund -- 衡 -- قض -- ▁mechanic -- ▁exceeding -- 争い -- වැ -- ▁två -- ▁burada -- ▁vorbereitet -- 旺 -- ▁Clinton -- 機械 -- 된 -- 惊喜 -- 製品 -- 集合 -- ▁contemplation -- ▁但是现在 -- த்தா -- ائية -- طرف -- ▁patrol -- UC -- ▁grandeur -- 住房 -- алда -- 亚马逊 -- ▁président -- デジタル -- 恭喜 -- 破壊 -- ওঁ -- يلة -- 几分钟 -- を紹介 -- ▁veranda -- ▁Verkauf -- ▁وقد -- 脑袋 -- 晚安 -- matik -- ▁venice -- ▁Wesen -- 深く -- 尔顿 -- ことになります -- と述べ -- 转身 -- アナウンサー -- 裔 -- ▁услыш -- ▁getrennt -- ▁Italien -- ▁برنامه -- ▁psalm -- 動いて -- ブランド -- ▁государство -- 低下 -- どうなって -- 给出 -- modoka -- ▁bazı -- 创始人 -- ▁çoğu -- ▁batteries -- ▁barber -- คน -- ▁Clark -- ▁легко -- ▁извест -- ště -- avlja -- ▁roam -- ▁utility -- зван -- 手紙 -- 疼痛 -- だったので -- ▁gebeten -- 舟 -- スイーツ -- 黙 -- ▁دختر -- ▁существует -- 遵守 -- ▁junger -- ▁chú -- ▁Dach -- xx -- 礼貌 -- درس -- පු -- 自動 -- 先制 -- ▁inhabit -- 不算 -- ▁господин -- undneunzig -- រ -- ▁covenant -- ▁prediction -- ▁statute -- ▁cetera -- ешься -- حصل -- 导致了 -- Х -- ▁Medikamente -- ▁среди -- ▁Mama -- 网站上 -- ▁hug -- ▁дежур -- ▁mientras -- 弦 -- 험 -- 挟 -- ▁elevation -- ▁Pflege -- ▁Đó -- ▁olw -- ▁jasper -- しません -- ▁черн -- を受ける -- 在那儿 -- 即使在 -- が発表され -- ání -- niedrig -- OB -- cible -- ▁stubborn -- ▁subordinate -- 疑いが持たれています -- ビデオ -- 凭什么 -- ▁چطور -- ▁людзі -- ▁ўсе -- ▁Block -- ▁DES -- čil -- 收获 -- 不幸的是 -- ▁northwest -- のようなもの -- してくれた -- பிடி -- ▁hynny -- ▁sparkling -- جلس -- ▁gleaming -- 种植 -- ▁Null -- ▁avenge -- 奋 -- ▁confronted -- ▁москве -- ฟ -- 分かんない -- ▁pubblic -- 仕掛け -- ▁verlangen -- ▁apology -- ▁chama -- 桌子上 -- 很喜欢 -- ▁Basis -- ▁территори -- 吉他 -- سوف -- 打印 -- 所以如果 -- brennen -- ▁regent -- 一个小时 -- ▁Marine -- 润 -- をはじめ -- ▁darted -- 凍 -- ▁certificate -- ▁henceforth -- エース -- раздел -- ▁aufmerksam -- ▁stripped -- 设计师 -- äß -- ▁Wichtig -- ▁fake -- ▁lavora -- 忘记了 -- ацыя -- 携 -- 失礼 -- ▁rejoin -- େ -- 匆忙 -- 飛行機 -- ▁plug -- ydı -- की -- ▁erleben -- ▁Fä -- 跑步 -- 网友 -- ▁oyster -- ▁screaming -- ▁forsake -- ▁knocking -- ▁volont -- 얘 -- ▁Schließlich -- ▁furchtbar -- ▁Gesamt -- 及其 -- ▁너가 -- 三次 -- 怪我 -- ▁pedra -- 消費 -- ăng -- ようになりました -- ული -- ▁zweihundert -- 婷 -- ▁restructuring -- ▁Ankaŭ -- 孙子 -- われわれ -- ▁tariff -- ▁парк -- 椅 -- 張り -- 一个男人 -- ▁deutschen -- ượ -- ▁وهو -- ▁بها -- スペース -- ▁petrol -- ▁repress -- 島さん -- ▁Später -- દ -- ▁karakter -- ▁않아 -- ▁여기 -- ▁цаг -- 辆 -- äck -- าน -- ▁алло -- ビール -- 行事 -- ▁встреч -- ▁Müll -- ▁Küste -- 디 -- ▁llegar -- 辱 -- ▁Million -- ▁случилось -- ▁şimdi -- 欲望 -- న్న -- ируют -- ància -- 天皇 -- ▁shawl -- ▁basil -- いること -- ▁practised -- 怎么着 -- قۇ -- ▁nyingi -- 慰 -- 唯 -- ▁Republic -- ▁delicacy -- 迹象 -- ▁Ursache -- ▁අප -- Liber -- ске -- ▁metod -- 还是要 -- ıdır -- ▁cama -- 慢点 -- 出会い -- ▁podia -- 过程当中 -- ▁fui -- ▁incorpor -- studie -- étude -- に警戒 -- 머 -- ▁cœur -- ▁Haufen -- ્ય -- ▁njegov -- ▁Cambridge -- 皆様 -- ▁komplett -- assemble -- dringen -- ▁слов -- ходзі -- ▁burial -- 짜 -- Ú -- 不可思议 -- 贯 -- ▁metaphor -- 縫 -- ▁Anderson -- він -- 業界 -- ペア -- 震度 -- lender -- ▁самым -- ▁emit -- ▁Fair -- 趣 -- ื -- ▁exig -- ▁হয়ে -- ▁făcut -- connect -- bücher -- ṭṭ -- ▁hark -- ▁już -- 取る -- ▁actress -- ▁commonplace -- 跑到 -- 穿上 -- ▁frock -- ▁snatch -- ımız -- скія -- 折り -- ▁calor -- 确切 -- ifies -- 肢 -- わかりました -- ▁помню -- 栄養 -- рина -- 尾巴 -- เส -- ▁infirm -- に入れて -- 疯了 -- archiv -- 暑い -- ҡан -- ▁تک -- 优秀 -- æ -- 棉 -- ▁gọi -- 纯粹 -- 頑張り -- ▁Madrid -- ▁хлоп -- әү -- 定位 -- 一生中 -- marsch -- ▁будуць -- 可能性があります -- 来找我 -- kārt -- ▁minority -- Archi -- 的梦想 -- 赢了 -- 開け -- 葡萄 -- 皆さんも -- 辨 -- ▁controversy -- ▁обнаруж -- レシピ -- 致力于 -- ગ -- ▁irgendwann -- ▁ہے -- 加盟 -- 临床 -- ▁knapp -- を見ると -- ▁працу -- истов -- で最も -- HR -- 良く -- どこまで -- ворот -- ▁BY -- バレ -- ▁Dunkelheit -- ▁wizard -- ▁declaring -- ސް -- روب -- ▁вижу -- 土著 -- ▁यस -- ▁offiziell -- ▁piety -- ▁unexpectedly -- girl -- ▁judging -- 运输 -- ▁одном -- 患有 -- abhängig -- 完整 -- ▁greet -- 聊聊 -- ▁разных -- กับ -- 新規感染者 -- 躁 -- アーティスト -- ▁League -- ▁elkaar -- ▁아직 -- ▁interference -- ▁thích -- ▁graphic -- ▁Beau -- ▁postal -- corro -- 沟 -- ▁consisting -- ウム -- 多年来 -- 同じように -- みそ -- ▁savi -- ▁lần -- 虹 -- ▁Angebot -- ▁Patri -- ▁indispensable -- ▁kürzlich -- ブラジル -- いきなり -- وسط -- ▁removing -- ▁aufgewachsen -- ▁Вось -- ▁پسر -- ▁maggior -- 嘲笑 -- håll -- haye -- こんなこと -- EVEN -- слуг -- 冤 -- ▁Entdeckung -- ▁Identität -- ▁вариант -- ▁erfordert -- ▁kugirango -- 优雅 -- 楼梯 -- ▁caravan -- ▁squadron -- ▁heutige -- ▁Bang -- keneye -- 替代 -- ▁그건 -- 下がり -- '900' -- ▁oog -- 思え -- ▁Тут -- ▁freue -- 王爷 -- 艇 -- ▁Gouverneur -- ▁irresistible -- ▁نزدیک -- 추 -- ▁пункт -- ▁explicit -- ланы -- ▁خاص -- liegende -- ▁zweimal -- cchio -- ▁shareholder -- ▁boundary -- ▁scatter -- ▁supo -- まれた -- ▁фотограф -- ▁얼마 -- 坐下来 -- ▁visibility -- ிருக்க -- 知ってる -- ▁Wolf -- ▁встреча -- ▁daddy -- ▁autour -- ソー -- スリー -- ▁sangat -- 家具 -- ▁doomed -- 原本 -- 終わって -- プログラム -- ▁인제 -- 来帮助 -- gefügt -- ▁boundaries -- ▁chemistry -- ▁bluff -- ロシア側 -- ▁вспомни -- ▁المس -- ▁quoth -- ▁Kiel -- ▁twig -- ▁Бы -- 芯 -- 忽略 -- ごとに -- ים -- 典型的 -- яўляецца -- ▁страшно -- 派遣 -- ▁athlete -- uɣal -- ▁sternly -- ▁அவன் -- ▁cuanto -- したのです -- ▁berührt -- 胀 -- ટ -- ▁natuurlijk -- ▁stumbled -- ▁области -- ▁desenvolupa -- ▁хамгийн -- က် -- ▁transit -- 約束 -- ▁никого -- ▁توانید -- فريق -- ▁achtzig -- ▁doppelt -- garuka -- 发行 -- ▁பெண் -- 午前中 -- ▁väl -- 半島 -- 据说 -- 是多么 -- ▁ясно -- േ -- ▁rejoicing -- ▁انتخاب -- ▁솔직히 -- ▁알바 -- 忽视 -- ▁пасля -- ้น -- 意味で -- 难受 -- ▁waarin -- ▁grit -- ந்தது -- ▁Meeres -- ▁bobby -- わよ -- ベー -- 前往 -- ק -- اقتصاد -- อย่าง -- ▁resurrection -- ▁шоссе -- ▁ermöglichen -- өт -- ▁чём -- 过于 -- ▁geistige -- 久保 -- ▁fiend -- 动手 -- 走路 -- built -- ▁Ça -- бежал -- ▁könne -- 浑 -- 狐狸 -- ▁KNOW -- ▁ilgili -- ▁falsehood -- 因为这是 -- ▁erstellt -- ▁superb -- ▁übernehmen -- があれば -- ▁biology -- ▁conseil -- ▁hamlet -- 더 -- ▁Belgi -- гээд -- ▁erhält -- 殖 -- ▁FROM -- ▁behaupten -- ▁мистер -- öffentlich -- ▁Fast -- sabye -- 抑制 -- 之所以 -- ▁довер -- 増えている -- île -- 昨年 -- 布拉 -- ▁realization -- ▁شدن -- யு -- お伝えしました -- ▁Investition -- nerv -- 苏联 -- டெ -- ぼく -- ▁wertvoll -- ▁wistful -- ীর -- ވެ -- 그 -- ▁quién -- 다니 -- 比尔 -- әһе -- ▁fireplace -- provi -- ambaye -- 注文 -- 合理 -- ▁Dreh -- 帽 -- おすすめ -- スペシャル -- 绅士 -- 虚拟 -- を防ぐ -- ▁Schaden -- iği -- ければ -- சூ -- ▁recibi -- 報じ -- mutwe -- ▁hydro -- що -- schlüssel -- 同伴 -- กร -- ခ -- ▁cynnwys -- ▁언니 -- ▁Ahnung -- ▁precedent -- チュ -- ▁چهار -- ▁faisait -- ▁Estados -- おうち -- ība -- ▁divis -- AY -- 开门 -- ▁Treppe -- 広げ -- ▁обсужда -- 孫 -- ▁জন্য -- 依頼 -- 集体 -- 好消息 -- ▁posible -- ▁приходит -- ▁отец -- ▁malice -- ছিলেন -- 几年前 -- 深圳 -- 墨西哥 -- פ -- ▁Gerechtigkeit -- ▁Massachusetts -- ▁Şimdi -- 準決勝 -- ▁Brasil -- ▁Global -- 迈克尔 -- 起きて -- ▁legion -- ström -- 봤어 -- ▁neighboring -- 局面 -- ▁luce -- 慢慢地 -- ▁Wach -- 不太好 -- эль -- ▁прибыть -- gespräch -- 介護 -- вших -- پە -- 言ってる -- バイク -- FL -- 組み合わせ -- گەن -- école -- بک -- 吃完 -- effizient -- ஊ -- ▁hiểu -- ▁Bạn -- ▁공부 -- ▁dainty -- 会話 -- ▁gratify -- альным -- 液体 -- ▁vino -- saison -- 蛋糕 -- 切った -- 在乎 -- يص -- фарм -- ▁granite -- ів -- ▁geholfen -- ▁apprehend -- ▁힘들 -- ▁Jordan -- ▁overthrow -- ▁juh -- ▁ethics -- ▁ritual -- ▁Muslim -- ▁речь -- ▁системы -- 福島 -- ει -- 拥 -- ▁البر -- ▁Bag -- жә -- 撑 -- ौ -- ▁Geschwindigkeit -- ▁October -- 격 -- ▁어떤 -- நா -- を含め -- 诗歌 -- 升级 -- ▁приехал -- ▁proprio -- 飛行 -- ▁ernest -- わけですよね -- 小型 -- 対決 -- 卡尔 -- したのが -- と見られる -- енного -- ▁carelessly -- 国内で -- ▁worte -- ಡ -- ▁Innovation -- 基金会 -- усь -- 预防 -- ▁schlimmer -- ▁Direct -- メール -- lendi -- ▁skr -- ▁stitch -- 越多 -- 抑 -- dessus -- ▁blik -- ▁wolle -- ēji -- ▁futur -- 昂 -- ▁sewing -- ▁Umugabo -- ▁dikontrak -- ▁verwirrt -- ▁città -- ▁tylko -- 祈 -- ▁quivering -- ▁bezeichnen -- ▁инде -- 那天晚上 -- ▁massacre -- ▁entscheidend -- 真诚 -- ▁Hof -- ▁可是我 -- 经历过 -- II -- 分解 -- 跟他说 -- 逃走 -- 하니까 -- ▁bemerkenswert -- ▁grinned -- 린 -- ključ -- ▁restoration -- ▁emphatic -- 赞助 -- 男の子 -- 包围 -- வன் -- ▁courtyard -- zustand -- ▁сним -- ▁convertir -- ▁собственн -- ▁влия -- 团结 -- கொள்ள -- ▁bribe -- писать -- حاول -- ▁coneix -- 辉 -- ▁transcend -- 旅程 -- ▁surge -- ▁Weltkrieg -- ▁revolutionary -- 友人 -- 预计 -- เร -- ▁classical -- ▁أول -- крыты -- 学位 -- ඇ -- 实话 -- bilidad -- 如果不是 -- undsiebzig -- ▁четвёртая -- 巢 -- 人工智能 -- CL -- 疑問 -- ▁krijgen -- 甚 -- origen -- öffne -- 可靠 -- ▁realizing -- ▁avem -- 服从 -- ▁içer -- ై -- 찍 -- 任何地方 -- 江戸 -- バター -- 匹配 -- 马车 -- コロナ禍 -- 抓住了 -- ▁intensely -- クレ -- ического -- 阿里 -- ▁imprisoned -- ▁prophecy -- ▁அல்லது -- ▁ອື -- ▁обраща -- ▁девочк -- ▁першы -- ▁начинает -- ucci -- っきり -- ▁Burg -- ▁abbot -- していること -- ▁Verbraucher -- ▁Maschinen -- ▁structural -- 剣 -- ビジネス -- ▁секрет -- ▁injuries -- ▁Stuhl -- ▁drilling -- ranno -- 神社 -- 布朗 -- 난 -- নো -- ▁crave -- informati -- 歩く -- ▁qualche -- ẹ -- What -- 有很大的 -- ▁automatisch -- 僵 -- ▁Teufel -- ▁überprüfen -- 反馈 -- ▁angemessen -- 総裁 -- ▁Heilig -- хватил -- 教えてくれ -- ▁virtually -- ▁precept -- zulassen -- 举起 -- 变得更加 -- ▁Stone -- 宪法 -- たりとか -- ▁scrub -- 递 -- ▁daudz -- ▁població -- ▁Был -- 吕 -- 研讨会 -- 酵 -- 支撑 -- ▁hết -- ▁Depression -- 突出 -- ▁trenches -- ▁смысл -- schieß -- ▁measurement -- 救急 -- LT -- まとめて -- ordination -- ▁recur -- 抱着 -- 措 -- ▁эксперт -- 拝 -- ▁Health -- ▁Kapital -- ▁banyak -- ▁Golf -- 分ごろ -- ▁babylon -- 話し合 -- 相遇 -- 四百 -- сос -- ▁mold -- prinz -- ▁aufgeregt -- স্থা -- 共享 -- intuitiv -- ზე -- ساعد -- ifite -- fellow -- ▁камен -- ходзіць -- тыя -- 任何其他 -- 込 -- 老太太 -- வார் -- 场所 -- を守る -- ▁кеше -- вернуть -- 是什么样子 -- ▁специальн -- 细菌 -- 残疾 -- ▁একটি -- 教徒 -- 异常 -- ▁Darüber -- ▁última -- ▁eĉ -- 信頼 -- ▁картин -- செல் -- ▁Public -- ▁humid -- ▁placid -- 計算 -- バンド -- ▁Beine -- 澄 -- ▁ankoraŭ -- 嶋 -- 轴 -- 児童 -- ống -- ▁frente -- ▁wambaye -- ▁позвони -- держал -- ▁Ле -- ▁racing -- ▁settlers -- রো -- ▁ieder -- ▁bombard -- 見た目 -- ▁holmes -- კა -- ▁Doktor -- 解散 -- ▁واقعا -- стоян -- ▁президента -- 諸 -- 芒 -- Ž -- ը -- 貴重な -- ▁nötig -- ▁remnant -- これからも -- ▁እን -- bbling -- ▁turkish -- dispon -- 지만 -- веж -- ▁durfte -- ▁hiç -- ▁нашем -- ეს -- ▁surround -- ▁unusually -- 拾 -- 끼 -- 依靠 -- ▁alleged -- ▁однако -- スケ -- pital -- ▁Dazu -- を巡る -- قف -- ▁мая -- ▁vị -- engage -- 던데 -- بەر -- ницы -- ▁Mathematik -- 迷惑 -- ອນ -- ▁бывает -- tığı -- ваюць -- が出ています -- ▁wallace -- गा -- ▁demonstra -- 能找到 -- 还有一些 -- ▁victorious -- を開け -- ალ -- 食べ物 -- ▁soothe -- ▁новая -- 一体何 -- ▁Bemühungen -- ▁geblieben -- ώ -- ▁trifling -- 誌 -- 舞蹈 -- ▁restaur -- ▁حيا -- 购物 -- getreten -- sicherheit -- вернулся -- Tool -- culpa -- 扮 -- ▁momentary -- pathie -- Community -- ▁voluntary -- ▁өмнө -- ごめんなさい -- ▁விளையாட -- 継続 -- キャンプ -- ▁chế -- ▁promet -- 頂いて -- 拠点 -- ▁Fox -- ▁peggy -- ▁домой -- ▁plaster -- ağa -- 十月 -- 言いました -- ▁بأ -- 埃尔 -- চে -- ▁Verbesserung -- ▁liệu -- ▁pharaoh -- ▁sechzehn -- ▁맨날 -- ▁SAID -- ▁трудно -- まいります -- 被迫 -- গু -- ▁Kleid -- 伝えて -- stritten -- ▁choked -- わかって -- īga -- 仕上げ -- تې -- ▁epic -- ▁MR -- okuwa -- ▁hamilton -- 伞 -- ▁qualcosa -- ▁cambio -- ▁режим -- ▁inquiring -- そうなんですね -- ▁حس -- ▁Karl -- ▁racial -- ベン -- partner -- existent -- ▁daŭr -- ▁vẫn -- ಬ -- ம்பி -- 困境 -- 伊朗 -- ▁pitiful -- ▁cedar -- ицей -- 碎片 -- ▁thrilled -- ▁pasado -- prej -- AK -- ▁depict -- burton -- ▁mbili -- グリーン -- ▁colleague -- schüss -- சோ -- ▁scruple -- ▁وهذا -- ▁встрети -- komeje -- ▁resign -- ▁trả -- ▁chị -- тып -- ▁squat -- ▁mound -- ▁gorge -- obsc -- 很多时候 -- 無事 -- ▁kombin -- 氛 -- パフォーマンス -- ▁Führer -- ▁오늘 -- ▁фильм -- 予測 -- 忠诚 -- ▁antonio -- ることができます -- ▁warehouse -- ырға -- ▁Ariko -- ▁твое -- لىرى -- зат -- ▁Kaiser -- добав -- ▁illustr -- ▁Está -- ▁принципе -- 这个过程 -- altitude -- ▁bedeckt -- ▁renewal -- activitat -- trekken -- ▁tavern -- ▁rimwe -- ▁siebzig -- ▁гэсэн -- ▁Johann -- 指标 -- яўля -- пел -- だけではなく -- ないこと -- ▁ubwa -- ▁Page -- 不记得 -- っぽい -- ▁وإ -- winkel -- 要素 -- ▁கூ -- 非法 -- gelaufen -- ▁jî -- 现金 -- ြ -- ▁crooked -- トランプ -- 恳求 -- ▁upgrade -- 污染 -- ▁Bundesstaat -- ▁средств -- ▁друга -- ▁Großteil -- ▁трав -- ivität -- 认为这是 -- ▁život -- मि -- ▁گرفته -- ▁efficiencies -- 朴 -- ▁холод -- ▁giống -- ホント -- ▁strove -- 大切に -- CEO -- ▁physisch -- ▁falt -- ▁mcc -- ▁tyranny -- stift -- 侍 -- ▁Original -- ▁inevitably -- ▁obedient -- ▁pér -- 站着 -- ▁Verfassung -- ▁pike -- 費用 -- рийн -- 这让我 -- ukura -- 感動 -- 每当 -- 大众 -- 素材 -- 时尚 -- 有名な -- 上午 -- ▁massachusetts -- ▁néixer -- ▁последние -- ▁municipi -- حاضر -- espècie -- 製造 -- ▁ເດ -- ▁Thor -- achtig -- சிய -- 很酷 -- きれいな -- ▁activa -- ▁transparency -- ▁ammunition -- 蕾 -- ▁acuerdo -- ▁아닌 -- 治愈 -- 猛烈 -- ▁거기서 -- ▁scop -- ▁있지 -- ▁хэрэг -- bwenge -- ошел -- ▁глаз -- buh -- ▁adorn -- なんですけども -- juru -- ێکی -- ▁español -- ▁wußte -- 解答 -- கம் -- рыс -- ▁spill -- 品质 -- மர -- MB -- ▁conosc -- äär -- 评价 -- 跟你们 -- ▁beeinflusst -- ▁predecessor -- ▁papel -- ▁roland -- ▁انسان -- ▁Dennoch -- ▁chinesische -- ▁đều -- 安倍 -- 差点 -- ▁przez -- を目指して -- 九月 -- ▁черт -- と思っています -- ▁opportun -- spetta -- ▁лож -- ▁imprisonment -- 僧 -- 哨 -- 辰 -- ▁applaud -- ▁министр -- 奖励 -- ▁headache -- ▁bên -- 告诉她 -- TIME -- ▁kullanıl -- ▁wartete -- ▁angst -- お昼 -- klima -- 延伸 -- ているんです -- 聞きました -- 役割 -- ▁treachery -- 등 -- なければいけない -- 在这一点上 -- ▁backlog -- 言われる -- 失踪 -- ▁Protest -- ▁dringend -- хир -- vogel -- ια -- 嫌疑人 -- ▁geoffrey -- あらゆる -- ▁venerable -- ▁intolerable -- 屁股 -- 步骤 -- ނަ -- 猜测 -- ですもんね -- بِ -- ▁stockings -- ▁kinh -- 摄影 -- ▁ertragen -- ▁каш -- 幽 -- ▁என்பது -- église -- 椒 -- 撒谎 -- ▁finanzielle -- ते -- ▁thức -- ▁varying -- 这段时间 -- ▁ricevis -- にならない -- を広げ -- お茶 -- 今天早上 -- ▁resultat -- ▁அரு -- ▁inhabited -- ▁وفي -- こともある -- маты -- 这么好 -- 黛 -- ▁современн -- 暮らす -- ▁fuerza -- ங்களுக்கு -- ▁만나 -- ▁fascinated -- product -- forschung -- ▁سے -- ıyorum -- ▁Zucker -- ▁Master -- ▁expedient -- という状況 -- ▁бүл -- ▁moz -- ▁woher -- 恰 -- ▁adjacent -- ▁preĝejo -- 赔偿 -- ▁Dimarts -- ▁Avenue -- ▁dirige -- MER -- ▁Muri -- ▁maior -- ▁famine -- ▁камер -- ▁причем -- そろそろ -- TRI -- ▁refusing -- යු -- ▁düş -- 轨道 -- ▁Yani -- illé -- 骨头 -- ▁долг -- 深夜 -- 同士 -- ▁arbeite -- 한데 -- OVER -- 也是如此 -- ▁dinero -- やろ -- ▁brake -- 崔 -- 饶 -- ▁Hollywood -- ▁apologize -- ▁indefinite -- 卸 -- 掲げ -- 嘴唇 -- ▁Fernsehen -- ▁ooit -- 亨利 -- ▁Earl -- istik -- 言います -- Ö -- ▁repos -- ▁titre -- әлә -- 有什么事 -- urukundo -- ▁tecnologia -- 职业生涯 -- ▁voet -- ICE -- সব -- ▁identi -- ▁repay -- ▁elementary -- を訴え -- ▁crater -- ▁gahunda -- やったら -- サポート -- ▁بیمار -- ▁circulation -- ▁devam -- tempered -- வர்கள் -- 辆车 -- ▁northward -- ▁Schön -- ▁тады -- current -- ▁гэтыя -- ดี -- UNG -- ▁exclaim -- 吉尔 -- ▁reasonably -- тельный -- 玄 -- ▁Vietnam -- 루 -- 查询 -- 监督 -- 雨雲 -- ▁fairies -- ▁Forscher -- 려고 -- ビア -- ▁jeanne -- 扱 -- ▁говорите -- röst -- soho -- 祝你 -- რო -- ▁gestorben -- ▁uneasiness -- ▁бюджет -- 衆議院 -- 掃除 -- ▁праблем -- 影响力 -- ▁exploring -- ▁SOME -- 分ほど -- енько -- ▁outbreak -- 七个 -- 初め -- service -- 如果你愿意 -- ▁Kontext -- ակ -- 大爷 -- آور -- ▁grec -- ▁deutsche -- lož -- 発信 -- ▁Human -- ▁flint -- ふた -- ▁splendour -- ▁Если -- ▁Houston -- ▁mouvement -- ތަ -- 静岡県 -- ▁apollo -- national -- dolf -- ▁Fremde -- 搬到 -- ҟ -- хлеб -- ▁furiously -- ▁binding -- 就业 -- пак -- sozial -- 進み -- seminar -- льным -- ח -- ▁recupera -- ▁unbekannt -- ▁thiết -- 過去最多 -- ▁Young -- ▁viņu -- blad -- 偏见 -- бросил -- ▁SAY -- ▁considerat -- ▁radiation -- freiheit -- ▁Station -- ämt -- озер -- 做些什么 -- ▁anfing -- LD -- 松本 -- 邻 -- legation -- লাম -- ▁پشت -- ケン -- 寨 -- 艳 -- ▁Krankheiten -- ▁Michigan -- ▁haughty -- レストラン -- ▁biscuit -- ▁aufhören -- ▁shrine -- ▁shrank -- 防御 -- と比べて -- ▁Nase -- ▁HAS -- ตร -- LINE -- ▁communion -- 机关 -- ▁repel -- ▁зараз -- 大楼 -- ▁unkind -- وات -- 服用 -- ▁роман -- 楠 -- ▁lượng -- ▁Ancak -- ハッ -- 昨天晚上 -- ▁ocasi -- 童年 -- ▁rubbing -- 潜水 -- ゴルフ -- ▁jelly -- ▁booth -- ▁Campus -- 来到这里 -- ▁suced -- නම් -- ultima -- ▁alright -- ▁marilla -- ▁Président -- ▁Pflicht -- ▁дахь -- schrecken -- ▁fertile -- ▁Nigeria -- 印刷 -- ▁cradle -- ▁clatter -- ▁dodge -- ▁postpone -- ▁gerçekten -- ъя -- 回去吧 -- 運転手 -- ハリ -- ▁protector -- ▁Media -- овского -- 航行 -- ஃப் -- 当たり前 -- मु -- ▁Glen -- ▁benötigt -- ▁annoyance -- ▁Tränen -- ▁männlich -- 长官 -- ▁далеко -- ▁trẻ -- sinzi -- ▁nightmare -- ▁noticing -- 列車 -- 発展 -- 病例 -- ектор -- කට -- ಗಳ -- ▁Hunderte -- ▁probablement -- ▁adorned -- 代替 -- 到最后 -- ▁För -- 几周 -- ümü -- ▁второго -- ▁Überzeugung -- ハハハ -- 贈 -- に到着 -- 装饰 -- 抗議 -- 汤姆 -- ▁feverish -- govor -- 目撃 -- ▁homeward -- undsechzig -- ኝ -- 毯 -- ▁spontaneous -- ▁gekauft -- ▁airplane -- گذاری -- 乗客 -- BM -- 赞成 -- ▁شدند -- فعال -- ના -- ட்டா -- ▁পরি -- ▁übertragen -- 钉 -- blätter -- ▁scoundrel -- 彦 -- ▁Margaret -- ▁взять -- ▁ivory -- ▁видим -- รา -- ивают -- ▁بچه -- ৰে -- bearer -- لىك -- ▁proclaim -- UD -- قليل -- 贷 -- 嘱 -- Ɛ -- β -- 涼 -- 友谊 -- ▁paradox -- ▁especie -- 邮件 -- ▁fancies -- ▁sicherstellen -- 这是关于 -- ▁chronic -- ▁زد -- 服务器 -- ▁Pont -- ▁Brücke -- mızı -- ▁Unterricht -- 清理 -- تفا -- 我第一次 -- ంద -- ▁долларов -- 亭 -- 稽 -- 후 -- ▁말이야 -- ▁lúc -- తా -- ▁uplift -- ▁sıra -- වල -- キック -- ▁pēc -- ▁الذين -- ▁имел -- оваться -- ▁ethical -- 케 -- ޑ -- 藤井 -- ▁soothing -- 英語 -- 流量 -- ▁whim -- ▁sentido -- 乐观 -- chamber -- ▁முன்ன -- masse -- 贺 -- 돌 -- ແລ້ວ -- ▁varieties -- 尻 -- कु -- ▁graduated -- ▁OUT -- ового -- ▁vijf -- 近づいて -- ▁заметил -- Imperi -- คร -- нулась -- 虽 -- 部隊 -- ▁possibili -- ۋە -- 傲 -- ಟ -- ത്ത -- occidental -- ▁Stärke -- ▁precision -- ▁weariness -- を進める -- полнен -- ▁delegate -- 性质 -- ▁wholesale -- 勢力 -- 这样的事情 -- 默默 -- ▁plateau -- ▁biraz -- ▁Termin -- мень -- biti -- ▁staggered -- ▁людзей -- 巣 -- 重症化 -- ▁몰라 -- ▁vexed -- ▁illustrious -- 巴黎 -- 折磨 -- ▁peal -- губ -- ▁бич -- ▁아니면 -- 活力 -- 谈恋爱 -- ▁paddle -- 大人気 -- 字母 -- ക്ക -- ▁Lächeln -- 皿 -- ৌ -- ▁distracted -- ▁survival -- ▁ungewöhnlich -- 模仿 -- ▁Könnte -- ▁alumni -- ▁dagger -- ▁largo -- 玩具 -- صورة -- ▁popularity -- ▁крем -- ▁ruling -- 第七 -- お子さん -- brett -- せば -- fleck -- ባ -- працоў -- つなげ -- ▁hudson -- ▁geöffnet -- ▁yankee -- 遗产 -- 边界 -- 选民 -- 吉田 -- liep -- 双手 -- ▁коль -- ▁scroll -- kirche -- 通道 -- cloud -- ▁имею -- と思うんですね -- structure -- 返回 -- 光明 -- ючы -- kombe -- 起源 -- 艰 -- ご存じ -- ▁사실 -- ▁heiraten -- 早晨 -- ▁salud -- ▁Küche -- 上涨 -- мета -- 这就是你 -- 努 -- ▁sigui -- 仰 -- 毅 -- ▁suspense -- ▁секунд -- ▁estudiar -- ▁unmittelbar -- ってきます -- ▁legislative -- 侵入 -- ▁utilization -- ▁মই -- 辩护 -- シャツ -- ▁Bauern -- 很开心 -- SON -- bwy -- satisfied -- ▁معا -- ゆっくりと -- ▁octa -- ほかにも -- ▁Nächste -- ▁pequeño -- 琼 -- 乾燥 -- ▁Gestalt -- ▁сосед -- ▁pretence -- 減ら -- 别忘了 -- ▁southward -- ▁commencement -- ҟа -- 嘴里 -- 인가 -- 企业家 -- と思うんですよね -- ラジオ -- ▁zamanda -- ifiziert -- ▁объект -- ▁இசை -- 知識 -- undfünfzig -- ▁devient -- ▁آنجا -- 我不得不 -- すごいね -- ურ -- ▁거는 -- ▁பாட -- trained -- мәй -- 书籍 -- 很奇怪 -- 妥 -- դ -- ల్ -- ▁Carol -- ▁civilian -- ▁cruz -- が行われました -- 燃え -- ▁besuchte -- になりそうです -- 百姓 -- attribu -- MAR -- fisch -- 选手 -- މު -- Effekt -- Datei -- ับ -- ▁roh -- 設定 -- 反复 -- ▁resignation -- やってきた -- ▁compel -- illard -- beho -- ▁nelson -- мель -- ív -- 明らか -- 捜 -- 昨夜 -- 赴 -- ▁Vögel -- ▁interposed -- ▁monastery -- ▁verzweifelt -- 弓 -- 티 -- трымліва -- ▁زۆر -- ▁хотелось -- 辞职 -- ▁Susan -- ▁حتی -- ▁PAS -- ▁cyose -- ▁chalk -- ▁avea -- ▁Roh -- ▁magnetic -- ▁kneeling -- ▁medicina -- 强迫 -- 減って -- দ্ধ -- লের -- ニュースをお伝えします -- ▁offspring -- ▁vairāk -- 废话 -- chlor -- stancia -- ▁ahubwo -- 物品 -- 躍 -- この時期 -- 顺便说一句 -- 皱 -- כ -- ▁شکل -- ▁evolve -- ▁repentance -- ▁damsel -- вшие -- ▁vigor -- 千万别 -- 随机 -- ▁galley -- weichen -- ▁bridle -- 初戦 -- technolog -- 神経 -- 俄 -- منطقة -- ▁полностью -- ▁residential -- ▁modified -- 秘书 -- ▁hinweg -- 締 -- 時刻 -- ▁extremity -- いかに -- ▁материал -- だからこそ -- 右手 -- 農業 -- ▁suspend -- ỡ -- ▁ஆகும் -- ޓ -- ▁worüber -- streich -- ▁sáng -- ▁contemptuous -- ▁recipe -- ▁neunzig -- 另一边 -- ▁interface -- ▁jimmie -- ▁repetition -- ▁flirt -- 作战 -- hormon -- ▁gaunt -- 浸水 -- ▁хамт -- eficient -- って言う -- 主持 -- 見てください -- ▁Sehr -- ▁лук -- ▁مادر -- 環 -- regulated -- 卜 -- ▁Anthony -- ▁hội -- にもかかわらず -- 防犯カメラ -- ▁рабіць -- ות -- ▁miglior -- ▁краіны -- MIN -- はありませんでした -- ggio -- కా -- 一首歌 -- ▁marco -- 实力 -- したあと -- 纱 -- ▁ABOUT -- ▁алексей -- ▁aṭas -- ční -- ▁hagati -- ▁Königin -- 从哪里 -- 被告知 -- ▁Вот -- 粮食 -- ▁continuar -- 作られた -- ▁shave -- IER -- ▁worthless -- 案内 -- 塑造 -- 教団 -- ▁Philipp -- ▁tâm -- の様子を -- jyanye -- ွ -- ▁insignificant -- ▁đúng -- ▁notamment -- ▁corporal -- ▁valiant -- 参观 -- ложить -- ouvre -- 傅 -- ▁fervent -- 写信 -- '2011' -- 这时候 -- 眼镜 -- ▁nursery -- 健身 -- 知らせ -- 약 -- ▁lächeln -- ▁Toronto -- 伴侣 -- গ্র -- ▁займа -- ▁QU -- ▁가는 -- ▁rugged -- ▁پیر -- ▁خب -- 話す -- ▁decoration -- ▁zaidi -- ▁nasty -- ある程度 -- 侄 -- ථ -- ▁ceremonies -- ▁neugierig -- ▁спокойно -- 猩 -- ▁exempt -- ▁luôn -- ▁хотели -- ▁WELL -- ▁turtle -- coop -- 洪水 -- ってくれる -- ▁employee -- gefahren -- ▁darkened -- 我们确实 -- ▁regió -- köz -- 物質 -- 渔 -- ต้อง -- 併 -- トレーニング -- ▁melody -- ▁Terror -- ▁deputy -- 这两天 -- ▁imaginary -- ▁sincerely -- ▁liquidity -- ▁plump -- ▁publi -- 挽 -- 厄 -- 寒気 -- 你也可以 -- 手臂 -- 同じような -- arrell -- runde -- богат -- rühren -- ніз -- ▁triple -- ▁vieux -- ▁facilitate -- ▁grievous -- アニメ -- 二零零 -- entrada -- ▁olacak -- 作为一名 -- ▁combina -- ▁manufacturers -- ámos -- 对我说 -- 融合 -- ▁cielo -- ificació -- ▁hermano -- ▁competent -- ▁Walter -- 兔 -- дук -- 伤心 -- 尺 -- ▁betroffen -- ▁splendor -- ▁puritan -- 岸田総理大臣 -- விய -- ▁siguiente -- 师兄 -- ▁quinze -- 買い物 -- ▁இருக்கிற -- 写道 -- ▁Leiter -- ▁glitter -- ▁وهي -- 日常生活 -- ▁Го -- 你能不能 -- ▁различ -- 共通 -- ▁tumor -- temperatur -- 督 -- 赠 -- ▁возвраща -- 様々な -- ▁Kapitel -- ▁싶어 -- 駄目 -- பை -- 机械 -- ▁oppression -- ▁rwego -- 智力 -- ▁пути -- ▁specialist -- ▁millionaire -- 百五十 -- ▁нашу -- ▁Ні -- solució -- 枕 -- ▁reappear -- 栽培 -- கொண்டு -- 决策 -- üchtern -- ▁đối -- どれだけ -- ▁panting -- gambi -- 是时候 -- ▁diventa -- ▁hunne -- ▁Milch -- 食べられる -- ▁Direktor -- ▁Evrop -- ▁geeignet -- ಅ -- ▁dụ -- ▁malgranda -- 职责 -- ▁갔다 -- ▁programming -- 目指 -- kunga -- 室内 -- ießen -- ▁gäbe -- ▁slew -- ▁moralische -- ▁violation -- ▁confounded -- 读到 -- ▁узнал -- ذكر -- 関心 -- プリ -- ▁robbery -- سازی -- 差距 -- ▁snug -- ▁minimal -- миллиард -- ▁столько -- ▁Funktionen -- ▁угодно -- プレッシャー -- ▁potenc -- ▁principio -- ▁beneficial -- ganira -- ▁solange -- いらっしゃいます -- ▁existiert -- やり方 -- ▁drog -- ▁kumenya -- 市長 -- 年目 -- 認められ -- cyaha -- ▁پول -- reißen -- ьев -- ▁machst -- よろしくお願いいたします -- 舞台上 -- ▁Pennsylvania -- ▁Looking -- ▁furnace -- ▁Records -- ▁নিয়ে -- 困難 -- 宮崎 -- 孤立 -- ржав -- 放置 -- 收看 -- ebɣa -- 翁 -- ヴ -- ▁nightingale -- ▁شامل -- ▁settling -- ҙар -- ▁verlangt -- 申し上げ -- ▁Kelly -- ▁сложно -- 再一次 -- ▁mosquito -- ▁frequency -- 박 -- ▁Kaffee -- ▁economist -- コントロール -- ▁எல்லா -- ▁puedo -- ▁MORE -- ▁healthcare -- ▁factories -- inici -- ▁grammar -- ▁correspondent -- ▁помочь -- 遵循 -- ▁기억 -- マリウポリ -- ▁securing -- ▁exhort -- えっと -- ▁defensive -- 平常 -- ويل -- ▁inizia -- ▁Anruf -- 重量 -- ▁crag -- گار -- 不允许 -- ▁galv -- จาก -- ▁avere -- 站住 -- 勃 -- ポーランド -- ఁ -- ▁immigration -- 민 -- ▁divinity -- きちんと -- ▁introducing -- ▁foliage -- ▁abilities -- ▁rumour -- ▁хозяйство -- 市にある -- ▁oblige -- チン -- ▁Bydd -- чество -- PEC -- 风景 -- வரும் -- ▁deceased -- ▁දැ -- ▁நீங்கள் -- 招呼 -- مجموعة -- ▁abgeschlossen -- ▁Му -- DR -- ▁Einkommen -- 超え -- ▁ehren -- ▁exerc -- '4000' -- 깐 -- ▁ເອົາ -- ▁leonard -- 分离 -- レーン -- 尖叫 -- ▁vincent -- ▁variant -- ▁voce -- 疫 -- замен -- ▁вызыва -- ▁composer -- 愁 -- 豹 -- ೇ -- 필 -- honneur -- 呼んで -- 闺女 -- ▁приказ -- ▁dreizehn -- ▁thú -- 挺好 -- گران -- ▁Zehn -- 見ている -- 牛肉 -- GER -- 很快就会 -- ▁Klin -- ▁fearless -- குதி -- ▁Eigenschaften -- ▁bệnh -- ▁intuition -- ▁kentucky -- époque -- ▁mwana -- ▁demokratische -- ▁Eindruck -- ▁இப்ப -- ▁adverse -- ▁ether -- disciplin -- 和我一起 -- ▁Board -- 抜き -- 刮 -- ▁gouvernement -- ▁proclamation -- ▁медведев -- ▁характер -- ▁držav -- ธ -- ▁transmission -- 普段 -- 吉姆 -- 发射 -- 算法 -- ĉo -- therapie -- ▁супр -- ▁Lippen -- 营地 -- おかげで -- 行星 -- ▁inconvenience -- 火曜日 -- 宿泊 -- ▁погиб -- 行列 -- ҙәр -- 些什么 -- ლო -- 喜び -- ▁желез -- ▁прошу -- прыг -- ▁ministre -- 番号 -- ▁Howard -- скага -- ▁حسنا -- ばっかり -- ▁pickwick -- ▁kulturelle -- 修改 -- راض -- ▁reprit -- ▁scenery -- ▁DON -- εί -- muhungu -- édé -- gefüllt -- ▁Мар -- agrada -- 兵士 -- ▁Matthew -- ▁superficial -- ▁wondrous -- 漢 -- 幽默 -- أخذ -- ▁ваша -- பொருள -- ощ -- 이나 -- aŭto -- ிடம் -- 转移到 -- steigt -- 祖先 -- ▁우리가 -- ▁மிக -- ▁věc -- ክ -- ▁miraculous -- ▁Roboter -- ▁thereafter -- ▁جنوب -- 武汉 -- 清醒 -- ▁feit -- waardig -- 毛病 -- キム -- ▁dipun -- 来自于 -- 伊丽莎白 -- 翠 -- 視聴者 -- ▁Schriftsteller -- ▁diligence -- ▁entschlossen -- ▁whistling -- 予防 -- 輸 -- 守備 -- ัด -- hati -- aardig -- じゃねえ -- こない -- spirited -- غۇ -- 因为它们 -- нуў -- 見つけた -- otti -- ▁schul -- 衷 -- ▁anecdote -- ▁volatility -- ▁missouri -- 交換 -- 分間 -- ▁secular -- ▁петр -- ▁있을 -- ▁hiring -- dagi -- லில் -- ▁filings -- ▁principi -- смеш -- faccia -- 勝手に -- 领先 -- 回顾 -- වත් -- ▁südlich -- に基づ -- 搅 -- ▁schooner -- 復帰 -- عيد -- ▁новые -- ているということです -- sighted -- 胡子 -- ▁Urteil -- 指南 -- льская -- ▁Halb -- ▁Fakten -- ▁surtout -- ្រ -- ▁fathom -- ▁Stress -- ▁außerdem -- نامه -- ▁wipe -- వు -- чувствовал -- senya -- 記事 -- ▁хэсэг -- ▁erfüllen -- ▁ນະ -- ▁kontrollieren -- 哭泣 -- ▁descendants -- ▁Beitrag -- ▁Transport -- 几十 -- ▁speck -- ují -- ▁Onkel -- ▁машина -- ▁Crist -- 美容 -- ▁acabar -- klā -- 古い -- 傾 -- 懸 -- ▁pregnant -- ▁зусім -- 甜蜜 -- فرد -- ▁самой -- ▁sarebbe -- 警備 -- ブロック -- lood -- 失礼します -- höchste -- ことにしています -- ▁Major -- ▁furent -- ▁homoj -- ▁svoje -- дзіць -- 針 -- 牛奶 -- ຸ -- 寡 -- 爱尔兰 -- 坠 -- ▁преступлени -- ▁caroline -- ▁оказыва -- ▁dónde -- 海底 -- 清洁 -- 豊かな -- 乐意 -- 权威 -- ▁нужен -- ▁wireless -- ▁примерно -- ▁softened -- 助理 -- 会出现 -- 象征 -- 飲んで -- 非常感谢你 -- identifi -- 呼ばれ -- テロ -- ▁ravine -- 塞尔 -- 楽しく -- ▁humiliation -- ▁begrenzt -- ▁cambridge -- を巡り -- ▁Metall -- ▁swam -- 仆人 -- klasse -- ruḥ -- 著名 -- ▁америк -- なのかな -- ▁luxurious -- 霊 -- 牙齿 -- ▁Again -- ▁ukuthi -- ▁gâ -- ▁dramatically -- 遗传 -- 广东 -- 对我们来说 -- ▁Hochschul -- вались -- わけじゃない -- シア -- ▁جوان -- ▁крут -- ▁abyss -- өгө -- ▁rast -- ▁pronto -- ▁celo -- ▁liefde -- 属下的一个 -- 悼 -- ▁Association -- ▁Widerstand -- ▁verbessert -- ▁negotiate -- 預 -- ▁declining -- धा -- ▁警察によりますと -- ▁قم -- ▁запис -- ▁folosi -- 一瞬 -- 尼克 -- られていた -- を持っている -- কু -- 竞 -- 湘 -- ▁imperative -- ▁Psycholog -- ▁முதல் -- strafe -- 损害 -- 広い範囲で -- ▁Abschnitt -- ▁konata -- ▁fraction -- 年ぶり -- 生き物 -- ▁benötigen -- Produzent -- ▁disclosure -- ▁luggage -- ▁allocation -- ▁vendor -- ▁twinkle -- 显得 -- ▁Pep -- ▁lyric -- エイ -- いったん -- オフ -- 拘 -- ▁freak -- ▁excellency -- ▁싶은 -- পুর -- 公布 -- ▁Parlement -- ▁disappearance -- 删除 -- ▁dauern -- と思ったら -- ▁craig -- ▁début -- ▁kompon -- ▁Gebet -- 燥 -- いかがでしょうか -- 琪 -- ▁Columbia -- 났 -- ▁Junior -- 限り -- ▁europäische -- ▁Nutzen -- ▁возможности -- ▁klub -- ▁cupboard -- ować -- ▁allemaal -- 正しい -- Ш -- 慈善 -- 絡 -- ▁accommodation -- ▁apprentice -- ▁així -- ▁ғой -- 構造 -- 関係者によりますと -- ▁господ -- 占据 -- waarde -- ▁obstruct -- 对你来说 -- ▁têm -- ▁твой -- ピンチ -- ▁ёй -- ▁geography -- builder -- ▁своими -- 几个小时 -- ▁modification -- ▁2010 -- ANS -- 短期 -- угл -- 恼 -- 脑海中 -- ▁baptism -- ▁preocupa -- ▁отделения -- ▁Georgia -- rechnet -- 基本的に -- ▁Wang -- 結び -- ▁vegetation -- ება -- த்திய -- 框 -- 茫 -- ▁eccentric -- ▁enforcement -- ▁очевидно -- おそれがあります -- ▁worauf -- ▁Bewertung -- 美洲 -- 主流 -- パット -- 兵器 -- 形容 -- 跟随 -- froid -- เธอ -- 喘 -- ք -- ▁منطقه -- ▁sequential -- 茨城県 -- ▁похоже -- gång -- 動く -- ▁Beschreibung -- 踏实 -- ▁матери -- 这一天 -- 他说他 -- 爸爸妈妈 -- ▁Tanz -- ▁کردیم -- ரின் -- amatu -- ▁границ -- 暮 -- に住んで -- ▁Hugh -- шек -- 幹部 -- ĝoj -- ாட்சி -- ரீ -- ▁сталин -- を決めました -- ▁Kräfte -- ▁mondiale -- ▁waistcoat -- 鶴 -- ▁адрес -- ▁wakati -- ▁pluraj -- 模様 -- ত্ত -- ▁może -- ▁eastward -- やめて -- 几百 -- ▁DEL -- قبل -- ▁workshop -- trauen -- 落ち着 -- ▁snarl -- ▁herausgefunden -- ▁insgesamt -- ▁navigation -- ▁achieving -- ▁dinosaur -- ▁এখন -- 可见 -- ▁самые -- ▁замет -- ▁utilisé -- ▁chronicle -- стры -- 舌 -- ść -- 悪化 -- Qué -- ̀ -- なんだろう -- owski -- されていて -- ▁offense -- してくる -- 一笔 -- 誇 -- 进攻 -- ▁لطفا -- ▁telèfon -- 芭 -- ▁hóa -- ▁crític -- このうち -- ▁majestic -- ▁உள்ளன -- ▁خودش -- ▁tiên -- ▁junta -- fleisch -- yitwa -- 绩 -- ▁resultado -- ɣur -- 聞かれ -- tropic -- dığını -- 巫 -- ▁Präsentation -- 啤酒 -- ▁sunrise -- ▁oscar -- ▁đường -- ▁دیگه -- 博客 -- ▁зори -- ▁არა -- ▁rebuke -- ▁eugene -- ▁fiddle -- ▁وكان -- ▁comparative -- 埋め -- 大伙 -- escena -- وسی -- 借口 -- 投资者 -- 不断地 -- 违反 -- ▁continental -- 加藤 -- ▁få -- ▁উপ -- อบ -- แล้ว -- ▁antagonist -- ▁شاید -- 财政 -- ▁сельск -- 生きる -- kogu -- вэр -- ▁большие -- important -- ▁Darwin -- істы -- ▁دیگری -- ▁politika -- チュー -- 没法 -- 睡着了 -- ▁звоните -- ▁Hunt -- ▁Что -- 此刻 -- ▁Fußball -- прашива -- işim -- ‍ -- ▁Раз -- ▁reflex -- 有哪些 -- ▁yardım -- 酢 -- ▁begeistert -- ▁څنګه -- 吾 -- ▁además -- ▁recherche -- сцен -- ▁secund -- もしかして -- ▁applies -- 非難 -- kontakt -- ▁télé -- technik -- ▁가고 -- ▁earnestness -- 理念 -- ▁அதை -- 积累 -- 味わい -- ▁profesor -- ▁benannt -- お話し -- سطح -- ▁blickte -- 甘い -- 議長 -- 正在进行 -- ▁Acest -- ▁nikola -- 買う -- ▁sexuelle -- ▁Großbritannien -- ▁prosecution -- ▁Пасля -- ▁analytics -- ▁possono -- ▁نبود -- ▁piercing -- 処理 -- 調理 -- 保育 -- ▁spinning -- 模拟 -- ナン -- いれば -- 段階で -- ▁expressive -- ▁транс -- ▁alteration -- 看板 -- 励 -- nachricht -- 脆 -- yonna -- 抄 -- ▁akzeptieren -- ▁hypothesis -- ▁можешь -- ▁grotesque -- որ -- 碰巧 -- ▁Fahrzeug -- ▁olabilir -- ▁feststellen -- 解雇 -- ▁procura -- 发誓 -- ▁Presse -- 总部 -- gewandt -- ▁babiri -- 雷雨 -- ▁animation -- 苍 -- 悄悄 -- ▁nördlich -- ▁điểm -- ޔ -- 貼 -- ▁безопасности -- ▁estudiant -- ▁ekster -- ▁cultivation -- ▁mercat -- ▁수도 -- ▁아니라 -- 障 -- 袁 -- 耕 -- ▁بىلەن -- ▁Business -- ▁enclosed -- ▁kijken -- häuser -- 协调 -- むしろ -- 汇报 -- ▁никакой -- bourne -- ▁cecilia -- Bomb -- ▁Vä -- powiedzi -- 主人公 -- 占领 -- しょうゆ -- génér -- 永久 -- фин -- ▁unaware -- 毕 -- ▁многих -- ▁prescription -- ▁següent -- ぴったり -- ▁Señor -- ▁fick -- ▁fanatic -- だといいます -- ▁afore -- ▁viên -- 左边 -- ▁lascia -- ▁sprinkle -- 成千上万 -- ウクライナ侵攻 -- ▁먹어 -- ▁shabby -- ▁다음 -- ▁jordan -- 一件事情 -- ▁murray -- ▁داره -- ▁deixar -- ▁hannah -- 传达 -- 処分 -- دانی -- 感知 -- ▁Landschaft -- 下一步 -- ości -- ▁Geschmack -- ▁Nachmittag -- ▁erheblich -- ▁кел -- ▁посмотреть -- ▁موضوع -- 驳 -- 婆婆 -- ▁genießen -- ▁Motiv -- ▁Provinz -- ▁ripple -- વા -- ▁khó -- ▁рух -- ▁martial -- 曲げ -- ▁дней -- そっか -- ▁langue -- 新潟県 -- ▁оружие -- ▁Davis -- пок -- ▁adieu -- ▁geliyor -- 審査 -- ▁destructive -- ▁анализ -- ▁اتاق -- 30% -- дорож -- ۇق -- 拉丁 -- 卫星 -- ▁prolong -- āli -- ▁cosmo -- ▁strode -- に関して -- 拠 -- mauer -- 蒋 -- ▁надеюсь -- ▁vibration -- ポーズ -- 重症者 -- ▁vehement -- ▁heavier -- ▁чинь -- かなと思って -- つ目の -- ▁loại -- ▁único -- pferd -- 明亮 -- ▁срок -- ▁çalışma -- ▁Ла -- زده -- パーク -- ▁regretted -- ғына -- ▁Chu -- 친 -- යෙන් -- ▁champagne -- ▁abolish -- 领袖 -- ▁involving -- ▁arbitr -- ▁alluded -- ▁außen -- 尤其 -- ▁discrimination -- ▁Mount -- ゴー -- ▁lavish -- ▁Saison -- ▁பிரி -- 电视台 -- ▁있다 -- 举办 -- ▁clap -- シンプル -- 严厉 -- ▁unangenehm -- ▁Guerra -- ограф -- ▁Beck -- ▁millones -- ▁quint -- ▁verbal -- 吸收 -- ▁rusty -- ▁erkannt -- ▁waarop -- 证实 -- على -- 全国各地 -- ▁impose -- ▁bấ -- ▁perplexed -- ▁endurance -- ▁coroner -- gebunden -- ▁flaming -- ▁revived -- なと思いました -- ▁Ҡа -- ▁یافت -- 干预 -- чёт -- ▁написал -- 深处 -- ▁magical -- サラダ -- ▁grâce -- ▁jonathan -- 垣 -- diagnose -- ▁bescheiden -- 火災 -- ▁Ausnahme -- ▁reverend -- ▁ومن -- くなっている -- ▁dispara -- ▁měl -- 国境 -- 見通しです -- ▁forbear -- なじみ -- 洒 -- റ -- ▁jupiter -- ▁때문에 -- チャンピオン -- ▁братьев -- 厚生労働省 -- 尊严 -- లే -- 阶级 -- ▁아빠 -- ▁gelten -- ▁WERE -- атив -- ▁Fakat -- ▁voiture -- 各自 -- ▁gaily -- 场合 -- ▁старш -- étend -- いらっしゃい -- 主管 -- 包装 -- すてきな -- مام -- ▁сделали -- 现在正在 -- ▁athos -- ൽ -- 这部电影 -- 検証 -- ▁occupant -- ▁affront -- 快递 -- ハム -- ▁Porque -- เรา -- を決める -- wirtschaftlichen -- ▁Waffe -- ▁mâ -- DAY -- ▁Greg -- ▁सम -- alphabet -- ▁gelukkig -- ▁irgendetwas -- 陥 -- ▁دلیل -- ▁Tippett -- espér -- алтай -- говорил -- 修理 -- ▁incense -- liselt -- ▁چو -- richter -- 曇り -- ▁DIS -- 小伙子 -- ▁lizzie -- ▁sagst -- últim -- продукт -- ホン -- جنس -- matur -- 速い -- ▁Sorge -- ▁холбо -- ▁ülke -- 歩き -- ▁맛있 -- Entwickler -- ▁drüben -- ▁longtemps -- 这辈子 -- ▁بیرون -- inspiring -- ▁комитет -- ▁দিয়ে -- ▁coincidence -- ▁Erstens -- 获胜 -- konsum -- autant -- 日連続で -- ▁Wilson -- ▁Gefangene -- ▁concentrate -- っていう感じ -- රා -- ジン -- という意味 -- 裕 -- ▁einschließlich -- キャプテン -- ▁homage -- 押さえ -- ▁forthwith -- 死刑 -- 史上最 -- ▁đô -- 主教 -- roost -- ▁COMP -- 花费 -- веду -- ▁tiam -- 子育て -- ▁полковник -- ▁escaping -- ▁Training -- 요일 -- ▁була -- 右边 -- 裁判所 -- ▁implant -- ございます -- дово -- ▁rapidity -- 随着时间的推移 -- થ -- ▁hilfreich -- ▁linn -- 享 -- ▁nombreux -- ایل -- 屋根 -- 马丁 -- ▁THEN -- स्त -- öv -- ▁hoàn -- ▁Gab -- ▁мам -- zungu -- 受け止め -- ▁Illinois -- 讽刺 -- ▁دقیق -- ▁ہے۔ -- ウォー -- یایی -- ラウンド -- ▁pouco -- ▁thống -- ▁epoch -- рабатыва -- ANGE -- ▁pronounce -- 身材 -- ▁clown -- состоя -- 隠れ -- 做不到 -- ▁prostrate -- ▁вялікі -- 伤口 -- 祖母 -- 所有其他 -- ▁durchaus -- చ్చ -- ▁tiền -- ▁memorable -- ▁Pläne -- ▁compromis -- 囚犯 -- ▁አይ -- 周囲 -- ▁equipo -- 分かりません -- සේ -- ▁들어가 -- コート -- こういうふうに -- ▁অব -- 請 -- ▁Mitgliedstaaten -- 辖 -- ▁erhöhen -- ▁pouvons -- ▁настолько -- ޖ -- 褒 -- 苦労 -- определен -- ▁două -- genossen -- umuntu -- 現代 -- JO -- ▁dennoch -- 体现 -- 해가지고 -- კი -- ▁sichtbar -- եր -- 旭 -- ▁entfernen -- キャラクター -- 項 -- ▁wholesome -- ▁nhỏ -- 塑料 -- ▁humbly -- ▁миллионов -- бель -- وى -- lösung -- ▁extern -- ▁parrot -- ▁Morris -- ރި -- вернул -- 紅 -- 둘 -- ▁schweigen -- 自衛隊 -- ▁undertook -- アイドル -- ▁уровне -- ▁головой -- ▁половин -- gehoben -- 改进 -- を増や -- ▁действия -- 自豪 -- 运气 -- ▁молча -- 穿越 -- eceğim -- 登记 -- といわれて -- 尉 -- schleunig -- ▁fácil -- ▁сёння -- ▁mauvais -- ▁medication -- ▁schüttelte -- ▁охран -- 你为什么不 -- খন -- ījum -- ▁bekomme -- ▁лидер -- 很多人都 -- が出ている -- 我只是想 -- ▁вопросов -- ちゃいます -- 提起 -- んですけれど -- ならば -- ▁întâmpl -- 翅膀 -- ▁Society -- ▁Dutzend -- ▁russell -- kapital -- ▁другого -- 首席 -- ▁mitigate -- је -- ▁produc -- ▁rapture -- 寒冷 -- 調子 -- 僚 -- 灌 -- ▁congratulations -- ▁федерации -- ▁золот -- ▁knives -- 建築 -- ▁হবে -- ▁sobbed -- 分かれ -- avion -- ▁Ufer -- ▁chacun -- ▁volcano -- ▁غذا -- ▁Vì -- 眼神 -- ▁auditor -- 篮 -- ຖ -- 鸦 -- ▁nachgedacht -- 霉 -- ▁Engagement -- ▁calamity -- ▁đưa -- ▁hôm -- ausschuss -- ▁представлен -- ▁идти -- flipp -- ▁wobei -- มาก -- ulira -- 暴行 -- ▁완전 -- ▁Standort -- ▁mówi -- geprägt -- ▁இருக்கும் -- 奈良 -- 野蛮 -- ▁اصلی -- ▁stieß -- уулах -- ▁picnic -- Book -- まらない -- ▁fellowship -- ▁gagn -- 揺 -- 选项 -- ▁afecta -- ▁Knochen -- ▁Questa -- rechnen -- ランチ -- ▁нужна -- くなっています -- 100% -- 江湖 -- ▁நல்ல -- 验证 -- ▁trocken -- ▁모르겠 -- ▁trebui -- 吸引力 -- டோ -- 輸出 -- 為 -- ▁радио -- つらい -- ▁Intelligenz -- ▁rubbish -- ▁здравствуйте -- ▁немножко -- 敞 -- બ -- ▁hesitating -- お弁当 -- 갖고 -- ▁aufbauen -- ▁heritage -- ▁sophia -- छन् -- ▁Geräte -- ▁spice -- ▁다시 -- ▁Northern -- ▁бүх -- ▁Lektion -- ▁även -- 不思議な -- ▁volgende -- ▁Josep -- ▁concentr -- 挫 -- ▁Vậy -- ▁haciendo -- ▁jüngste -- 喻 -- ▁Erwartung -- 連覇 -- ▁boughs -- ическое -- iyorlar -- ▁چشم -- ソフト -- 透露 -- 伙计们 -- 携带 -- 国民党 -- ▁inyuma -- ▁commentary -- 救命 -- ícia -- ▁rappel -- ▁допустим -- 렸 -- ▁دنبال -- 貧 -- 珍惜 -- 描かれ -- 伍德 -- ▁būt -- 主演 -- ▁kommun -- ứ -- ▁pourrait -- 毒品 -- ▁February -- gesteld -- ▁schrie -- ▁mord -- ▁rogue -- ▁Sekunde -- 驶 -- ఫ -- ▁Perezida -- ▁Brüder -- ▁mugihe -- ▁unanimous -- ▁смотреть -- gefordert -- ▁cavalier -- ▁collector -- 停電 -- 時過ぎ -- んでしょ -- ▁делают -- 復活 -- intérêt -- ▁todavía -- ▁Một -- 烦恼 -- 餐馆 -- ອກ -- ▁smote -- ساز -- 書いた -- ภา -- ▁борис -- platte -- ெட் -- ▁нормальн -- 总理 -- ব্ -- авлива -- してしまった -- શ -- ർ -- ▁conscientious -- ▁unterscheiden -- ▁Festival -- ▁Pacific -- 参议院 -- ▁patriarch -- ใจ -- schließt -- ބަ -- ▁imposing -- ▁gusto -- 讲话 -- 続けた -- тянул -- чную -- 工作室 -- naweza -- ▁tecn -- そのとき -- ० -- ▁mañana -- այ -- ્ર -- ▁thanksgiving -- ▁pudding -- 連勝 -- drž -- 入り口 -- 季度 -- ▁بسیاری -- 如果你能 -- 別れ -- ▁тракт -- 判决 -- 郎さん -- ▁suffi -- 感染症 -- ▁Cop -- ▁rabbi -- ▁abhor -- ▁Schicksal -- ▁emerald -- mektedir -- 海滩 -- ▁elastic -- ▁대학 -- ▁Certain -- ▁Truppen -- 康复 -- 残念 -- ▁хороший -- ▁Disney -- örtlich -- 速報 -- sluit -- ▁دهند -- தான -- ▁Ereignis -- 晴れて -- kreuz -- ▁качестве -- 臂 -- ▁زمانی -- ▁cuán -- となりそうです -- ▁Lewis -- ▁matron -- อยู่ -- ▁Nutzung -- ▁corazón -- 滥 -- ▁bankrupt -- ▁mwiza -- ▁reassure -- ▁být -- ▁pretext -- ▁stammered -- ▁cripple -- изации -- ▁московск -- عامل -- ▁jazz -- ▁чаго -- filtr -- 两周 -- ▁zunehmend -- 特別な -- ▁Má -- 抖 -- セカンド -- ▁celestial -- ▁convincing -- ▁людьми -- ▁поговорить -- 偉 -- ▁зохио -- ▁tolerate -- ▁Armut -- ầu -- ▁احساس -- ▁ډېر -- ▁necklace -- ▁acquit -- 医疗保健 -- ും -- враг -- yitibwa -- gratul -- ▁dickens -- ▁discord -- σε -- 趣味 -- 场比赛 -- 終わ -- GET -- ቀ -- ▁Emotionen -- itandukanye -- ō -- ▁penetration -- umukobwa -- ▁வழங்க -- 减肥 -- ▁पनि -- 极其 -- 語り -- ▁marcus -- වු -- 主角 -- ▁tratta -- 適用 -- featured -- が必要な -- 媳妇儿 -- ▁Zunächst -- ▁هنوز -- 承認 -- ғыҙ -- ▁estudio -- ▁exalt -- ▁رجل -- ▁darwin -- ▁supra -- käufe -- мовы -- ▁ведае -- ▁flaw -- цкі -- 甲子園 -- ବ -- ▁perceiving -- ▁persuasion -- ▁છે -- 줘 -- シングル -- 阴谋 -- verhältnis -- ▁immune -- 缓慢 -- 衡量 -- වන -- ▁slipping -- ▁aufregend -- দেশ -- であること -- ▁убива -- 该地区 -- 白宫 -- 最終的に -- cliffe -- ▁سەر -- στ -- క్క -- 哲学家 -- 艦 -- ▁Alkohol -- ▁iPhone -- ▁Ontario -- ▁hoặc -- 磅 -- 参议员 -- ▁그래가지고 -- ▁زبان -- ▁isolation -- ▁harriet -- ▁Träume -- ▁reproduce -- IES -- ▁hieß -- ▁magician -- ▁получить -- ▁generating -- ▁specie -- šči -- ▁protocol -- 皇家 -- ▁بنابراین -- 佐々木 -- ▁algún -- ▁balcony -- 邸 -- ▁псих -- ▁protože -- 80% -- ▁Francis -- ▁derjenige -- ▁simplifi -- ▁compara -- ▁rhyme -- 介入 -- ಾಗ -- ▁concentra -- ▁மனித -- うどん -- ミニ -- зір -- ▁Eigentum -- ▁geschieht -- ▁monotonous -- ▁депутат -- ▁பின்னர் -- ▁hubiera -- ▁moisture -- 三十六 -- ▁остров -- ものすごい -- ▁Rw -- ▁activist -- ▁ذات -- ▁discrimina -- щим -- plasm -- こういうこと -- 天赋 -- ▁скажи -- 哄 -- おかしい -- 引擎 -- ▁доктор -- ▁ensued -- ▁implies -- 圧倒 -- ▁drake -- ведения -- 分类 -- 読んで -- らっしゃる -- بير -- 甘み -- おしゃれ -- ▁Dilluns -- ▁detachment -- ничтож -- ▁erscheint -- ▁அழை -- 苦しい -- ▁cherry -- ▁audit -- ගෙන -- ▁Montag -- ▁লাগ -- 優先 -- ۈر -- そうなんだ -- 改正 -- 厳しく -- 販 -- ప్ప -- ▁Überraschung -- ▁ekzistas -- ▁nostrils -- ▁دغه -- 써 -- қәа -- おととし -- よろしい -- ▁đại -- ウクライナ軍 -- ▁southwest -- luğu -- 转换 -- ▁vorgeschlagen -- ルート -- analyti -- ▁chemist -- ▁Köpfe -- ▁малая -- ▁Route -- 教导 -- ɗ -- 페 -- ▁ausgewählt -- ▁elapsed -- ▁موجود -- schloß -- ▁jesuit -- 排名 -- 選び -- ▁Ryan -- 食堂 -- 在接下来的 -- 遠く -- ▁ecclesiastical -- deutsch -- ▁없는 -- 調べに対し -- 買った -- ▁основан -- ▁одним -- ီ -- もらいました -- 丼 -- 舱 -- 복 -- 속 -- ▁default -- 綱 -- 棕色 -- 猴子 -- 涉及到 -- 注定 -- క్ -- 从来都 -- コスト -- 是怎么回事 -- க்கிறது -- ▁perilous -- ێر -- 婦 -- ▁hoffnung -- Ж -- ▁Blumen -- ▁станция -- 沿岸 -- ▁completamente -- wahrscheinlich -- イヤー -- țele -- ▁sponge -- 太平洋側 -- 하면은 -- ▁Gedanke -- 呼吁 -- 졌 -- ▁disponible -- ▁প্রতি -- ▁семьсот -- ▁магчыма -- ▁snuff -- ▁burglar -- ▁partake -- ▁flach -- ▁Sprach -- ▁되지 -- 镜子 -- 拒 -- ▁Ли -- ▁Mühe -- zuziehen -- گذار -- ▁Wähler -- ▁accommodate -- ▁تولید -- خصوص -- 适用于 -- ▁Spanish -- analyst -- ▁шестой -- پوش -- ▁ransom -- ▁чист -- 憧れ -- ▁quitted -- ▁starving -- stok -- MEN -- 这几天 -- 扉 -- 腔 -- ס -- ▁Après -- ▁científic -- ▁fidelity -- 繁殖 -- өсөн -- 取り組んで -- ならではの -- ▁beseech -- ▁absolv -- ▁feudal -- ▁sentinel -- ▁Witz -- ▁HIV -- 引入 -- ▁chunk -- ▁Bibel -- 解决问题 -- デモ -- vocalized -- ▁clumsy -- ▁plutôt -- ▁portuguese -- ▁verschwunden -- ▁columbia -- ▁griechische -- ▁капитан -- 弘 -- ▁geographical -- 你怎么知道 -- 罗伯特 -- 北京オリンピック -- ▁Branche -- ▁luckily -- 翌日 -- ▁gambling -- 让我们看看 -- ▁микро -- よろしく -- ▁Respekt -- ▁baltimore -- ▁느낌 -- գ -- ▁cemetery -- コンビニ -- ▁ມີ -- メイン -- ▁داستان -- 色んな -- ▁infernal -- ▁Europäische -- 远处 -- писыва -- ▁sancho -- ▁видно -- ▁جيد -- πο -- klassi -- рох -- ریک -- 物理学 -- wheel -- 训 -- ポリ -- ▁condens -- 羡慕 -- ▁استخدام -- 軍事侵攻 -- ▁entsprechend -- 医療機関 -- ▁umunsi -- ▁insolent -- ▁дожд -- どうでしょうか -- mıştı -- ▁russische -- 前两天 -- 坛 -- lässig -- ▁могла -- quê -- ▁кӱ -- を対象に -- もらいます -- йшлі -- 摄 -- 虾 -- ▁davvero -- ▁siebzehn -- 洛杉矶 -- ▁marvelous -- ▁Vull -- 資料 -- 静岡 -- ▁civilisation -- nähe -- ▁хоча -- மும் -- ▁seneng -- ▁sinister -- befehl -- строить -- pflege -- nummer -- 房屋 -- ぴ -- ▁signifas -- ▁discreet -- ▁rhetoric -- ▁zooveel -- ▁исследовани -- 都道府県 -- ▁воздух -- ▁பெரிய -- 他的妻子 -- ▁michigan -- そっち -- ▁Stoff -- ▁Provi -- ▁mittlere -- ▁peuple -- 落ち着いて -- ёшь -- ▁лепш -- ▁salmon -- オール -- льныя -- リュ -- 平野 -- 1,000 -- 戚 -- 甄 -- オレンジ -- ▁embedded -- ▁jüdische -- 糊涂 -- entwicklung -- 拜拜 -- ▁иметь -- ワイン -- ▁participating -- ファー -- 层次 -- ŝaj -- ▁politeness -- ▁готовы -- ▁urging -- 根本就不 -- Unis -- 船只 -- 하면서 -- fuß -- 라는 -- 淹 -- ▁zukünftige -- ▁хэдэн -- ▁آمریکا -- 처럼 -- アピール -- カウント -- 痕迹 -- 档案 -- 解决这个问题 -- krebs -- ергә -- ▁مؤ -- ▁humorous -- 再現 -- ▁diagram -- ▁acerca -- 鞭 -- ▁Despite -- 열 -- ▁arguing -- ▁ماشین -- ▁nuovo -- ▁казалось -- 起訴 -- ▁físic -- ぼう -- እ -- wöhn -- ▁норм -- 普及 -- 子さま -- ▁İki -- ▁Güte -- 贩 -- ▁갑자기 -- ▁cristian -- ▁여자 -- ▁endowed -- लो -- ▁hydrogen -- ▁попал -- と述べました -- myśl -- ▁dispense -- ▁velmi -- ▁العام -- ▁clamor -- ▁constantinople -- ▁lächelte -- ▁tennessee -- 钩 -- ▁condescend -- ▁пространств -- ▁sidewalk -- ▁خاطر -- ▁constituent -- ▁இத -- ▁Cross -- ▁UNA -- ▁notorious -- おじさん -- சொல் -- 负面 -- ▁мысли -- ▁Bruce -- を越え -- ▁Multi -- 忽 -- ▁erwiderte -- ▁элемент -- オリジナル -- 抛弃 -- ▁bagay -- 入侵 -- лект -- ▁worldwide -- 말 -- ▁verteilt -- ▁refreshment -- ístic -- ▁Entfernung -- ▁이번에 -- intérieur -- かっこいい -- ビッグ -- లా -- ▁auction -- 観察 -- たぶん -- 現象 -- ▁Überleben -- 城堡 -- 的角度来看 -- 引退 -- ▁fascination -- bgesehen -- 能做到 -- を残し -- ▁تۆ -- 述べ -- ước -- ▁බව -- ▁există -- ▁আস -- ugur -- ▁forfeit -- ▁ĉirkaŭ -- ▁Nachbarn -- 水曜日 -- ▁dungeon -- ވާ -- 沙漠 -- ▁inviting -- 前几天 -- ிற்கு -- жир -- ización -- Tabelle -- opfer -- uzuye -- 析 -- 整整 -- ▁безусловно -- ▁свидетел -- づらい -- ŝanĝ -- ▁Finanzierung -- 没有想到 -- 現役 -- ▁benedict -- 女優 -- 帰国 -- byaha -- ▁strew -- ▁பழ -- ▁längst -- 離れて -- ANCE -- ▁bilong -- ▁ntiba -- давал -- 巨大な -- đ -- おばあちゃん -- ▁Empfehlung -- ▁Experten -- ▁securities -- ▁байгуул -- ▁Kommissar -- ▁lloyd -- ▁tradicional -- ahindu -- ▁carlyle -- ▁który -- 成績 -- ▁pivot -- ▁моего -- ▁kümmert -- ழை -- мага -- killer -- 辞め -- ▁shameful -- 干什么呀 -- acağım -- 带领 -- 慈 -- 淋 -- 董事长 -- ▁sophisticated -- ▁முக்கிய -- ▁measuring -- ▁nevoie -- ▁sukces -- 芸術 -- 総理大臣 -- ▁dripping -- ▁petersburg -- spread -- 続けている -- ▁weibliche -- きまして -- 级别 -- 疆 -- ▁Foundation -- 詩 -- ▁вещь -- ▁abnormal -- 乗り越え -- န် -- 構え -- 收益 -- というわけで -- gestiegen -- できれば -- できること -- ような感じ -- 敗れ -- の様子です -- 怪物 -- 取引 -- 做生意 -- सि -- を行いました -- ▁politician -- ့ -- 岭 -- 掏 -- 老实说 -- ▁économique -- ▁faltered -- ▁birkaç -- ▁Ausschuss -- ▁третье -- verbrauch -- ▁lobby -- ▁scalp -- ▁Voraus -- europa -- ijoro -- ҙың -- 茹 -- 茅 -- ঝ -- ▁sanctuary -- ▁вместо -- 荒谬 -- ▁لدينا -- ▁мисс -- 生活方式 -- だと思うんです -- ▁Student -- க்கான -- 釣り -- ▁skate -- できるだけ -- sloten -- ▁Egypt -- ▁Londres -- ▁secrecy -- 溢 -- durchschnittlich -- ▁общество -- ▁alguma -- における -- ▁whipped -- ▁construcció -- verwund -- ▁تواند -- ▁antony -- 心疼 -- ▁Ре -- ▁типа -- höhe -- ombre -- ին -- 指责 -- ങ -- kräftig -- ▁ansieht -- ▁crouched -- 日ざし -- Source -- ▁Wirklichkeit -- Europa -- とみられています -- 顺便 -- ▁словно -- ▁Could -- 传奇 -- ıyordu -- あると思います -- ▁tedious -- ▁appoint -- mètre -- намі -- 設計 -- 起こる -- માં -- ▁Konferenz -- 취 -- 洗澡 -- 腐败 -- 风暴 -- НА -- ▁bertram -- 寄付 -- nął -- ётся -- ▁Stich -- 干吗呀 -- கர -- চ্ছ -- 描いて -- ড়ে -- ▁Academy -- ▁компьютер -- 史密斯 -- katholisch -- läufig -- 消耗 -- ▁điện -- spoken -- 每一次 -- 福德 -- beamte -- どうしよう -- ピンク -- 初期 -- ▁potenziell -- ▁dazzling -- ▁михаил -- こんなふうに -- ▁Bürgermeister -- ▁торгов -- ▁Anspruch -- 判定 -- を迎える -- 風景 -- 不合适 -- yinza -- 文書 -- 色々 -- ▁Entschuldigung -- 塌 -- ੋ -- ▁Jennifer -- ▁spēlē -- ▁Melbourne -- ▁хүрэ -- ▁audible -- ▁pulpit -- 继续前进 -- 保密 -- ▁miliard -- ţ -- 納得 -- ▁Vortrag -- ▁hobby -- ▁чад -- entendre -- ẫ -- ð -- ▁Physik -- ▁temporarily -- ▁буквально -- 최 -- マイナス -- ▁theoretical -- ▁Colorado -- ▁Takže -- ▁penitent -- ▁PRI -- kungu -- ▁portray -- ▁felix -- ニック -- ▁Blau -- ▁pacient -- ▁refinement -- ▁చె -- 奥巴马 -- ▁будешь -- ▁Sturm -- ▁urmă -- 決断 -- あえて -- ▁unreal -- らせる -- ▁Doctor -- ▁width -- koop -- 晴れる -- 拭 -- 蹲 -- ▁merupakan -- ▁الواقع -- ▁குழந்தை -- ▁elevator -- ում -- ▁Больш -- ໃດ -- 坚强 -- ▁சீ -- ジョー -- ▁Bedürfnisse -- っていうところ -- 设法 -- ▁relaciona -- ▁camí -- 捉 -- 两件事 -- 听我说 -- hundertfünf -- 囊 -- 腸 -- ▁sociedad -- ▁قانون -- ▁Cousin -- ▁مكان -- 関東地方 -- プラン -- ▁Modern -- ▁mängi -- 新宿 -- 今のところ -- トルコ -- ālā -- ▁тэг -- 何ですか -- ▁modifica -- ▁biliyor -- 这个样子 -- ٌ -- ▁Existenz -- ▁unreasonable -- 恥ずかし -- ވެސް -- ▁fragrant -- ▁کودک -- geschenk -- ▁vollkommen -- ▁каманд -- ▁cavall -- ▁رنگ -- بێت -- ▁gutanga -- 姚 -- ▁Posteriorment -- ▁joshua -- ▁straightforward -- ▁Zuhause -- ▁tournament -- ▁shelves -- 膝盖 -- 厌恶 -- 仇恨 -- әҙер -- ▁Annahme -- ติ -- 赎 -- ▁nécessaire -- ▁Akademi -- ▁왜냐면 -- ▁பெரு -- ▁gelebt -- 合わせた -- ▁Gegenteil -- ▁sweetheart -- 路易 -- ▁compost -- тельность -- 金額 -- waffen -- 斥 -- ▁смерти -- ▁illinois -- ▁Runde -- 並ぶ -- sexuell -- ▁крайней -- ▁گوش -- ▁junk -- WAY -- kümme -- থা -- ▁literal -- ポート -- 飼 -- ▁bizim -- १ -- ▁verpflichtet -- 코 -- ▁decât -- 疑惑 -- を持った -- ▁enabling -- süchtig -- ▁ominous -- ▁película -- ▁어제 -- ▁gufata -- 看一看 -- マッチ -- ▁diplomatic -- ▁kanggo -- 这是一件 -- ждения -- ▁curate -- 英文 -- schwäch -- 百六十 -- ▁Rauch -- klapp -- 齿 -- 游客 -- 幼儿园 -- ▁bestätigt -- ▁westminster -- ▁историю -- 력 -- お疲れさま -- যোগ -- ▁Portugal -- ▁güzel -- సి -- ▁chaplain -- 动态 -- බැ -- ゲット -- ▁geplant -- ▁shilling -- gehörig -- 言える -- ▁zurückkommen -- ▁apprec -- 発表した -- 階段 -- affaire -- 嘿 -- ▁Gedächtnis -- ロンドン -- 적으로 -- を進めています -- 荷兰 -- ▁qualification -- ▁Họ -- ▁candidat -- 高齢 -- فروش -- 仙台 -- сроч -- ▁bequem -- тяж -- 嫉妒 -- 谐 -- 龟 -- 唐纳德 -- ▁medieval -- 芋 -- ▁நினை -- ▁видеть -- ▁sovint -- 隐私 -- ъезд -- ▁contributing -- ▁bố -- ▁اصل -- 加班 -- を果たし -- کۆ -- ▁beetle -- つぎ -- دعو -- 청 -- ন্ধ -- ▁athletic -- ▁مرکز -- 募集 -- ▁daisy -- ▁yakın -- 澤さん -- ▁너는 -- ▁пита -- 飛んで -- 見たこと -- ェ -- ▁marshall -- oubli -- ▁trustee -- ▁athens -- ▁seguro -- پتۇ -- ▁gitti -- பாடு -- 匆 -- 偿 -- ▁Kategorie -- ▁dùng -- 土耳其 -- 纤 -- ▁TWO -- ▁treacherous -- ▁정말 -- ▁temporada -- 装备 -- ▁fuori -- thorne -- 自殺 -- ▁Leider -- ▁morbid -- ▁hippo -- building -- ▁irgend -- ▁чисто -- ▁Rechnung -- ▁Definition -- ▁Übung -- ▁اين -- ▁așa -- 增强 -- ▁governess -- عالم -- といわれる -- ▁Kindheit -- 陌生 -- ▁installation -- ▁merchandise -- ▁recognizing -- ▁первое -- 급 -- ▁vigour -- ▁течение -- ▁Speicher -- ▁говорим -- ▁rustle -- 収入 -- ▁Christi -- zwingen -- беҙ -- 将棋 -- 在这方面 -- ▁companionship -- schirm -- ▁eigenlijk -- ▁করেন -- dämm -- ▁franco -- ▁cultivate -- 愈 -- 碧 -- 炼 -- ▁Vergnügen -- ▁precipice -- 씩 -- 媛 -- ▁sturdy -- ់ -- ▁infidel -- 現れた -- ӹн -- ▁Blai -- باد -- ▁sacrifi -- ▁celebration -- ▁gerçek -- मे -- ▁tradici -- ▁cecil -- ▁தெரி -- 泼 -- gegenwärtig -- ০ -- ▁دوباره -- 棄 -- ▁Sonntag -- 罰 -- ▁detached -- 行方不明 -- ▁请播放 -- ▁되는데 -- ক্র -- 40% -- ▁Dichter -- ходили -- ダム -- ▁mildred -- ▁irritated -- ▁naples -- シュー -- 女孩儿 -- ▁извините -- ▁mercado -- ▁тело -- ▁gerichtet -- ▁принцип -- エビ -- ۲ -- ▁Vielfalt -- 놓 -- ▁bardzo -- ▁программа -- ▁ocurr -- ▁Mountain -- ▁руках -- ▁kansas -- ▁Einfach -- 消化 -- ▁mächtige -- イラン -- qqim -- 韓 -- IGN -- ▁данном -- まいりましょう -- ▁Richtlinie -- ▁aufzubauen -- ▁руководи -- ទ -- ▁Samuel -- Argent -- ▁titul -- ▁cyrus -- ▁Außer -- ঙ্গ -- ▁ایجاد -- 鸿 -- ▁harvard -- 銀メダル -- ▁beauties -- ▁cartoon -- ▁skupin -- ▁fuerte -- ▁spouse -- 抜いて -- ▁важна -- ▁emigra -- ▁имеют -- ▁подпис -- 飛車 -- schütze -- 빠 -- お待ち -- 丛 -- 尋 -- ▁Ernährung -- ▁Republikaner -- ▁butterfly -- 狄 -- ▁Therefore -- ▁emptied -- ▁fragrance -- ▁пошли -- ▁Jacob -- 宿舍 -- 残忍 -- ▁laptop -- ▁chơi -- весел -- ▁Patrick -- ▁Felsen -- ▁обща -- ▁Auftrag -- ▁далей -- ▁Landwirtschaft -- ▁consolid -- ▁cố -- ▁ĉu -- ラップ -- 言わない -- ▁gateway -- 労 -- マウンド -- 記者会見 -- 余裕 -- 考验 -- 轻易 -- ▁forlorn -- ▁dictator -- ▁vierundzwanzig -- 创意 -- ▁ئەوە -- ނެ -- тың -- ▁доступ -- ▁Morgan -- ▁другая -- 税收 -- 基督 -- ନ -- ▁thompson -- 哮 -- 矮 -- ▁inasmuch -- ▁Ähnlich -- ▁defiant -- ▁desolation -- 触摸 -- ▁hinterlassen -- ▁হয়েছে -- 漬け -- 反発 -- ▁англи -- авана -- 交往 -- 没见过 -- ▁Dadurch -- ▁mediterranean -- ▁институт -- ▁первого -- 항 -- コンピュータ -- ▁никому -- ▁shovel -- endroit -- ▁гэту -- 干活 -- どうでしょう -- 想一想 -- ▁châ -- توانیم -- 假期 -- いただける -- ▁diferencia -- ▁பற்றி -- иңә -- рыста -- ղ -- 畳 -- 昆虫 -- ▁inaugur -- ▁Folie -- ▁więc -- ▁cầu -- ▁hateful -- ▁vegada -- アート -- স্ত -- نقل -- 专利 -- ▁unendlich -- ▁presidential -- ▁hacía -- ▁hump -- 獲 -- 蔑 -- ▁혼자 -- 噴火 -- ▁hybrid -- gemeinschaft -- 精神病 -- 面积 -- 警官 -- ▁новых -- 回避 -- قە -- 老虎 -- ▁clause -- ▁augustine -- 结局 -- theorie -- ▁hoorde -- ツイッター -- 蔽 -- ڈ -- ▁Gewohnheit -- ▁reiterate -- ことはない -- ρα -- ▁signify -- ▁серьезно -- 塑 -- artista -- ▁parliamentary -- ▁странно -- ▁нашим -- 終わる -- ▁bellow -- ▁mẹ -- ▁usurp -- ใ -- ▁chuyển -- ▁сергей -- 沫 -- ▁problém -- ▁transplant -- 语音 -- ▁besagt -- ▁सं -- 感冒 -- ▁devout -- 集め -- を発表しました -- ▁voulu -- 研究人员 -- 주고 -- ▁vienna -- タイムリー -- ▁expedi -- 竟 -- ദ -- ▁bijzonder -- ▁caballero -- ▁moustache -- ▁crusade -- ▁unequal -- 原則 -- ▁syllable -- ▁kesk -- الله -- ڕێ -- 须 -- ▁nyinshi -- 貫 -- ▁thrice -- ▁يوجد -- ▁gospod -- 收购 -- 拜托 -- एको -- ▁роль -- 乗って -- 谢谢大家 -- 捧 -- ሆ -- ▁unsuccessful -- ▁Үүний -- ▁مدرسه -- ▁আমার -- 桁 -- ▁του -- ▁게임 -- ▁detained -- ▁umfasst -- ▁hína -- ▁acontece -- 証言 -- ایە -- arzt -- ▁kostet -- प् -- 耽误 -- ▁Flüchtling -- アルバム -- ▁arctic -- ▁recreation -- ▁становится -- 水準 -- ▁sweden -- ▁testify -- riminal -- 伯格 -- 卧 -- ▁herzlich -- ডি -- 披 -- ሄ -- ▁Minnesota -- ▁Prüfung -- ▁kemudian -- 愛知県 -- ▁boyunca -- ▁caballo -- ▁сделан -- 召し上が -- ▁пятая -- ▁fördern -- ▁Uyu -- 追いかけ -- ▁întreb -- ▁사람들이 -- ાર -- ▁legitim -- ▁klassische -- ▁emblem -- 虑 -- schränkung -- 倦 -- 繊 -- ঐ -- ▁nghiệm -- ▁început -- ▁Offizier -- ▁возраст -- 砂糖 -- ▁aisle -- ▁любим -- ▁aquellos -- ▁botani -- ▁نقش -- ▁Southern -- ▁Coast -- ▁Fehl -- ▁escucha -- 順位 -- lassung -- ▁Vermögen -- ▁நிகழ் -- responsibilities -- ▁sparrow -- ாமல் -- ডা -- ▁Jimmy -- 剧院 -- ▁Nacional -- ఏ -- ▁marcel -- ▁practise -- ▁үнэ -- ọ́ -- ▁Ukraine -- ▁faszinierend -- ▁yahweh -- ▁ມື້ -- 瑜 -- 木曜日 -- ▁teenager -- 毁灭 -- 実態 -- ▁коротк -- ▁agafar -- ▁muerto -- 数百万 -- 感染状況 -- ▁üret -- 六个月 -- ▁liefern -- ▁devait -- ున్నా -- 汚 -- 雨が降って -- QUI -- هدف -- ▁zentral -- 膝 -- ▁begleitet -- 谜 -- ▁Indonesia -- ▁развития -- ▁Höhle -- 捐赠 -- ▁disseny -- ▁bizarre -- ▁pentr -- ▁criança -- ▁дүр -- 发动机 -- ▁думать -- ▁সম্ -- ▁좋아하 -- 違った -- ッション -- ▁oluştur -- 令人惊讶 -- ▁deceit -- ▁помощью -- علام -- ▁лица -- ▁गर्न -- ներ -- escence -- న్నా -- 屋顶 -- 绵 -- ▁Government -- ▁communicating -- ▁discomfort -- ▁период -- 넘 -- 歧视 -- ▁адказ -- ▁развива -- ▁Muskel -- ▁болсон -- ▁duncan -- ▁keith -- ▁leitet -- 生涯 -- ▁olması -- んねん -- 訪 -- ஜெ -- organitza -- ▁Sklaven -- ▁clenched -- ▁hoffentlich -- ▁khoảng -- タクシー -- 垒 -- 귀 -- ▁columbus -- Veröffentlichung -- 贫穷 -- ▁malicious -- ▁supposition -- డి -- ▁работе -- ▁düster -- ლე -- ものすごく -- 生み出 -- ▁repeti -- ▁Marcel -- ळ -- ሚ -- ▁Усё -- ▁мальчик -- 伽 -- 屎 -- 至关重要 -- 잡 -- ▁магазин -- 挖掘 -- ▁gratified -- ▁Firma -- ▁rusange -- 狮子 -- ▁konkret -- ▁voyez -- 行きたい -- ▁snare -- ▁süd -- kandida -- ▁relish -- 江戸時代 -- 从那以后 -- ਜ -- ▁façana -- ▁nghệ -- ▁zugänglich -- ▁медицин -- 狐 -- ▁llavors -- ▁نمایش -- 出租车 -- 一生懸命 -- ▁languid -- いただきましょう -- ▁건데 -- 90% -- 悲剧 -- ▁அரச -- 招待 -- າມ -- ▁سخت -- ▁wilaya -- ▁высоко -- ▁honom -- 反抗 -- 换句话说 -- ▁Kombination -- ▁metropolitan -- 軟 -- 火焰 -- ▁дороги -- ▁injure -- ▁okazis -- 寿命 -- ▁spacious -- ченко -- ▁distinctive -- ▁риск -- ▁comunidad -- 种族主义 -- 规范 -- rutse -- ▁pensée -- ▁автор -- 食べたい -- 頂け -- 逝 -- 霜 -- ▁cognitive -- メダリスト -- 肾 -- ▁indebted -- ▁possiamo -- ދަ -- ▁clump -- ▁سمت -- ▁humming -- LOW -- 观念 -- ▁chwil -- ▁troublesome -- ▁کنار -- 績 -- ▁Flügel -- ▁Merkmal -- ▁announcing -- ▁industrious -- ▁birlikte -- ホワイト -- 釈 -- ▁سیستم -- ▁odour -- 残酷 -- ▁spirituelle -- ▁Dallas -- 演示 -- 俺たち -- 散步 -- 失业 -- றேன் -- gerissen -- ▁evitar -- ▁eksp -- 査 -- ġ -- ▁конфликт -- 喫 -- င်း -- ▁байр -- ▁carrière -- ▁siehst -- ▁verwandelt -- 羽毛 -- praktik -- lehrer -- 另一件事 -- пром -- stablish -- ▁oyna -- 乏 -- 変わらない -- església -- ▁Notwendigkeit -- ▁erwähnen -- ▁impulsive -- ▁langfristig -- ▁libraries -- コラボ -- ▁alcuni -- 豪華 -- 학년 -- ▁reptile -- 泳ぎ -- ▁renounce -- 类似于 -- ▁Charlie -- interesse -- 度目の -- ストレス -- ▁disappoint -- 灵活 -- َلَ -- 顾客 -- 衬衫 -- ▁versteht -- ▁пришлось -- グッズ -- ▁хөгж -- 受験 -- ▁athenian -- ▁která -- ▁Jemand -- Komponente -- ▁Söhne -- 거나 -- ترك -- 打败 -- ▁юҡ -- ▁ethnic -- глянул -- ্ট -- 括 -- ▁erstaunt -- ▁제일 -- ുന്ന -- ▁spüren -- ▁آورد -- 同样的事情 -- タッチ -- 效应 -- ▁волос -- ▁먹었 -- 時計 -- ▁birçok -- ▁mohammed -- accompagn -- ▁peninsula -- แต่ -- ▁NASA -- ▁пенси -- になってしまう -- 谎言 -- ▁recurring -- 炸弹 -- ▁calculate -- 所需的 -- schuss -- ▁fügte -- ▁instruis -- 主导 -- kündigt -- झ -- ▁wunderschön -- ▁солдат -- 睇 -- キッチン -- ▁merrily -- ▁일본 -- 間違え -- 細かい -- ▁твои -- ▁geleden -- 教師 -- ▁jõ -- 赞美 -- صوت -- әсә -- 紫色 -- あげて -- vermögen -- ▁заўсёды -- ▁jefferson -- お客様 -- なるべく -- ▁Conseil -- ▁whisky -- ▁asteroid -- κα -- ▁chestnut -- ▁стрем -- 群众 -- ミング -- ▁cười -- онституц -- 迎接 -- ▁arising -- ▁conserve -- 耻 -- 大谷翔平 -- ▁psychic -- ▁gracias -- ▁эфир -- ▁ausreichend -- กัน -- 的一件事是 -- ▁cicl -- 猿 -- ▁priscilla -- ▁степени -- 브 -- ▁seperti -- 時半ごろ -- Magazin -- fließen -- ▁Moore -- 冥想 -- ▁maximize -- 肤 -- 渐渐 -- ▁Temperatur -- 在很大程度上 -- ▁consternation -- ▁resembling -- 滤 -- 종 -- ▁pièce -- 剥夺 -- indirimbo -- 逃离 -- عيش -- espai -- дуць -- 汚れ -- ウクライナ側 -- ▁Bedrohung -- HMM -- ▁последний -- 喔 -- ▁epistle -- を踏まえ -- زال -- ▁беларускай -- கலை -- ▁люблю -- 股份 -- 事实证明 -- ▁coincide -- 投降 -- ▁stella -- чиво -- 多长时间 -- ▁dramatisch -- ▁гости -- 英镑 -- 谣 -- ▁eclipse -- ▁geleistet -- 弗兰克 -- ▁欢迎收听 -- 乐趣 -- 奥さん -- anglais -- ▁patriotism -- ▁هنر -- 訴 -- クリア -- ▁помни -- ▁сабе -- 눈 -- 현 -- ▁Anstatt -- ▁لطفاً -- ▁vouch -- 反思 -- поро -- ▁hareket -- möglich -- ▁nchini -- ▁Filip -- 具体的に -- rätt -- ણ -- ▁involuntarily -- ▁redemption -- ▁sorgfältig -- ▁кандидат -- ▁και -- ▁erzeugen -- ▁gratification -- 昂贵 -- ▁Studium -- 地板上 -- 导师 -- ITE -- 自慢 -- ▁pilgrimage -- ▁invece -- 暴風 -- 合計 -- ▁میتوان -- ▁ingenuity -- ▁надежд -- 羞耻 -- 渠道 -- ▁کاملا -- вшего -- 判明 -- ▁intact -- ▁consolidation -- 世の中 -- ▁qualitat -- ▁distingu -- ▁militia -- あるもの -- ىغان -- 扰 -- ▁boulevard -- 乗用車 -- ▁landlady -- ▁requisite -- ▁shroud -- ▁probleem -- ▁হাঁ -- ▁reagiert -- 罕见 -- ▁tödlich -- ▁Alexandr -- 朝廷 -- 異なる -- ▁Emily -- 行われている -- ▁Cuando -- とみられます -- ▁konstruaĵo -- 交付 -- казала -- ▁motivation -- ▁utama -- ▁displeasure -- ▁республик -- ▁хүмүүс -- ▁hoofs -- ▁метод -- ▁Kansas -- ▁konsider -- 丫头 -- 对他来说 -- ▁واحدة -- 行われてい -- ▁riddle -- トレー -- ▁rustic -- 新潟 -- शा -- 하기 -- ▁gobierno -- ▁tuyệt -- ▁xảy -- 查尔斯 -- 扫描 -- ▁produzieren -- 必然 -- ▁Então -- PCR -- ▁кровь -- シャン -- ▁rebuild -- あるんですか -- ▁intersect -- treue -- 扛 -- ጥ -- 娇 -- ▁compartment -- ▁muffled -- 冈 -- ▁Гэты -- ▁entdecken -- 受益 -- misel -- اگه -- ফি -- ▁utawa -- verwandt -- ▁часам -- ▁horribly -- ▁stattdessen -- ▁trabalho -- 凌晨 -- ▁Opera -- ▁Argentina -- ▁portugal -- 规律 -- ▁değiştir -- ▁이상 -- まぁ -- 符号 -- ▁хочется -- 並べ -- ▁крым -- gkang -- کشید -- ▁Schlange -- ▁метро -- 铭 -- ▁composure -- 출 -- 笠 -- ▁conegut -- ▁ängstlich -- ▁دانشگاه -- 表彰 -- ▁navigate -- ▁gegründet -- èxit -- ▁Strecke -- ▁කළ -- ▁Yagiz -- šanu -- ференц -- ▁забыл -- ▁фар -- ложения -- spalt -- 謝 -- ▁патрэб -- ▁surveillance -- 颈 -- պ -- ▁immigrants -- ▁है -- ▁porthos -- älteste -- ▁perturb -- 注射 -- ▁Mereka -- が止ま -- ▁gravi -- فصل -- ▁При -- ▁konkur -- ళ్ళ -- 弊 -- ޯ -- ਵ -- ▁Jessica -- ▁pequeña -- ▁susceptible -- ▁информации -- ▁verschwinden -- ▁обязан -- 託 -- ▁plentiful -- ▁interessieren -- ▁удалось -- ▁چقدر -- ▁tactics -- ▁Schloss -- ▁நிலைய -- ▁아예 -- masını -- ▁gauche -- ▁Übergang -- mujyi -- 变革 -- 消費者 -- されていない -- 这项工作 -- 虐 -- пира -- ▁Európ -- ▁француз -- ▁bırak -- ▁perplexity -- ▁порядке -- 喺 -- 棘 -- 벌 -- 钦佩 -- ▁ferdinand -- ▁மூன்று -- ▁dezelfde -- ▁Kämpfe -- まもなく -- 呈 -- 앞 -- 赐 -- ତ -- 절 -- 책 -- 卿 -- 煎 -- આ -- 準 -- 吨 -- 脈 -- យ -- 滩 -- 窟 -- ຜ -- ျ -- 徽 -- ढ -- 斌 -- Í -- ஈ -- 伍 -- ں -- 雌 -- ጠ -- 담 -- 歪 -- 壶 -- ỳ -- 锡 -- 글 -- 태 -- 兜 -- 憋 -- 亜 -- 揮 -- 滨 -- 缶 -- 隙 -- 況 -- २ -- 哑 -- 평 -- 宪 -- 삼 -- 瓷 -- 嚟 -- 眞 -- 畜 -- 逢 -- 愤 -- 堕 -- 興 -- 침 -- 咕 -- 亨 -- 盼 -- 奎 -- 乙 -- 증 -- 拡 -- 谎 -- 설 -- 仑 -- 큰 -- ਮ -- 猴 -- 咸 -- ቃ -- இ -- 昇 -- լ -- 绣 -- 歓 -- ಳ -- 勉 -- ਆ -- 礎 -- Î -- 꾸 -- 橡 -- ぺ -- 阪 -- ޫ -- 圏 -- 蔓 -- 譲 -- 瞥 -- թ -- 維 -- 叨 -- 烫 -- է -- 蛙 -- 衔 -- ύ -- ኛ -- 능 -- 崖 -- 慣 -- 趟 -- 줬 -- 란 -- 厦 -- 茄 -- 挪 -- 柿 -- ដ -- 渋 -- 監 -- 骚 -- 竖 -- ҿ -- ੰ -- 없 -- 掛 -- ވ -- 歧 -- 唠 -- 妄 -- 疚 -- ৎ -- 蹴 -- 岂 -- 표 -- 肿 -- ঙ -- 吟 -- 庸 -- 霞 -- 亀 -- 麗 -- 怜 -- 址 -- 碍 -- 钓 -- 俘 -- 誠 -- 顽 -- 仆 -- ২ -- 肘 -- 汀 -- 頑 -- 浙 -- 笛 -- 秃 -- 葱 -- 순 -- 嗅 -- 暇 -- 薛 -- ਂ -- 攀 -- ష -- 플 -- 癖 -- 磊 -- ג -- 阅 -- ű -- ̃ -- յ -- 堤 -- ט -- 튼 -- 淑 -- ٽ -- 慎 -- ङ -- 甩 -- 渣 -- 론 -- 엔 -- 얼 -- 潰 -- 恭 -- ξ -- 夷 -- 肆 -- – -- ჰ -- $ -- 軸 -- 驴 -- ャ -- 蓬 -- 颖 -- ସ -- ੱ -- ପ -- ৱ -- 驰 -- 듣 -- এ -- 译 -- 병 -- 梳 -- 掠 -- 筛 -- ិ -- 芦 -- ጋ -- 炫 -- 塘 -- 绸 -- 嘎 -- 먼 -- 噴 -- 甭 -- ਪ -- 메 -- 잠 -- 搏 -- 覇 -- 坤 -- 커 -- 임 -- 循 -- 践 -- 渊 -- 靖 -- 嬉 -- 駆 -- ዳ -- 厨 -- 詹 -- 駐 -- 斐 -- 滝 -- 陀 -- ള -- 镖 -- 몰 -- 颁 -- ണ -- 茎 -- 鋭 -- 栖 -- 阜 -- ំ -- 藩 -- 铅 -- 魅 -- 棟 -- 圭 -- 醋 -- 쁘 -- 愣 -- ° -- 閣 -- 汰 -- 椎 -- ሎ -- 枉 -- ჯ -- 妆 -- 합 -- 癒 -- ኔ -- 활 -- 憎 -- 詳 -- 厌 -- 泛 -- 帘 -- 乞 -- 頻 -- 侣 -- 紋 -- 浆 -- េ -- ါ -- 耸 -- ጣ -- 끝 -- 婶 -- 缸 -- 賄 -- 咽 -- 蹦 -- ೂ -- ዋ -- 厢 -- 昧 -- 확 -- 顧 -- 慕 -- 姫 -- 庇 -- 嫩 -- բ -- ኮ -- 稻 -- ୁ -- 匿 -- ព -- ံ -- 窒 -- ሳ -- 杏 -- 坪 -- 碌 -- 팔 -- 幹 -- 隅 -- 붙 -- 痒 -- 熙 -- 魁 -- 濫 -- 郵 -- 袍 -- ڑ -- ൾ -- ỷ -- 駒 -- 仿 -- 陕 -- ፍ -- ঢ -- ମ -- 踪 -- 灿 -- 鍛 -- 翌 -- 贞 -- 럽 -- 辽 -- 백 -- 십 -- 옷 -- ם -- 巷 -- 溺 -- 賢 -- 죽 -- ೊ -- 锤 -- 망 -- 馅 -- 捆 -- 囚 -- 硅 -- 屿 -- 橙 -- 손 -- ɓ -- ડ -- 沾 -- ؛ -- 竭 -- 糙 -- ី -- 餌 -- 筑 -- 崛 -- 腻 -- 贬 -- 斎 -- 梗 -- 宰 -- 捏 -- 渗 -- 萩 -- 懲 -- 盔 -- 彫 -- ፈ -- 씨 -- 紛 -- 澳 -- 蓉 -- 犹 -- 蟹 -- 쳐 -- 貯 -- 惧 -- 辐 -- ඟ -- 혼 -- 盾 -- 육 -- 淳 -- 栈 -- 湧 -- Щ -- Ғ -- ዚ -- 粹 -- 凳 -- 哒 -- 맛 -- 尹 -- 叮 -- 恕 -- 禅 -- ೀ -- 胞 -- 缴 -- 醇 -- 셨 -- ඔ -- ẳ -- ધ -- វ -- ڻ -- 膏 -- 儒 -- ဆ -- 嘟 -- 琐 -- 廉 -- ែ -- 妞 -- ሱ -- 奨 -- ŷ -- 捞 -- 鲸 -- 啪 -- 硕 -- 鲨 -- 歹 -- 嵐 -- 舗 -- 聆 -- 贱 -- 陋 -- 접 -- 떨 -- శ -- 愚 -- 粥 -- ۀ -- 독 -- 변 -- 쉬 -- 족 -- 绪 -- 眨 -- 彪 -- ቅ -- 朽 -- 栓 -- 袜 -- 咒 -- 淀 -- ಚ -- ዛ -- 叙 -- 俯 -- 匈 -- ሪ -- 婉 -- ຢ -- 怡 -- 哩 -- 刹 -- ሉ -- 闇 -- 堅 -- ഷ -- ฐ -- 樱 -- ծ -- 宵 -- ҷ -- 颊 -- җ -- 웃 -- 迅 -- 纷 -- 驼 -- ಶ -- 莹 -- ખ -- 谍 -- 濱 -- 谭 -- 웠 -- 俵 -- 帳 -- 勺 -- 嘻 -- ċ -- ። -- 랬 -- 참 -- ច -- 棺 -- 瞅 -- 毙 -- ़ -- ੁ -- 卦 -- ុ -- 俳 -- 瑶 -- 殻 -- 徹 -- 帐 -- 斩 -- 즈 -- њ -- 쪼 -- 繋 -- 鞠 -- 廣 -- ੈ -- 噩 -- ۵ -- ਼ -- 勋 -- ။ -- 휴 -- ـ -- 拌 -- ိ -- ಣ -- 礁 -- 짝 -- 盯 -- ຶ -- 贸 -- 瞄 -- 緒 -- 른 -- 債 -- 畀 -- 屠 -- 별 -- 睹 -- 厘 -- એ -- 嗡 -- 緊 -- 酋 -- 渐 -- ယ -- 鸽 -- Ŝ -- 渴 -- 韵 -- 栅 -- 랐 -- 簿 -- 藻 -- ើ -- 졸 -- ជ -- 氓 -- 哼 -- 蝇 -- շ -- 曝 -- 澜 -- 慨 -- ן -- 특 -- 鼎 -- צ -- „ -- 테 -- ହ -- 躬 -- 妾 -- 挠 -- 赦 -- 릴 -- 酔 -- 蝶 -- È -- 昨 -- 瘫 -- ਅ -- 錦 -- Ô -- 吱 -- 豁 -- ူ -- 揉 -- 喇 -- 懐 -- 拱 -- 뒤 -- 眺 -- ւ -- ਗ -- 투 -- 홍 -- ռ -- 哺 -- 喃 -- 痘 -- 噜 -- 姬 -- 넣 -- 孩 -- 墅 -- 桩 -- 蚀 -- 橘 -- ధ -- ശ -- 绒 -- 습 -- 貝 -- 軌 -- ィ -- 聘 -- 韧 -- 衍 -- 숙 -- 亩 -- ਬ -- 粛 -- 언 -- എ -- 纲 -- ళ -- எ -- 怎 -- 饺 -- 卒 -- ۍ -- គ -- 唇 -- 婿 -- 慶 -- 악 -- 酿 -- ഗ -- 蜀 -- 討 -- 剿 -- 薦 -- ዲ -- 奄 -- 泌 -- 迭 -- 忏 -- 捣 -- 俱 -- 霧 -- ካ -- 隧 -- 떡 -- 磕 -- 杖 -- 険 -- ൻ -- 굴 -- ቸ -- ภ -- ထ -- ચ -- ൂ -- ಷ -- 橱 -- 薯 -- 菇 -- 패 -- 怠 -- 枫 -- 傍 -- 氢 -- 矛 -- 꺼 -- 빼 -- 凸 -- 창 -- 충 -- ٿ -- 皓 -- 嚷 -- 縄 -- 趾 -- 葵 -- 趴 -- 栃 -- 嵌 -- 涡 -- 셔 -- அ -- 谨 -- 슬 -- ូ -- ീ -- អ -- 诵 -- 朋 -- 兑 -- 览 -- 揍 -- 嗓 -- 垮 -- 耿 -- 拟 -- 浇 -- 莓 -- 酮 -- አ -- 扁 -- 닐 -- 처 -- 肚 -- 때 -- 茜 -- ੂ -- 餅 -- ァ -- 壇 -- 倫 -- 북 -- 冊 -- 撰 -- ¿ -- 谅 -- 吼 -- 虏 -- ቤ -- 허 -- 斧 -- 幾 -- 죠 -- 轿 -- 颇 -- 阐 -- 禀 -- 림 -- 憩 -- 謀 -- 莽 -- 萎 -- 删 -- 娟 -- 베 -- 랜 -- '#' -- 溝 -- 鉢 -- 憲 -- 荘 -- 帜 -- 函 -- 苔 -- 익 -- ٬ -- 섯 -- 택 -- 啫 -- 塾 -- ̉ -- 羅 -- 距 -- 栽 -- 惰 -- ಜ -- 골 -- 판 -- 骆 -- ৯ -- 며 -- 蠢 -- 涅 -- 텐 -- 丫 -- ʼ -- 匀 -- 몸 -- 哉 -- ९ -- ஆ -- ჭ -- 凹 -- 潇 -- 钦 -- 浄 -- 橄 -- 槛 -- 萍 -- 榄 -- 剔 -- 辟 -- 飽 -- ઓ -- 료 -- 嚼 -- 蹭 -- 嵩 -- 菱 -- 霖 -- 碁 -- ז -- 髓 -- 悯 -- 攒 -- 琉 -- 품 -- 釜 -- 聪 -- 喧 -- 蹄 -- 각 -- 绞 -- ሞ -- 坝 -- 蕉 -- 법 -- 膚 -- 媚 -- 틀 -- 矩 -- ሩ -- 쯤 -- 缅 -- 힘 -- 遵 -- 餃 -- ޒ -- 희 -- 戳 -- 斉 -- 惦 -- ധ -- 拙 -- 衬 -- ೋ -- 屑 -- 拇 -- 剛 -- ζ -- 석 -- 冥 -- 鳄 -- 답 -- ӷ -- ਣ -- 겼 -- 꼬 -- 슷 -- 穂 -- 蘑 -- 曽 -- 盏 -- 璃 -- 绍 -- 풀 -- 瞬 -- 茸 -- 骸 -- 광 -- 록 -- 혀 -- 枢 -- ୟ -- 함 -- ജ -- 汐 -- ਟ -- 饲 -- ಇ -- 臀 -- ោ -- 〈 -- 综 -- 婴 -- 榴 -- 馨 -- 拧 -- 贿 -- 칠 -- 偵 -- 淫 -- 켜 -- խ -- 끔 -- ଲ -- 麟 -- ○ -- 烘 -- 衫 -- 환 -- 瞪 -- 懈 -- 녀 -- 블 -- 향 -- 聋 -- 倩 -- 咧 -- 噬 -- 축 -- 篷 -- 熄 -- 甸 -- 蒜 -- 賠 -- 鄙 -- 禄 -- 郝 -- 唬 -- 丞 -- 寇 -- 검 -- 獄 -- 详 -- 诡 -- 疤 -- 铲 -- 芙 -- 硫 -- ఈ -- 乜 -- 쓸 -- 祐 -- 凿 -- 涩 -- 銅 -- Ò -- ҽ -- ആ -- 채 -- 窄 -- 淮 -- 鉱 -- 옆 -- 澡 -- ۹ -- 獣 -- 荆 -- ዝ -- 奕 -- 剃 -- 妓 -- 箸 -- 욕 -- 翰 -- ਇ -- 妊 -- 閥 -- 勿 -- 绊 -- 皂 -- 炖 -- 邱 -- 황 -- 撼 -- 溯 -- ջ -- 粤 -- ભ -- 粪 -- ඹ -- 톡 -- ሮ -- 紗 -- 忆 -- 択 -- 鹤 -- 刈 -- 檬 -- 瀑 -- ৫ -- 穀 -- 啸 -- 缉 -- + -- 권 -- 疹 -- ฝ -- 膳 -- 垄 -- 呻 -- ሺ -- 깨 -- ળ -- × -- 責 -- 瓣 -- 蝠 -- 铸 -- 择 -- 懦 -- 늦 -- 苛 -- 너 -- 魄 -- 贡 -- 谓 -- 捍 -- 厉 -- 蕨 -- ڤ -- 넌 -- ૂ -- 暢 -- 曦 -- 腫 -- 송 -- 飙 -- 샀 -- 寓 -- չ -- 窍 -- 酶 -- 窑 -- 높 -- ඕ -- 蒲 -- ञ -- 訓 -- ۳ -- զ -- 극 -- 못 -- 蜗 -- 诀 -- ৩ -- 旱 -- 娥 -- 掀 -- 肋 -- 혹 -- 扒 --  -- ॉ -- 綾 -- 磯 -- 搂 -- 瘤 -- 雯 -- 蝙 -- 顕 -- 靓 -- 讳 -- 腥 -- ᱟ -- 김 -- 뽑 -- 캐 -- 嘲 -- 맨 -- 跤 -- 폰 -- 徘 -- ሀ -- 詠 -- 邊 -- 션 -- 깔 -- 움 -- ኩ -- ぃ -- 녁 -- 철 -- Ř -- 牡 -- ಧ -- 彬 -- 砕 -- ฉ -- 祁 -- 嬢 -- 咔 -- 탈 -- 涯 -- 峻 -- 밤 -- 墟 -- 婢 -- 芹 -- 鹦 -- औ -- 떠 -- 련 -- 멀 -- 肇 -- 奮 -- 宛 -- 昊 -- ణ -- 嘶 -- 째 -- 糧 -- 锯 -- 煽 -- 驯 -- 兮 -- 冗 -- ഒ -- 衅 -- ෘ -- 拽 -- 껴 -- 砰 -- 恤 -- 掐 -- 沛 -- 暂 -- 簡 -- 庶 -- 噌 -- 鈴 -- 蜡 -- భ -- 颂 -- 끄 -- 塊 -- ബ -- ဖ -- 陡 -- ฮ -- 舆 -- 窖 -- ଦ -- 窥 -- 곳 -- 鎮 -- ಭ -- 綿 -- Ê -- 絆 -- 劈 -- 廓 -- 裹 -- 渦 -- 屉 -- 粋 -- 딩 -- 掷 -- 篠 -- 巩 -- 瘟 -- 撇 -- 쉽 -- ഹ -- 峭 -- 큼 -- 肃 -- ށ -- 奢 -- ቶ -- 宙 -- 诫 -- 叭 -- 沦 -- 辑 -- ޝ -- 땐 -- 봉 -- 潤 -- 께 -- 嚣 -- ዘ -- 彤 -- ҕ -- 逻 -- 승 -- 棕 -- 缪 -- 唆 -- 悉 -- 禽 -- 柠 -- 焚 -- 琦 -- ਉ -- 濁 -- Ĝ -- 捂 -- 舔 -- 孽 -- 畔 -- 꼭 -- ڏ -- 饥 -- 凄 -- ӣ -- 歉 -- ۴ -- 짐 -- 착 -- ഞ -- Э -- 钝 -- 锈 -- ৪ -- 斬 -- 촌 -- 籠 -- 掃 -- 冕 -- 菩 -- 隻 -- 퍼 -- ։ -- ಆ -- 衙 -- 류 -- 犀 -- 벽 -- 氨 -- ។ -- 奠 -- 扳 -- 窮 -- 邵 -- 鐘 -- ಥ -- ቢ -- ፣ -- ફ -- 國 -- ៅ -- 잔 -- ួ -- 纺 -- 喵 -- 叱 -- 梭 -- 騎 -- 鵬 -- 捅 -- 泵 -- 뜨 -- 암 -- 헤 -- 摂 -- 胺 -- 糕 -- 鞍 -- 仨 -- 怯 -- 桨 -- 熏 -- 赁 -- џ -- 钞 -- ƙ -- ഭ -- 揚 -- 棱 -- 哗 -- 禾 -- ሻ -- 싼 -- ዎ -- 妍 -- 락 -- 廖 -- 亵 -- ណ -- ះ -- ሥ -- 唾 -- 빨 -- ഇ -- 屯 -- 绽 -- 舶 -- ಎ -- ቱ -- ዬ -- 논 -- 쿠 -- 嶽 -- ဲ -- 潔 -- 釣 -- ओ -- ۽ -- ३ -- 胰 -- 궁 -- 킨 -- 佬 -- 叽 -- 곤 -- 淆 -- 徴 -- 趋 -- 熔 -- 缆 -- 놨 -- 飓 -- 蛛 -- 睦 -- 응 -- 筷 -- 辻 -- 阀 -- ޕ -- 寛 -- 赋 -- 潭 -- љ -- ଏ -- ෞ -- 낫 -- 寧 -- 鷲 -- ហ -- 篱 -- 痪 -- ଗ -- 渺 -- 笘 -- 丐 -- 輔 -- 窦 -- 啓 -- 汹 -- 沐 -- ષ -- 聡 -- 넷 -- 骼 -- 邀 -- 逍 -- ඊ -- 앉 -- 該 -- 罕 -- 钙 -- Κ -- ଣ -- 咎 -- 孵 -- ຟ -- 冨 -- 癫 -- 嫉 -- 걱 -- 쩌 -- 樊 -- Τ -- • -- 嗦 -- 컴 -- 舵 -- 疎 -- 衝 -- ڊ -- 屡 -- 枣 -- ぉ -- ४ -- ६ -- 侃 -- 蔼 -- 寮 -- 弧 -- 溃 -- 瞳 -- 拢 -- ৮ -- 鹊 -- 佣 -- 蚕 -- আ -- 谤 -- 醤 -- 嚎 -- 泻 -- 锚 -- 诽 -- 擅 -- 俭 -- 巅 -- 恳 -- 嗑 -- 斋 -- ୋ -- Ф -- 揽 -- 氟 -- 禧 -- 銘 -- 會 -- 拷 -- ৬ -- 밀 -- 喀 -- 늘 -- 抠 -- 簧 -- 荧 -- 튜 -- 팀 -- 狮 -- 찾 -- 呦 -- ۸ -- 埔 -- 呪 -- 雁 -- 쁜 -- 櫻 -- 崽 -- 惩 -- 苟 -- 绰 -- 棠 -- 倭 -- 殊 -- 聂 -- Ṭ -- 梵 -- ਖ -- 噂 -- 騰 -- 葫 -- Ņ -- 抒 -- 濒 -- 냈 -- 谊 -- 颤 -- ۶ -- ८ -- 맥 -- 썼 -- 縛 -- ଇ -- ሲ -- 찌 -- 챙 -- 蘇 -- 迦 -- 恍 -- 馒 -- 沧 -- ☎ -- 叩 -- ሌ -- 襟 -- ഉ -- 躯 -- ሬ -- ሊ -- 呜 -- 딴 -- 층 -- 盎 -- ଥ -- Ñ -- ५ -- 篤 -- 弔 -- 曇 -- 脾 -- 苑 -- 溅 -- 획 -- 沥 -- 龚 -- 呕 -- 辙 -- ћ -- 睫 -- ‐ -- 赃 -- 빵 -- ੍ -- 첫 -- 僻 -- 焕 -- ẵ -- 옛 -- 膀 -- 억 -- 陳 -- 黏 -- 茉 -- 隘 -- 딸 -- 掺 -- 筝 -- ๊ -- 莺 -- 髦 -- 彰 -- ဘ -- ഴ -- 褪 -- 娩 -- 鷹 -- 歼 -- 烬 -- 빌 -- 蓋 -- 倔 -- 唧 -- 乍 -- 齋 -- ഡ -- 啱 -- 渎 -- 睿 -- 클 -- 蘭 -- Ș -- 疟 -- 碟 -- 膛 -- 阎 -- 揣 -- ۷ -- 啃 -- 攞 -- 葩 -- ਈ -- ७ -- 绷 -- 걍 -- 擁 -- 渕 -- 沪 -- 掰 -- 岔 -- 범 -- 醸 -- 觅 -- 姗 -- Π -- 跋 -- 澈 -- 謡 -- 搐 -- 殷 -- 刁 -- Ҳ -- ቻ -- 渲 -- 械 -- 런 -- 懵 -- 滕 -- 蓮 -- ផ -- Ā -- ঃ -- ਚ -- ញ -- 胚 -- Ο -- 匂 -- 蚁 -- ໊ -- 扼 -- 幡 -- 験 -- 拎 -- 鴨 -- ធ -- 戮 -- Ǧ -- ଟ -- ௌ -- 墜 -- 铛 -- 痩 -- 赂 -- 긍 -- 逞 -- ձ -- 씬 -- 眷 -- 밑 -- ខ -- Ý -- ቆ -- 蔷 -- 쌤 -- 笹 -- 旷 -- 褶 -- 존 -- 鎌 -- 蛾 -- 佟 -- 挚 -- 逮 -- 坟 -- 暫 -- 褐 -- 驸 -- ਡ -- ኑ -- 듯 -- 쩔 -- 螃 -- ፋ -- 檐 -- 轶 -- 賭 -- 璐 -- 팅 -- 뛰 -- 咳 -- 徙 -- 鸥 -- 咏 -- 诏 -- 춰 -- 剰 -- 辫 -- ኧ -- ৭ -- Ở -- 렌 -- 煌 -- 滔 -- 跷 -- ઉ -- 逾 -- 酌 -- 訟 -- 揪 -- 靳 -- 壕 -- 芥 -- 媳 -- 灸 -- 翅 -- ጊ -- 揃 -- 텔 -- 锣 -- ӯ -- 藍 -- 碱 -- 鳞 -- 镶 -- 绎 -- 탄 -- 镯 -- 搓 -- 핑 -- 왕 -- 咖 -- ଅ -- ޗ -- 낙 -- 짓 -- 悚 -- 惭 -- 冉 -- 惶 -- 皈 -- 鳍 -- థ -- 俞 -- 娄 -- 灶 -- 뉴 -- 駄 -- 甥 -- ๆ -- ጀ -- 센 -- 缀 -- 矫 -- 遛 -- ᱩ -- 藓 -- փ -- 揾 -- 갑 -- 립 -- 훨 -- ઈ -- 愉 -- ٻ -- 椰 -- 踝 -- 悖 -- 柬 -- 翘 -- 豫 -- 빡 -- 鉛 -- 氯 -- 飢 -- 睾 -- Õ -- 闸 -- 량 -- 瑛 -- 條 -- 暧 -- 鑫 -- 煲 -- 꼈 -- 硝 -- 吠 -- Μ -- 琅 -- 椭 -- 錠 -- 遏 -- 漬 -- 篡 -- 찬 -- 灼 -- 祠 -- 钧 -- ଜ -- 榈 -- 痫 -- 헬 -- 蹒 -- 跚 -- 绅 -- 견 -- 箇 -- 骏 -- 帧 -- 纬 -- ቺ -- 咀 -- 橇 -- 낮 -- 髄 -- 阮 -- ៉ -- 蛤 -- 範 -- 쇼 -- 垢 -- உ -- 怂 -- 漱 -- ಒ -- 饵 -- 퓨 -- 眩 -- ថ -- 囱 -- 秩 -- 惚 -- 霄 -- ጉ -- ጨ -- ଶ -- 壌 -- 袱 -- 馈 -- 耽 -- 秉 -- 蓓 -- 闽 -- 窜 -- ଆ -- 竿 -- 锥 -- 柵 -- 磷 -- 炽 -- 氮 -- ઇ -- 擒 -- 厩 -- ቦ -- 쳤 -- 丙 -- 螂 -- 玮 -- 镀 -- 靶 -- 링 -- 賂 -- 缕 -- 裳 -- ޢ -- 啰 -- 烙 -- Α -- ኖ -- 涕 -- 搾 -- 렵 -- 欄 -- 蠕 -- 樋 -- 腊 -- 拂 -- 咚 -- 岚 -- Қ -- ڳ -- ୀ -- 學 -- 悴 -- 憔 -- ೈ -- ኦ -- 맘 -- 祀 -- 榨 -- ڙ -- 暦 -- 铝 -- 络 -- 隶 -- 闫 -- ഥ -- 염 -- 퇴 -- 蔭 -- 咐 -- 甫 -- ଧ -- ଯ -- 裴 -- 탕 -- 喚 -- 渠 -- 茬 -- 蹊 -- ൈ -- 젠 -- 剖 -- 齢 -- ᱱ -- 羔 -- 焉 -- 녔 -- 淼 -- 麒 -- 값 -- 鈍 -- 牲 -- ၏ -- 莞 -- ጅ -- ় -- 峥 -- 瑾 -- ኪ -- 瘍 -- 츠 -- ൊ -- 悍 -- ዜ -- 倪 -- ଡ -- 萱 -- 猶 -- 腎 -- 诞 -- 淌 -- 穹 -- ଭ -- 琥 -- ٠ -- 깝 -- 척 -- 瘩 -- 麓 -- 弛 -- 謙 -- 娴 -- 琶 -- 噢 -- 鄂 -- 咗 -- 邢 -- 疮 -- 贅 -- 轄 -- 铐 -- « -- છ -- 咄 -- 雍 -- 峠 -- 곱 -- 농 -- आ -- ဟ -- 릭 -- 猟 -- ភ -- 炳 -- 驭 -- 霹 -- 钏 -- 霆 -- 朔 -- 訂 -- 榆 -- 晏 -- 荫 -- 蝉 -- ዙ -- ጂ -- 岬 -- 茁 -- 侥 -- 撩 -- 眯 -- 粟 -- 땜 -- Ṣ -- अ -- 酪 -- Ī -- 拴 -- 漩 -- 貞 -- 銚 -- 隋 -- 갖 -- 凛 -- 璇 -- 骡 -- 蜒 -- 萤 -- 蜿 -- 훈 -- þ -- ဝ -- ဂ -- 嘢 -- 槐 -- 鹃 -- Σ -- 祟 -- 볶 -- 쓴 -- 寞 -- 煞 -- 敛 -- 殉 -- 액 -- ऊ -- 恥 -- 诬 -- 呛 -- 怼 -- 낼 -- 胴 -- 焊 -- 猬 -- 裾 -- 壤 -- 瑙 -- 瘸 -- 烛 -- 隼 -- 狸 -- 痰 -- 稜 -- 놔 -- ճ -- 睐 -- 俣 -- 捎 -- Ӱ -- Ấ -- 冶 -- 勲 -- 寅 -- 晾 -- ឹ -- 坨 -- 疙 -- 짤 -- ਫ -- 賊 -- 錯 -- 濡 -- 簸 -- 笋 -- 蕊 -- ဒ -- 眶 -- 瓢 -- 雳 -- ψ -- ଷ -- 嗒 -- 菠 -- 彗 -- 臻 -- ఓ -- ժ -- 瞰 -- ޤ -- ዐ -- 蔚 -- 픈 -- 掲 -- 囤 -- ǎ -- 꿈 -- 덕 -- 킹 -- 탁 -- 磐 -- 槻 -- 蝎 -- 渓 -- 缎 -- 규 -- 꽤 -- 쎄 -- 侑 -- 讽 -- 炕 -- 颅 -- 瑕 -- 嗣 -- 谕 -- 냄 -- 倘 -- 匣 -- 撬 -- 痊 -- 稠 -- Ọ -- 晗 -- 琵 -- 臆 -- 닭 -- 喪 -- ฎ -- 램 -- ္ -- 恙 -- 苇 -- 哋 -- 꿀 -- 멋 -- 섭 -- 肴 -- 닌 -- 蕴 -- 辍 -- 悄 -- 桦 -- 槟 -- 짧 -- 吏 -- 虜 -- Ε -- ฤ -- ޙ -- ቡ -- ቼ -- 턴 -- 嘀 -- 撂 -- 완 -- ኬ -- 巍 -- 荻 -- 駿 -- 믿 -- 柚 -- 효 -- 烯 -- 隷 -- 允 -- 纫 -- ሜ -- 掂 -- 氪 -- 踹 -- 鋼 -- 嘈 -- 깜 -- 뻔 -- Ա -- 즐 -- 람 -- င -- 厥 -- 痹 -- 锄 -- 乒 -- 啼 -- 冀 -- 珑 -- ፊ -- ᱠ -- 酗 -- 玷 -- 譜 -- 梧 -- 諭 -- 來 -- 庐 -- 陨 -- 梓 -- 坷 -- 惟 -- 霾 -- 靡 -- 득 -- 汝 -- 缔 -- 흥 -- 餓 -- 蹑 -- 烷 -- 洽 -- 梶 -- 韶 -- 呱 -- ٔ -- 刨 -- 泞 -- 嶺 -- 紊 -- 腌 -- 憾 -- 엄 -- 珂 -- 呸 -- 岌 -- ך -- 诋 -- 엽 -- 樽 -- 苯 -- 畸 -- 막 -- 蹈 -- 烨 -- 胱 -- 嚇 -- Γ -- 겁 -- 뜻 -- 槿 -- 赣 -- 懿 -- 俏 -- < -- ਧ -- 羹 -- 藉 -- 谂 -- 쌍 -- 찰 -- 梢 -- ӳ -- ჟ -- 롤 -- '>' -- ๋ -- 嗜 -- 桓 -- 窯 -- ጎ -- 鳌 -- 덜 -- 쟁 -- 튀 -- 崭 -- ቁ -- 惺 -- 沌 -- 콘 -- 쌓 -- 렇 -- ኋ -- 庚 -- 籽 -- 롱 -- ໋ -- ሙ -- 널 -- 镰 -- 兢 -- ଳ -- 昵 -- 蜱 -- 晤 -- 猥 -- ଙ -- ಉ -- 缰 -- 貂 -- 匮 -- 믄 -- 총 -- 噛 -- 摧 -- 吝 -- 铮 -- 鞘 -- ՝ -- 傑 -- 빈 -- ਭ -- 迂 -- 晦 -- ः -- 攘 -- 쭉 -- 酥 -- 娱 -- 嘣 -- 砾 -- 혜 -- 剁 -- 懊 -- 檀 -- 矣 -- Å -- 낸 -- 웬 -- 雏 -- 薫 -- 屌 -- 峙 -- 옮 -- Ḍ -- 哆 -- 應 -- ☆ -- 瑠 -- 畴 -- 乓 -- 蹬 -- 끌 -- 곡 -- 념 -- 빙 -- 墩 -- 侏 -- 舘 -- ຝ -- 昕 -- 讐 -- 隈 -- 桅 -- 碾 -- ഫ -- 殡 -- 哔 -- 犊 -- 呉 -- 浊 -- 웨 -- 幣 -- ঞ -- 诠 -- 豌 -- 惮 -- 狡 -- 祷 -- 蜷 -- 珈 -- 瞭 -- 嚏 -- 抨 -- 頬 -- 컨 -- 淤 -- 겹 -- 穏 -- 陌 -- 敖 -- 襄 -- 摁 -- Ś -- ॅ -- 닥 -- 셋 -- 侶 -- 姻 -- ಈ -- 岖 -- 秤 -- 翩 -- 鲤 -- 墳 -- 韭 -- ៃ -- 炙 -- ᱤ -- 眸 -- 蟑 -- 嗖 -- 幌 -- 湛 -- 簇 -- 婊 -- 弈 -- 秽 -- ଚ -- 뀌 -- 臼 -- 犁 -- ᱮ -- 箔 -- ಖ -- \ -- 嫣 -- ١ -- 拣 -- 잤 -- 澎 -- 畠 -- 鳳 -- 噪 -- 茵 -- 炬 -- Δ -- 샤 -- 잉 -- 淇 -- 蟆 -- 털 -- 荐 -- 堺 -- 倚 -- 侨 -- 撵 -- 瀚 -- 匕 -- à -- Ì -- 塀 -- 焙 -- 翟 -- 赘 -- ଛ -- ٫ -- 뻐 -- ਥ -- ෛ -- 蜥 -- 酝 -- 钥 -- 鳩 -- 疵 -- 羚 -- 殆 -- ฏ -- 憤 -- 꿔 -- 啄 -- 檜 -- 閑 -- 鯉 -- 寥 -- 邑 -- 磋 -- 漓 -- 蛊 -- 绥 -- 坍 -- 징 -- 컬 -- 팬 -- ઝ -- 倶 -- ஒ -- 吭 -- 愕 -- 矜 -- ෆ -- 戎 -- 楓 -- օ -- ၊ -- ኳ -- ዱ -- 擬 -- 슈 -- 曖 -- 慑 -- 渝 -- ሷ -- 蘸 -- 稔 -- 럴 -- 딜 -- 콩 -- ђ -- 颓 -- 發 -- 嗷 -- 鞅 -- 洼 -- 腱 -- 曰 -- 帚 -- 죄 -- 獅 -- 牟 -- 牽 -- 骤 -- 穗 -- 璋 -- ଉ -- 뿌 -- 汶 -- 鮭 -- 솔 -- ฆ -- 儲 -- 猖 -- 儡 -- 汲 -- 湊 -- 笃 -- 蜚 -- ٘ -- 傀 -- ੜ -- ዊ -- 俐 -- 頓 -- 멘 -- 젤 -- 홀 -- 韬 -- 渍 -- 鯛 -- 嬷 -- 瞻 -- 辗 -- Ē -- 沁 -- 롯 -- ඝ -- ቴ -- ኘ -- 伶 -- 渇 -- 熨 -- 뿐 -- 푸 -- 綻 -- 渉 -- 玻 -- ఖ -- 閲 -- 슨 -- 嘆 -- 這 -- 嬛 -- 羁 -- 寐 -- 翡 -- 轼 -- ቂ -- ኒ -- 紳 -- 얻 -- 询 -- ᱭ -- 砌 -- 똑 -- ౌ -- 挿 -- 漪 -- 茧 -- 풍 -- 胁 -- 釧 -- Ҫ -- 涟 -- 狈 -- 忒 -- 槌 -- 潦 -- 點 -- 迢 -- 雹 -- 峨 -- 摞 -- 亢 -- 芜 -- 蛍 -- 朦 -- 玺 -- 諮 -- 暁 -- 줌 -- 铀 -- 槙 -- 鼹 -- ඛ -- ቹ -- ጭ -- 瞌 -- 칼 -- 킬 -- 遼 -- 醍 -- 妬 -- 烹 -- 녹 -- 싱 -- 绮 -- 즌 -- 絹 -- 醐 -- 柑 -- 讪 -- 뚫 -- 엑 -- 捋 -- 脐 -- 켓 -- ឡ -- ឺ -- 噉 -- 撲 -- 尧 -- ඥ -- 岑 -- 晟 -- 롭 -- 흔 -- 湃 -- 씀 -- 諏 -- 筏 -- 顎 -- 钠 -- 蛎 -- 厮 -- 떼 -- ヂ -- 叼 -- 嗰 -- 擂 -- 遡 -- 钳 -- 邉 -- ～ -- 啬 -- 羲 -- 猝 -- 溉 -- ڼ -- ዕ -- 跺 -- 닝 -- 덟 -- 谚 -- 枷 -- 緻 -- 釉 -- 踱 -- ─ -- ಫ -- Η -- ሠ -- ጃ -- 蜴 -- 憂 -- 樟 -- 楔 -- 芮 -- ќ -- ጫ -- 黯 -- 淵 -- 杭 -- 卤 -- ᱢ -- 胧 -- 酯 -- 俸 -- 맡 -- 율 -- 瘠 -- 拯 -- 匙 -- 驿 -- 饷 -- 腑 -- 邋 -- ڌ -- 抉 -- 땡 -- 앙 -- 흐 -- 酎 -- 摯 -- Š -- 鳗 -- ဉ -- 浚 -- 筐 -- ଂ -- 毗 -- 쌀 -- 樫 -- অ -- ̍ -- 袒 -- 诛 -- 毋 -- ऐ -- 筱 -- 骰 -- 曙 -- 瞩 -- 潼 -- 馋 -- ଁ -- 喳 -- 谛 -- 냉 -- ዩ -- 숨 -- 폐 -- 庵 -- 攸 -- 匡 -- ଖ -- 绛 -- 鸯 -- 봄 -- 탔 -- 腓 -- 钾 -- 폭 -- ޚ -- 窪 -- 瞑 -- ஃ -- 谬 -- 杵 -- 鹭 -- 喙 -- 絮 -- ඬ -- ጆ -- 憨 -- 蜻 -- 袄 -- 鸳 -- 鼬 -- 弩 -- 祺 -- ݨ -- ዶ -- 繕 -- 荚 -- 蜓 -- 델 -- 랄 -- 춤 -- 콜 -- ૃ -- 刽 -- 蚤 -- 뮤 -- 娯 -- 痢 -- 彝 -- 嗝 -- 滇 -- 缭 -- 蟒 -- 窘 -- 虞 -- 춥 -- Ķ -- ၀ -- 偎 -- 赡 -- 钵 -- 邹 -- 薗 -- 骇 -- 怦 -- 匾 -- 禹 -- 蟀 -- 蟋 -- ݙ -- ሸ -- 亥 -- 遢 -- 鬱 -- Մ -- ඨ -- 꽃 -- 덴 -- 땅 -- 왠 -- 忡 -- 攥 -- 肛 -- 驹 -- ቲ -- 悸 -- 넓 -- 률 -- 젊 -- 忑 -- 曳 -- 诧 -- ቷ -- 恺 -- 邝 -- 랩 -- 삭 -- ڀ -- 忐 -- 碇 -- 懇 -- 涸 -- 紡 -- 卉 -- 楷 -- 炜 -- ŋ -- 唄 -- 錮 -- 輩 -- 焰 -- 蔗 -- 钰 -- 萦 -- ᱜ -- 吮 -- ሂ -- 薰 -- 顷 -- 령 -- ዓ -- 賓 -- 럼 -- 냥 -- 馁 -- 鬟 -- 噎 -- 渭 -- 纶 -- 럭 -- 撸 -- 객 -- 릿 -- ଼ -- 篝 -- 瘀 -- 骄 -- 娲 -- 狳 -- 恬 -- 掴 -- 犰 -- 엉 -- 蜕 -- 跛 -- 勅 -- 椿 -- 疡 -- 麸 -- 낀 -- ፕ -- 윤 -- 於 -- ऱ -- 啡 -- 脯 -- 綺 -- 譬 -- ഏ -- ៊ -- 鼾 -- 拗 -- 锻 -- 馀 -- 눠 -- 옥 -- 컵 -- ័ -- 嫦 -- 嫖 -- 撅 -- Ż -- 벤 -- 압 -- 谟 -- 耙 -- ၎ -- 榊 -- 鲑 -- 깊 -- 몬 -- 앤 -- 엘 -- 帥 -- 薩 -- ♫ -- 掖 -- ઘ -- 昴 -- 嗱 -- 꼐 -- 눌 -- 핫 -- 蒼 -- 紺 -- ぢ -- 苣 -- 萃 -- 颯 -- ฬ -- 屹 -- 栾 -- 闵 -- ぅ -- ఐ -- ኤ -- 鱿 -- 딘 -- 잃 -- 켰 -- ၁ -- 짱 -- 栩 -- 涓 -- 磺 -- 厕 -- 哽 -- 凪 -- 绯 -- 漕 -- ሴ -- 嗮 -- 쁠 -- 伎 -- 暉 -- 喆 -- 叡 -- 噼 -- 肽 -- 鵜 -- 籔 -- 또 -- 睛 -- 涤 -- 涮 -- 踵 -- ヅ -- 沽 -- ጓ -- ᱚ -- 놈 -- 씻 -- 픽 -- ፎ -- 汕 -- 玟 -- 胭 -- 謗 -- 誹 -- 锂 -- 幂 -- ᱫ -- 벗 -- ף -- ሐ -- 俑 -- 렀 -- 릉 -- 홉 -- 砺 -- 腋 -- 凱 -- 骁 -- 哧 -- 杞 -- 氦 -- 笙 -- 皙 -- 煩 -- 锌 -- 铬 -- 闺 -- 阑 -- 폴 -- 蹋 -- 셀 -- Ĵ -- 渤 -- 걷 -- 웹 -- 협 -- 舷 -- 鯨 -- 縣 -- 钮 -- 妒 -- 艮 -- ڄ -- 喱 -- 례 -- 밍 -- ዴ -- 걘 -- 벅 -- 춘 -- 힐 -- 窿 -- 嫡 -- ඵ -- 艶 -- Հ -- ঈ -- ਯ -- 균 -- 낭 -- 뷰 -- 헌 -- 덩 -- 矗 -- 竺 -- 芷 -- ਏ -- 惣 -- 捻 -- 馄 -- 밝 -- Ł -- ੌ -- 닫 -- 딨 -- 룸 -- 싹 -- 흰 -- 蔻 -- 锵 -- 麹 -- 庾 -- ኸ -- 實 -- 讷 -- '@' -- 捶 -- 芊 -- 阂 -- ഈ -- ᱾ -- 똥 -- 벨 -- 쟤 -- 탑 -- 템 -- ऑ -- අ -- 潟 -- 擎 -- 醺 -- 邯 -- 馍 -- 琊 -- 榛 -- 댓 -- ٺ -- 낳 -- 쏘 -- 韻 -- 蕃 -- 噺 -- 虱 -- 隕 -- 嚓 -- 褂 -- 諾 -- ሶ -- 阙 -- 삐 -- 倣 -- 浣 -- 瘪 -- 홈 -- 壺 -- 廿 -- 凋 -- 舜 -- ዞ -- 帷 -- 樣 -- 佰 -- 삶 -- 湍 -- 俪 -- 惋 -- 峯 -- 斟 -- 渥 -- 當 -- ୂ -- 癞 -- 蝗 -- 龛 -- 꽂 -- 멍 -- 팡 -- 孰 -- 挛 -- 坞 -- ޞ -- 訣 -- 땠 -- ጡ -- ᱧ -- Ն -- ៍ -- 蒿 -- 琛 -- 稷 -- 灏 -- 饨 -- 蚱 -- 诲 -- 孜 -- 錬 -- 빛 -- 蝌 -- 榎 -- 蹂 -- 崴 -- 漉 -- 臊 -- 镁 -- 箋 -- 偃 -- 纂 -- 盹 -- 腮 -- 黔 -- Έ -- 꿨 -- 둔 -- 랙 -- 헐 -- 혈 -- 鹫 -- 齊 -- 痉 -- 蚪 -- 棣 -- ឆ -- 幢 -- 柊 -- 殃 -- ѳ -- 卯 -- 頸 -- ઠ -- ቋ -- 납 -- 핀 -- 壱 -- ฑ -- 姊 -- 糗 -- 踮 -- 汾 -- 讹 -- 龈 -- ሃ -- 섬 -- ೃ -- 粑 -- 罠 -- ඡ -- 彷 -- 釘 -- 鳅 -- ៀ -- 詫 -- 躏 -- 呑 -- 憬 -- 霓 -- 箍 -- 昱 -- ൃ -- 壹 -- 皖 -- 菁 -- ᱛ -- 뜬 -- 펜 -- 휘 -- 힌 -- 햄 -- 颐 -- 汞 -- 禍 -- ஏ -- ຣ -- 偕 -- 钗 -- 戟 -- 绢 -- 藕 -- 鬃 -- 몽 -- 촬 -- 흘 -- Ģ -- Є -- 狒 -- 槍 -- 榻 -- 犒 -- 脓 -- 胤 -- 褴 -- Ļ -- 嗌 -- 宓 -- 翱 -- 麋 -- ٢ -- ဗ -- 褛 -- 곧 -- 댄 -- 엇 -- 틱 -- 戯 -- 蟾 -- 佃 -- 酚 -- 晌 -- 泸 -- 騙 -- ፖ -- 鸠 -- 碘 -- 껄 -- 캠 -- 퀴 -- 團 -- 髋 -- 铎 -- 菓 -- 誕 -- 猕 -- 轧 -- 醛 -- 锹 -- 糯 -- 鎧 -- '~' -- Ă -- ృ -- 竣 -- 蚓 -- 칭 -- 娼 -- 绫 -- 엠 -- 컸 -- Կ -- 痺 -- ഖ -- 捨 -- ^ -- 噔 -- 薙 -- 찐 -- 뒷 -- 섞 -- 좌 -- 틴 -- 缜 -- 楞 -- 砥 -- 碉 -- 遷 -- 緯 -- 馏 -- 孢 -- 氰 -- 孚 -- 囧 -- 楂 -- Җ -- ೌ -- 堰 -- 獭 -- 祯 -- 둥 -- 멜 -- 팩 -- ਘ -- 荤 -- 큐 -- 툰 -- 皐 -- 憧 -- 垦 -- 毡 -- 晖 -- 枸 -- 佘 -- 咤 -- 咫 -- 烊 -- 嫔 -- 痣 -- 荔 -- 렁 -- ኢ -- 蹩 -- 酰 -- 샵 -- 슴 -- 얀 -- 첨 -- 謹 -- 經 -- 對 -- 購 -- 燎 -- 瀧 -- 吒 -- 詣 -- 訃 -- '|' -- ⁄ -- 괴 -- 깃 -- 탐 -- ጽ -- 彌 -- 劉 -- 哝 -- 鹑 -- 蛰 -- 犟 -- Β -- 喩 -- 鞑 -- ଠ -- 묶 -- Ս -- ਝ -- ഓ -- ዮ -- 【 -- 】 -- 剽 -- 蚯 -- ૈ -- 啾 -- 宕 -- 恃 -- 裘 -- 粽 -- 碜 -- 鳟 -- 漾 -- 篓 -- 绚 -- 钊 -- ٥ -- ፒ -- 浒 -- 밴 -- 찜 -- ඈ -- Ồ -- 떴 -- 藝 -- 媲 -- 阈 -- 鸵 -- 羯 -- 鹌 -- 祛 -- 丕 -- 獾 -- 靼 -- 钛 -- 뚜 -- 묻 -- ֆ -- 砚 -- 俚 -- 恢 -- 萬 -- 扪 -- 摒 -- 翎 -- 끗 -- 뽀 -- 觑 -- 黝 -- 聽 -- ୱ -- 戊 -- 椛 -- ဏ -- 睑 -- 熠 -- 噱 -- 樵 -- 苞 -- ٩ -- 腆 -- 莘 -- 鮎 -- 麝 -- 갤 -- 덮 -- Ե -- ঔ -- Ả -- 戛 -- 쿨 -- 蜍 -- 躇 -- 脖 -- 啜 -- 阉 -- 嘩 -- 沏 -- 闩 -- 垛 -- 鹂 -- ‒ -- 뒀 -- 핸 -- ڇ -- 댔 -- 칸 -- 鋳 -- 沂 -- 羨 -- 巳 -- 髅 -- 拮 -- 芈 -- 徨 -- 榕 -- 蓟 -- 铠 -- 颚 -- Բ -- ൺ -- 깎 -- 릇 -- 썰 -- 灘 -- 洱 -- 痞 -- 禺 -- 骷 -- 簪 -- 螨 -- 馊 -- 匐 -- 涎 -- 辘 -- 邂 -- 烏 -- 睬 -- 팠 -- Ν -- 鳕 -- ऋ -- 坯 -- 睽 -- 앨 -- 얇 -- 鳖 -- 疱 -- ៏ -- 棲 -- 琢 -- 剐 -- 焱 -- 鉾 -- 罂 -- 逅 -- ‟ -- 噗 -- 뼈 -- 짠 -- 짬 -- 怔 -- 暨 -- 覺 -- ଫ -- 亘 -- 賜 -- 錫 -- 秧 -- 諜 -- 毀 -- 羟 -- 嗤 -- 蛭 -- 扈 -- 镍 -- Θ -- 끓 -- 씹 -- 잇 -- 쭈 -- 펴 -- ǹ -- 螳 -- 匍 -- 咣 -- 腼 -- ඤ -- 漳 -- 镳 -- 雛 -- Ј -- 傣 -- 轲 -- Ԑ -- ၂ -- 쩍 -- 턱 -- ፡ -- 孀 -- 皑 -- ‧ -- 囃 -- 佼 -- 獗 -- 舀 -- 荼 -- 蚣 -- 唏 -- 箕 -- 槃 -- 璨 -- 衩 -- 잊 -- ଘ -- ୃ -- ฒ -- 〜 -- 瓮 -- 黜 -- 늙 -- 덤 -- 측 -- 遁 -- 紬 -- 埼 -- 壑 -- 憶 -- 贻 -- 夯 -- 渚 -- 翊 -- ਛ -- ≪ -- 耘 -- ٣ -- ヵ -- 騨 -- 띠 -- 릎 -- 빤 -- 쿄 -- Ӹ -- 怅 -- 憑 -- 罄 -- 谑 -- 擢 -- 虻 -- 蚜 -- 铂 -- 夭 -- 痨 -- 蚌 -- 觐 -- 迄 -- 邃 -- ĺ -- Λ -- ፓ -- △ -- 冴 -- 孺 -- 谏 -- 겸 -- 닦 -- 쪘 -- 찔 -- › -- 牒 -- 罹 -- 赈 -- 긁 -- 蕎 -- 楢 -- 砧 -- 잖 -- 貢 -- 陇 -- 褥 -- 蒔 -- 蹿 -- ၍ -- ‹ -- 紐 -- 闰 -- ጁ -- 噶 -- 諒 -- 앴 -- 윗 -- 톤 -- 桝 -- 瞿 -- 讣 -- 꼴 -- 칙 -- 힙 -- 們 -- 寫 -- 耦 -- 蠣 -- 凜 -- 잘 -- 砦 -- 褚 -- 酣 -- 榔 -- 迸 -- 鳃 -- 峪 -- 缇 -- 龊 -- 汛 -- ፅ -- 갠 -- 혔 -- 喰 -- 囔 -- 捗 -- 璧 -- 虔 -- 啕 -- ሯ -- 龌 -- 玖 -- € -- 啷 -- 慵 -- 戾 -- 炅 -- 뚱 -- ጤ -- 侬 -- 꾼 -- 렛 -- 샘 -- 렴 -- 劵 -- 矯 -- 訊 -- 圃 -- 苷 -- 咿 -- 鸞 -- 僅 -- 與 -- 侮 -- 溥 -- 羌 -- 蛀 -- 兀 -- 沓 -- 雉 -- 颌 -- Ġ -- Ҙ -- ૌ -- ኞ -- 恪 -- 겉 -- 굽 -- 뷔 -- 좁 -- 팍 -- 흑 -- ဦ -- 楊 -- 泷 -- 纣 -- 榉 -- 藐 -- ヱ -- 泯 -- 兩 -- 馴 -- 吆 -- ኙ -- 嘚 -- 怆 -- 꼼 -- 묘 -- 팝 -- ڃ -- ඌ -- 絢 -- 겪 -- 땀 -- 빅 -- 촉 -- 쵸 -- 캡 -- 흡 -- 烽 -- 擀 -- 辕 -- 壽 -- 亞 -- 螈 -- 槲 -- 茛 -- 镐 -- ሏ -- 帛 -- 胥 -- 辿 -- 鬣 -- 긋 -- 낄 -- 땄 -- 왼 -- ሕ -- 暄 -- 焖 -- 꽁 -- 룹 -- 뺐 -- 鲈 -- 镣 -- 凧 -- 挝 -- 밖 -- 咨 -- 砷 -- 铰 -- 啮 -- 醜 -- 荨 -- 摹 -- 搪 -- 紘 -- 띄 -- 鍾 -- 霁 -- 맹 -- 벼 -- 썩 -- 욱 -- 흠 -- 鸪 -- 淄 -- 繭 -- 畝 -- 爾 -- 蔬 -- 潺 -- 捺 -- 抿 -- ဇ -- 弑 -- 戬 -- 璀 -- 喋 -- 辄 -- ץ -- ጌ -- Ẹ -- 낚 -- 닮 -- 잼 -- ଓ -- ឱ -- 덥 -- 붕 -- 뺏 -- 妳 -- 鹧 -- ໆ -- ဓ -- 蜈 -- 夙 -- 篆 -- 啧 -- 痔 -- 祇 -- 笞 -- 蜢 -- 锢 -- 蝦 -- ٰ -- ৷ -- 堇 -- 갓 -- 랭 -- 쨌 -- 팟 -- 茱 -- 裆 -- 斡 -- 讃 -- 渾 -- 貪 -- 桧 -- 啁 -- 掸 -- 熹 -- 繍 -- 掳 -- 數 -- 珺 -- ѓ -- ঋ -- Į -- ٨ -- ಘ -- 녕 -- 캔 -- 컷 -- 폼 -- 羡 -- 뚝 -- 맙 -- 썸 -- 쫄 -- ∞ -- 淞 -- 糜 -- 箫 -- 孬 -- 炯 -- 诃 -- 엊 -- Ό -- 搀 -- ሑ -- 桔 -- 爺 -- 粵 -- 罔 -- 遐 -- 骋 -- 렉 -- 糾 -- 닿 -- 혁 -- Գ -- 舛 -- 栞 -- 鱗 -- ヲ -- 枭 -- 赳 -- ਓ -- 囡 -- 垩 -- 泾 -- 苫 -- 茴 -- ၉ -- ፀ -- ‚ -- 閃 -- Ի -- ಏ -- ൗ -- ᱞ -- 瘴 -- 綴 -- 縞 -- 苓 -- 껌 -- 끈 -- 샌 -- 숭 -- 颞 -- 體 -- 飴 -- 圓 -- 跆 -- 駕 -- 鮫 -- 尬 -- 岱 -- 袅 -- ٧ -- 갚 -- 뜯 -- 쥐 -- ፉ -- 缈 -- 랫 -- 쫓 -- 췄 -- 惬 -- 藪 -- 將 -- 蝾 -- 蚂 -- 遜 -- 佯 -- 凰 -- 呲 -- 弼 -- 俾 -- 囉 -- 宸 -- 疣 -- 罵 -- 뺄 -- 빽 -- ૉ -- 缥 -- 莴 -- 琰 -- 诣 -- Ι -- ਐ -- 埠 -- 烩 -- 粱 -- 铆 -- 馥 -- Ț -- ቪ -- ፃ -- ឋ -- 忱 -- 곰 -- 꽉 -- 룩 -- 묵 -- 븐 -- 뽕 -- 텀 -- 涝 -- 聯 -- 挞 -- 鹈 -- 缚 -- 哐 -- 驷 -- 吖 -- 瑰 -- 蔫 -- 覗 -- 骞 -- Χ -- 叻 -- 咦 -- 廻 -- 惆 -- 戍 -- 蛟 -- 귄 -- 뀐 -- 댁 -- 앗 -- 앱 -- 쪄 -- ଞ -- 咝 -- 膠 -- 蚝 -- 뭉 -- 俨 -- 荟 -- 聲 -- 膿 -- 蜊 -- 衲 -- 婧 -- "\x93" -- "\x94" -- ٤ -- ᱨ -- 拄 -- 笆 -- 荞 -- 钨 -- 宦 -- 粕 -- 醚 -- 펙 -- 糞 -- 關 -- 饉 -- 鹕 -- 瀕 -- 狛 -- 餡 -- 奚 -- 讧 -- 瘁 -- 葆 -- 讥 -- 亟 -- 荃 -- 裟 -- ഠ -- ሦ -- ፌ -- 昙 -- 뇌 -- 둬 -- 뻥 -- 셉 -- 쉴 -- 쫙 -- 펌 -- 헷 -- 玫 -- 痤 -- 氣 -- 宍 -- 瘙 -- 從 -- 炷 -- 箴 -- 賑 -- 钍 -- 刍 -- 汴 -- 濮 -- 碴 -- 籁 -- 谩 -- Þ -- Ū -- ґ -- Դ -- 叟 -- 挎 -- 缤 -- 轟 -- 꼰 -- 냅 -- 넨 -- 댕 -- 붓 -- 쌈 -- 찝 -- 콤 -- 쾌 -- ឬ -- 糠 -- 胯 -- 沱 -- 眈 -- 臃 -- 鰹 -- 犸 -- 郸 -- ሟ -- 昀 -- 璞 -- 缮 -- 羿 -- 谙 -- 迥 -- Ĥ -- Џ -- ጪ -- 砒 -- 莆 -- ¥ -- Լ -- 荀 -- 躊 -- 忖 -- 匝 -- 溴 -- Ъ -- 惘 -- 歆 -- Û -- Ά -- 喎 -- 掇 -- 椋 -- 浃 -- 獒 -- 蛆 -- 赝 -- 锏 -- 驮 -- 썬 -- ÿ -- Φ -- 닉 -- 듀 -- 뤄 -- 멈 -- 빴 -- 뺀 -- 숫 -- 썹 -- 찢 -- 챔 -- 탱 -- 텍 -- 핵 -- 胛 -- ૅ -- 靛 -- 綬 -- 靭 -- 膵 -- 說 -- 谄 -- 偌 -- 桟 -- 潍 -- 珏 -- 荏 -- 诩 -- 轱 -- 嗲 -- 洸 -- 觎 -- 諗 -- 쌌 -- 웅 -- 헛 -- Ő -- Պ -- ୌ -- 壬 -- 搡 -- 餸 -- 뜩 -- 밟 -- 뿔 -- 윈 -- 쩨 -- 濠 -- 雫 -- 賽 -- ឌ -- ៈ -- 薮 -- 舫 -- ★ -- 萼 -- ഘ -- 傭 -- 妲 -- 桉 -- 襷 -- 踞 -- 鲱 -- 牦 -- 珞 -- 轭 -- 겐 -- 닷 -- 딪 -- 랍 -- 뱃 -- 뻤 -- 쩐 -- '{' -- 斓 -- 缨 -- 鄭 -- 铡 -- 鸢 -- ϊ -- 珐 -- 馳 -- 煦 -- 梆 -- ៗ -- 锭 -- 阚 -- 淨 -- 皎 -- 詮 -- ̈ -- Ӧ -- Ԥ -- ڍ -- ਠ -- Ụ -- ỵ -- 偻 -- 啩 -- 寰 -- 蛹 -- 鬓 -- 鳏 -- 듬 -- 맵 -- 뱀 -- 톱 -- ઢ -- ᱴ -- 塵 -- 攫 -- 犷 -- 舐 -- 酉 -- 믹 -- 뱅 -- 臥 -- 酊 -- ඓ -- එ -- ဥ -- 纥 -- 飒 -- 佗 -- 咻 -- 斛 -- 跻 -- Ӓ -- ԑ -- ޏ -- ጦ -- ‽ -- 怄 -- 耷 -- 袈 -- 骊 -- 鰻 -- 뜰 -- 볍 -- 빚 -- 샐 -- 쇠 -- 엥 -- 쩡 -- 퀄 -- '}' -- Ō -- 冑 -- 姪 -- 彙 -- 梱 -- 沒 -- 爛 -- 薏 -- 赊 -- 鲟 -- 鄱 -- 絨 -- 燻 -- 蓼 -- 錐 -- 妩 -- 娓 -- 涣 -- 蟻 -- 袤 -- Վ -- ٪ -- ఠ -- 桢 -- 煉 -- 鐵 -- 魇 -- 략 -- 륵 -- 삿 -- 엎 -- 쭐 -- 蚬 -- 毂 -- 铿 -- 恻 -- ឈ -- 晰 -- 蝽 -- 〇 -- 贮 -- 椀 -- 抡 -- 芍 -- ᱥ -- 磴 -- 變 -- 趙 -- 骛 -- 仃 -- 豺 -- 龋 -- 멤 -- 빗 -- Տ -- 燧 -- 蓑 -- 踌 -- 鲶 -- 젝 -- 즉 -- 혐 -- 樂 -- 熾 -- 腩 -- 袂 -- 谵 -- 內 -- 澪 -- 鴻 -- 蝈 -- 疽 -- 帼 -- 徇 -- ಞ -- 惴 -- 爻 -- 甬 -- 薅 -- 麩 -- ٦ -- ఘ -- Ừ -- 錢 -- 궈 -- 껍 -- 꼽 -- 뎅 -- 돋 -- 룰 -- 쫍 -- 區 -- 幔 -- 箏 -- 饯 -- 喹 -- 榮 -- 牠 -- 歎 -- 苹 -- ங -- 泱 -- 嵇 -- 诟 -- 遽 -- 铤 -- 痱 -- 즘 -- Ո -- 兎 -- 咛 -- 砝 -- 鲫 -- Ї -- Ռ -- ၅ -- ၈ -- 單 -- 鍼 -- 갱 -- 밭 -- 쎈 -- 윙 -- 宥 -- 狞 -- 讀 -- 赭 -- 颧 -- ឿ -- 巌 -- 濤 -- 帶 -- 涧 -- 髻 -- 楕 -- 簌 -- 膺 -- 冽 -- 忻 -- 褓 -- Թ -- ၆ -- 叵 -- 秆 -- 髭 -- 귤 -- 깥 -- 껀 -- 낯 -- 뢰 -- 멕 -- 멸 -- 섰 -- 쇄 -- 쿼 -- 풋 -- 悻 -- 瞠 -- 湄 -- 蟠 -- 傳 -- 汩 -- 倹 -- 葭 -- 鰺 -- 熵 -- 礫 -- 蝓 -- 劾 -- 掻 -- 奘 -- 嶙 -- 滓 -- 芃 -- 浏 -- 焯 -- 狰 -- 緋 -- 蛳 -- Ħ -- ᱷ -- 揄 -- 揶 -- 猾 -- 胫 -- 貰 -- 霏 -- 귈 -- 깡 -- 룡 -- 맻 -- 봇 -- 셜 -- 숱 -- 츄 -- 嘤 -- 杳 -- 瓒 -- 粼 -- 苋 -- 쥬 -- 唁 -- 潢 -- 瓯 -- 跄 -- 滲 -- 勸 -- 恣 -- ៌ -- 嘔 -- 肱 -- 煨 -- 蛞 -- 诓 -- 戌 -- 觊 -- 谥 -- 塙 -- 榷 -- Ø -- Ţ -- Ə -- Ք -- ఛ -- ಠ -- ໌ -- 佝 -- 庖 -- 愫 -- 拈 -- 桀 -- 瀛 -- 葦 -- 냬 -- 맣 -- 뭣 -- 빔 -- 쉰 -- 쏟 -- 칩 -- 칵 -- 푹 -- 훔 -- £ -- ၃ -- 嚥 -- 痍 -- 硒 -- 肓 -- 넉 -- 姣 -- 滉 -- 绌 -- 摺 -- 樺 -- 镑 -- 膦 -- 菏 -- 峋 -- 檻 -- 瑁 -- 谔 -- 垠 -- 诙 -- 錆 -- ಐ -- ኃ -- 悶 -- 淬 -- 璜 -- 둑 -- 퉁 -- 횟 -- Æ -- ਢ -- ዥ -- ፤ -- ゞ -- 媽 -- 濑 -- 缄 -- 껏 -- 룬 -- 탠 -- 틈 -- 핏 -- Ֆ -- 姦 -- 婵 -- 汎 -- 紆 -- 檎 -- 荠 -- 燈 -- 鯖 -- 飕 -- 槭 -- 婕 -- 弋 -- 灞 -- ၌ -- 蜃 -- 詐 -- 諫 -- 阡 -- Ҷ -- 啵 -- 嚿 -- 幫 -- 瞟 -- 谪 -- 굶 -- 넥 -- 므 -- 쁨 -- 쌩 -- 퀘 -- 唢 -- 恿 -- 瞓 -- 綜 -- 轉 -- 膈 -- 詔 -- 鹪 -- 奧 -- 繰 -- 蓦 -- 裝 -- 塹 -- 痿 -- 绡 -- 襁 -- 顆 -- 〔 -- 噻 -- 玳 -- 贋 -- 镂 -- 镊 -- Ë -- Ù -- ۂ -- ౦ -- ጄ -- 湮 -- 藜 -- 镫 -- 숏 -- 숲 -- 쉐 -- 펑 -- 푼 -- 훅 -- ŕ -- Շ -- ሔ -- 燗 -- 稱 -- 茗 -- 藁 -- 阖 -- 앵 -- ឃ -- 椽 -- 洩 -- 謁 -- 鹬 -- 崗 -- 掟 -- 據 -- 鹩 -- 號 -- ឧ -- І -- 較 -- 鮨 -- 罷 -- 嚢 -- 嵜 -- 憐 -- 續 -- ঊ -- 坳 -- 珩 -- 芪 -- 蕙 -- 軋 -- 骜 -- ઊ -- ၄ -- ሼ -- ቫ -- ′ -- 炀 -- 疸 -- 蛐 -- 跎 -- 蹶 -- 깼 -- 뀔 -- 녜 -- 뇨 -- 젓 -- Œ -- ʿ -- ဤ -- ጻ -- 堑 -- 揖 -- 燭 -- 翳 -- 넛 -- 쑥 -- 얄 -- 옵 -- 햇 -- 輿 -- 铢 -- 苅 -- 晷 -- 葚 -- 葺 -- 铉 -- Ρ -- 敝 -- 藿 -- 螯 -- 蹉 -- 鹜 -- ® -- ፔ -- 啉 -- 嚴 -- 忤 -- 柩 -- 殇 -- 罡 -- 蔦 -- 轢 -- 閪 -- 뉘 -- 횡 -- Չ -- ၇ -- ሹ -- 冢 -- 嵯 -- 鞄 -- 깄 -- 됩 -- 샴 -- 샷 -- 슐 -- 욘 -- 팁 -- 倖 -- 掣 -- 栀 -- 濂 -- 盃 -- 鹸 -- 遴 -- 癸 -- 紹 -- 菫 -- 吡 -- 硌 -- 锲 -- 擞 -- 珅 -- 萸 -- 蛔 -- 诿 -- 얌 -- Ұ -- ጸ -- 佞 -- 嗬 -- 玥 -- 禎 -- 锰 -- 镉 -- 鷺 -- 굔 -- 깍 -- 냠 -- 뺑 -- 섹 -- 얹 -- 젖 -- 탭 -- 틸 -- 펼 -- 폈 -- ޘ -- ಓ -- 傥 -- 卍 -- 嚯 -- 爭 -- 謳 -- 夠 -- 踉 -- 隨 -- 饗 -- 呷 -- 瀞 -- 兒 -- 橿 -- 畿 -- 簾 -- 袴 -- 犄 -- 娑 -- 穣 -- 仄 -- 毘 -- 裱 -- Ζ -- Զ -- ቨ -- 淺 -- 礴 -- 觀 -- 鋸 -- 馗 -- 鲻 -- 겄 -- ­ -- ዌ -- 〕 -- 旛 -- 楣 -- 涞 -- 瑚 -- 谧 -- 蹼 -- 곽 -- 댈 -- 랗 -- 렙 -- 맑 -- 맺 -- 왁 -- 융 -- 쩜 -- 툭 -- Է -- ਊ -- 倜 -- 嫲 -- 绾 -- 薔 -- 锱 -- 鍮 -- 辋 -- 酩 -- 떤 -- ຼ -- 孪 -- 暹 -- 芩 -- 豉 -- 郴 -- 伢 -- 嬴 -- 倏 -- 珥 -- 纭 -- 蛱 -- Ή -- Ҭ -- ޠ -- ゑ -- 忿 -- 掬 -- 搔 -- 潞 -- 纏 -- 遨 -- 鸚 -- 칫 -- Ď -- Ɗ -- Խ -- ޟ -- ቭ -- ኗ -- 嗔 -- 戰 -- 撫 -- 窈 -- 腧 -- 譯 -- 铵 -- 갇 -- 괌 -- 굿 -- 쓱 -- 엣 -- 킥 -- 텝 -- 흉 -- 啶 -- 峦 -- 欽 -- 绺 -- 蔺 -- 蛯 -- 饬 -- 梠 -- 珪 -- 腭 -- 鏑 -- 圖 -- 笺 -- 錣 -- 麿 -- 悌 -- 晁 -- 绗 -- 蓿 -- 賦 -- 蠅 -- అ -- 뭐 -- 谴 -- 唑 -- 櫓 -- 巽 -- 殓 -- 烁 -- 嵘 -- 氚 -- 璎 -- 纨 -- 處 -- 诨 -- 隍 -- ጧ -- 卅 -- 唰 -- 漑 -- 瑄 -- 箩 -- ̄ -- 戲 -- 窕 -- 貘 -- 陉 -- 귓 -- 깅 -- 렬 -- 붉 -- 줍 -- 콕 -- 탓 -- Ӗ -- Փ -- ፐ -- 嗪 -- 嘹 -- 撥 -- 栎 -- 泗 -- 牝 -- 睨 -- 筵 -- 腦 -- 颦 -- 껑 -- 꽈 -- 됨 -- 띵 -- 륙 -- 옴 -- 욜 -- 짰 -- 팽 -- ಃ -- 圩 -- 孑 -- 纾 -- 裨 -- 燦 -- 鲇 -- 呤 -- 碓 -- 筈 -- 筧 -- 裡 -- 镭 -- 鲷 -- 苜 -- 荥 -- ᱼ -- 溧 -- 墾 -- 娠 -- 渫 -- 獐 -- 箒 -- 揆 -- 耆 -- 鍬 -- 哙 -- 姘 -- 淅 -- 祓 -- 奂 -- 峒 -- 燔 -- 琏 -- 谀 -- 逵 -- 饴 -- Ũ -- ଵ -- ඞ -- ቧ -- 姒 -- 氘 -- 煜 -- 祢 -- 篑 -- 脘 -- 襖 -- 鄢 -- 閒 -- 뱉 -- 쏠 -- 찼 -- 첼 -- 팥 -- Ư -- Օ -- ઑ -- ឯ -- 啖 -- 彿 -- 櫂 -- 烃 -- 疝 -- 脍 -- 辊 -- 钚 -- 넬 -- 맸 -- 뻗 -- 읍 -- 쬐 -- 찡 -- 礒 -- 膘 -- 谗 -- 钴 -- 绉 -- 郦 -- 莅 -- 锉 -- 韋 -- 缛 -- 咂 -- 胼 -- 胝 -- 莳 -- ဌ -- 陂 -- 痂 -- 攪 -- 簑 -- 籐 -- ዟ -- 橫 -- 沅 -- 苒 -- 賣 -- © -- ଢ -- ሾ -- ᱣ -- 哏 -- 瑭 -- 膻 -- 蜣 -- 蝼 -- 鲲 -- 꾹 -- 똘 -- 벚 -- 봅 -- 솜 -- 쌔 -- 옳 -- 찹 -- 첩 -- 툴 -- 펐 -- ቬ -- 亂 -- 嗟 -- 怵 -- 殒 -- 訶 -- 靚 -- 埂 -- 洙 -- 琲 -- 鱈 -- 鴎 -- 鸬 -- 鹚 -- 鐔 -- ઞ -- 惇 -- 寵 -- 禰 -- 鯵 -- 欅 -- 甾 -- 屐 -- 覃 -- 檗 -- 菰 -- 鴫 -- 槇 -- 潸 -- 瓴 -- 饅 -- 婀 -- 邺 -- 銮 -- 鋒 -- ዷ -- 卞 -- 欸 -- 珉 -- 痧 -- 繇 -- 膊 -- 雞 -- 靱 -- Ɓ -- ȋ -- Ҩ -- ጩ -- 嘥 -- 檄 -- 毽 -- 籾 -- 遙 -- 邈 -- 雖 -- 颍 -- 겜 -- 깰 -- 꺾 -- 넜 -- 늬 -- 돔 -- 렘 -- 및 -- 벳 -- 뻘 -- 쏙 -- 씌 -- 왤 -- 윽 -- 짖 -- 캉 -- 퀸 -- 톨 -- 펫 -- ᱹ -- 婺 -- 廟 -- 忪 -- 硯 -- 茯 -- 霎 -- 깬 -- 셰 -- 恫 -- 睢 -- 缢 -- 舊 -- 铯 -- 沣 -- 侗 -- 嘌 -- 猁 -- 菀 -- 鶯 -- 猞 -- 穢 -- 憫 -- 嘗 -- 痙 -- 苺 -- 魯 -- 墉 -- 攣 -- 溏 -- 蛄 -- 栉 -- 诰 -- Ը -- 伫 -- 侩 -- 埴 -- 湎 -- 澁 -- 眾 -- 硼 -- 筠 -- 閻 -- 阄 -- 顯 -- 鳝 -- Њ -- Ճ -- ՛ -- ଝ -- ፆ -- 嗫 -- 岷 -- 揸 -- 攰 -- 盪 -- 矾 -- 谒 -- 霭 -- 갸 -- 깠 -- 뚤 -- 뛸 -- 렐 -- 텨 -- 헨 -- Υ -- 拚 -- 搵 -- 狀 -- 秸 -- 鬆 -- 黍 -- 겟 -- 텅 -- 훌 -- 丟 -- 哌 -- 嘭 -- 殲 -- 矶 -- 遲 -- 懋 -- 榭 -- 蝕 -- 餮 -- 饕 -- 斷 -- 櫛 -- 鳐 -- ឥ -- 擊 -- 盧 -- 喬 -- 锗 -- 吁 -- 鹋 -- 鸸 -- 蝋 -- 剱 -- 囫 -- 犠 -- 矬 -- ̂ -- ∈ -- 猢 -- 獠 -- 鄉 -- 饽 -- 黃 -- Ľ -- ǔ -- ଃ -- ኡ -- ᱵ -- 〆 -- 刎 -- 囵 -- 滟 -- 盅 -- 竈 -- 腚 -- 萋 -- 錄 -- 靂 -- 껐 -- 밸 -- 셈 -- 옹 -- 홋 -- "\x9E" -- Ŵ -- ጮ -- Ị -- Ủ -- 懑 -- 泓 -- 缱 -- 觞 -- 鄞 -- 頷 -- 곈 -- 괄 -- 뎌 -- 둡 -- 릏 -- 벙 -- 벡 -- 뵈 -- 뻑 -- 삘 -- 얗 -- 얜 -- 얽 -- 엮 -- 잎 -- 젯 -- 즙 -- 쭝 -- 콧 -- 펄 -- 훠 -- Ċ -- ഐ -- 煬 -- 韮 -- 俎 -- 樓 -- 淦 -- 绻 -- 铄 -- 鲭 -- 佇 -- 盂 -- 胄 -- 鈿 -- 锆 -- 靉 -- ゐ -- 氙 -- 衢 -- 邨 -- 邬 -- 鹳 -- 钹 -- 噙 -- 總 -- 糀 -- 杓 -- 啤 -- 菝 -- 葜 -- 笈 -- 蕗 -- 骅 -- 娆 -- 敕 -- 泮 -- 胍 -- 晔 -- 滿 -- 绔 -- 蚩 -- 崑 -- 榧 -- 盥 -- 祎 -- 靜 -- 黐 -- ┐ -- 僭 -- 幄 -- 楸 -- 纰 -- 證 -- 郅 -- 闊 -- 鞆 -- 렷 -- Ҟ -- Ң -- Ӑ -- ሣ -- 價 -- 儂 -- 儆 -- 劭 -- 叢 -- 坩 -- 專 -- 戶 -- 揿 -- 瑳 -- 贰 -- 赅 -- 鬶 -- 갛 -- 굵 -- 껜 -- 돗 -- 롬 -- 뭇 -- 슥 -- 쏭 -- 왓 -- 웰 -- 킴 -- 킷 -- 펀 -- 퐁 -- 픔 -- ୈ -- ቄ -- 疇 -- 礇 -- 铖 -- 閖 -- 雎 -- 갭 -- 뽈 -- 짭 -- ഔ -- 擔 -- 羧 -- 팜 -- ഊ -- 鸮 -- 懺 -- 窩 -- 粂 -- 麼 -- 謄 -- 毬 -- 寶 -- 頚 -- 旮 -- 柾 -- 诘 -- 俥 -- 埚 -- 氤 -- 牆 -- 薹 -- 锃 -- 徜 -- 擺 -- 杢 -- 砣 -- 莪 -- 蘋 -- 阕 -- 骥 -- 鵑 -- ڱ -- 剌 -- 鰓 -- 끽 -- 눅 -- "\x92" -- Ĩ -- ȃ -- ʽ -- Ѐ -- Ӡ -- ዉ -- ዤ -- ᱰ -- 屍 -- 揀 -- 爲 -- 珲 -- 荽 -- 辦 -- 隽 -- 颉 -- 꿇 -- 눕 -- 늫 -- 뛴 -- 랴 -- 몫 -- 붐 -- 뾰 -- 삑 -- 삽 -- 솥 -- 싯 -- 쨈 -- 쩰 -- 쯔 -- 챈 -- 챠 -- 컥 -- 쿡 -- 쿵 -- Ĕ -- Ҽ -- ઋ -- 姝 -- 徉 -- 柘 -- 權 -- 漸 -- 왈 -- 잭 -- 쟈 -- 캄 -- 儚 -- 繼 -- 쫀 -- 貓 -- 壷 -- 擤 -- 歐 -- 苻 -- 胳 -- 訛 -- 閾 -- 棹 -- 笏 -- 詈 -- 閤 -- 麂 -- 厭 -- 铣 -- 嶌 -- 鴇 -- 舉 -- 桤 -- 筍 -- 蹙 -- 讶 -- 囁 -- 儘 -- 輕 -- 铩 -- ͘ -- ⋯ -- 崙 -- 榫 -- 櫃 -- 氲 -- 翫 -- 舩 -- 蜇 -- 賤 -- ڦ -- 弭 -- 楯 -- 泙 -- 濟 -- 稞 -- 绶 -- 铨 -- 낑 -- "\x97" -- Ï -- Ω -- ־ -- ኚ -- ዦ -- ᱡ -- 噃 -- 孱 -- 搽 -- 汨 -- 營 -- 臧 -- 菖 -- 鉤 -- 铍 -- 鮪 -- 鸨 -- 굉 -- 닙 -- 돕 -- 딲 -- 뗄 -- 띡 -- 륨 -- 뼛 -- 삔 -- 샜 -- 숍 -- 슛 -- 씁 -- 엿 -- 줏 -- 팸 -- 핬 -- ఞ -- 噏 -- 滂 -- 藥 -- 谶 -- 郜 -- 駛 -- 낡 -- 딤 -- 룻 -- 륜 -- 맏 -- 밋 -- 튕 -- Ў -- Ժ -- ഛ -- ឲ -- 偈 -- 偲 -- ઃ -- 妪 -- 癣 -- 莢 -- 钽 -- ဧ -- 讓 -- 醫 -- 獨 -- 鵝 -- 產 -- 鵤 -- 慄 -- 濾 -- 蛉 -- 圍 -- 畫 -- 輯 -- 颔 -- 诅 -- 鰯 -- 楹 -- 诌 -- 兖 -- 尕 -- 挲 -- 綦 -- 藨 -- 鞣 -- ゝ -- 妁 -- 錘 -- 鰐 -- 仝 -- 俶 -- 娣 -- 旯 -- 檔 -- 歷 -- 煕 -- 瑪 -- 萘 -- 讴 -- 岿 -- 揦 -- 漯 -- 笥 -- 膣 -- 钎 -- 鱧 -- 뻣 -- 챌 -- 헝 -- ޣ -- ඍ -- ቾ -- ዢ -- ጬ -- ១ -- ᱦ -- 僆 -- 嬲 -- 悭 -- 柒 -- 桠 -- 淝 -- 爐 -- 葡 -- 谌 -- 赓 -- 갯 -- 겔 -- 깁 -- 꿍 -- 끙 -- 뗐 -- 랠 -- 뤘 -- 삥 -- 숟 -- 얍 -- 엌 -- 죙 -- 쥴 -- 짚 -- 짼 -- 쫘 -- 쭘 -- 첸 -- 텃 -- 퍽 -- 휙 -- Ć -- Ŭ -- ӊ -- Յ -- Ջ -- ಔ -- 浔 -- 涿 -- 甑 -- 癜 -- 虛 -- 陝 -- 饋 -- 鲳 -- 麽 -- 곁 -- 늑 -- 덧 -- 릅 -- 멧 -- 뮌 -- 솟 -- 썽 -- 윌 -- 핍 -- 핥 -- 흙 -- 勖 -- 呟 -- 彈 -- 棗 -- 祕 -- 糅 -- 謂 -- 踽 -- 險 -- 鹄 -- 洵 -- 腳 -- 茲 -- 絕 -- 聰 -- 贖 -- 麥 -- 崧 -- 褄 -- 鎚 -- 铱 -- 碼 -- 邁 -- 臺 -- 廠 -- 禿 -- 蓖 -- 雙 -- 諦 -- 圳 -- 郓 -- 嬬 -- 燿 -- 唸 -- 燮 -- 煸 -- 蜘 -- 觥 -- 圀 -- 蠹 -- 诳 -- ဿ -- 凇 -- 嗚 -- 禛 -- 迩 -- ඖ -- 梏 -- 箪 -- 캘 -- ဍ -- 仞 -- 捌 -- 捱 -- 溲 -- 漿 -- 祜 -- 芡 -- 芫 -- 譴 -- 遑 -- 钜 -- 锑 -- ¬ -- Ձ -- ෲ -- 亳 -- 哚 -- 貶 -- 읏 -- 잣 -- 쭤 -- "\x91" -- Ź -- ʾ -- Ύ -- Ҵ -- Ց -- ؔ -- ۓ -- ኜ -- ጵ -- ጾ -- ፁ -- ፏ -- ᱯ -- 儋 -- 卌 -- 枇 -- 桎 -- 樸 -- 狲 -- 皋 -- 苈 -- 葶 -- 蜉 -- 辇 -- 邰 -- 鉈 -- 鑊 -- 铷 -- 鬧 -- 鲢 -- 걀 -- 꺠 -- 냑 -- 뒹 -- 띃 -- 뮬 -- 뺨 -- 쉘 -- 쌰 -- 쏴 -- 쑤 -- 앚 -- 얕 -- 젬 -- 쯧 -- 펭 -- 헹 -- 횐 -- Ծ -- ᱲ -- 參 -- 氩 -- 瘢 -- 絃 -- 萢 -- 蝣 -- 郢 -- 鲼 -- 鸾 -- 캥 -- Ҿ -- 阆 -- 鵯 -- 聒 -- 銛 -- 钣 -- 餘 -- 髮 -- 癬 -- 捲 -- 脛 -- 釋 -- 鲅 -- 碲 -- 詛 -- 雜 -- 鲡 -- 剋 -- 啟 -- 弐 -- 稗 -- 壓 -- 瀾 -- 驗 -- 좀 -- 鉗 -- 础 -- 夾 -- 儺 -- 珧 -- 腟 -- 鲣 -- 抻 -- 簕 -- 諧 -- 鳶 -- 筅 -- 蠡 -- 撚 -- 豇 -- ÷ -- 徕 -- 杈 -- 梾 -- 沤 -- 涪 -- 砀 -- 簗 -- 羰 -- 镓 -- 饒 -- ఢ -- 恸 -- 皺 -- 稃 -- 聩 -- 脲 -- 蒡 -- 虢 -- 贏 -- ΐ -- 卻 -- 聿 -- 钒 -- 魑 -- 샹 -- Ƙ -- Ξ -- Ҥ -- ਔ -- ዪ -- ០ -- → -- 僑 -- 垚 -- 媾 -- 湟 -- 琮 -- 筺 -- 翦 -- 蒺 -- 郫 -- 钯 -- 镌 -- 闱 -- 黢 -- 궤 -- 흩 -- § -- Ơ -- ˮ -- ̋ -- ઍ -- ඪ -- ኣ -- ዑ -- ዣ -- ៣ -- ᱬ -- Ờ -- ⸺ -- ⸻ -- 喏 -- 廬 -- 灣 -- 畲 -- 癲 -- 篭 -- 褲 -- 顛 -- 骶 -- 鲠 -- 괘 -- 궐 -- 꿰 -- 낌 -- 둠 -- 둣 -- 듭 -- 떳 -- 밉 -- 밧 -- 봬 -- 뵙 -- 빕 -- 뽁 -- 뽐 -- 쟀 -- 캣 -- 컹 -- 쾅 -- 킁 -- 펠 -- 푠 -- 헥 -- ઔ -- ಛ -- ฌ -- 侪 -- 寳 -- 岫 -- 杷 -- 竪 -- 芾 -- 遒 -- 邕 -- 铋 -- 鴉 -- 꾀 -- 룽 -- 잌 -- 챘 -- 텁 -- 吲 -- 卟 -- 吽 -- 垓 -- 燒 -- 獎 -- 玑 -- 瑩 -- 聾 -- 鄯 -- 鹞 -- 齧 -- 栂 -- 歡 -- 泫 -- 焗 -- 疥 -- 瘘 -- 莒 -- 輻 -- 鑓 -- 厝 -- 衿 -- 鋲 -- 撹 -- 疋 -- 禮 -- 惡 -- 谆 -- 鲹 -- 麾 -- 鬚 -- 焔 -- 讼 -- 飚 -- 掮 -- 鵠 -- 壞 -- 氡 -- 枡 -- 梛 -- 誊 -- 慾 -- 舳 -- 恽 -- 朧 -- 谡 -- 魍 -- 屬 -- 撳 -- 椶 -- 槁 -- 篦 -- 迴 -- 钡 -- 黠 -- 怩 -- 楝 -- 茏 -- 蝿 -- 鰆 -- 鰤 -- 鰭 -- 鼩 -- ̓ -- 佻 -- 峽 -- 彎 -- 臾 -- 띨 -- Ώ -- ఔ -- 唳 -- 擇 -- 旌 -- 滁 -- 焘 -- 睥 -- 缬 -- 莠 -- 锒 -- 頁 -- 렝 -- ጢ -- Ổ -- 僂 -- 兇 -- 瞞 -- 霑 -- 놉 -- 됬 -- 맴 -- 잰 -- 촘 -- 펍 -- 휠 -- ¶ -- ۖ -- ॲ -- ଈ -- ဈ -- ៧ -- Ứ -- ♂ -- ♥ -- 伉 -- 佈 -- 佶 -- 冪 -- 唞 -- 啐 -- 妯 -- 婭 -- 嬤 -- 揠 -- 暈 -- 枱 -- 氹 -- 溟 -- 瑤 -- 甕 -- 笤 -- 糍 -- 緘 -- 緞 -- 襯 -- 訇 -- 踎 -- 郯 -- 鱒 -- 깻 -- 꺄 -- 냇 -- 늄 -- 뎀 -- 뗀 -- 똠 -- 뜸 -- 럿 -- 룐 -- 믈 -- 뽂 -- 쏜 -- 씽 -- 앓 -- 얏 -- 읊 -- 짙 -- 쨋 -- 촛 -- 췌 -- 켄 -- 큘 -- 튈 -- 팎 -- 햐 -- 훑 -- 崂 -- 彧 -- 戇 -- 楮 -- 蘅 -- 鸻 -- 쎘 -- ඣ -- 稅 -- 劃 -- 娌 -- 廳 -- 歸 -- 炔 -- 瓤 -- 簀 -- 苕 -- 蝸 -- 蹟 -- 酐 -- 齟 -- 齬 -- 繹 -- 靈 -- 丶 -- 埜 -- 橼 -- 獰 -- 逡 -- 楳 -- 歙 -- 盡 -- 鹘 -- 豐 -- 侘 -- 匁 -- 阱 -- 詭 -- 譚 -- ゙ -- 縷 -- 腴 -- 壯 -- 圾 -- 擰 -- 苧 -- 饌 -- 蒹 -- 邳 -- 鏢 -- 閂 -- 憚 -- 諄 -- 鋏 -- 鯰 -- 佥 -- 聟 -- 邏 -- 邛 -- 愠 -- 羸 -- 螽 -- 鹽 -- ๅ -- √ -- □ -- 勐 -- 沆 -- 炝 -- 肼 -- 舢 -- 谳 -- 銑 -- 钇 -- 鬘 -- 冼 -- 谲 -- 醬 -- Љ -- ጿ -- 勞 -- 厠 -- 嚅 -- 囹 -- 嬗 -- 嵊 -- 忾 -- 慘 -- 摷 -- 擲 -- 晞 -- 柞 -- 潋 -- 痼 -- 稹 -- 繫 -- 缦 -- 趄 -- 锶 -- 阊 -- 鮑 -- 鸩 -- 鹹 -- Ÿ -- ẅ -- 潛 -- 澱 -- 磡 -- 覽 -- 謐 -- 豢 -- 貅 -- 貔 -- 趔 -- 邙 -- 锷 -- 骠 -- 룟 -- 맷 -- 쫑 -- 촐 -- Ế -- 눔 -- 늉 -- 봔 -- 뵀 -- 빳 -- 숴 -- 킵 -- "\x9A" -- Ť -- Ƴ -- ː -- ѐ -- ۃ -- ઐ -- ಊ -- ಋ -- ൌ -- ጇ -- ጹ -- ፂ -- ឍ -- ៦ -- Ạ -- Ố -- ┘ -- ◎ -- 䀫 -- 冚 -- 噤 -- 囿 -- 圄 -- 怏 -- 戆 -- 捯 -- 揩 -- 撻 -- 柃 -- 桿 -- 殚 -- 淙 -- 滦 -- 滯 -- 獏 -- 祗 -- 窠 -- 箜 -- 箬 -- 篌 -- 緣 -- 菉 -- 蕲 -- 逑 -- 鎏 -- 鐸 -- 镧 -- 閱 -- 駈 -- 鲿 -- 鴈 -- 鷉 -- 龇 -- 겅 -- 굘 -- 깽 -- 꼿 -- 꿋 -- 닳 -- 댐 -- 덨 -- 뎃 -- 듦 -- 딥 -- 딧 -- 떫 -- 떵 -- 똔 -- 멱 -- 몹 -- 뿅 -- 샾 -- 섣 -- 숯 -- 쎌 -- 옐 -- 웍 -- 웩 -- 쟨 -- 죗 -- 짊 -- 짢 -- 쨰 -- 쩝 -- 찻 -- 챕 -- 춧 -- 콸 -- 톰 -- 툼 -- 폿 -- 퓸 -- 핼 -- 훼 -- ɔ -- Ί -- Ґ -- ኅ -- 搣 -- 粳 -- 苎 -- 謠 -- 髌 -- 섀 -- 쿤 -- 텼 -- 헉 -- 倌 -- 倨 -- 嬌 -- 嶂 -- 嶼 -- 廼 -- 恊 -- 揞 -- 瓿 -- 砭 -- 耄 -- 莊 -- 謬 -- 贊 -- 趕 -- 錨 -- 隱 -- 髯 -- 魟 -- 兪 -- 耋 -- 轍 -- 徵 -- 樨 -- 泔 -- 涜 -- 碕 -- 鑽 -- 钆 -- 锺 -- 鳢 -- 姶 -- 顏 -- ♯ -- 娛 -- 襞 -- 邇 -- 陜 -- 黌 -- 唷 -- 幟 -- 嘧 -- 楡 -- 箝 -- 輛 -- 鄰 -- ְ -- 檢 -- 徠 -- 濘 -- 濛 -- 蘂 -- 钐 -- 靄 -- 伜 -- 埒 -- 璽 -- 攝 -- 洄 -- 躙 -- 颶 -- 蔀 -- 趨 -- 迨 -- 祂 -- 狆 -- 陛 -- 攜 -- 俦 -- 蟲 -- 惕 -- 剜 -- 垃 -- 夲 -- 懼 -- 殼 -- 狍 -- 萄 -- 跖 -- 锴 -- 鳰 -- ゚ -- 鄧 -- 倬 -- 崃 -- 搶 -- 暅 -- 莼 -- 醴 -- 頗 -- 鵺 -- 龐 -- 贄 -- 骐 -- 伧 -- 劔 -- 吩 -- 唛 -- 壅 -- 寤 -- 擋 -- 栢 -- 淖 -- 滢 -- 瀣 -- 疊 -- 磲 -- 秭 -- 脷 -- 菡 -- 褌 -- 锨 -- 閩 -- 鮓 -- 囮 -- 琨 -- 瘡 -- 豬 -- 阗 -- ஶ -- ಢ -- ဩ -- ● -- 囝 -- 墻 -- 幇 -- 愼 -- 憊 -- 抌 -- 泠 -- 淚 -- 燵 -- 稙 -- 笄 -- 筥 -- 蕪 -- 觸 -- 諌 -- 躼 -- 酞 -- 鐙 -- 锇 -- 飑 -- 飜 -- 髀 -- 鲆 -- 콰 -- Ğ -- ʺ -- ඃ -- 侉 -- 冧 -- 刿 -- 埞 -- 曉 -- 燊 -- 狽 -- 瑨 -- 甦 -- 矍 -- 镆 -- 餉 -- 麵 -- 쉼 -- 씸 -- 앰 -- 켤 -- 튠 -- "\x84" -- ƴ -- ̔ -- ϋ -- ۚ -- ಝ -- ೧ -- ฯ -- ጺ -- ፑ -- ៖ -- ᱪ -- ṃ -- Ẩ -- Ự -- 䄛 -- 俅 -- 僳 -- 勁 -- 喐 -- 妗 -- 孖 -- 孭 -- 屓 -- 忸 -- 戕 -- 扦 -- 揈 -- 擸 -- 擾 -- 枥 -- 棂 -- 洇 -- 犍 -- 珙 -- 璟 -- 痦 -- 癪 -- 瞼 -- 矇 -- 礦 -- 篾 -- 簽 -- 籃 -- 絣 -- 繚 -- 臬 -- 舄 -- 舾 -- 艄 -- 荸 -- 菘 -- 萠 -- 蓥 -- 蕈 -- 藺 -- 裃 -- 訝 -- 詏 -- 諺 -- 賺 -- 贔 -- 跏 -- 踟 -- 蹕 -- 蹰 -- 躾 -- 轸 -- 郿 -- 錙 -- 钕 -- 铈 -- 镬 -- 閘 -- 陲 -- 靥 -- 韫 -- 頡 -- 顼 -- 馕 -- 騷 -- 髡 -- 魉 -- 鲛 -- 鹓 -- 鼐 -- 갬 -- 곶 -- 귿 -- 긌 -- 긱 -- 꽝 -- 끅 -- 끕 -- 눴 -- 뉜 -- 닛 -- 덱 -- 뗘 -- 랖 -- 멨 -- 밲 -- 뵌 -- 샥 -- 셌 -- 숑 -- 슝 -- 싣 -- 쌋 -- 썪 -- 쐈 -- 씼 -- 얠 -- 옇 -- 웜 -- 윅 -- 윳 -- 읜 -- 잦 -- 잿 -- 쨍 -- 츤 -- 탤 -- 탯 -- 텄 -- 튄 -- 헀 -- 헙 -- 홧 -- 횰 -- ॊ -- ḿ -- 궜 -- 셧 -- 숩 -- 틋 -- 휜 -- Ě -- ≡ -- 唖 -- 悗 -- 杼 -- 狎 -- 蕁 -- 驕 -- 땋 -- Ւ -- ▪ -- 佔 -- 倅 -- 厶 -- 媪 -- 捩 -- 摈 -- 晝 -- 牻 -- 獸 -- 珮 -- 甌 -- 畢 -- 癇 -- 硚 -- 禪 -- 莸 -- 謨 -- 贲 -- 闼 -- 黧 -- 龜 -- 뜀 -- 掹 -- 浛 -- 眦 -- 睚 -- 脩 -- 脹 -- 鬨 -- 嗽 -- 牺 -- 佚 -- 僖 -- 彊 -- 撺 -- 杣 -- 殭 -- 毓 -- 溞 -- 煅 -- 秣 -- 窨 -- 笕 -- 蘼 -- 謖 -- 鈔 -- 鉦 -- 鬥 -- 鲮 -- 昶 -- 埕 -- 掼 -- 柝 -- 砻 -- 縊 -- 颱 -- 坻 -- 埗 -- 寢 -- 尴 -- 徂 -- 慟 -- 溫 -- 穩 -- 輦 -- 釀 -- 黨 -- 橈 -- 祿 -- 寬 -- 榑 -- 頒 -- 欖 -- 梼 -- 曵 -- 鎬 -- 獺 -- 鍍 -- 鯊 -- 啻 -- 倻 -- 垅 -- 漣 -- 瀉 -- 畷 -- 纈 -- 纐 -- 豈 -- 铟 -- 馮 -- 髣 -- 髴 -- 鯱 -- 碣 -- 篁 -- 罫 -- 鐡 -- 魎 -- 蒽 -- 餞 -- 慷 -- 蝴 -- ヮ -- 傉 -- 埙 -- 尓 -- 徑 -- 悅 -- 楦 -- 樒 -- 潴 -- 澗 -- 猷 -- 珰 -- 瓊 -- 砗 -- 罅 -- 罌 -- 耒 -- 膑 -- 臍 -- 茕 -- 蕩 -- 薷 -- 藷 -- 鑁 -- 闾 -- 骧 -- 鱸 -- 鷄 -- 硲 -- "\x96" -- 丱 -- 俟 -- 叁 -- 呋 -- 咓 -- 姹 -- 尭 -- 悱 -- 挈 -- 枋 -- 殘 -- 汜 -- 洎 -- 渌 -- 滏 -- 煊 -- 癱 -- 硎 -- 絋 -- 繄 -- 蓣 -- 蘿 -- 覓 -- 誡 -- 諍 -- 赍 -- 輳 -- 銜 -- 鑿 -- 铑 -- 镕 -- 馔 -- 髂 -- 鳉 -- 鳎 -- 鳔 -- 鸱 -- 삣 -- ޛ -- ፄ -- ᱶ -- 刳 -- 媞 -- 澆 -- 癔 -- 缙 -- 肄 -- 菟 -- 訥 -- 註 -- 讫 -- 谘 -- 馐 -- 鮒 -- 鹛 -- 렜 -- Ћ -- ఋ -- Ậ -- 굼 -- 뿜 -- 쑐 -- "\x8A" -- "\x9D" -- ± -- Ę -- ŏ -- ǃ -- ǰ -- ˎ -- ̟ -- ̱ -- Ќ -- ѝ -- ՞ -- ۛ -- ऍ -- ॄ -- ୮ -- ః -- ೦ -- ೨ -- ೯ -- ഋ -- ෟ -- ෳ -- ሒ -- ሿ -- ቮ -- ኻ -- ኽ -- ጐ -- ጳ -- ፥ -- ២ -- ៤ -- ៥ -- ៨ -- ḅ -- ḫ -- ḷ -- ↓ -- ∙ -- ⊙ -- ㄧ -- 㓤 -- 㧎 -- 㶶 -- 䢢 -- 䴘 -- 䴙 -- 亓 -- 仟 -- 佷 -- 傩 -- 刣 -- 刪 -- 劍 -- 劏 -- 匯 -- 厲 -- 吋 -- 呎 -- 呯 -- 哣 -- 唥 -- 喑 -- 嗎 -- 圻 -- 垭 -- 埭 -- 堉 -- 夘 -- 妠 -- 岘 -- 峄 -- 嵬 -- 帔 -- 廂 -- 廢 -- 廪 -- 徛 -- 徭 -- 慳 -- 懶 -- 戀 -- 扽 -- 捭 -- 揼 -- 摰 -- 撈 -- 攔 -- 旖 -- 曬 -- 桷 -- 梣 -- 楫 -- 樅 -- 櫥 -- 歃 -- 洮 -- 涔 -- 澍 -- 澧 -- 澹 -- 濕 -- 烚 -- 煖 -- 疴 -- 砟 -- 碚 -- 磬 -- 窣 -- 窸 -- 竽 -- 簒 -- 簔 -- 簷 -- 粝 -- 緬 -- 繳 -- 耧 -- 肭 -- 胪 -- 舁 -- 舂 -- 芰 -- 莩 -- 菔 -- 葎 -- 蒯 -- 蛸 -- 螣 -- 螫 -- 詢 -- 誨 -- 謇 -- 賈 -- 跹 -- 躋 -- 躓 -- 逓 -- 郃 -- 郇 -- 郛 -- 鄄 -- 醌 -- 鍊 -- 鏖 -- 鏨 -- 钪 -- 铌 -- 锝 -- 闍 -- 鞥 -- 韪 -- 颀 -- 髖 -- 鬻 -- 鲉 -- 鲾 -- 鳚 -- 鵡 -- 鸫 -- 걜 -- 곌 -- 굣 -- 깟 -- 꺽 -- 낱 -- 낵 -- 냔 -- 넹 -- 뉸 -- 댑 -- 뎠 -- 됫 -- 듈 -- 딛 -- 땍 -- 떄 -- 롷 -- 뤼 -- 륭 -- 먀 -- 멓 -- 묽 -- 뭠 -- 볐 -- 볕 -- 빘 -- 뺌 -- 샛 -- 셍 -- 슌 -- 슘 -- 쌉 -- 쌘 -- 쏵 -- 쑈 -- 쒯 -- 씅 -- 엡 -- 옅 -- 옌 -- 읃 -- 읔 -- 잴 -- 젱 -- 젼 -- 쭙 -- 쳇 -- 쳔 -- 캤 -- 캬 -- 콥 -- 퀭 -- 퀵 -- 탬 -- 탰 -- 텟 -- 튬 -- 팰 -- 푤 -- 핌 -- 혓 -- 횔 -- 훗 -- 휩 -- 휸 -- 힝 --  --  -- ٓ -- 곪 -- 끍 -- 켈 -- 팼 -- ̠ -- ॠ -- 昰 -- 爰 -- 肪 -- 蹚 -- 魃 -- 뉩 -- 쁩 -- ഃ -- 佤 -- 嘁 -- 圉 -- 埓 -- 崋 -- 摑 -- 擘 -- 枞 -- 榲 -- 祚 -- 篙 -- 腈 -- 臟 -- 苁 -- 莜 -- 蝮 -- 跬 -- 蹐 -- 钼 -- 镒 -- 駁 -- 骢 -- 鲃 -- 黾 -- 斂 -- 潲 -- 齁 -- 夥 -- 嵋 -- 庠 -- 怛 -- 懣 -- 挐 -- 撷 -- 斃 -- 琚 -- 砜 -- 艽 -- 鄣 -- 钌 -- 雰 -- 飫 -- 舖 -- 旻 -- 泅 -- 绦 -- 賎 -- 齒 -- 瀋 -- 垌 -- 瀟 -- 瞋 -- 絲 -- 绀 -- 蒐 -- 諤 -- 銕 -- ※ -- 嶇 -- 穰 -- 苄 -- 蘆 -- 瑗 -- 쫌 -- ํ -- 鹉 -- 徊 -- 粧 -- 끊 -- 굳 -- ۾ -- 拶 -- 읽 -- 婪 -- ఒ -- Ẓ -- 貿 -- Ṛ -- 뭘 -- 氾 -- 咙 -- 咆 -- 惫 -- ఊ -- 싫 -- 穫 -- 诂 -- ఉ -- 醮 -- 밌 -- 괜 -- 匱 -- 浬 -- 絛 -- 蕖 -- 邡 -- 鉉 -- 떻 -- ‪ -- 洹 -- 蟥 -- 鬢 -- 圪 -- 堯 -- 奣 -- 嬰 -- 寀 -- 嵗 -- 嶐 -- 帑 -- 彀 -- 摃 -- 擴 -- 攑 -- 榙 -- 犂 -- 犧 -- 疶 -- 瘊 -- 礬 -- 礽 -- 稺 -- 筰 -- 糋 -- 紑 -- 繻 -- 翆 -- 舨 -- 舸 -- 蕭 -- 蛏 -- 蠻 -- 誼 -- 賴 -- 赉 -- 郤 -- 鄲 -- 酳 -- 鈷 -- 镤 -- 闕 -- 頴 -- 颢 -- 鵙 -- 麭 -- 鼈 -- 祉 -- 愾 -- 稣 -- ဋ -- 凈 -- 凖 -- 叄 -- 咾 -- 妤 -- 巖 -- 庹 -- 愄 -- 戞 -- 扞 -- 擛 -- 擯 -- 攤 -- 斝 -- 杮 -- 桡 -- 椁 -- 渑 -- 滹 -- 澶 -- 瀝 -- 熥 -- 爍 -- 狹 -- 猊 -- 琬 -- 瓚 -- 瘓 -- 癢 -- 筜 -- 筼 -- 篼 -- 紓 -- 綯 -- 緡 -- 罎 -- 聳 -- 肟 -- 艪 -- 菴 -- 蟮 -- 袢 -- 裈 -- 襦 -- 譫 -- 譽 -- 賬 -- 轆 -- 醅 -- 鋆 -- 鐐 -- 锿 -- 镗 -- 頌 -- 飩 -- 饂 -- 饪 -- 髷 -- 鲗 -- 鲽 -- 鳫 -- 鵰 -- 鹗 -- 鹼 -- 龅 -- 濯 -- ՚ -- ኟ -- ⃣ -- 䎺 -- 嗙 -- 垪 -- 孻 -- 慒 -- 捒 -- 搤 -- 桮 -- 殳 -- 煳 -- 牁 -- 牂 -- 玠 -- 甍 -- 禊 -- 翕 -- 虧 -- 虬 -- 螢 -- 衮 -- 譀 -- 趸 -- 鑢 -- 霰 -- 飨 -- 鳀 -- 麪 -- 빻 -- 짆 -- 쪗 -- Ǹ -- Ѹ -- ♭ -- 뵐 -- 뷸 -- 좆 -- 첬 -- 칡 -- 肮 -- Ű -- 沮 -- ¢ -- ¦ -- Ň -- Ŋ -- Ŕ -- Ů -- ȇ -- ȏ -- ɑ -- ʹ -- ̊ -- ̥ -- Ѳ -- Ӯ -- ֵ -- ָ -- ֹ -- ּ -- ؓ -- ٱ -- ٴ -- ۗ -- ޡ -- ऎ -- ॆ -- ଊ -- ଔ -- ୧ -- ୪ -- ஔ -- ఝ -- ఱ -- ೭ -- ෴ -- ሓ -- ቐ -- ቿ -- ዃ -- ዒ -- ጯ -- ጴ -- ፗ -- ឦ -- ឮ -- ៩ -- ᱝ -- ᱸ -- ᱽ -- ḉ -- ḑ -- ṇ -- ṯ -- Ầ -- Ẻ -- Ệ -- Ỉ -- Ộ -- Ử -- Ữ -- ‫ -- ₹ -- ← -- ↔ -- ∅ -- ∠ -- ∨ -- ▲ -- ◯ -- ゔ -- 㗇 -- 㧻 -- 㷫 -- 䀹 -- 䆀 -- 䖙 -- 乸 -- 亊 -- 亙 -- 仡 -- 伛 -- 伱 -- 佮 -- 侈 -- 侖 -- 俠 -- 倆 -- 偢 -- 偸 -- 傃 -- 僥 -- 僫 -- 凩 -- 剝 -- 勵 -- 勹 -- 厍 -- 叅 -- 叺 -- 呓 -- 呶 -- 呿 -- 咇 -- 咥 -- 咭 -- 唪 -- 唻 -- 啋 -- 喟 -- 喦 -- 喲 -- 嗄 -- 嗳 -- 嘍 -- 嘬 -- 噘 -- 嚒 -- 囗 -- 圜 -- 垉 -- 垡 -- 墀 -- 壙 -- 夔 -- 妡 -- 媠 -- 嫐 -- 嫚 -- 嫽 -- 屮 -- 岨 -- 峅 -- 峤 -- 嵴 -- 巒 -- 巯 -- 巿 -- 廁 -- 廆 -- 廍 -- 廚 -- 廛 -- 怍 -- 恁 -- 悛 -- 惪 -- 惱 -- 愃 -- 愍 -- 愎 -- 愷 -- 憺 -- 抆 -- 抔 -- 抦 -- 拃 -- 拏 -- 拑 -- 挜 -- 挭 -- 捹 -- 捽 -- 掁 -- 揗 -- 搇 -- 摅 -- 摖 -- 摟 -- 撓 -- 擉 -- 旎 -- 昃 -- 曚 -- 曷 -- 朏 -- 杙 -- 杻 -- 枰 -- 枳 -- 枵 -- 柽 -- 桴 -- 棨 -- 椙 -- 椤 -- 椴 -- 槊 -- 槎 -- 樑 -- 樖 -- 樯 -- 橐 -- 橛 -- 橞 -- 橹 -- 檣 -- 檸 -- 櫨 -- 歲 -- 殁 -- 沊 -- 泘 -- 洐 -- 浈 -- 浐 -- 淪 -- 渀 -- 溘 -- 潅 -- 潑 -- 濞 -- 瀏 -- 瀨 -- 瀰 -- 烝 -- 焓 -- 焮 -- 燉 -- 燙 -- 燼 -- 狢 -- 獪 -- 獻 -- 玆 -- 珜 -- 瑣 -- 瑷 -- 璁 -- 甙 -- 畋 -- 畦 -- 疔 -- 疠 -- 癮 -- 皲 -- 盞 -- 盱 -- 眥 -- 眬 -- 睪 -- 睭 -- 瞽 -- 矽 -- 硖 -- 硩 -- 碛 -- 磔 -- 磧 -- 磽 -- 禩 -- 禳 -- 秫 -- 稘 -- 穃 -- 穎 -- 窺 -- 竄 -- 竊 -- 竦 -- 笫 -- 笳 -- 筌 -- 筚 -- 筲 -- 筿 -- 箐 -- 篪 -- 簋 -- 簟 -- 籏 -- 粲 -- 糁 -- 糒 -- 紮 -- 綠 -- 綷 -- 縱 -- 繙 -- 繩 -- 纒 -- 罟 -- 羣 -- 翹 -- 聼 -- 胂 -- 胗 -- 臈 -- 艤 -- 芎 -- 芗 -- 苡 -- 茌 -- 茭 -- 荇 -- 荳 -- 莾 -- 菪 -- 葯 -- 蕕 -- 薑 -- 蘚 -- 虯 -- 蜆 -- 蟇 -- 蟳 -- 蠃 -- 褔 -- 褦 -- 褸 -- 襤 -- 襪 -- 襴 -- 誅 -- 誑 -- 諂 -- 諷 -- 謔 -- 讚 -- 诮 -- 豔 -- 豸 -- 貉 -- 賁 -- 赇 -- 赧 -- 趖 -- 跶 -- 踭 -- 蹁 -- 躅 -- 躑 -- 躝 -- 轎 -- 辭 -- 迤 -- 逶 -- 郧 -- 郾 -- 鄒 -- 醣 -- 鉋 -- 鉎 -- 錺 -- 鍜 -- 鏈 -- 鐇 -- 鑼 -- 钋 -- 钸 -- 钺 -- 钿 -- 铒 -- 锟 -- 镎 -- 镘 -- 镪 -- 镲 -- 閏 -- 靫 -- 顰 -- 颙 -- 飄 -- 飆 -- 餚 -- 駝 -- 騮 -- 驀 -- 骘 -- 髙 -- 鬈 -- 魘 -- 魷 -- 鯤 -- 鱉 -- 鳊 -- 鴣 -- 鵞 -- 鶉 -- 鶫 -- 鷁 -- 鸊 -- 鹱 -- 黩 -- 鼱 -- 齴 -- 갉 -- 갰 -- 겋 -- 겡 -- 곗 -- 곘 -- 괞 -- 깸 -- 꺌 -- 껸 -- 꼇 -- 꽌 -- 꽷 -- 낏 -- 낢 -- 넋 -- 넒 -- 넴 -- 넵 -- 녈 -- 놘 -- 뇽 -- 늠 -- 늣 -- 늪 -- 덫 -- 뎁 -- 됀 -- 딕 -- 딿 -- 땃 -- 땔 -- 떈 -- 떔 -- 떰 -- 뗏 -- 뗬 -- 똡 -- 똣 -- 뚠 -- 뚸 -- 뛘 -- 뜌 -- 뜷 -- 뜹 -- 띤 -- 랏 -- 랟 -- 랮 -- 룔 -- 맇 -- 맜 -- 맽 -- 먁 -- 멩 -- 뫠 -- 뫼 -- 묙 -- 뭑 -- 뭥 -- 뮴 -- 밨 -- 밷 -- 벋 -- 벛 -- 볏 -- 봈 -- 봡 -- 뵜 -- 붇 -- 붜 -- 빢 -- 빱 -- 뻠 -- 뻬 -- 뼌 -- 뼘 -- 뽜 -- 뽝 -- 뿍 -- 뿕 -- 뿝 -- 뿟 -- 삯 -- 샆 -- 샨 -- 샬 -- 셤 -- 셩 -- 솨 -- 쇳 -- 쇽 -- 숄 -- 쉈 -- 쉭 -- 슁 -- 슉 -- 싷 -- 쌕 -- 썜 -- 쎅 -- 쏩 -- 쐐 -- 쐴 -- 쑹 -- 쒀 -- 쓕 -- 앝 -- 앟 -- 앳 -- 얉 -- 얋 -- 얫 -- 얬 -- 엩 -- 엷 -- 옉 -- 옜 -- 욤 -- 웁 -- 웝 -- 웡 -- 웸 -- 윜 -- 윷 -- 읎 -- 읐 -- 읗 -- 잛 -- 잽 -- 쟝 -- 졍 -- 졔 -- 좃 -- 좐 -- 죵 -- 줜 -- 쥼 -- 짦 -- 짹 -- 쨉 -- 쨩 -- 쩄 -- 쩬 -- 쪈 -- 쫒 -- 쬠 -- 쭁 -- 쮸 -- 챂 -- 첵 -- 촙 -- 촥 -- 쵝 -- 츈 -- 츰 -- 칟 -- 캅 -- 캇 -- 캍 -- 컾 -- 켔 -- 켸 -- 쿰 -- 뭔 -- ¤ -- 祆 -- 똫 -- 띈 -- 뻰 -- 삻 -- 잍 -- 츨 -- ˋ -- Ѓ -- ೩ -- ೫ -- ኀ -- 嚨 -- 癡 -- 绐 -- 餵 -- 鮟 -- 鱇 -- 麶 -- 곯 -- 뙤 -- 짇 -- 췻 -- 켕 -- ִ -- ઼ -- ≠ -- 仫 -- 侓 -- 凊 -- 剀 -- 厖 -- 吳 -- 垈 -- 堝 -- 岈 -- 嵖 -- 弌 -- 恆 -- 懷 -- 戔 -- 挾 -- 枦 -- 梘 -- 歕 -- 濉 -- 燐 -- 牍 -- 玘 -- 瓩 -- 疖 -- 瘋 -- 癀 -- 硨 -- 碩 -- 礙 -- 箧 -- 縢 -- 繞 -- 膽 -- 荊 -- 荛 -- 莟 -- 莨 -- 蕻 -- 蟷 -- 褻 -- 訕 -- 诤 -- 貳 -- 贶 -- 趺 -- 迒 -- 邾 -- 醯 -- 銷 -- 鋤 -- 鋪 -- 镱 -- 頽 -- 饑 -- 骈 -- ఙ -- ⇔ -- 嚮 -- 坜 -- 塬 -- 尨 -- 崆 -- 拋 -- 椹 -- 櫚 -- 殄 -- 滾 -- 犢 -- 箅 -- 籼 -- 膩 -- 蒟 -- 蒻 -- 蜑 -- 蝥 -- 褫 -- 赀 -- 趿 -- 軻 -- 轡 -- 醗 -- 銳 -- 鎹 -- 頤 -- 鲵 -- 齲 -- ゎ -- ヰ -- 侂 -- 圹 -- 墮 -- 岜 -- 暱 -- 獵 -- 纖 -- 纜 -- 臉 -- 苳 -- 袷 -- 걔 -- ằ -- 綸 -- 蟄 -- -- -- -init: null -input_size: null -ctc_conf: - dropout_rate: 0.0 - ctc_type: builtin - reduce: true - ignore_nan_grad: null - zero_infinity: true -joint_net_conf: null -use_preprocessor: true -token_type: bpe -bpemodel: owsm_v3/data/token_list/bpe_unigram50000/bpe.model -non_linguistic_symbols: null -cleaner: null -g2p: null -speech_volume_normalize: null -rir_scp: null -rir_apply_prob: 1.0 -noise_scp: null -noise_apply_prob: 1.0 -noise_db_range: '13_15' -short_noise_thres: 0.5 -frontend: default -frontend_conf: - n_fft: 512 - win_length: 400 - hop_length: 160 - fs: 16k -specaug: specaug -specaug_conf: - apply_time_warp: false - time_warp_window: 5 - time_warp_mode: bicubic - apply_freq_mask: true - freq_mask_width_range: - - 0 - - 27 - num_freq_mask: 2 - apply_time_mask: true - time_mask_width_ratio_range: - - 0.0 - - 0.05 - num_time_mask: 10 -normalize: global_mvn -normalize_conf: - stats_file: owsm_v3/exp/s2t_stats_raw_bpe50000/train/feats_stats.npz -model: espnet -model_conf: - ctc_weight: 0.3 - lsm_weight: 0.1 - length_normalized_loss: false - sym_na: -preencoder: null -preencoder_conf: {} -encoder: transformer -encoder_conf: - output_size: 1024 - attention_heads: 16 - linear_units: 4096 - num_blocks: 24 - dropout_rate: 0.1 - positional_dropout_rate: 0.1 - attention_dropout_rate: 0.1 - input_layer: conv2d - normalize_before: true - layer_drop_rate: 0.1 -postencoder: null -postencoder_conf: {} -decoder: transformer -decoder_conf: - attention_heads: 16 - linear_units: 4096 - num_blocks: 24 - dropout_rate: 0.1 - positional_dropout_rate: 0.1 - self_attention_dropout_rate: 0.1 - src_attention_dropout_rate: 0.1 - layer_drop_rate: 0.1 -preprocessor: s2t -preprocessor_conf: - text_prev_name: text_prev - text_ctc_name: text_ctc - fs: 16000 - na_symbol: - speech_length: 30 - speech_resolution: 0.02 - speech_init_silence: 30 - text_prev_apply_prob: 0.5 - time_apply_prob: 0.5 - notime_symbol: - first_time_symbol: <0.00> - last_time_symbol: <30.00> -required: -- output_dir -- token_list -version: '202304' -distributed: true diff --git a/owsm_v3/exp/s2t_train_s2t_transformer_conv2d_size1024_e24_d24_lr2.5e-4_warmup10k_finetune_raw_bpe50000/valid.acc.ave_5best.till50epoch.pth b/owsm_v3/exp/s2t_train_s2t_transformer_conv2d_size1024_e24_d24_lr2.5e-4_warmup10k_finetune_raw_bpe50000/valid.acc.ave_5best.till50epoch.pth deleted file mode 100644 index 8c809a56e36cdd7be2068bf29bc88eb50ce7e7b0..0000000000000000000000000000000000000000 --- a/owsm_v3/exp/s2t_train_s2t_transformer_conv2d_size1024_e24_d24_lr2.5e-4_warmup10k_finetune_raw_bpe50000/valid.acc.ave_5best.till50epoch.pth +++ /dev/null @@ -1,3 +0,0 @@ -version https://git-lfs.github.com/spec/v1 -oid sha256:0cae90cc63ba655d6e265f60543162cf5a7f8f92205efafeb89547f19403c977 -size 3554533303 diff --git a/requirements.txt b/requirements.txt index 53300356a2fc04376393f0ce7b4496f57998435f..2e191531f9cfe5d09458484b90eeee589ab70c5b 100644 --- a/requirements.txt +++ b/requirements.txt @@ -1,3 +1,3 @@ torch==2.1.0 torchaudio -espnet @ git+https://github.com/espnet/espnet@d3254133c595ea8271072ee49a1b4ceb3ed4fd7a +espnet @ git+https://github.com/espnet/espnet@7bcb169291f5d4a9b1fd00f8bfe554de84e50024