Spaces:
Running
Running
File size: 8,057 Bytes
e90f765 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 |
### 20240121 ์
๋ฐ์ดํธ
1. `config`์ `is_share` ์ถ๊ฐ, Colab ๋ฑ์ ํ๊ฒฝ์์ ์ด๋ฅผ `True`๋ก ์ค์ ํ์ฌ webui๋ฅผ ๊ณต์ฉ ๋คํธ์ํฌ์ ๋งคํ๋๋๋ก ํ ์ ์์ต๋๋ค.
2. WebUI์ ์์ด ๋ฒ์ญ์ด ์ถ๊ฐ๋์์ต๋๋ค.
3. `cmd-asr`์ damo ๋ชจ๋ธ์ด ์ด๋ฏธ ํฌํจ๋์ด ์๋์ง ์๋์ผ๋ก ํ์ธํ๊ณ , ๊ธฐ๋ณธ ๊ฒฝ๋ก์ ์๋ ๊ฒฝ์ฐ modelscope์์ ์๋ ๋ค์ด๋ก๋ ๋๋๋ก ์์ ํ์์ต๋๋ค.
4. [SoVITS ํ์ต ์ค ZeroDivisionError๊ฐ ๋ฐ์](https://github.com/RVC-Boss/GPT-SoVITS/issues/79)ํ๋ ๊ฒฝ์ฐ ๋ณต๊ตฌ๋ฅผ ์๋ํฉ๋๋ค. (๊ธธ์ด๊ฐ 0์ธ ์ํ ํํฐ๋ง ๋ฑ)
5. TEMP ํ์ผ ํด๋์์ ์ค๋์ค ๋ฐ ๊ธฐํ ํ์ผ์ ์ ๋ฆฌํ์ฌ ์ต์ ํํฉ๋๋ค.
6. ํฉ์ฑ ์ค๋์ค๊ฐ ๋ ํผ๋ฐ์ค ์ค๋์ค์ ๋๋ถ๋ถ์ ํฌํจํ๋ ๋ฌธ์ ๋ฅผ ๊ฐ์ ํ์์ต๋๋ค.
### 20240122 ์
๋ฐ์ดํธ
1. ๋๋ฌด ์งง์ ์ถ๋ ฅ ํ์ผ์ด ์ค๋ณต๋ ๋ ํผ๋ฐ์ค ์ค๋์ค๋ฅผ ๋ฐํํ๋ ๋ฌธ์ ์์ ํ์์ต๋๋ค.
2. ์์ด-์ผ๋ณธ์ด ํ์ต์ด ์ํํ๊ฒ ์งํ๋๋ QA๋ฅผ ์๋ฃํ์์ต๋๋ค. (๋ค๋ง, ์ผ๋ณธ์ด ํ์ต์ ๋ฃจํธ ๋๋ ํ ๋ฆฌ์ ์์ด ์ด์ธ์ ๋ฌธ์๊ฐ ์์ด์ผ ํฉ๋๋ค)
3. ์ค๋์ค ๊ฒฝ๋ก๋ฅผ ๊ฒ์ฌํฉ๋๋ค. ์๋ชป๋ ๊ฒฝ๋ก๋ฅผ ์ฝ์ผ๋ ค๊ณ ํ ๋ '๊ฒฝ๋ก๊ฐ ์กด์ฌํ์ง ์์ต๋๋ค'๋ผ๋ ์๋ฌ ๋ฉ์์ง๋ฅผ ๋ฐํํ๋๋ก ์์ ํ์์ต๋๋ค. ์ด๋ ffmpeg ๋ชจ๋์ ์๋ฌ๊ฐ ์๋๋๋ค.
### 20240123 ์
๋ฐ์ดํธ
1. hubert์์ nan ์ถ์ถ๋ก ์ธํ SoVITS/GPT ํ์ต ์ค ZeroDivisionError ๊ด๋ จ ์๋ฌ๋ฅผ ํด๊ฒฐํ์์ต๋๋ค.
2. ์ถ๋ก ์ธํฐํ์ด์ค์์ ๋ชจ๋ธ์ ๋น ๋ฅด๊ฒ ์ ํํ ์ ์๋๋ก ์ง์ํ๋๋ก ์์ ๋์์ต๋๋ค.
3. ๋ชจ๋ธ ํ์ผ ์ ๋ ฌ ๋ก์ง ์ต์ ํํ์์ต๋๋ค.
4. ์ค๋ฌธ ๋ถ์์ `jieba_fast`๋ฅผ `jieba`๋ก ๋์ฒดํ์์ต๋๋ค.
### 20240126 ์
๋ฐ์ดํธ
1. ์ค๊ตญ์ด์ ์์ด, ์ผ๋ณธ์ด์ ์์ด๊ฐ ํผํฉ๋ ์ถ๋ ฅ ํ
์คํธ๋ฅผ ์ง์ํฉ๋๋ค.
2. ์ถ๋ ฅ์์ ์ ํ์ ๋ถํ ๋ชจ๋๋ฅผ ์ง์ํฉ๋๋ค.
3. uvr5๊ฐ ๋๋ ํ ๋ฆฌ๋ฅผ ์ฝ๊ณ ์๋์ผ๋ก ์ข
๋ฃ๋๋ ๋ฌธ์ ๋ฅผ ์์ ํ์์ต๋๋ค.
4. ์ฌ๋ฌ ์ค๋ฐ๊ฟ์ผ๋ก ์ธํ ์ถ๋ก ์ค๋ฅ๋ฅผ ์์ ํ์์ต๋๋ค.
5. ์ถ๋ก ์ธํฐํ์ด์ค์์ ๋ถํ์ํ ๋ก๊ทธ ์ ๊ฑฐํ์์ต๋๋ค.
6. MacOS์์์ ํ์ต ๋ฐ ์ถ๋ก ์ ์ง์ํฉ๋๋ค.
7. ๋ฐ์ ๋ฐ์ ์ง์ํ์ง ์๋ ์นด๋๋ฅผ ์๋์ผ๋ก ์๋ณํ์ฌ ๋จ์ผ ์ ๋ฐ๋๋ฅผ ๊ฐ์ ์ ์ฉํ๊ณ , CPU ์ถ๋ก ์์ ๋จ์ผ ์ ๋ฐ๋๋ฅผ ๊ฐ์ ์ ์ฉํฉ๋๋ค.
### 20240128 ์
๋ฐ์ดํธ
1. ์ซ์๋ฅผ ํ์๋ก ์ฝ๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค.
2. ๋ฌธ์ฅ ์์ ๋ถ๋ถ์ ์ผ๋ถ ๋จ์ด๊ฐ ๋๋ฝ๋๋ ๋ฌธ์ ์์ ํ์์ต๋๋ค.
3. ๋ถ์ ์ ํ ๊ธธ์ด์ ๋ ํผ๋ฐ์ค ์ค๋์ค๋ฅผ ์ ํํ์์ต๋๋ค.
4. GPT ํ์ต ์ ckpt๊ฐ ์ ์ฅ๋์ง ์๋ ๋ฌธ์ ์์ ํ์์ต๋๋ค.
5. Dockerfile์์ ๋ชจ๋ธ ๋ค์ด๋ก๋ ํ๋ก์ธ์ค ๊ฐ์ ํ์์ต๋๋ค.
### 20240129 ์
๋ฐ์ดํธ
1. ๋ฐ์ ๋ฐ๋ ํ๋ จ์ ๋ฌธ์ ๊ฐ ์๋ 16 ์๋ฆฌ์ฆ ๋ฐ ๊ธฐํ ๊ทธ๋ํฝ ์นด๋์ ํ๋ จ ๊ตฌ์ฑ์ ๋จ์ ๋ฐ๋ ํ๋ จ์ผ๋ก ๋ณ๊ฒฝํ์ต๋๋ค.
2. Colab์์๋ ์ฌ์ฉ์ด ๊ฐ๋ฅํ ๋ฒ์ ์ ํ
์คํธ ๋ฐ ์
๋ฐ์ดํธ ํ์์ต๋๋ค.
3. `git clone modelscope funasr` ์ ์ฅ์์ ์ค๋๋ ๋ฒ์ ์ funasr ์ฌ์ฉ์ผ๋ก ์ธํด ์ธํฐํ์ด์ค๊ฐ ์ผ์นํ์ง ์๋ ์ค๋ฅ๋ฅผ ์์ ํ์์ต๋๋ค.
### 20240130 ์
๋ฐ์ดํธ
1. ๊ฒฝ๋ก์ ๊ด๋ จ๋ ๋ฌธ์์ด์ ํ์ฑํ์ฌ ํฐ๋ฐ์ดํ๋ฅผ ์๋์ผ๋ก ์ ๊ฑฐํฉ๋๋ค. ๋ํ, ๊ฒฝ๋ก๋ฅผ ๋ณต์ฌํ๋ ๊ฒฝ์ฐ ํฐ๋ฐ์ดํ๊ฐ ํฌํจ๋์ด๋ ์ค๋ฅ๊ฐ ๋ฐ์ํ์ง ์์ต๋๋ค.
2. ์ค๊ตญ์ด ๋ฐ ์์ด ๋ฌธ์์ด์ ๋ฌธ์ฅ ๋ถํธ๊ฐ ์๋ฆฌ๋ ๋ฌธ์ ๋ฐ ๋ฌธ์ฅ์ ์์๊ณผ ๋์ ๋ฌธ์ฅ ๋ถํธ๊ฐ ์ถ๊ฐ๋๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค.
3. ๋ฌธ์ฅ ๋ถํธ์ ์๋ฅผ ํ์ฅํ์์ต๋๋ค.
### 20240201 ์
๋ฐ์ดํธ
1. uvr5๊ฐ ์๋ชป๋ ํ์์ผ๋ก ์ฝ์ด๋ค์ด๋ ๋ฌธ์ ๋ฅผ ์์ ํ์์ต๋๋ค.
2. ์ค๊ตญ์ด, ์ผ๋ณธ์ด, ์์ด๊ฐ ํผํฉ๋ ์ฌ๋ฌ ํ
์คํธ๋ฅผ ์๋์ผ๋ก ๋ถ๋ฆฌํ์ฌ ์ธ์ด๋ฅผ ์ธ์ํฉ๋๋ค.
### 20240202 ์
๋ฐ์ดํธ
1. asr ๊ฒฝ๋ก์ ๋์ `/`๊ฐ ํฌํจ๋์ด ์๋ ๊ฒฝ์ฐ ์ค๋ฅ๊ฐ ๋ฐ์ํ๋ ๋ฌธ์ ๋ฅผ ์์ ํ์์ต๋๋ค.
2. paddlespeech์ Normalizer๋ฅผ ๋์
ํ์ฌ [๋ฌธ์ ๋ฅผ ํด๊ฒฐ](https://github.com/RVC-Boss/GPT-SoVITS/pull/377)ํ์ฌ, ์๋ฅผ ๋ค์ด xx.xx%(๋ฐฑ๋ถ์จ), ๅ
/ๅจ์ด ๅ
ๅจ์ผ๋ก ์ฝํ๋ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ์์ต๋๋ค. ๋ํ, ๋ฐ์ค์ด ๋ ์ด์ ์ค๋ฅ๋ฅผ ๋ฐ์์ํค์ง ์์ต๋๋ค.
### 20240207 ์
๋ฐ์ดํธ
1. ์ธ์ด ์ ๋ฌ ๋งค๊ฐ๋ณ์๊ฐ ํผ๋์ค๋ฌ์์ ธ [์ค๊ตญ์ด ์ถ๋ก ํจ๊ณผ๊ฐ ์ ํ๋๋ ๋ฌธ์ ](https://github.com/RVC-Boss/GPT-SoVITS/issues/391)๋ฅผ ์์ ํ์์ต๋๋ค.
2. uvr5๊ฐ `inf everywhere` [์ค๋ฅ๋ฅผ ๋ฐํํ๋ ๋ฌธ์ ](https://github.com/RVC-Boss/GPT-SoVITS/pull/403)๋ฅผ ์์ ํ์์ต๋๋ค.
3. uvr5์ `is_half` ๋งค๊ฐ๋ณ์๊ฐ bool๋ก ๋ณํ๋์ง ์์ ํญ์ ๋ฐ์ ๋ฐ๋ ์ถ๋ก ์ผ๋ก ์ค์ ๋์ด 16 ์๋ฆฌ์ฆ ๊ทธ๋ํฝ ์นด๋์์ `inf`๊ฐ ๋ฐํ๋๋ [๋ฌธ์ ](https://github.com/RVC-Boss/GPT-SoVITS/commit/14a285109a521679f8846589c22da8f656a46ad8)๋ฅผ ์์ ํ์์ต๋๋ค.
4. ์์ด ํ
์คํธ ์
๋ ฅ์ ์ต์ ํํ์์ต๋๋ค.
5. gradio ์ข
์์ฑ์ ์ง์ํฉ๋๋ค.
6. ๋ฃจํธ ๋๋ ํ ๋ฆฌ๊ฐ ๋น์ด ์์ผ๋ฉด `.list` ์ ์ฒด ๊ฒฝ๋ก๋ฅผ ์๋์ผ๋ก ์ฝ์ต๋๋ค.
7. faster whisper ASR ์ผ๋ณธ์ด ๋ฐ ์์ด๋ฅผ ์ง์ํฉ๋๋ค.
### 20240208 ์
๋ฐ์ดํธ
1. GPT ํ์ต์ด ์นด๋์ ๋ฐ๋ผ ๋ฉ์ถ๋ ๋ฌธ์ ์ [GPT ํ์ต ์ค ZeroDivisionError](https://github.com/RVC-Boss/GPT-SoVITS/commit/59f35adad85815df27e9c6b33d420f5ebfd8376b) ๋ฌธ์ ๋ฅผ ์์ ํ์์ต๋๋ค.
### 20240212 ์
๋ฐ์ดํธ
1. faster whisper ๋ฐ funasr ๋ก์ง์ ์ต์ ํํ์์ต๋๋ค. faster whisper๋ ์ด๋ฏธ์ง ์คํ ์ด์์ ๋ค์ด๋ก๋ํ์ฌ huggingface์ ์ฐ๊ฒฐํ์ง ๋ชปํ๋ ๋ฌธ์ ๋ฅผ ํํผํฉ๋๋ค.
2. DPO Loss ์คํ์ ํ์ต ์ต์
์ ํ์ฑํํ์ฌ ๋ถ์ ์ ์ํ์ ์์ฑํ์ฌ [GPT ๋ฐ๋ณต ๋ฐ ๋๋ฝ ๋ฌธ์ ๋ฌธ์ ](https://github.com/RVC-Boss/GPT-SoVITS/pull/457)๋ฅผ ์ํํฉ๋๋ค. ์ถ๋ก ์ธํฐํ์ด์ค์ ๋ช ๊ฐ์ง ์ถ๋ก ๋งค๊ฐ๋ณ์๋ฅผ ๊ณต๊ฐํฉ๋๋ค.
### 20240214 ์
๋ฐ์ดํธ
1. ํ์ต์์ ์ค๊ตญ์ด ์คํ ์ด๋ฆ์ ์ง์ํฉ๋๋ค. (์ด์ ์ ์ค๋ฅ๊ฐ ๋ฐ์ํ์ต๋๋ค)
2. DPO ํ์ต์ ์ ํ์ ์ผ๋ก ์ค์ ํ ์ ์๋๋ก ๋ณ๊ฒฝํ์์ต๋๋ค. ๋ฐฐ์น ํฌ๊ธฐ๋ฅผ ์ ํํ๋ฉด ์๋์ผ๋ก ์ ๋ฐ์ผ๋ก ์ค์ด๋ญ๋๋ค. ์ถ๋ก ์ธํฐํ์ด์ค์์ ์๋ก์ด ๋งค๊ฐ๋ณ์๋ฅผ ์ ๋ฌํ์ง ์๋ ๋ฌธ์ ๋ฅผ ์์ ํ์์ต๋๋ค.
### 20240216 ์
๋ฐ์ดํธ
1. ์ฐธ์กฐ ํ
์คํธ ์
๋ ฅ์ ์ง์ํฉ๋๋ค.
2. ํ๋ก ํธ์๋์ ์๋ ์ค๊ตญ์ด ํ
์คํธ ์
๋ ฅ ๋ฒ๊ทธ๋ฅผ ์์ ํ์์ต๋๋ค.
### 20240221 ์
๋ฐ์ดํธ
1. ๋ฐ์ดํฐ ์ฒ๋ฆฌ์ ์์ฑ ๋
ธ์ด์ฆ ๊ฐ์ ์ต์
์ ์ถ๊ฐํ์์ต๋๋ค. (๋
ธ์ด์ฆ ๊ฐ์๋ 16k ์ํ๋ง๋ฅ ๋ง ๋จ๊ธฐ๋ฉฐ, ๋
ธ์ด์ฆ๊ฐ ํฌ์ง ์๋ค๋ฉด ์ฌ์ฉํ์ง ๋ง์ญ์์ค.)
2. ์ค๊ตญ์ด ๋ฐ ์ผ๋ณธ์ด ํ๋ก ํธ์๋ ์ฒ๋ฆฌ๋ฅผ ์ต์ ํํ์์ต๋๋ค. https://github.com/RVC-Boss/GPT-SoVITS/pull/559 https://github.com/RVC-Boss/GPT-SoVITS/pull/556 https://github.com/RVC-Boss/GPT-SoVITS/pull/532 https://github.com/RVC-Boss/GPT-SoVITS/pull/507 https://github.com/RVC-Boss/GPT-SoVITS/pull/509
3. Mac์์ CPU ์ถ๋ก ์ด ๋ ๋นจ๋ผ์ก์ผ๋ฏ๋ก ์ถ๋ก ์ฅ์น๋ฅผ mps์์ CPU๋ก ๋ณ๊ฒฝํ์์ต๋๋ค.
4. colab์์ ๊ณต์ฉ URL์ ์ด์ง ์๋ ๋ฌธ์ ๋ฅผ ์์ ํ์์ต๋๋ค.
### 20240306 ์
๋ฐ์ดํธ
1. ์ถ๋ก ์๋๋ฅผ 50% ๋น ๋ฅด๊ฒ ํ์์ต๋๋ค. (RTX3090+pytorch2.2.1+cu11.8+win10+py39 ํ
์คํธ ์๋ฃ) https://github.com/RVC-Boss/GPT-SoVITS/pull/672
2. faster whisper๋ฅผ ์ฌ์ฉํ ๋ ์ค๊ตญ์ด ASR์ ๋จผ์ ๋ค์ด๋ก๋ํ ํ์๊ฐ ์์ต๋๋ค.
3. uvr5์ ์ํฅ ์ ๊ฑฐ ๋ชจ๋ธ์ด ์ํฅ์ด ์๋์ง ์ฌ๋ถ๋ฅผ ๋ฐ๋๋ก ๋ฐํํ๋ ๋ฌธ์ ๋ฅผ ์์ ํ์์ต๋๋ค.
4. faster whisper๊ฐ CUDA๋ฅผ ์ฌ์ฉํ ์ ์๋ ๊ฒฝ์ฐ ์๋์ผ๋ก CPU ์ถ๋ก ์ ์ฌ์ฉํ๋๋ก ์์ ํ์์ต๋๋ค.
5. is_half์ ํ๋จ์ ์์ ํ์ฌ Mac์์ CPU ์ถ๋ก ์ด ์ ์์ ์ผ๋ก ์๋ํ๋๋ก ์์ ํ์์ต๋๋ค.
todolist๏ผ
1. ์ค๊ตญ์ด ๋ค์ํ ๋ฐ์ ๋จ์ด ์ถ๋ก ์ต์ ํ(ํ
์คํธ ๊ฒฐ๊ณผ๋ฅผ ์์ฑํ์๋ ๋ถ์ pr ์ฝ๋ฉํธ ์์ญ์ ์์ฑํด์ฃผ์๋ฉด ๊ฐ์ฌํ๊ฒ ์ต๋๋ค)
|