Spaces:
Running
Running
20240121 ์ ๋ฐ์ดํธ
config
์is_share
์ถ๊ฐ, Colab ๋ฑ์ ํ๊ฒฝ์์ ์ด๋ฅผTrue
๋ก ์ค์ ํ์ฌ webui๋ฅผ ๊ณต์ฉ ๋คํธ์ํฌ์ ๋งคํ๋๋๋ก ํ ์ ์์ต๋๋ค.- WebUI์ ์์ด ๋ฒ์ญ์ด ์ถ๊ฐ๋์์ต๋๋ค.
cmd-asr
์ damo ๋ชจ๋ธ์ด ์ด๋ฏธ ํฌํจ๋์ด ์๋์ง ์๋์ผ๋ก ํ์ธํ๊ณ , ๊ธฐ๋ณธ ๊ฒฝ๋ก์ ์๋ ๊ฒฝ์ฐ modelscope์์ ์๋ ๋ค์ด๋ก๋ ๋๋๋ก ์์ ํ์์ต๋๋ค.- SoVITS ํ์ต ์ค ZeroDivisionError๊ฐ ๋ฐ์ํ๋ ๊ฒฝ์ฐ ๋ณต๊ตฌ๋ฅผ ์๋ํฉ๋๋ค. (๊ธธ์ด๊ฐ 0์ธ ์ํ ํํฐ๋ง ๋ฑ)
- TEMP ํ์ผ ํด๋์์ ์ค๋์ค ๋ฐ ๊ธฐํ ํ์ผ์ ์ ๋ฆฌํ์ฌ ์ต์ ํํฉ๋๋ค.
- ํฉ์ฑ ์ค๋์ค๊ฐ ๋ ํผ๋ฐ์ค ์ค๋์ค์ ๋๋ถ๋ถ์ ํฌํจํ๋ ๋ฌธ์ ๋ฅผ ๊ฐ์ ํ์์ต๋๋ค.
20240122 ์ ๋ฐ์ดํธ
- ๋๋ฌด ์งง์ ์ถ๋ ฅ ํ์ผ์ด ์ค๋ณต๋ ๋ ํผ๋ฐ์ค ์ค๋์ค๋ฅผ ๋ฐํํ๋ ๋ฌธ์ ์์ ํ์์ต๋๋ค.
- ์์ด-์ผ๋ณธ์ด ํ์ต์ด ์ํํ๊ฒ ์งํ๋๋ QA๋ฅผ ์๋ฃํ์์ต๋๋ค. (๋ค๋ง, ์ผ๋ณธ์ด ํ์ต์ ๋ฃจํธ ๋๋ ํ ๋ฆฌ์ ์์ด ์ด์ธ์ ๋ฌธ์๊ฐ ์์ด์ผ ํฉ๋๋ค)
- ์ค๋์ค ๊ฒฝ๋ก๋ฅผ ๊ฒ์ฌํฉ๋๋ค. ์๋ชป๋ ๊ฒฝ๋ก๋ฅผ ์ฝ์ผ๋ ค๊ณ ํ ๋ '๊ฒฝ๋ก๊ฐ ์กด์ฌํ์ง ์์ต๋๋ค'๋ผ๋ ์๋ฌ ๋ฉ์์ง๋ฅผ ๋ฐํํ๋๋ก ์์ ํ์์ต๋๋ค. ์ด๋ ffmpeg ๋ชจ๋์ ์๋ฌ๊ฐ ์๋๋๋ค.
20240123 ์ ๋ฐ์ดํธ
- hubert์์ nan ์ถ์ถ๋ก ์ธํ SoVITS/GPT ํ์ต ์ค ZeroDivisionError ๊ด๋ จ ์๋ฌ๋ฅผ ํด๊ฒฐํ์์ต๋๋ค.
- ์ถ๋ก ์ธํฐํ์ด์ค์์ ๋ชจ๋ธ์ ๋น ๋ฅด๊ฒ ์ ํํ ์ ์๋๋ก ์ง์ํ๋๋ก ์์ ๋์์ต๋๋ค.
- ๋ชจ๋ธ ํ์ผ ์ ๋ ฌ ๋ก์ง ์ต์ ํํ์์ต๋๋ค.
- ์ค๋ฌธ ๋ถ์์
jieba_fast
๋ฅผjieba
๋ก ๋์ฒดํ์์ต๋๋ค.
20240126 ์ ๋ฐ์ดํธ
- ์ค๊ตญ์ด์ ์์ด, ์ผ๋ณธ์ด์ ์์ด๊ฐ ํผํฉ๋ ์ถ๋ ฅ ํ ์คํธ๋ฅผ ์ง์ํฉ๋๋ค.
- ์ถ๋ ฅ์์ ์ ํ์ ๋ถํ ๋ชจ๋๋ฅผ ์ง์ํฉ๋๋ค.
- uvr5๊ฐ ๋๋ ํ ๋ฆฌ๋ฅผ ์ฝ๊ณ ์๋์ผ๋ก ์ข ๋ฃ๋๋ ๋ฌธ์ ๋ฅผ ์์ ํ์์ต๋๋ค.
- ์ฌ๋ฌ ์ค๋ฐ๊ฟ์ผ๋ก ์ธํ ์ถ๋ก ์ค๋ฅ๋ฅผ ์์ ํ์์ต๋๋ค.
- ์ถ๋ก ์ธํฐํ์ด์ค์์ ๋ถํ์ํ ๋ก๊ทธ ์ ๊ฑฐํ์์ต๋๋ค.
- MacOS์์์ ํ์ต ๋ฐ ์ถ๋ก ์ ์ง์ํฉ๋๋ค.
- ๋ฐ์ ๋ฐ์ ์ง์ํ์ง ์๋ ์นด๋๋ฅผ ์๋์ผ๋ก ์๋ณํ์ฌ ๋จ์ผ ์ ๋ฐ๋๋ฅผ ๊ฐ์ ์ ์ฉํ๊ณ , CPU ์ถ๋ก ์์ ๋จ์ผ ์ ๋ฐ๋๋ฅผ ๊ฐ์ ์ ์ฉํฉ๋๋ค.
20240128 ์ ๋ฐ์ดํธ
- ์ซ์๋ฅผ ํ์๋ก ์ฝ๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค.
- ๋ฌธ์ฅ ์์ ๋ถ๋ถ์ ์ผ๋ถ ๋จ์ด๊ฐ ๋๋ฝ๋๋ ๋ฌธ์ ์์ ํ์์ต๋๋ค.
- ๋ถ์ ์ ํ ๊ธธ์ด์ ๋ ํผ๋ฐ์ค ์ค๋์ค๋ฅผ ์ ํํ์์ต๋๋ค.
- GPT ํ์ต ์ ckpt๊ฐ ์ ์ฅ๋์ง ์๋ ๋ฌธ์ ์์ ํ์์ต๋๋ค.
- Dockerfile์์ ๋ชจ๋ธ ๋ค์ด๋ก๋ ํ๋ก์ธ์ค ๊ฐ์ ํ์์ต๋๋ค.
20240129 ์ ๋ฐ์ดํธ
- ๋ฐ์ ๋ฐ๋ ํ๋ จ์ ๋ฌธ์ ๊ฐ ์๋ 16 ์๋ฆฌ์ฆ ๋ฐ ๊ธฐํ ๊ทธ๋ํฝ ์นด๋์ ํ๋ จ ๊ตฌ์ฑ์ ๋จ์ ๋ฐ๋ ํ๋ จ์ผ๋ก ๋ณ๊ฒฝํ์ต๋๋ค.
- Colab์์๋ ์ฌ์ฉ์ด ๊ฐ๋ฅํ ๋ฒ์ ์ ํ ์คํธ ๋ฐ ์ ๋ฐ์ดํธ ํ์์ต๋๋ค.
git clone modelscope funasr
์ ์ฅ์์ ์ค๋๋ ๋ฒ์ ์ funasr ์ฌ์ฉ์ผ๋ก ์ธํด ์ธํฐํ์ด์ค๊ฐ ์ผ์นํ์ง ์๋ ์ค๋ฅ๋ฅผ ์์ ํ์์ต๋๋ค.
20240130 ์ ๋ฐ์ดํธ
- ๊ฒฝ๋ก์ ๊ด๋ จ๋ ๋ฌธ์์ด์ ํ์ฑํ์ฌ ํฐ๋ฐ์ดํ๋ฅผ ์๋์ผ๋ก ์ ๊ฑฐํฉ๋๋ค. ๋ํ, ๊ฒฝ๋ก๋ฅผ ๋ณต์ฌํ๋ ๊ฒฝ์ฐ ํฐ๋ฐ์ดํ๊ฐ ํฌํจ๋์ด๋ ์ค๋ฅ๊ฐ ๋ฐ์ํ์ง ์์ต๋๋ค.
- ์ค๊ตญ์ด ๋ฐ ์์ด ๋ฌธ์์ด์ ๋ฌธ์ฅ ๋ถํธ๊ฐ ์๋ฆฌ๋ ๋ฌธ์ ๋ฐ ๋ฌธ์ฅ์ ์์๊ณผ ๋์ ๋ฌธ์ฅ ๋ถํธ๊ฐ ์ถ๊ฐ๋๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค.
- ๋ฌธ์ฅ ๋ถํธ์ ์๋ฅผ ํ์ฅํ์์ต๋๋ค.
20240201 ์ ๋ฐ์ดํธ
- uvr5๊ฐ ์๋ชป๋ ํ์์ผ๋ก ์ฝ์ด๋ค์ด๋ ๋ฌธ์ ๋ฅผ ์์ ํ์์ต๋๋ค.
- ์ค๊ตญ์ด, ์ผ๋ณธ์ด, ์์ด๊ฐ ํผํฉ๋ ์ฌ๋ฌ ํ ์คํธ๋ฅผ ์๋์ผ๋ก ๋ถ๋ฆฌํ์ฌ ์ธ์ด๋ฅผ ์ธ์ํฉ๋๋ค.
20240202 ์ ๋ฐ์ดํธ
- asr ๊ฒฝ๋ก์ ๋์
/
๊ฐ ํฌํจ๋์ด ์๋ ๊ฒฝ์ฐ ์ค๋ฅ๊ฐ ๋ฐ์ํ๋ ๋ฌธ์ ๋ฅผ ์์ ํ์์ต๋๋ค. - paddlespeech์ Normalizer๋ฅผ ๋์ ํ์ฌ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ์ฌ, ์๋ฅผ ๋ค์ด xx.xx%(๋ฐฑ๋ถ์จ), ๅ /ๅจ์ด ๅ ๅจ์ผ๋ก ์ฝํ๋ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ์์ต๋๋ค. ๋ํ, ๋ฐ์ค์ด ๋ ์ด์ ์ค๋ฅ๋ฅผ ๋ฐ์์ํค์ง ์์ต๋๋ค.
20240207 ์ ๋ฐ์ดํธ
- ์ธ์ด ์ ๋ฌ ๋งค๊ฐ๋ณ์๊ฐ ํผ๋์ค๋ฌ์์ ธ ์ค๊ตญ์ด ์ถ๋ก ํจ๊ณผ๊ฐ ์ ํ๋๋ ๋ฌธ์ ๋ฅผ ์์ ํ์์ต๋๋ค.
- uvr5๊ฐ
inf everywhere
์ค๋ฅ๋ฅผ ๋ฐํํ๋ ๋ฌธ์ ๋ฅผ ์์ ํ์์ต๋๋ค. - uvr5์
is_half
๋งค๊ฐ๋ณ์๊ฐ bool๋ก ๋ณํ๋์ง ์์ ํญ์ ๋ฐ์ ๋ฐ๋ ์ถ๋ก ์ผ๋ก ์ค์ ๋์ด 16 ์๋ฆฌ์ฆ ๊ทธ๋ํฝ ์นด๋์์inf
๊ฐ ๋ฐํ๋๋ ๋ฌธ์ ๋ฅผ ์์ ํ์์ต๋๋ค. - ์์ด ํ ์คํธ ์ ๋ ฅ์ ์ต์ ํํ์์ต๋๋ค.
- gradio ์ข ์์ฑ์ ์ง์ํฉ๋๋ค.
- ๋ฃจํธ ๋๋ ํ ๋ฆฌ๊ฐ ๋น์ด ์์ผ๋ฉด
.list
์ ์ฒด ๊ฒฝ๋ก๋ฅผ ์๋์ผ๋ก ์ฝ์ต๋๋ค. - faster whisper ASR ์ผ๋ณธ์ด ๋ฐ ์์ด๋ฅผ ์ง์ํฉ๋๋ค.
20240208 ์ ๋ฐ์ดํธ
- GPT ํ์ต์ด ์นด๋์ ๋ฐ๋ผ ๋ฉ์ถ๋ ๋ฌธ์ ์ GPT ํ์ต ์ค ZeroDivisionError ๋ฌธ์ ๋ฅผ ์์ ํ์์ต๋๋ค.
20240212 ์ ๋ฐ์ดํธ
- faster whisper ๋ฐ funasr ๋ก์ง์ ์ต์ ํํ์์ต๋๋ค. faster whisper๋ ์ด๋ฏธ์ง ์คํ ์ด์์ ๋ค์ด๋ก๋ํ์ฌ huggingface์ ์ฐ๊ฒฐํ์ง ๋ชปํ๋ ๋ฌธ์ ๋ฅผ ํํผํฉ๋๋ค.
- DPO Loss ์คํ์ ํ์ต ์ต์ ์ ํ์ฑํํ์ฌ ๋ถ์ ์ ์ํ์ ์์ฑํ์ฌ GPT ๋ฐ๋ณต ๋ฐ ๋๋ฝ ๋ฌธ์ ๋ฌธ์ ๋ฅผ ์ํํฉ๋๋ค. ์ถ๋ก ์ธํฐํ์ด์ค์ ๋ช ๊ฐ์ง ์ถ๋ก ๋งค๊ฐ๋ณ์๋ฅผ ๊ณต๊ฐํฉ๋๋ค.
20240214 ์ ๋ฐ์ดํธ
- ํ์ต์์ ์ค๊ตญ์ด ์คํ ์ด๋ฆ์ ์ง์ํฉ๋๋ค. (์ด์ ์ ์ค๋ฅ๊ฐ ๋ฐ์ํ์ต๋๋ค)
- DPO ํ์ต์ ์ ํ์ ์ผ๋ก ์ค์ ํ ์ ์๋๋ก ๋ณ๊ฒฝํ์์ต๋๋ค. ๋ฐฐ์น ํฌ๊ธฐ๋ฅผ ์ ํํ๋ฉด ์๋์ผ๋ก ์ ๋ฐ์ผ๋ก ์ค์ด๋ญ๋๋ค. ์ถ๋ก ์ธํฐํ์ด์ค์์ ์๋ก์ด ๋งค๊ฐ๋ณ์๋ฅผ ์ ๋ฌํ์ง ์๋ ๋ฌธ์ ๋ฅผ ์์ ํ์์ต๋๋ค.
20240216 ์ ๋ฐ์ดํธ
- ์ฐธ์กฐ ํ ์คํธ ์ ๋ ฅ์ ์ง์ํฉ๋๋ค.
- ํ๋ก ํธ์๋์ ์๋ ์ค๊ตญ์ด ํ ์คํธ ์ ๋ ฅ ๋ฒ๊ทธ๋ฅผ ์์ ํ์์ต๋๋ค.
20240221 ์ ๋ฐ์ดํธ
- ๋ฐ์ดํฐ ์ฒ๋ฆฌ์ ์์ฑ ๋ ธ์ด์ฆ ๊ฐ์ ์ต์ ์ ์ถ๊ฐํ์์ต๋๋ค. (๋ ธ์ด์ฆ ๊ฐ์๋ 16k ์ํ๋ง๋ฅ ๋ง ๋จ๊ธฐ๋ฉฐ, ๋ ธ์ด์ฆ๊ฐ ํฌ์ง ์๋ค๋ฉด ์ฌ์ฉํ์ง ๋ง์ญ์์ค.)
- ์ค๊ตญ์ด ๋ฐ ์ผ๋ณธ์ด ํ๋ก ํธ์๋ ์ฒ๋ฆฌ๋ฅผ ์ต์ ํํ์์ต๋๋ค. https://github.com/RVC-Boss/GPT-SoVITS/pull/559 https://github.com/RVC-Boss/GPT-SoVITS/pull/556 https://github.com/RVC-Boss/GPT-SoVITS/pull/532 https://github.com/RVC-Boss/GPT-SoVITS/pull/507 https://github.com/RVC-Boss/GPT-SoVITS/pull/509
- Mac์์ CPU ์ถ๋ก ์ด ๋ ๋นจ๋ผ์ก์ผ๋ฏ๋ก ์ถ๋ก ์ฅ์น๋ฅผ mps์์ CPU๋ก ๋ณ๊ฒฝํ์์ต๋๋ค.
- colab์์ ๊ณต์ฉ URL์ ์ด์ง ์๋ ๋ฌธ์ ๋ฅผ ์์ ํ์์ต๋๋ค.
20240306 ์ ๋ฐ์ดํธ
- ์ถ๋ก ์๋๋ฅผ 50% ๋น ๋ฅด๊ฒ ํ์์ต๋๋ค. (RTX3090+pytorch2.2.1+cu11.8+win10+py39 ํ ์คํธ ์๋ฃ) https://github.com/RVC-Boss/GPT-SoVITS/pull/672
- faster whisper๋ฅผ ์ฌ์ฉํ ๋ ์ค๊ตญ์ด ASR์ ๋จผ์ ๋ค์ด๋ก๋ํ ํ์๊ฐ ์์ต๋๋ค.
- uvr5์ ์ํฅ ์ ๊ฑฐ ๋ชจ๋ธ์ด ์ํฅ์ด ์๋์ง ์ฌ๋ถ๋ฅผ ๋ฐ๋๋ก ๋ฐํํ๋ ๋ฌธ์ ๋ฅผ ์์ ํ์์ต๋๋ค.
- faster whisper๊ฐ CUDA๋ฅผ ์ฌ์ฉํ ์ ์๋ ๊ฒฝ์ฐ ์๋์ผ๋ก CPU ์ถ๋ก ์ ์ฌ์ฉํ๋๋ก ์์ ํ์์ต๋๋ค.
- is_half์ ํ๋จ์ ์์ ํ์ฌ Mac์์ CPU ์ถ๋ก ์ด ์ ์์ ์ผ๋ก ์๋ํ๋๋ก ์์ ํ์์ต๋๋ค.
todolist๏ผ
- ์ค๊ตญ์ด ๋ค์ํ ๋ฐ์ ๋จ์ด ์ถ๋ก ์ต์ ํ(ํ ์คํธ ๊ฒฐ๊ณผ๋ฅผ ์์ฑํ์๋ ๋ถ์ pr ์ฝ๋ฉํธ ์์ญ์ ์์ฑํด์ฃผ์๋ฉด ๊ฐ์ฌํ๊ฒ ์ต๋๋ค)