GPT-SoVITS-WebUI
์๋์ ๋ฐ์ดํฐ๋ก ์์ฑ ๋ณํ ๋ฐ ์์ฑ ํฉ์ฑ์ ์ง์ํ๋ ๊ฐ๋ ฅํ WebUI.๋ฐ๋ชจ ๋น๋์ค๋ฅผ ํ์ธํ์ธ์! demo video
https://github.com/RVC-Boss/GPT-SoVITS/assets/129054828/05bee1fa-bdd8-4d85-9350-80c060ab47fb
์ค๊ตญ ์ง์ญ์ ์ฌ์ฉ์๋ AutoDL ํด๋ผ์ฐ๋ ์ด๋ฏธ์ง๋ฅผ ์ฌ์ฉํ์ฌ ์ฒดํํ ์ ์์ต๋๋ค: https://www.codewithgpu.com/i/RVC-Boss/GPT-SoVITS/GPT-SoVITS-Official
๊ธฐ๋ฅ:
์ ๋ก์ท ํ ์คํธ ์์ฑ ๋ณํ (TTS): 5์ด์ ์์ฑ ์ํ์ ์ ๋ ฅํ๋ฉด ์ฆ์ ํ ์คํธ๋ฅผ ์์ฑ์ผ๋ก ๋ณํํ ์ ์์ต๋๋ค.
์๋์ ๋ฐ์ดํฐ TTS: 1๋ถ์ ํ๋ จ ๋ฐ์ดํฐ๋ง์ผ๋ก ๋ชจ๋ธ์ ๋ฏธ์ธ ์กฐ์ ํ์ฌ ์์ฑ ์ ์ฌ๋์ ์ค์ ๊ฐ์ ํฅ์์ํฌ ์ ์์ต๋๋ค.
๋ค๊ตญ์ด ์ง์: ํ๋ จ ๋ฐ์ดํฐ์ ๊ณผ ๋ค๋ฅธ ์ธ์ด์ ์ถ๋ก ์ ์ง์ํ๋ฉฐ, ํ์ฌ ์์ด, ์ผ๋ณธ์ด, ์ค๊ตญ์ด๋ฅผ ์ง์ํฉ๋๋ค.
WebUI ๋๊ตฌ: ์์ฑ ๋ฐ์ฃผ ๋ถ๋ฆฌ, ์๋ ํ๋ จ ๋ฐ์ดํฐ์ ๋ถํ , ์ค๊ตญ์ด ์๋ ์์ฑ ์ธ์(ASR) ๋ฐ ํ ์คํธ ์ฃผ์ ๋ฑ์ ๋๊ตฌ๋ฅผ ํตํฉํ์ฌ ์ด๋ณด์๊ฐ ํ๋ จ ๋ฐ์ดํฐ์ ๊ณผ GPT/SoVITS ๋ชจ๋ธ์ ์์ฑํ๋ ๋ฐ ๋์์ ์ค๋๋ค.
ํ๊ฒฝ ์ค๋น
Windows ์ฌ์ฉ์๋ (win>=10 ์์ ํ ์คํธ๋์์ต๋๋ค) ๋ฏธ๋ฆฌ ๋น๋๋ ํ์ผ์ ๋ค์ด๋ก๋ํ์ฌ ์ค์นํ ์ ์์ต๋๋ค. ๋ค์ด๋ก๋ ํ GPT-SoVITS-WebUI๋ฅผ ์์ํ๋ ค๋ฉด ์์ถ์ ํ๊ณ go-webui.bat์ ๋ ๋ฒ ํด๋ฆญํ๋ฉด ๋ฉ๋๋ค.
ํ ์คํธ๋ Python ๋ฐ PyTorch ๋ฒ์
- Python 3.9, PyTorch 2.0.1 ๋ฐ CUDA 11
- Python 3.10.13, PyTorch 2.1.2 ๋ฐ CUDA 12.3
- Python 3.9, Pytorch 2.3.0.dev20240122 ๋ฐ macOS 14.3 (Apple ์นฉ, GPU)
์ฐธ๊ณ : numba==0.56.4 ๋ python<3.11 ์ ํ์๋ก ํฉ๋๋ค.
MacOS ์ฌ์ฉ์
MacOS ์ฌ์ฉ์๋ GPU๋ฅผ ์ฌ์ฉํ์ฌ ํ๋ จ ๋ฐ ์ถ๋ก ์ ํ๋ ค๋ฉด ๋ค์ ์กฐ๊ฑด์ ์ถฉ์กฑํด์ผ ํฉ๋๋ค:
- Apple ์นฉ ๋๋ AMD GPU๊ฐ ์ฅ์ฐฉ๋ Mac
- macOS 12.3 ์ด์
xcode-select --install
์ ์คํํ์ฌ Xcode command-line tools๋ฅผ ์ค์นํ์ต๋๋ค.
๋ค๋ฅธ Mac์ CPU๋ฅผ ์ฌ์ฉํ์ฌ ์ถ๋ก ๋ง ์ง์ํฉ๋๋ค.
๊ทธ๋ฐ ๋ค์ ๋ค์ ๋ช ๋ น์ ์ฌ์ฉํ์ฌ ์ค์นํฉ๋๋ค:
ํ๊ฒฝ ์ค์
conda create -n GPTSoVits python=3.9
conda activate GPTSoVits
์์กด์ฑ ๋ชจ๋ ์ค์น
pip install -r requirements.txt
pip uninstall torch torchaudio
pip3 install --pre torch torchaudio --index-url https://download.pytorch.org/whl/nightly/cpu
Conda๋ฅผ ์ฌ์ฉํ ๊ฐํธ ์ค์น
conda create -n GPTSoVits python=3.9
conda activate GPTSoVits
bash install.sh
์๋ ์ค์น
Pip ํจํค์ง
pip install -r requirements.txt
FFmpeg
Conda ์ฌ์ฉ์
conda install ffmpeg
Ubuntu/Debian ์ฌ์ฉ์
sudo apt install ffmpeg
sudo apt install libsox-dev
conda install -c conda-forge 'ffmpeg<7'
MacOS ์ฌ์ฉ์
brew install ffmpeg
Windows ์ฌ์ฉ์
ffmpeg.exe์ ffprobe.exe๋ฅผ GPT-SoVITS root ๋๋ ํ ๋ฆฌ์ ๋ฃ์ต๋๋ค.
Docker์์ ์ฌ์ฉ
docker-compose.yaml ์ค์
์ด๋ฏธ์ง ํ๊ทธ: ์ฝ๋ ์ ์ฅ์๊ฐ ๋น ๋ฅด๊ฒ ์ ๋ฐ์ดํธ๋๊ณ ํจํค์ง๊ฐ ๋๋ฆฌ๊ฒ ๋น๋๋๊ณ ํ ์คํธ๋๋ฏ๋ก, ํ์ฌ ๋น๋๋ ์ต์ ๋์ปค ์ด๋ฏธ์ง๋ฅผ Docker Hub์์ ํ์ธํ๊ณ ํ์์ ๋ฐ๋ผ Dockerfile์ ์ฌ์ฉํ์ฌ ๋ก์ปฌ์์ ๋น๋ํ ์ ์์ต๋๋ค.
ํ๊ฒฝ ๋ณ์:
- is_half: ๋ฐ์ ๋ฐ/๋ฐฐ์ ๋ฐ ์ ์ด. "SSL ์ถ์ถ" ๋จ๊ณ์์ 4-cnhubert/5-wav32k ๋๋ ํ ๋ฆฌ์ ๋ด์ฉ์ ์ฌ๋ฐ๋ฅด๊ฒ ์์ฑํ ์ ์๋ ๊ฒฝ์ฐ, ์ผ๋ฐ์ ์ผ๋ก ์ด๊ฒ ๋๋ฌธ์ ๋๋ค. ์ค์ ์ํฉ์ ๋ฐ๋ผ True ๋๋ False๋ก ์กฐ์ ํ ์ ์์ต๋๋ค.
๋ณผ๋ฅจ ์ค์ , ์ปจํ ์ด๋ ๋ด์ ์ ํ๋ฆฌ์ผ์ด์ ๋ฃจํธ ๋๋ ํ ๋ฆฌ๋ฅผ /workspace๋ก ์ค์ ํฉ๋๋ค. ๊ธฐ๋ณธ docker-compose.yaml์๋ ์ค์ ์์ ๊ฐ ๋์ด๋์ด ์์ผ๋ฏ๋ก ์ ๋ก๋/๋ค์ด๋ก๋๋ฅผ ์ฝ๊ฒ ํ ์ ์์ต๋๋ค.
shm_size: Windows์ Docker Desktop์ ๊ธฐ๋ณธ ์ฌ์ฉ ๊ฐ๋ฅํ ๋ฉ๋ชจ๋ฆฌ๊ฐ ๋๋ฌด ์์ ์ค๋ฅ๊ฐ ๋ฐ์ํ ์ ์์ผ๋ฏ๋ก ์ค์ ์ํฉ์ ๋ฐ๋ผ ์กฐ์ ํฉ๋๋ค.
deploy ์น์ ์ gpu ๊ด๋ จ ๋ด์ฉ์ ์์คํ ๋ฐ ์ค์ ์ํฉ์ ๋ฐ๋ผ ์กฐ์ ํฉ๋๋ค.
docker compose๋ก ์คํ
docker compose -f "docker-compose.yaml" up -d
docker ๋ช ๋ น์ผ๋ก ์คํ
์์ ๋์ผํ๊ฒ ์ค์ ์ํฉ์ ๋ง๊ฒ ๋งค๊ฐ๋ณ์๋ฅผ ์์ ํ ๋ค์ ๋ค์ ๋ช ๋ น์ ์คํํฉ๋๋ค:
docker run --rm -it --gpus=all --env=is_half=False --volume=G:\GPT-SoVITS-DockerTest\output:/workspace/output --volume=G:\GPT-SoVITS-DockerTest\logs:/workspace/logs --volume=G:\GPT-SoVITS-DockerTest\SoVITS_weights:/workspace/SoVITS_weights --workdir=/workspace -p 9870:9870 -p 9871:9871 -p 9872:9872 -p 9873:9873 -p 9874:9874 --shm-size="16G" -d breakstring/gpt-sovits:xxxxx
์ฌ์ ํ๋ จ๋ ๋ชจ๋ธ
GPT-SoVITS Models์์ ์ฌ์ ํ๋ จ๋ ๋ชจ๋ธ์ ๋ค์ด๋ก๋ํ๊ณ GPT_SoVITS\pretrained_models
์ ๋ฃ์ต๋๋ค.
์ค๊ตญ์ด ์๋ ์์ฑ ์ธ์(ASR), ์์ฑ ๋ฐ์ฃผ ๋ถ๋ฆฌ ๋ฐ ์์ฑ ์ ๊ฑฐ๋ฅผ ์ํด Damo ASR Model, Damo VAD Model ๋ฐ Damo Punc Model์ ๋ค์ด๋ก๋ํ๊ณ tools/damo_asr/models
์ ๋ฃ์ต๋๋ค.
UVR5(์์ฑ/๋ฐ์ฃผ ๋ถ๋ฆฌ ๋ฐ ์ํฅ ์ ๊ฑฐ)๋ฅผ ์ํด UVR5 Weights์์ ๋ชจ๋ธ์ ๋ค์ด๋ก๋ํ๊ณ tools/uvr5/uvr5_weights
์ ๋ฃ์ต๋๋ค.
๋ฐ์ดํฐ์ ํ์
ํ ์คํธ ์์ฑ ํฉ์ฑ(TTS) ์ฃผ์ .list ํ์ผ ํ์:
vocal_path|speaker_name|language|text
์ธ์ด ์ฌ์ :
- 'zh': ์ค๊ตญ์ด
- 'ja': ์ผ๋ณธ์ด
- 'en': ์์ด
์์:
D:\GPT-SoVITS\xxx/xxx.wav|xxx|en|I like playing Genshin.
ํ ์ผ ๋ชฉ๋ก
์ต์ฐ์ ์์:
- ์ผ๋ณธ์ด ๋ฐ ์์ด ์ง์ญํ.
- ์ฌ์ฉ์ ๊ฐ์ด๋.
- ์ผ๋ณธ์ด ๋ฐ ์์ด ๋ฐ์ดํฐ์ ๋ฏธ์ธ ์กฐ์ ํ๋ จ.
๊ธฐ๋ฅ:
- ์ ๋ก์ท ์์ฑ ๋ณํ (5์ด) / ์๋์ ์์ฑ ๋ณํ (1๋ถ).
- TTS ์๋ ์ ์ด.
- ํฅ์๋ TTS ๊ฐ์ ์ ์ด.
- SoVITS ํ ํฐ ์ ๋ ฅ์ ๋จ์ด ํ๋ฅ ๋ถํฌ๋ก ๋ณ๊ฒฝํด ๋ณด์ธ์.
- ์์ด ๋ฐ ์ผ๋ณธ์ด ํ ์คํธ ํ๋ก ํธ ์๋ ๊ฐ์ .
- ์์ ํฌ๊ธฐ์ ํฐ ํฌ๊ธฐ์ TTS ๋ชจ๋ธ ๊ฐ๋ฐ.
- Colab ์คํฌ๋ฆฝํธ.
- ํ๋ จ ๋ฐ์ดํฐ์ ํ์ฅ (2k ์๊ฐ์์ 10k ์๊ฐ).
- ๋ ๋์ sovits ๊ธฐ๋ณธ ๋ชจ๋ธ (ํฅ์๋ ์ค๋์ค ํ์ง).
- ๋ชจ๋ธ ๋ธ๋ ๋ฉ.
๊ฐ์ฌ์ ๋ง
ํน๋ณํ ๋ค์ ํ๋ก์ ํธ์ ๊ธฐ์ฌ์์๊ฒ ๊ฐ์ฌ๋๋ฆฝ๋๋ค:
- ar-vits
- SoundStorm
- vits
- TransferTTS
- Chinese Speech Pretrain
- contentvec
- hifi-gan
- Chinese-Roberta-WWM-Ext-Large
- fish-speech
- ultimatevocalremovergui
- audio-slicer
- SubFix
- FFmpeg
- gradio