Spaces:
No application file
No application file
File size: 2,803 Bytes
8b14bed |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 |
# エージェントの開始
!!! note
もしあなたがネイティブ・スピーカーで、翻訳に問題があるとお感じでしたら、issueかpull requestをお送りください!
## 要件
- GPUメモリ: 最低8GB(量子化使用時)、16GB以上推奨
- ディスク使用量: 10GB
## モデルのダウンロード
以下のコマンドでモデルを取得できます:
```bash
huggingface-cli download fishaudio/fish-agent-v0.1-3b --local-dir checkpoints/fish-agent-v0.1-3b
```
これらを'checkpoints'フォルダに配置してください。
また、[inference](inference.md)の手順に従ってfish-speechモデルもダウンロードする必要があります。
checkpointsには2つのフォルダが必要です。
`checkpoints/fish-speech-1.4`と`checkpoints/fish-agent-v0.1-3b`です。
## 環境準備
すでにFish-speechをお持ちの場合は、以下の指示を追加するだけで直接使用できます:
```bash
pip install cachetools
```
!!! note
コンパイルにはPythonバージョン3.12未満を使用してください。
お持ちでない場合は、以下のコマンドで環境を構築してください:
```bash
sudo apt-get install portaudio19-dev
pip install -e .[stable]
```
## エージェントデモの起動
fish-agentを構築するには、メインフォルダで以下のコマンドを使用してください:
```bash
python -m tools.api --llama-checkpoint-path checkpoints/fish-agent-v0.1-3b/ --mode agent --compile
```
`--compile`引数はPython < 3.12でのみサポートされており、トークン生成を大幅に高速化します。
一度にコンパイルは行われません(覚えておいてください)。
次に、別のターミナルを開いて以下のコマンドを使用します:
```bash
python -m tools.e2e_webui
```
これにより、デバイス上にGradio WebUIが作成されます。
モデルを初めて使用する際は、(`--compile`がTrueの場合)しばらくコンパイルが行われますので、お待ちください。
## Gradio Webui
<p align="center">
<img src="../../assets/figs/agent_gradio.png" width="75%">
</p>
お楽しみください!
## パフォーマンス
テストでは、4060搭載のラップトップではかろうじて動作しますが、非常に厳しい状態で、約8トークン/秒程度です。4090ではコンパイル時に約95トークン/秒で、これが推奨環境です。
# エージェントについて
このデモは初期アルファテストバージョンで、推論速度の最適化が必要で、修正を待つバグが多数あります。バグを発見した場合や修正したい場合は、issueやプルリクエストをいただけると大変嬉しく思います。
|