Quantization Options for Faster Inference and Lower VRAM Usage
Hi there,
Thanks for the fantastic work on the Parler-TTS model! I'm exploring options to optimize the model for deployment on environments with limited resources. Specifically, I'd like to know if there are ways to quantize the Parler-TTS-Mini-V1 model to achieve faster inference times and reduced VRAM usage.
A few questions:
Are there any recommended quantization techniques for this model, such as INT8 or mixed precision?
Would quantization impact the audio quality, and if so, to what extent?
Are there any tools or scripts available within the repo or compatible with the model to facilitate this process?
Any guidance or examples would be greatly appreciated!
Thanks in advance for your help.
Hi, I have similar questions, have you found any tutorials?
Tengo una pregunta: Porque no se me terminan de descargar los archivos grandes?, me falta solo el de casi 4GB, que se me tarda en descargar una barbaridad de horas en esta plataforma y finalmente me pone que no tengo permisos. Tambien me a pasado con otros grandes; En las plataformas de Nvidia; tambien me pasa algo parecido con los modelos que recomiendan para otros modelos relacionados; unos grandes se me descargan pero los CUda Ultimos me pone que el Servidor no esta disponible y se me paran igual al Final.
Nose si en Hugging Face hace falta algun permiso para las descargas, pues en esta me pone lo mismo en los modelos del archivo principal.
-Yo para acelerar probaria este programa de Cuda, que si se siguen enlaces a otros modelos y librerias relacionadas se llega a el entre GitHub y aqui, o sino directamente en Nvidia, son lo unico parecido a eso que vi. Pero yo no entiendo mucho, solo estoy tratando de probar para intentar poder hacer funcionar algo.
Encontre en esto una opcion para Windows.
https://stackoverflow.com/questions/66726331/how-can-i-run-mozilla-tts-coqui-tts-training-with-cuda-on-a-windows-system
Aqui explican para mas sistemas.
https://github.com/coqui-ai/TTS#
Gracias si alguien sabe que sucede en las descargas con estos modelos.