yentinglin

/

Llama-3-Taiwan-8B-Instruct

like 61

是目前用過最強的本地中文模型!
搭配GUI(text-generation-webui)在RTX4060 8G上運行良好!
接下來再去嘗試128K版本!
感謝製作團隊。

您好 想請問目前[Project TAME] Llama-3-Taiwan 哪個是最新版的?
因為看到釋出的模型都是safetensors格式
請問要怎麼寫程式去量化成GGUF檔
或是huggingface上有其他人提供呢?

不曉得您式怎麼直接使用safetensors格式的模型來跑?
謝謝