請問有機會發佈 GGUF 的版本嗎?

#1
by NeroUCH - opened

如題:請問有機會發佈 GGUF 的版本嗎?

我有轉了一個Q4_K_M的版本,經過測試是可以使用的。其他量化版本我就沒轉了,有興趣可以去model搜尋下載。
https://huggingface.co/NapYang/Bailong-instruct-7B.GGUF

謝謝,我剛剛也轉了 Q5_K_M、Q6_K 和 Q8_0 的版本:
https://huggingface.co/NeroUCH/Bailong-instruct-7B-GGUF

NeroUCH changed discussion status to closed

Sign up or log in to comment