請問有機會發佈 GGUF 的版本嗎?
#1
by
NeroUCH
- opened
如題:請問有機會發佈 GGUF 的版本嗎?
我有轉了一個Q4_K_M的版本,經過測試是可以使用的。其他量化版本我就沒轉了,有興趣可以去model搜尋下載。
https://huggingface.co/NapYang/Bailong-instruct-7B.GGUF
謝謝,我剛剛也轉了 Q5_K_M、Q6_K 和 Q8_0 的版本:
https://huggingface.co/NeroUCH/Bailong-instruct-7B-GGUF
NeroUCH
changed discussion status to
closed