請問有機會發佈 GGUF 的版本嗎?

#3
by NeroUCH - opened

如題:請問有機會發佈 GGUF 的版本嗎?

NeroUCH changed discussion status to closed
NeroUCH changed discussion status to open

回覆:目前唐鳳委員有上傳一版,測試後再分享:https://huggingface.co/audreyt/Breeze-7B-Instruct-v0.1-GGUF

MediaTek Research org

您好,

感謝您對我們模型的支持,在模型的使用上,我們模型的詞表是有擴充的,並不是mistral本來的大小,請多加流意。若您使用64k版本,也要同時注意positional embedding的模式是否正確。您可以利用我們所架設的playground來驗證輸出是否符合預期。

Splend1dchan changed discussion status to closed

Sign up or log in to comment