issai

/

LLama-3.1-KazLLM-1.0-70B

like 6

Follow

Institute of Smart Systems and Artificial Intelligence, Nazarbayev University 61

можете найти квантизированные модели на 8b тут: https://huggingface.co/collections/issai/issai-kazllm-10-6732d58c81bcaf177442c362

Хотел протестит. Но размер большой. Будет ли версия квантованные на 8 бит?

8бит мы можем сделать с помощью bnb и загрузить, но рекомендуем использовать 4bit, уже квантизированные модели или gguf версию.