k_quants
#1
by
guinmoon
- opened
Привет. Ты не мог бы сделать q2_K, q3_K модели? Я смог запустить ORCA 7B q3_K на iphone, хотелось бы попробовать запустить сайгу.
Переквантовал q8_0, не знал что так можно.
guinmoon
changed discussion status to
closed
????