Возможно, стоит почистить датасеты от "Как ИИ, ...", "Как языковая модель, ..." и "я не имею личного опыта"
Привет!
Попробовал твою модель подставить в xturing вместо llama-7b-hf, и удивлён качеством ответов, в том числе тем, как она правильно генерирует русскоязычный текст. Заметил, что при вопросах в режиме базы знаний он часто отвечает оборотами вида "Как ИИ, я не имею личного опыта, но я знаю, что ...". Эти фразы являются клишевыми и несодержательными, может имеет смысл их убрать из датасетов либо сделать их дискриминацию?
Привет. Да, ru_turbo_alpaca почищу от этого.
@disasm-me подскажи плиз, как ты подставил эту модель в xturing? Никак не получается сделать это..
@niocncn Я ушел от xturing, так как inference у меня заработал, а вот после fine-tuning модель стала выдавать белиберду.
Можно просто набросать красивый интерфейс в gradio. Я для тестов модифицировал пример (прокинул больше параметров), взятый отсюда: https://github.com/tloen/alpaca-lora/blob/630d1146c8b5a968f5bf4f02f50f153a0c9d449d/generate.py