aixsatoshi/Mixtral-8x7B-Lora-cosmopedia-japanese20k

目的

高性能なMixtral8x7B-instructを日本語で使用するためのLoraです。

今回cosmopediaを日本語翻訳したデータ20kで学習しました。

https://huggingface.co/datasets/aixsatoshi/cosmopedia-japanese-20k

cosmopediaは、Mixtralで生成されたデータであり、Mixtralの英語機能で得られる知識、論理が凝縮されています。

このデータで学習することで、モデル本来の性能を日本語で引き出すことを目的としました。

性能

前回のcalm2生成の合成データセットでチューニングよりも実際の体感性能がよいように感じます。

https://huggingface.co/aixsatoshi/Mixtral-8x7B-ja-Lora-sft-ChatbotArenaJAcalm2

Limitation

Lora学習であり限界はあります。不自然な日本語が出現することがあります。

日本語で継続事前学習したほうが、高品質な次token予測ができるようになると思います。