Tanuki-8x8B-dpo-v1.0-GGUF

概要

GENIAC 松尾研 LLM開発プロジェクトで開発されたLLMであるweblab-GENIAC/Tanuki-8x8B-dpo-v1.0のGGUF量子化モデルです。
imatrixの計算にはWikitext-JAを用いています。

注意

このGGUFモデルはtokenizerを元モデルから完全に変換出来ていない可能性があります。また、独自アーキテクチャの実装を反映するためにllama.cpp側の実装変更が必要となり、通常通り推論しようとすると性能低下が発生します。
具体的には、内部のテストでJMT-Benchにおいて全体スコア-0.5点程度、特に数学やコーディング、リーズニングの難易度が高いタスクで大きな性能低下が起こることを確認しています。また、人手評価では更に大きな性能低下が確認される可能性もあります。

そのため、他の形式の量子化モデルの利用を推奨いたします。

• AWQ 4bit量子化
• GPTQ 4bit量子化
• GPTQ 8bit量子化

本モデルを利用する際は性能が低下していることをご理解の上お使いください。

モデルに関する詳細については元モデルをご確認ください。