Spaces:
Sleeping
Sleeping
[email protected]
commited on
Merge pull request #21 from Sunwood-ai-labs/update-readme-12026815920
Browse files
README.md
CHANGED
@@ -44,7 +44,7 @@ license: mit
|
|
44 |
|
45 |
## 🚀 プロジェクト概要
|
46 |
|
47 |
-
**Llama-finetune-sandbox**は、Llamaモデルのファインチューニングを実験的に学習・検証できる環境です。様々なファインチューニング手法を試し、モデルのカスタマイズや性能評価を行うことができます。初学者から研究者まで、幅広いユーザーのニーズに対応します。バージョン0.
|
48 |
|
49 |
|
50 |
## ✨ 主な機能
|
@@ -70,6 +70,21 @@ license: mit
|
|
70 |
- `litellm`, `wikipedia`, `transformers`などのライブラリを使用しています。
|
71 |
- 出力されたQ&AペアはJSON形式で保存され、Hugging Face Hubへのアップロードも容易に行えます。
|
72 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
73 |
|
74 |
## 📚 実装例
|
75 |
|
@@ -109,20 +124,12 @@ license: mit
|
|
109 |
- → 詳細は [`LLMs_as_a_Judge_TOHO_V2.md`](sandbox/LLMs_as_a_Judge_TOHO_V2.md) をご参照ください。
|
110 |
- [📒ノートブックはこちら](https://colab.research.google.com/drive/1Zjw3sOMa2v5RFD8dFfxMZ4NDGFoQOL7s?usp=sharing)
|
111 |
|
112 |
-
## 🛠️ 環境構築
|
113 |
|
114 |
-
|
115 |
-
```bash
|
116 |
-
git clone https://github.com/Sunwood-ai-labs/Llama-finetune-sandbox.git
|
117 |
-
cd Llama-finetune-sandbox
|
118 |
-
```
|
119 |
|
120 |
-
|
|
|
121 |
|
122 |
-
1. `sandbox/`ディレクトリに新しい実装を追加
|
123 |
-
2. 必要な設定やユーティリティを`utils/`に追加 (存在しないため記述を削除)
|
124 |
-
3. ドキュメントとテストを更新 (存在しないため記述を削除)
|
125 |
-
4. プルリクエストを作成
|
126 |
|
127 |
## 🤝 コントリビューション
|
128 |
|
@@ -131,22 +138,6 @@ cd Llama-finetune-sandbox
|
|
131 |
- ドキュメントの改善
|
132 |
- 使用例の追加
|
133 |
|
134 |
-
## 📚 参考資料
|
135 |
-
|
136 |
-
- [HuggingFace PEFT ドキュメント](https://huggingface.co/docs/peft)
|
137 |
-
- [Llama モデルについて](https://github.com/facebookresearch/llama)
|
138 |
-
- [ファインチューニングのベストプラクティス](https://github.com/Sunwood-ai-labs/Llama-finetune-sandbox/wiki) (存在しないため記述を削除)
|
139 |
-
|
140 |
## 📄 ライセンス
|
141 |
|
142 |
-
このプロジェクトはMITライセンスの下で公開されています。
|
143 |
-
|
144 |
-
```
|
145 |
-
```
|
146 |
-
|
147 |
-
## v0.5.0 での更新
|
148 |
-
|
149 |
-
**🆕 最新情報:**
|
150 |
-
|
151 |
-
- コンテキストアウェアリフレクティブQA生成システムの実装
|
152 |
-
- README.mdへの関連情報の追加
|
|
|
44 |
|
45 |
## 🚀 プロジェクト概要
|
46 |
|
47 |
+
**Llama-finetune-sandbox**は、Llamaモデルのファインチューニングを実験的に学習・検証できる環境です。様々なファインチューニング手法を試し、モデルのカスタマイズや性能評価を行うことができます。初学者から研究者まで、幅広いユーザーのニーズに対応します。バージョン0.6.0では、ドキュメントの更新とLLM評価システムの実装を行いました。このシステムは、LLMの回答品質を自動的に評価し、詳細な評価レポートを生成する機能を提供します。
|
48 |
|
49 |
|
50 |
## ✨ 主な機能
|
|
|
70 |
- `litellm`, `wikipedia`, `transformers`などのライブラリを使用しています。
|
71 |
- 出力されたQ&AペアはJSON形式で保存され、Hugging Face Hubへのアップロードも容易に行えます。
|
72 |
|
73 |
+
5. **LLM評価システム**:
|
74 |
+
- LLMの回答品質を自動的に評価するシステムです。
|
75 |
+
- 質問、模範解答、LLMの回答を4段階で評価し、詳細な評価レポートを生成します。
|
76 |
+
- エラーハンドリング、リトライ機能、ログ機能、カスタマイズ可能な評価基準、CSVとHTML形式でのレポート生成機能を備えています。
|
77 |
+
- HuggingFace Hubへのアップロード機能も備えています。
|
78 |
+
|
79 |
+
|
80 |
+
## 🔧 使用方法
|
81 |
+
|
82 |
+
本リポジトリ内のノートブックを参照してください。
|
83 |
+
|
84 |
+
## 📦 インストール手順
|
85 |
+
|
86 |
+
`requirements.txt`を参照し、必要なパッケージをインストールしてください。
|
87 |
+
|
88 |
|
89 |
## 📚 実装例
|
90 |
|
|
|
124 |
- → 詳細は [`LLMs_as_a_Judge_TOHO_V2.md`](sandbox/LLMs_as_a_Judge_TOHO_V2.md) をご参照ください。
|
125 |
- [📒ノートブックはこちら](https://colab.research.google.com/drive/1Zjw3sOMa2v5RFD8dFfxMZ4NDGFoQOL7s?usp=sharing)
|
126 |
|
|
|
127 |
|
128 |
+
## 🆕 最新情報 (v0.6.0)
|
|
|
|
|
|
|
|
|
129 |
|
130 |
+
- **LLM評価システムの実装**: LLMの回答品質を自動的に評価するシステムを追加しました。質問、模範解答、LLMの回答を比較し、4段階のスケールで評価します。エラーハンドリング、リトライ機能、ログ機能、カスタマイズ可能な評価基準、CSVとHTML形式でのレポート生成機能を備えています。
|
131 |
+
- README.mdへのLLM評価システムに関する情報の追加
|
132 |
|
|
|
|
|
|
|
|
|
133 |
|
134 |
## 🤝 コントリビューション
|
135 |
|
|
|
138 |
- ドキュメントの改善
|
139 |
- 使用例の追加
|
140 |
|
|
|
|
|
|
|
|
|
|
|
|
|
141 |
## 📄 ライセンス
|
142 |
|
143 |
+
このプロジェクトはMITライセンスの下で公開されています。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|