[email protected] commited on
Commit
1f7412d
·
2 Parent(s): 41a0c51 5503b6a

Merge pull request #21 from Sunwood-ai-labs/update-readme-12026815920

Browse files
Files changed (1) hide show
  1. README.md +20 -29
README.md CHANGED
@@ -44,7 +44,7 @@ license: mit
44
 
45
  ## 🚀 プロジェクト概要
46
 
47
- **Llama-finetune-sandbox**は、Llamaモデルのファインチューニングを実験的に学習・検証できる環境です。様々なファインチューニング手法を試し、モデルのカスタマイズや性能評価を行うことができます。初学者から研究者まで、幅広いユーザーのニーズに対応します。バージョン0.5.0では、ドキュメントの更新とコンテキストアウェアリフレクティブQA生成システムの追加を行いました。このシステムは、Wikipediaデータから高品質なQ&Aデータセットを生成し、LLMを活用して質問と回答の品質を段階的に向上させることで、より精度の高いデータセットを作成することを可能にします。
48
 
49
 
50
  ## ✨ 主な機能
@@ -70,6 +70,21 @@ license: mit
70
  - `litellm`, `wikipedia`, `transformers`などのライブラリを使用しています。
71
  - 出力されたQ&AペアはJSON形式で保存され、Hugging Face Hubへのアップロードも容易に行えます。
72
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
73
 
74
  ## 📚 実装例
75
 
@@ -109,20 +124,12 @@ license: mit
109
  - → 詳細は [`LLMs_as_a_Judge_TOHO_V2.md`](sandbox/LLMs_as_a_Judge_TOHO_V2.md) をご参照ください。
110
  - [📒ノートブックはこちら](https://colab.research.google.com/drive/1Zjw3sOMa2v5RFD8dFfxMZ4NDGFoQOL7s?usp=sharing)
111
 
112
- ## 🛠️ 環境構築
113
 
114
- 1. リポジトリのクローン:
115
- ```bash
116
- git clone https://github.com/Sunwood-ai-labs/Llama-finetune-sandbox.git
117
- cd Llama-finetune-sandbox
118
- ```
119
 
120
- ## 📝 実験例の追加方法
 
121
 
122
- 1. `sandbox/`ディレクトリに新しい実装を追加
123
- 2. 必要な設定やユーティリティを`utils/`に追加 (存在しないため記述を削除)
124
- 3. ドキュメントとテストを更新 (存在しないため記述を削除)
125
- 4. プルリクエストを作成
126
 
127
  ## 🤝 コントリビューション
128
 
@@ -131,22 +138,6 @@ cd Llama-finetune-sandbox
131
  - ドキュメントの改善
132
  - 使用例の追加
133
 
134
- ## 📚 参考資料
135
-
136
- - [HuggingFace PEFT ドキュメント](https://huggingface.co/docs/peft)
137
- - [Llama モデルについて](https://github.com/facebookresearch/llama)
138
- - [ファインチューニングのベストプラクティス](https://github.com/Sunwood-ai-labs/Llama-finetune-sandbox/wiki) (存在しないため記述を削除)
139
-
140
  ## 📄 ライセンス
141
 
142
- このプロジェクトはMITライセンスの下で公開されています。
143
-
144
- ```
145
- ```
146
-
147
- ## v0.5.0 での更新
148
-
149
- **🆕 最新情報:**
150
-
151
- - コンテキストアウェアリフレクティブQA生成システムの実装
152
- - README.mdへの関連情報の追加
 
44
 
45
  ## 🚀 プロジェクト概要
46
 
47
+ **Llama-finetune-sandbox**は、Llamaモデルのファインチューニングを実験的に学習・検証できる環境です。様々なファインチューニング手法を試し、モデルのカスタマイズや性能評価を行うことができます。初学者から研究者まで、幅広いユーザーのニーズに対応します。バージョン0.6.0では、ドキュメントの更新とLLM評価システムの実装を行いました。このシステムは、LLMの回答品質を自動的に評価し、詳細な評価レポートを生成する機能を提供します。
48
 
49
 
50
  ## ✨ 主な機能
 
70
  - `litellm`, `wikipedia`, `transformers`などのライブラリを使用しています。
71
  - 出力されたQ&AペアはJSON形式で保存され、Hugging Face Hubへのアップロードも容易に行えます。
72
 
73
+ 5. **LLM評価システム**:
74
+ - LLMの回答品質を自動的に評価するシステムです。
75
+ - 質問、模範解答、LLMの回答を4段階で評価し、詳細な評価レポートを生成します。
76
+ - エラーハンドリング、リトライ機能、ログ機能、カスタマイズ可能な評価基準、CSVとHTML形式でのレポート生成機能を備えています。
77
+ - HuggingFace Hubへのアップロード機能も備えています。
78
+
79
+
80
+ ## 🔧 使用方法
81
+
82
+ 本リポジトリ内のノートブックを参照してください。
83
+
84
+ ## 📦 インストール手順
85
+
86
+ `requirements.txt`を参照し、必要なパッケージをインストールしてください。
87
+
88
 
89
  ## 📚 実装例
90
 
 
124
  - → 詳細は [`LLMs_as_a_Judge_TOHO_V2.md`](sandbox/LLMs_as_a_Judge_TOHO_V2.md) をご参照ください。
125
  - [📒ノートブックはこちら](https://colab.research.google.com/drive/1Zjw3sOMa2v5RFD8dFfxMZ4NDGFoQOL7s?usp=sharing)
126
 
 
127
 
128
+ ## 🆕 最新情報 (v0.6.0)
 
 
 
 
129
 
130
+ - **LLM評価システムの実装**: LLMの回答品質を自動的に評価するシステムを追加しました。質問、模範解答、LLMの回答を比較し、4段階のスケールで評価します。エラーハンドリング、リトライ機能、ログ機能、カスタマイズ可能な評価基準、CSVとHTML形式でのレポート生成機能を備えています。
131
+ - README.mdへのLLM評価システムに関する情報の追加
132
 
 
 
 
 
133
 
134
  ## 🤝 コントリビューション
135
 
 
138
  - ドキュメントの改善
139
  - 使用例の追加
140
 
 
 
 
 
 
 
141
  ## 📄 ライセンス
142
 
143
+ このプロジェクトはMITライセンスの下で公開されています。