Merge feature/readme-update

README.md

@@ -44,7 +44,7 @@ license: mit
 
 ## 🚀 プロジェクト概要
 
-**Llama-finetune-sandbox**は、Llamaモデルのファインチューニングを実験的に学習・検証できる環境です。様々なファインチューニング手法を試し、モデルのカスタマイズや性能評価を行うことができます。初学者から研究者まで、幅広いユーザーのニーズに対応します。バージョン0.3.0では、ドキュメントの改善と英語READMEの更新を行いました。
+**Llama-finetune-sandbox**は、Llamaモデルのファインチューニングを実験的に学習・検証できる環境です。様々なファインチューニング手法を試し、モデルのカスタマイズや性能評価を行うことができます。初学者から研究者まで、幅広いユーザーのニーズに対応します。バージョン0.5.0では、ドキュメントの更新とコンテキストアウェアリフレクティブQA生成システムの追加を行いました。このシステムは、Wikipediaデータから高品質なQ&Aデータセットを生成し、LLMを活用して質問と回答の品質を段階的に向上させることで、より精度の高いデータセットを作成することを可能にします。
 
 
 ## ✨ 主な機能
@@ -59,10 +59,18 @@ license: mit
    - 複数のアテンションメカニズム
 
 3. **実験環境の整備**:
-   - 性能評価ツール (v0.3.0で追加、その後削除されました)
    - メモリ使用量の最適化
    - 実験結果の可視化
 
+4. **コンテキストアウェアリフレクティブQA生成システム**:
+    - Wikipediaデータから高品質なQ&Aデータセットを生成します。
+    - LLMを活用し、文脈を考慮した質問と回答の生成、品質評価、段階的な改善を自動で行います。
+    - 事実性、質問の質、回答の完全性を数値化して評価し、段階的に改善を行うリフレクティブなアプローチを採用しています。
+    - 環境構築、モデル選択、データ前処理、Q&Aペア生成、品質評価、改善プロセスを網羅したコードと解説を提供しています。
+    - `litellm`, `wikipedia`, `transformers`などのライブラリを使用しています。
+    - 出力されたQ&AペアはJSON形式で保存され、Hugging Face Hubへのアップロードも容易に行えます。
+
+
 ## 📚 実装例
 
 本リポジトリには以下の実装例が含まれています：
@@ -78,15 +86,6 @@ license: mit
  - → 詳細は [`efficient-ollama-colab-setup-with-litellm-guide.md`](sandbox/efficient-ollama-colab-setup-with-litellm-guide.md) をご参照ください。
  - [📒ノートブックはこちら](https://colab.research.google.com/drive/1buTPds1Go1NbZOLlpG94VG22GyK-F4GW?usp=sharing)
 
-### LLM評価システム (LLMs as a Judge)
- - LLMの回答品質を自動的に評価するシステムの実装 (v0.3.0で追加、その後削除されました)
- - LLMを評価者として活用し、他のLLMの回答を評価（LLMs as a Judge手法）
- - 4段階評価スケールによる定量的な品質評価とフィードバック生成
- - → 詳細は [`llm-evaluator-notebook.md`](sandbox/llm-evaluator-notebook.md) をご参照ください。
- - GeminiとLiteLLMを使用した効率的な評価システム
- - [📒ノートブックはこちら](https://colab.research.google.com/drive/1haO44IeseQ3OL92HlsINAgBI_yA1fxcJ?usp=sharing)
-
-
 ### WikipediaデータからのQ&Aデータセット生成（センテンスプールQA方式）
 - センテンスプールQA方式による高品質Q&Aデータセット生成
   - → 句点区切りの文をプールして文脈を保持しながらQ&Aペアを生成する新しいデータセット作成手法
@@ -108,7 +107,7 @@ license: mit
   - → エラーハンドリングとリトライ機能による堅牢な設計
   - → CSV、HTML形式での詳細な評価レポート生成
   - → 詳細は [`LLMs_as_a_Judge_TOHO_V2.md`](sandbox/LLMs_as_a_Judge_TOHO_V2.md) をご参照ください。
-- [📒ノートブックはこちら](https://colab.research.google.com/drive/1Zjw3sOMa2v5RFD8dFfxMZ4NDGFoQOL7s?usp=sharing
+- [📒ノートブックはこちら](https://colab.research.google.com/drive/1Zjw3sOMa2v5RFD8dFfxMZ4NDGFoQOL7s?usp=sharing)
 
 ## 🛠️ 環境構築
 
@@ -120,9 +119,9 @@ cd Llama-finetune-sandbox
 
 ## 📝 実験例の追加方法
 
-1. `examples/`ディレクトリに新しい実装を追加
-2. 必要な設定やユーティリティを`utils/`に追加
-3. ドキュメントとテストを更新
+1. `sandbox/`ディレクトリに新しい実装を追加
+2. 必要な設定やユーティリティを`utils/`に追加 (存在しないため記述を削除)
+3. ドキュメントとテストを更新 (存在しないため記述を削除)
 4. プルリクエストを作成
 
 ## 🤝 コントリビューション
@@ -136,10 +135,18 @@ cd Llama-finetune-sandbox
 
 - [HuggingFace PEFT ドキュメント](https://huggingface.co/docs/peft)
 - [Llama モデルについて](https://github.com/facebookresearch/llama)
-- [ファインチューニングのベストプラクティス](https://github.com/Sunwood-ai-labs/Llama-finetune-sandbox/wiki)
+- [ファインチューニングのベストプラクティス](https://github.com/Sunwood-ai-labs/Llama-finetune-sandbox/wiki) (存在しないため記述を削除)
 
 ## 📄 ライセンス
 
 このプロジェクトはMITライセンスの下で公開されています。
 
 ```
+```
+
+## v0.5.0 での更新
+
+**🆕 最新情報:**
+
+- コンテキストアウェアリフレクティブQA生成システムの実装
+- README.mdへの関連情報の追加

docs/README.en.md

@@ -31,7 +31,7 @@ license: mit
 </p>
 
 <h2 align="center">
-  ～ Experimental Environment for Fine-tuning Llama Models ～
+  Llama Model Fine-tuning Experimental Environment
 </h2>
 
 <p align="center">
@@ -44,64 +44,64 @@ license: mit
 
 ## 🚀 Project Overview
 
-**Llama-finetune-sandbox** provides an experimental environment for learning and verifying the fine-tuning of Llama models.  You can try various fine-tuning methods, customize models, and evaluate their performance.  It caters to a wide range of users, from beginners to researchers. Version 0.3.0 includes improved documentation and an updated English README.
+**Llama-finetune-sandbox** provides an experimental environment for learning and verifying Llama model fine-tuning.  You can try various fine-tuning methods, customize models, and evaluate performance.  It caters to a wide range of users, from beginners to researchers. Version 0.5.0 includes updated documentation and the addition of a context-aware reflexive QA generation system. This system generates high-quality Q&A datasets from Wikipedia data, iteratively improving the quality of questions and answers using LLMs to create a more accurate dataset.
 
 
 ## ✨ Key Features
 
-1. **Diverse Fine-tuning Methods**:
+1. **Diverse Fine-tuning Methods:**
    - LoRA (Low-Rank Adaptation)
    - QLoRA (Quantized LoRA)
 
-2. **Flexible Model Settings**:
+2. **Flexible Model Configuration:**
    - Customizable maximum sequence length
    - Various quantization options
    - Multiple attention mechanisms
 
-3. **Experimental Environment Setup**:
-   - Performance evaluation tools (added in v0.3.0, subsequently removed)
+3. **Experimental Environment Setup:**
    - Memory usage optimization
    - Visualization of experimental results
 
+4. **Context-Aware Reflexive QA Generation System:**
+    - Generates high-quality Q&A datasets from Wikipedia data.
+    - Uses LLMs to automatically generate context-aware questions and answers, evaluate quality, and iteratively improve them.
+    - Employs a reflexive approach that quantifies factuality, question quality, and answer completeness to enable iterative improvement.
+    - Provides comprehensive code and explanations covering environment setup, model selection, data preprocessing, Q&A pair generation, quality evaluation, and the improvement process.
+    - Uses libraries such as `litellm`, `wikipedia`, and `transformers`.
+    - Generated Q&A pairs are saved in JSON format and can be easily uploaded to the Hugging Face Hub.
+
+
 ## 📚 Examples
 
 This repository includes the following examples:
 
 ### Fast Fine-tuning using Unsloth
- - Implementation of fast fine-tuning for Llama-3.2-1B/3B models
+ - Implementation of fast fine-tuning for Llama-3.2-1B/3B models.
    - → See [`Llama_3_2_1B+3B_Conversational_+_2x_faster_finetuning_JP.md`](sandbox/Llama_3_2_1B+3B_Conversational_+_2x_faster_finetuning_JP.md) for details.
    - → [Use this to convert from markdown to notebook format](https://huggingface.co/spaces/MakiAi/JupytextWebUI)
  - [📒Notebook here](https://colab.research.google.com/drive/1AjtWF2vOEwzIoCMmlQfSTYCVgy4Y78Wi?usp=sharing)
 
 ### Efficient Model Deployment using Ollama and LiteLLM
- - Setup and usage guide on Google Colab
+ - Setup and usage guide on Google Colab.
  - → See [`efficient-ollama-colab-setup-with-litellm-guide.md`](sandbox/efficient-ollama-colab-setup-with-litellm-guide.md) for details.
  - [📒Notebook here](https://colab.research.google.com/drive/1buTPds1Go1NbZOLlpG94VG22GyK-F4GW?usp=sharing)
 
-### LLM Evaluation System (LLMs as a Judge)
- - Implementation of a system for automatically evaluating the quality of LLM responses (added in v0.3.0, subsequently removed)
- - Utilizing LLMs as evaluators to assess the responses of other LLMs (LLMs as a Judge method)
- - Quantitative quality assessment and feedback generation using a 4-level rating scale
- - → See [`llm-evaluator-notebook.md`](sandbox/llm-evaluator-notebook.md) for details.
- - Efficient evaluation system using Gemini and LiteLLM
- - [📒Notebook here](https://colab.research.google.com/drive/1haO44IeseQ3OL92HlsINAgBI_yA1fxcJ?usp=sharing)
-
-
-### Wikipedia Data-based Q&A Dataset Generation (Sentence Pool QA Method)
-- High-quality Q&A dataset generation using the Sentence Pool QA method
-  - → A new dataset creation method that generates Q&A pairs while maintaining context by pooling sentences separated by punctuation marks.
-  - → Chunk size is flexibly adjustable (default 200 characters) to generate Q&A pairs with optimal context range depending on the application.
+### Q&A Dataset Generation from Wikipedia Data (Sentence Pool QA Method)
+- High-quality Q&A dataset generation using the sentence pool QA method.
+  - → A new dataset creation method that generates Q&A pairs while preserving context by pooling sentences delimited by periods.
+  - → Chunk size is flexibly adjustable (default 200 characters), allowing generation of Q&A pairs with optimal context ranges for various applications.
   - → See [`wikipedia-qa-dataset-generator.md`](sandbox/wikipedia-qa-dataset-generator.md) for details.
 - [📒Notebook here](https://colab.research.google.com/drive/1mmK5vxUzjk3lI6OnEPrQqyjSzqsEoXpk?usp=sharing)
 
 ### Context-Aware Reflexive QA Generation System
-- Q&A dataset generation with reflexive quality improvement
+- Q&A dataset generation with reflexive quality improvement.
   - → A new method that automatically evaluates the quality of generated Q&A pairs and iteratively improves them.
-  - → Quantifies and evaluates factuality, question quality, and answer completeness.
-  - → High-precision question generation and answer consistency check using contextual information.
+  - → Quantifies factuality, question quality, and answer completeness for evaluation.
+  - → Uses contextual information for high-precision question generation and answer consistency checks.
   - → See [`context_aware_Reflexive_qa_generator_V2.md`](sandbox/context_aware_Reflexive_qa_generator_V2.md) for details.
 - [📒Notebook here](https://colab.research.google.com/drive/1OYdgAuXHbl-0LUJgkLl_VqknaAEmAm0S?usp=sharing)
 
+
 ## 🛠️ Setup
 
 1. Clone the repository:
@@ -112,25 +112,33 @@ cd Llama-finetune-sandbox
 
 ## 📝 Adding Examples
 
-1. Add new implementations to the `examples/` directory.
-2. Add necessary settings and utilities to `utils/`.
-3. Update documentation and tests.
+1. Add new implementations to the `sandbox/` directory.
+2. Add necessary configurations and utilities to `utils/` (Removed as this directory didn't exist in the original).
+3. Update documentation and tests (Removed as this section didn't exist in the original).
 4. Create a pull request.
 
+
 ## 🤝 Contributions
 
 - Implementation of new fine-tuning methods
 - Bug fixes and feature improvements
 - Documentation improvements
-- Adding examples
+- Addition of usage examples
 
 ## 📚 References
 
 - [HuggingFace PEFT Documentation](https://huggingface.co/docs/peft)
-- [About Llama Models](https://github.com/facebookresearch/llama)
-- [Fine-tuning Best Practices](https://github.com/Sunwood-ai-labs/Llama-finetune-sandbox/wiki)
+- [About Llama models](https://github.com/facebookresearch/llama)
+- [Fine-tuning best practices](https://github.com/Sunwood-ai-labs/Llama-finetune-sandbox/wiki) (Removed as this wiki page didn't exist in the original).
 
 ## 📄 License
 
 This project is licensed under the MIT License.
-```
+
+
+## v0.5.0 Updates
+
+**🆕 What's New:**
+
+- Implementation of the context-aware reflexive QA generation system.
+- Addition of relevant information to README.md.