Update README.md

README.md

@@ -11,127 +11,16 @@ language:
 - en
 ---
 
-# -*- coding: utf-8 -*-
-"""LoRA_template_unsloth_20241127.ipynb
+〇使い方
+メインの実行ファイルはfile and versionsにある
+"LoRA_template_unsloth_20241127 (3).ipynb"
+動作環境はgooglecolabを想定
 
-Automatically generated by Colab.
+〇SFT用データ
 
-Original file is located at
-    https://colab.research.google.com/drive/1dVcEdRFvOj7DO5Ch5fF372vbtfYeUlUT
 
-# 最終課題コンペ用 Fine-tuning テンプレート（unsloth）
 
-最終課題コンペにて Fine-tuning を行ないたい方に向けの Fine-tuning コードです。
-こちらは L4 を利用できない受講生の方向けにUnslothを用いたものとなっております。
-Google Colab の無料版で利用可能な T4 でも動作可能になっています。
-環境設定の難易度が高いので、慎重に取り組んでいただければと思います。
-
-
-### terminalでのconda環境構築（Omnicampusの環境などの場合）
-事前にterminalで環境構築の必要があります。Google Colabでは不要です。  
-```
-# conda環境の構築
-wget "https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-$(uname)-$(uname -m).sh"  
-
-# このコマンドではいくつか質問があるので答えて下さい。おそらくインストール先のデフォルトは/root/miniforge3かと思います  
-bash Miniforge3-$(uname)-$(uname -m).sh  
-
-# 以下、インストール先が/root/miniforge3であることを前提とします  
-export PATH=/root/miniforge3/bin:$PATH  
-conda init  
-
-# ここで一度、terminalを立ち上げ直す必要があります。  
-# 以下のリンク先に従い環境を作ります。  
-# https://docs.unsloth.ai/get-started/installation/conda-install  
-conda create --name unsloth_env python=3.10 pytorch-cuda=12.1 pytorch cudatoolkit xformers -c pytorch -c nvidia -c xformers -y  
-conda activate unsloth_env  
-pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"  
-pip install --no-deps "trl<0.9.0" peft accelerate bitsandbytes  
-
-# jupyter notebook用のセットアップ。  
-conda install -c conda-forge ipykernel  
-python -m ipykernel install --user --name=unsloth_env --display-name "Python (unsloth_env)"  
-```
-"""
-
-from google.colab import drive
-drive.mount('/content/drive')
-
-!pip install datasets
-
-# import os
-# import json
-# import pandas as pd
-
-# # ディレクトリパス
-# data_dir = "/content/drive/MyDrive/2024メタバース工学部LLM/03.教材（講義前後にUP予定）/05.最終課題/サンプルコード/Distribution20241221_all"
-
-# # ディレクトリ内のすべてのJSONファイルを取得
-# json_files = [os.path.join(data_dir, f) for f in os.listdir(data_dir) if f.endswith(".json")]
-
-# # JSONファイルを読み込み、縦に統合
-# all_data = []
-# for json_file in json_files:
-#     try:
-#         with open(json_file, 'r', encoding='utf-8') as f:
-#             data = json.load(f)  # JSONをロード
-#             if isinstance(data, list):  # JSONがリスト形式の場合
-#                 all_data.extend(data)  # リストを結合
-#             else:
-#                 all_data.append(data)  # オブジェクトの場合そのまま追加
-#     except json.JSONDecodeError as e:
-#         print(f"Error decoding JSON in file {json_file}: {e}")
-#     except Exception as e:
-#         print(f"Error reading file {json_file}: {e}")
-
-# # 統合されたデータをDataFrameに変換
-# if all_data:  # データが存在する場合のみ実行
-#     merged_data = pd.DataFrame(all_data)
-#     # 結果を保存（必要に応じて）
-#     output_path = os.path.join(data_dir, "merged_data.json")
-#     merged_data.to_json(output_path, orient="records", force_ascii=False, indent=4)
-#     print(f"統合されたデータは {output_path} に保存されました。")
-# else:
-#     print("統合するデータが見つかりませんでした。")
-
-# Google Colab の場合は上記の環境構築手順を行なわず、単にこのセルから実行していってください。
-!pip uninstall unsloth -y
-!pip install --upgrade --no-cache-dir "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
-
-# Google Colab のデフォルトで入っているパッケージをアップグレード（Moriyasu さんありがとうございます）
-!pip install --upgrade torch
-!pip install --upgrade xformers
-
-# notebookでインタラクティブな表示を可能とする（ただし、うまく動かない場合あり）
-# Google Colabでは実行不要
-!pip install ipywidgets --upgrade
-
-# Install Flash Attention 2 for softcapping support
-import torch
-#if torch.cuda.get_device_capability()[0] >= 8:
-    #!pip install --no-deps packaging ninja einops "flash-attn>=2.6.3"
-
-"""## モデルのロード
-以下のコードでモデルを読み込みます。  
-受講生の方からご指摘頂いたのですが、unslothでgemma2を読み込むと、自動でunslothが作成した��公式モデルがダウンロードされるようです。  
-対処方法がわからない受講生はLLM-jp-3のみをご利用ください！  
-"""
-
-# Hugging Face Token を指定
-# 下記の URL から Hugging Face Token を取得できますので下記の HF_TOKEN に入れてください。
-# Write権限を付与してください。
-# https://huggingface.co/settings/tokens
-HF_TOKEN = ””””
-
-# あるいは Google Colab シークレットを使う場合、左のサイドバーより🔑マークをクリック
-# HF_TOKEN という名前で Value に Hugging Face Token を入れてください。
-# ノートブックからのアクセスのトグルをオンにし、下記の二行のコードのコメントアウトを外してください。
-
-# from google.colab import userdata
-# HF_TOKEN=userdata.get('HF_TOKEN')
-
-from google.colab import output
-output.enable_custom_widget_manager()
+〇以下参考
 
 # llm-jp/llm-jp-3-13bを4bit量子化のqLoRA設定でロード。
 
@@ -167,30 +56,6 @@ model = FastLanguageModel.get_peft_model(
     max_seq_length = max_seq_length,
 )
 
-# 学習に用いるデータセットの指定
-# 今回はLLM-jp の公開している Ichikara Instruction を使います。データにアクセスするためには申請が必要ですので、使いたい方のみ申請をしてください。
-# Ichikara Instruciton を Hugging Face Hub にて公開することはお控えください。
-# また、CC-BY-NC-SAですのでモデルはライセンスを継承する前提でお使いください。
-
-# 下記のリンクから申請を終えた先に Google Drive があり、Distribution20241221_all というフォルダごとダウンロードしてください。
-# 今回は「ichikara-instruction-003-001-1.json」を使います。必要であれば展開（!unzip など）し、データセットのパスを適切に指定してください。
-# omnicampusの開発環境では取得したデータを左側にドラッグアンドドロップしてお使いください。
-# Google Colab の場合も左のサイドバーよりドラッグ&ドロップでアップデートしてください。
-
-# https://liat-aip.sakura.ne.jp/wp/llmのための日本語インストラクションデータ作成/llmのための日本語インストラクションデータ-公開/
-# 関根聡, 安藤まや, 後藤美知子, 鈴木久美, 河原大輔, 井之上直也, 乾健太郎. ichikara-instruction: LLMのための日本語インストラクションデータの構築. 言語処理学会第30回年次大会(2024)
-
-from datasets import load_dataset
-
-dataset = load_dataset("json", data_files="/content/drive/MyDrive/2024メタバース工学部LLM/03.教材（講義前後にUP予定）/05.最終課題/サンプルコード/Distribution20241221_all/ichikara-instruction-003-001-1.json")
-# パスの指定にご注意ください。アップロードしたファイルを右クリックし、「パスをコピー」をクリック、上記の data_files と合致していることをご確認ください。Omnicampus のディレクトリ構造とは異なるかもしれません。
-
-# 学習時のプロンプトフォーマットの定義
-prompt = """### 指示
-{}
-### 回答
-{}"""
-
 
 """
 formatting_prompts_func: 各データをプロンプトに合わせた形式に合わせる