Update README.md

README.md

@@ -42,23 +42,36 @@ model, tokenizer = FastLanguageModel.from_pretrained(
 FastLanguageModel.for_inference(model)
 
 ２．上記１の推論モデルとトークナイザを使って推論したjson Linesファイルoutput.jsonlの出力方法を以下に示します。
+
 　入力ファイル：LLM_2024/最終課題/elyza-tasks-100-TV_0.jsonl
+ 
  (1) モデルに推論させる入力ファイルの読み込み
 　　コードは以下の通りです。　
+  
  datasets = []
-with open("/content/drive/MyDrive/LLM_2024/最終課題/elyza-tasks-100-TV_0.jsonl", "r") as f:
+ with open("/content/drive/MyDrive/LLM_2024/最終課題/elyza-tasks-100-TV_0.jsonl", "r") as f:
+ 
     item = ""
+    
     for line in f:
+    
       line = line.strip()
+
       item += line
+      
       if item.endswith("}"):
+      
         datasets.append(json.loads(item))
+        
         item = ""
         
  (2) 推論
  　　コードは以下の通りです。
+   
 results = []
+
 for dt in tqdm(datasets):
+
   input = dt["input"]
 
   prompt = f"""### 指示\n{input}\n### 回答\n"""
@@ -66,14 +79,21 @@ for dt in tqdm(datasets):
   inputs = tokenizer([prompt], return_tensors = "pt").to(model.device)
 
   outputs = model.generate(**inputs, max_new_tokens = 512, use_cache = True, do_sample=False, repetition_penalty=1.2)
+  
   prediction = tokenizer.decode(outputs[0], skip_special_tokens=True).split('\n### 回答')[-1]
 
   results.append({"task_id": dt["task_id"], "input": input, "output": prediction})
   
 (3) 推論結果output.jsonlの出力
+
 　　コードは以下の通りです。
+  
 with open(f"output.jsonl", 'w', encoding='utf-8') as f:
+
     for result in results:
+    
         json.dump(result, f, ensure_ascii=False)
+        
         f.write('\n')
+