Update README.md
Browse files
README.md
CHANGED
@@ -41,14 +41,13 @@ def generate_response(model, tokenizer, prompt, device):
|
|
41 |
device: テンソルを転送するデバイス(例: "cuda" や "cpu")
|
42 |
|
43 |
Returns:
|
44 |
-
|
45 |
"""
|
46 |
inputs = tokenizer(prompt, return_tensors="pt") # テンソル変換
|
47 |
inputs = {key: tensor.to(device) for key, tensor in inputs.items()} # デバイスに転送
|
48 |
output = model.generate(**inputs, streamer=streamer) # TextStreamerを用いてテキスト生成を実行
|
49 |
return tokenizer.decode(output[0], skip_special_tokens=True, max_new_tokens=1024) # 生成されたトークンをデコード
|
50 |
|
51 |
-
|
52 |
device = "cuda" # 使用するデバイスを "cuda" (GPU)に設定
|
53 |
prompt = "AIについて簡潔に教えてください。" # テキスト生成用の入力プロンプトを定義
|
54 |
|
|
|
41 |
device: テンソルを転送するデバイス(例: "cuda" や "cpu")
|
42 |
|
43 |
Returns:
|
44 |
+
生成されたテキスト応答(デコード済みの文字列)
|
45 |
"""
|
46 |
inputs = tokenizer(prompt, return_tensors="pt") # テンソル変換
|
47 |
inputs = {key: tensor.to(device) for key, tensor in inputs.items()} # デバイスに転送
|
48 |
output = model.generate(**inputs, streamer=streamer) # TextStreamerを用いてテキスト生成を実行
|
49 |
return tokenizer.decode(output[0], skip_special_tokens=True, max_new_tokens=1024) # 生成されたトークンをデコード
|
50 |
|
|
|
51 |
device = "cuda" # 使用するデバイスを "cuda" (GPU)に設定
|
52 |
prompt = "AIについて簡潔に教えてください。" # テキスト生成用の入力プロンプトを定義
|
53 |
|