ArekuNoimar commited on
Commit
573bbe0
·
verified ·
1 Parent(s): 90d5128

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +1 -2
README.md CHANGED
@@ -41,14 +41,13 @@ def generate_response(model, tokenizer, prompt, device):
41
  device: テンソルを転送するデバイス(例: "cuda" や "cpu")
42
 
43
  Returns:
44
- 生成されたテキスト応答(特殊トークンを除外してデコード済みの文字列)
45
  """
46
  inputs = tokenizer(prompt, return_tensors="pt") # テンソル変換
47
  inputs = {key: tensor.to(device) for key, tensor in inputs.items()} # デバイスに転送
48
  output = model.generate(**inputs, streamer=streamer) # TextStreamerを用いてテキスト生成を実行
49
  return tokenizer.decode(output[0], skip_special_tokens=True, max_new_tokens=1024) # 生成されたトークンをデコード
50
 
51
-
52
  device = "cuda" # 使用するデバイスを "cuda" (GPU)に設定
53
  prompt = "AIについて簡潔に教えてください。" # テキスト生成用の入力プロンプトを定義
54
 
 
41
  device: テンソルを転送するデバイス(例: "cuda" や "cpu")
42
 
43
  Returns:
44
+ 生成されたテキスト応答(デコード済みの文字列)
45
  """
46
  inputs = tokenizer(prompt, return_tensors="pt") # テンソル変換
47
  inputs = {key: tensor.to(device) for key, tensor in inputs.items()} # デバイスに転送
48
  output = model.generate(**inputs, streamer=streamer) # TextStreamerを用いてテキスト生成を実行
49
  return tokenizer.decode(output[0], skip_special_tokens=True, max_new_tokens=1024) # 生成されたトークンをデコード
50
 
 
51
  device = "cuda" # 使用するデバイスを "cuda" (GPU)に設定
52
  prompt = "AIについて簡潔に教えてください。" # テキスト生成用の入力プロンプトを定義
53