victor-chur commited on
Commit
ae74abb
·
verified ·
1 Parent(s): f57b888

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +7 -7
app.py CHANGED
@@ -12,13 +12,13 @@ model = AutoModelForCausalLM.from_pretrained(model_name)
12
  def generate_response(prompt):
13
  inputs = tokenizer(prompt, return_tensors="pt")
14
  reply_ids = model.generate(
15
- inputs['input_ids'],
16
- max_length=100,
17
- pad_token_id=tokenizer.eos_token_id,
18
- temperature=0.7, # Управляет степенью случайности: 0.7 делает ответы более разнообразными
19
- top_p=0.9, # Накопительная вероятность: 0.9 позволяет использовать несколько вероятных вариантов
20
- do_sample=True # Включает сэмплирование для вариативности
21
- )
22
  response = tokenizer.decode(reply_ids[0], skip_special_tokens=True)
23
  return response
24
 
 
12
  def generate_response(prompt):
13
  inputs = tokenizer(prompt, return_tensors="pt")
14
  reply_ids = model.generate(
15
+ inputs['input_ids'],
16
+ max_length=100,
17
+ pad_token_id=tokenizer.eos_token_id,
18
+ temperature=0.5,
19
+ top_p=0.8,
20
+ do_sample=True
21
+ )
22
  response = tokenizer.decode(reply_ids[0], skip_special_tokens=True)
23
  return response
24