Update app.py

app.py

@@ -25,10 +25,10 @@ def predict_gpt(text, model, tokenizer, temperature=1.0):
     with torch.no_grad():
         out = model.generate(input_ids, 
                             do_sample=True,
-                            num_beams=3,
+                            num_beams=4,
                             temperature= temperature,
                             top_p=0.75,
-                            max_length=1024,
+                            max_length=512,
                             eos_token_id = tokenizer.eos_token_id,
                             pad_token_id = tokenizer.pad_token_id,
                             repetition_penalty = 2.5,
@@ -48,7 +48,7 @@ def predict_t5(text, model, tokenizer, temperature=1.2):
                         num_beams=4,
                         temperature=temperature,
                         top_p=0.35,
-                        max_length=1024,
+                        max_length=512,
                         length_penalty = 5.5,
                         output_attentions = True,
                         return_dict_in_generate=True,
@@ -59,11 +59,11 @@ def predict_t5(text, model, tokenizer, temperature=1.2):
     generated_text = list(map(decode, out['sequences']))[0]
     return 'Описание '+generated_text
 
-def generate(model,text):
+def generate(model,temp,text):
     if model == 'GPT':
-                result = predict_gpt(text, gpt_model, gpt_tokenizer)
+                result = predict_gpt(text, gpt_model, gpt_tokenizer,temp)
     elif model == 'T5':
-                result = predict_t5(text, t5_model, t5_tokenizer)
+                result = predict_t5(text, t5_model, t5_tokenizer,temp)
     return result
          
 
@@ -71,11 +71,12 @@ gpt_model, gpt_tokenizer = get_model_gpt('mipatov/rugpt3_nb_descr', 'mipatov/rug
 t5_model, t5_tokenizer = get_model_t5('mipatov/rut5_nb_descr', 'mipatov/rut5_nb_descr')
 
 
-example = '  Название : Super_NB 2001 Gaming;\n Диагональ экрана : 21 " ;\n Разрешение экрана : 1337x228 ;\n Поверхность экрана : матовая ;\n Тип матрицы : nfc ;\n Процессор : CMD processor 7 ядер 16.16 ГГц (46.0 ГГц, в режиме Turbo) ;\n Оперативная память : 28 Гб DDR5 ;\n Тип видеокарты : интегрированный ;\n Видеокарта : qwerty-grafics ;\n SSD : 720 Гб ;\n Wi-Fi : ДА, 802.11 a/b/g/n/ac ;\n Bluetooth : ДА, v5.0 ;\n Кабельная сеть : 10/100/1000 (Gigabit Ethernet) Мбит/с ;\n USB 2.0 : 13 ;\n USB 3.0 : 22 ;\n HDMI : 11 ;\n Операционная система : CMD-shell ;\n Веб-камера : встроенная ;\n Микрофон : есть ;\n Разъем наушники/микрофон : комбинированный разъем ;\n Акустическая система : стереодинамики ;\n Цвет клавиатуры : черный ;\n Цифровой блок клавиатуры : есть ;\n Подсветка клавиш клавиатуры : есть ;\n Тип батареи : Al-Ion ;\n Количество ячеек батареи : 36 cell ;\n Энергоемкость батареи : 176 Wh ;\n Цвет : черный ;\n Размеры : 1.23 х  456 х  78.9 мм ;\n Вес : 19 кг ;\n Гарантия : 322 мес. ;\n Материал корпуса : пластик ;\n Время работы от батареи : 82ч ;\n Кард-ридер : есть WA SD ;'
+example = '  Название : Super_NB 2001 Gaming;\n Диагональ экрана : 21 " ;\n Разрешение экрана : 1337x228 ;\n Поверхность экрана : матовая ;\n Тип матрицы : nfc ;\n Процессор : CMD processor 7 ядер 16.16 ГГц (46.0 ГГц, в режиме Turbo) ;\n Оперативная память : 28 Гб DDR5 ;\n Тип видеокарты : интегрированный ;\n Видеокарта : qwerty-grafics ;\n SSD : 720 Гб ;\n USB 2.0 : 13 ;\n USB 3.0 : 22 ;\n HDMI : 11 ;\n Операционная система : CMD-shell ;\n Тип батареи : Li-Ion ;\n Количество ячеек батареи : 36 cell ;\n Энергоемкость батареи : 176 Wh ;\n Цвет : черный ;\n Размеры : 1.23 х  456 х  78.9 мм ;\n Вес : 19 кг ;\n Гарантия : 322 мес. ;\n Материал корпуса : пластик ;\n Время работы от батареи : 82ч ;\n Кард-ридер : есть WA SD ;'
 demo = gr.Interface(
     fn=generate,
     inputs=[
         gr.components.Dropdown(label="Модель", choices=('GPT', 'T5')),
+        gr.components.Slider(label="Температура",minimum = 0.9,maximum = 3.0,step = 0.1)
         gr.components.Textbox(label="Характеристики",value = example),
     ],
     outputs=[