Added testing data for Gemini 2.0 Flash and Claude 3.7 Sonnet

app.py

@@ -14,6 +14,7 @@ if os.getenv("ENV_TYPE") == "dev":
     MODELS["Test"] = "test"
     MODELS_PATH["Test"] = "test"
     BOOKS["Test"] = "test.json"
+    MODEL_NAME_TO_CHOICE["test"] = "Test"
 
 questions_data = []
 current_question_index = 0

constants.py

@@ -1,19 +1,25 @@
 MODELS = {
     "GPT-4o": "gpt-4o",
     "Gemini 1.5 Pro": "gemini-1.5-pro",
+    "Gemini 2.0 Flash": "gemini-2.0-flash",
     "Claude 3.5 Sonnet": "claude-3-5-sonnet-20241022",
+    "Claude 3.7 Sonnet": "claude-3-7-sonnet-latest",
 }
 
 MODEL_NAME_TO_CHOICE = {
     "gpt-4o": "GPT-4o",
     "gemini-1.5-pro": "Gemini 1.5 Pro",
+    "gemini-2.0-flash": "Gemini 2.0 Flash",
     "claude-3-5-sonnet-20241022": "Claude 3.5 Sonnet",
+    "claude-3-7-sonnet-latest": "Claude 3.7 Sonnet",
 }
 
 MODELS_PATH = {
     "GPT-4o": "gpt_4o",
     "Gemini 1.5 Pro": "gemini_1_5_pro",
+    "Gemini 2.0 Flash": "gemini_2_0_flash",
     "Claude 3.5 Sonnet": "claude_3_5_sonnet",
+    "Claude 3.7 Sonnet": "claude_3_7_sonnet",
 }
 
 BOOKS = {

questions/claude_3_7_sonnet/zahar-berkut.json

@@ -0,0 +1,222 @@
+[
+    {
+        "question": "Що сталося зі святим каменем у сні Захара Беркута?",
+        "textPart": "земля здригається — і разом, звільна перехиляючись, святий камінь рушається з місця та зі страшенним лускотом валиться на нього.",
+        "answers": [
+            {
+                "answer": "Він засяяв яскравим світлом",
+                "isCorrect": false
+            },
+            {
+                "answer": "Він перетворився на живу істоту",
+                "isCorrect": false
+            },
+            {
+                "answer": "Він рушив з місця і впав на Захара",
+                "isCorrect": true
+            },
+            {
+                "answer": "Він розколовся на дрібні шматки",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Яке рішення переважало серед тухольської громади щодо захисту від монголів?",
+        "textPart": "Одна думка переважала всі інші: вийти громадою перед тіснину й боронитися від монголів до остатньої краплі крові. Особливо молодіж наставала на те.",
+        "answers": [
+            {
+                "answer": "Здатися монголам і просити пощади",
+                "isCorrect": false
+            },
+            {
+                "answer": "Втекти з села в гори",
+                "isCorrect": false
+            },
+            {
+                "answer": "Вийти перед тіснину і боронитися до останньої краплі крові",
+                "isCorrect": true
+            },
+            {
+                "answer": "Відправити послів для переговорів з ворогом",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Які дві несподівані події змінили настрій і рішення тухольської громади?",
+        "textPart": "Бачачи всю основність тих закидів, Захар Беркут, хоч із болем серця, готов був покинути свою молодечогарячу думку, коли, утім, дві несподівані події значно піднесли настрій тухольської громади й змінили цілу її постанову. Долі селом вулицею надійшли одна за другою при звуках труб і дерев'яних трембіт аж три громади озброєної молодіжі. [...] Ще не стихла радість із приходу тих пожаданих помічників, ще громада не мала часу приступити до дальшої наради, коли, утім, з противного боку, з лісової прогалини, що була над тухольською тісниною, показався новий і зовсім уже несподіваний гість.",
+        "answers": [
+            {
+                "answer": "Прихід трьох громад озброєної молоді та поява невідомого вершника",
+                "isCorrect": true
+            },
+            {
+                "answer": "Напад монголів та загибель Захара Беркута",
+                "isCorrect": false
+            },
+            {
+                "answer": "Зміна погоди та прихід ночі",
+                "isCorrect": false
+            },
+            {
+                "answer": "Відступ монголів та повернення полонених",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Яку новину Мирослава принесла Захару Беркуту про його сина?",
+        "textPart": "— Не лякайся, батьку, тої вісти, котру скажу тобі. Твій син у монгольській неволі.",
+        "answers": [
+            {
+                "answer": "Його син загинув у бою",
+                "isCorrect": false
+            },
+            {
+                "answer": "Його син у монгольській неволі",
+                "isCorrect": true
+            },
+            {
+                "answer": "Його син переміг монголів",
+                "isCorrect": false
+            },
+            {
+                "answer": "Його син утік від монголів",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Чому Мирослава не вважає Тугара Вовка своїм батьком?",
+        "textPart": "Ні, Тугар Вовк живий, але Тугар Вовк перестав бути моїм батьком, відколи... зрадив... свій край і пристав... у службу монголів.",
+        "answers": [
+            {
+                "answer": "Бо він помер.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Бо він зрадив свій край і пристав у службу монголів.",
+                "isCorrect": true
+            },
+            {
+                "answer": "Бо він відмовився від неї.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Бо він покинув її в дитинстві.",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Як поводилися монголи, коли увійшли в село?",
+        "textPart": "З лютим криком кидалися монголи від хати до хати, вивалюючи двері, руйнуючи плоти й ворота, розбиваючи діжки та плетінки, розвалюючи печі. Але вся їхня лютість була даремна — у селі ніхто не показувався.",
+        "answers": [
+            {
+                "answer": "Спокійно розташувалися на відпочинок",
+                "isCorrect": false
+            },
+            {
+                "answer": "Почали шукати їжу та воду",
+                "isCorrect": false
+            },
+            {
+                "answer": "З люттю руйнували хати та майно",
+                "isCorrect": true
+            },
+            {
+                "answer": "Відразу покинули село, побачивши, що воно порожнє",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Як тухольці перемогли монголів, що піднімалися на гору?",
+        "textPart": "Аж коли передні покажуться до половини на горі, тоді разом на них! [...] у тій хвилі зі страшним криком зриваються тухольці, і ратища їхні разом глибоко тонуть у грудях напасників.",
+        "answers": [
+            {
+                "answer": "Обстріляли їх стрілами",
+                "isCorrect": false
+            },
+            {
+                "answer": "Скинули на них каміння",
+                "isCorrect": false
+            },
+            {
+                "answer": "Напали на них із ратищами, коли ті піднялися наполовину",
+                "isCorrect": true
+            },
+            {
+                "answer": "Підпалили ліс навколо них",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Як виглядав Максим, коли його привели до Тугара Вовка?",
+        "textPart": "Аж злякався Тугар Вовк, побачивши ненависного собі парубка в такім страшнім та оплаканім стані. Свіжопромите лице було блідебліде, аж зе-лене, губи потріскались із жари та спраги, очі були червоні від диму й",
+        "answers": [
+            {
+                "answer": "Його обличчя було бліде, губи потріскались, очі червоні від диму",
+                "isCorrect": true
+            },
+            {
+                "answer": "Він був у бойовому обладунку і готовий до бою",
+                "isCorrect": false
+            },
+            {
+                "answer": "Він був непритомний і весь у крові",
+                "isCorrect": false
+            },
+            {
+                "answer": "Він виглядав здоровим і сильним",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Як змінилося ставлення боярина Тугара Вовка до Максима протягом уривку?",
+        "textPart": "Тугар Вовк чув, що гнів його до Максима якось пригасає, мов пожежа, якій не стало вже дров. Він і вперед уже, зараз по взятті Максима до неволі, старався піддобритися до нього, не зі співчуття, а з хитрості, але Максим не хотів ані слова говорити до нього.",
+        "answers": [
+            {
+                "answer": "Його ненависть до Максима посилилася",
+                "isCorrect": false
+            },
+            {
+                "answer": "Його гнів до Максима почав пригасати",
+                "isCorrect": true
+            },
+            {
+                "answer": "Він завжди ставився до Максима з повагою",
+                "isCorrect": false
+            },
+            {
+                "answer": "Він вирішив негайно стратити Максима",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Яке ставлення Максима до можливості, що тухольці обміняють його на вільний прохід для ворогів?",
+        "textPart": "Дарма твоя робота, боярине! Тухольці не пристануть на таку заміну.",
+        "answers": [
+            {
+                "answer": "Він вважає, що тухольці погодяться на таку заміну",
+                "isCorrect": false
+            },
+            {
+                "answer": "Він боїться, що тухольці погодяться на таку заміну",
+                "isCorrect": false
+            },
+            {
+                "answer": "Він впевнений, що тухольці не погодяться на таку заміну",
+                "isCorrect": true
+            },
+            {
+                "answer": "Він сподівається, що тухольці запропонують кращі умови",
+                "isCorrect": false
+            }
+        ]
+    }
+]

questions/gemini_2_0_flash/zahar-berkut.json

@@ -0,0 +1,222 @@
+[
+    {
+        "question": "Хто був найстаршим і наймудрішим чоловіком, який очолював трудову громаду в селі Тухлі?",
+        "textPart": "Тухольці об’єдналися в трудову громаду, на чолі якої стояв Захар Беркут — найстаріший і наймудріший чоловік.",
+        "answers": [
+            {
+                "answer": "Захар Беркут",
+                "isCorrect": true
+            },
+            {
+                "answer": "Тугар Вовк",
+                "isCorrect": false
+            },
+            {
+                "answer": "Максим",
+                "isCorrect": false
+            },
+            {
+                "answer": "Мирослава",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Що зробив старий Захар, коли почув страшну вість про бійку коло боярського дому?",
+        "textPart": "Почувши її, затремтів старий Захар, і гірка сльоза покотилася по його старім лиці.",
+        "answers": [
+            {
+                "answer": "Затремтів і гірка сльоза покотилася по його лиці.",
+                "isCorrect": true
+            },
+            {
+                "answer": "Почав голосно кричати на людей.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Зрадів, що так сталося.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Пішов спати.",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Що принесло надію тухольській громаді?",
+        "textPart": "Долі селом вулицею надійшли одна за другою при звуках труб і дерев’яних трембіт аж три громади озброєної молодіжі.",
+        "answers": [
+            {
+                "answer": "Прихід трьох громад озброєної молодіжі.",
+                "isCorrect": true
+            },
+            {
+                "answer": "Приїзд Захара Беркута",
+                "isCorrect": false
+            },
+            {
+                "answer": "Знахідка скарбу",
+                "isCorrect": false
+            },
+            {
+                "answer": "Поява дивного звіра.",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Коли Мирослава приїхала до тухольської громади, що вона їм сказала про монголів?",
+        "textPart": "Я спішила звістити вас, що монголи надходять, перед вечором будуть тут, то щоб ви приготовилися, як їх прийняти.",
+        "answers": [
+            {
+                "answer": "Що монголи надходять і будуть тут перед вечором.",
+                "isCorrect": true
+            },
+            {
+                "answer": "Що Захар Беркут хоче їх бачити.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Що син Захара Беркута втік.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Що боярин послав її попередити їх.",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Чому Мирослава більше не вважає Тугара Вовка своїм батьком?",
+        "textPart": "Ні, Тугар Вовк живий, але Тугар Вовк перестав бути моїм батьком, відколи... зрадив... свій край і пристав... у службу монголів.",
+        "answers": [
+            {
+                "answer": "Бо він зрадив свій край і пристав у службу монголів.",
+                "isCorrect": true
+            },
+            {
+                "answer": "Бо він помер у бою з монголами.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Бо він не любив Мирославу.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Бо він хотів віддати її заміж за монгола.",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Хто їхав на бі��ому коні перед монгольським військом?",
+        "textPart": "Передом, дорогою, їхав на білім коні страшний велетень, Бурундабегадир, а обік нього другий, менший їздець — Тугар Вовк.",
+        "answers": [
+            {
+                "answer": "Страшний велетень Бурунда-бегадир.",
+                "isCorrect": true
+            },
+            {
+                "answer": "Тугар Вовк",
+                "isCorrect": false
+            },
+            {
+                "answer": "Захар Беркут",
+                "isCorrect": false
+            },
+            {
+                "answer": "Один із тухольських хлопчиків.",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Що Мирослава порадила тухольцям, коли на них напали?",
+        "textPart": "— Не бійтеся, — сказала вона тухольцям, — живо ми поворожимо їм! Нехай собі стріляють, а ви ратища1 в руки й плазом додолу!",
+        "answers": [
+            {
+                "answer": "Взяти ратища в руки й лягти плазом додолу.",
+                "isCorrect": true
+            },
+            {
+                "answer": "Тікати в гори.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Сховатися в печері.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Стріляти з луків.",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Чому Бурунда-бегадир назвав Тугара Вовка \"подвійним зрадником\"?",
+        "textPart": "Псе блідолиций! — кричав він, скрегочучи зубами. — Подвійний зраднику — се твоя вина! Ти запровадив нас у сю западню, відки ми вийти не можемо!",
+        "answers": [
+            {
+                "answer": "Бо вважав, що Тугар Вовк заманив їх у западню.",
+                "isCorrect": true
+            },
+            {
+                "answer": "Бо Тугар Вовк не хотів ділитися з ним здобиччю.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Бо Тугар Вовк був другом тухольців.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Бо Тугар Вовк вкрав у нього шаблю.",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Які слова Максима показали боярину, що він дуже любить свободу?",
+        "textPart": "Правда, боярин давав йому такі ради, котрих Максим не міг послухати. Він радив йому перейти на службу до монголів, вести їх через гори й обіцював за те велику нагороду, а в противнім разі грозив, що монголи заб’ють його. «Нехай б’ють!» — се було єдине слово, яке чув боярин із Максимових уст. Тільки ж диво, що й тоді вже те горде слово, що свідчило про твердість Максимової вдачі та його велику любов до свободи, не тільки не розгнівало боярина, а дуже сподобалось йому.",
+        "answers": [
+            {
+                "answer": "Нехай б’ють!",
+                "isCorrect": true
+            },
+            {
+                "answer": "Життя — дорога річ.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Дурний хлопче.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Я знав, що ти зацікавишся.",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Коли боярин сказав, що хоче обіцяти тухольцям Максима взамін за вільний прохід, як Максим відповів?",
+        "textPart": "Дарма твоя робота, боярине! Тухольці не пристануть на таку заміну.",
+        "answers": [
+            {
+                "answer": "Дарма твоя робота, боярине! Тухольці не п��истануть на таку заміну.",
+                "isCorrect": true
+            },
+            {
+                "answer": "Говори щиро, по правді — се єдине чародійське слово.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Ну, то Богу дякувати! Надіюся, що й не вийдете вже.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Він погодився на обмін.",
+                "isCorrect": false
+            }
+        ]
+    }
+]