Added zahar berkut test data

constants.py

@@ -11,5 +11,6 @@ MODELS_PATH = {
 }
 
 BOOKS = {
-    "Іван Нечуйлевицький - Кайдашева Сім'я": "nechuy-levytskyy-ivan-semenovych-kaydasheva-simia.json",
+    # "Іван Нечуйлевицький - Кайдашева Сім'я": "nechuy-levytskyy-ivan-semenovych-kaydasheva-simia.json",
+    "Іван Франко - Захар Беркут": "zahar-berkut.json",
 }

questions/claude_3_5_sonnet/zahar-berkut.json

@@ -0,0 +1,222 @@
+[
+    {
+        "question": "Що відбувалося у сні Захара Беркута під час свята «Сторожа»?",
+        "textPart": "Дивний сон снився Захарові Беркутові. Здавалось йому, немов нині їхнє щорічне свято «Сторожа» і вся громада зібрана довкола каменя при вході до тухольської тіснини",
+        "answers": [
+            {
+                "answer": "Він молився біля святого каменя, почалася гроза, і камінь упав",
+                "isCorrect": true
+            },
+            {
+                "answer": "Він танцював з громадою навколо вогнища",
+                "isCorrect": false
+            },
+            {
+                "answer": "Він розмовляв з монголами про мир",
+                "isCorrect": false
+            },
+            {
+                "answer": "Він збирав урожай разом з односельцями",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Як Захар Беркут відреагував на звістку про загибель сина Максима?",
+        "textPart": "От і сповнився мій сон! — прошептав він. — В обороні свого села поліг мій Максим. Так воно й треба. Раз умирати кождому, але славно вмирати — се не кождому лучається.",
+        "answers": [
+            {
+                "answer": "Сказав, що славна смерть краща за звичайну, хоч і сумував у серці",
+                "isCorrect": true
+            },
+            {
+                "answer": "Впав у відчай і відмовився допомагати громаді",
+                "isCorrect": false
+            },
+            {
+                "answer": "Покинув село від горя",
+                "isCorrect": false
+            },
+            {
+                "answer": "Звинуватив громаду у смерті сина",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Яка несподівана допомога прийшла до тухольської громади?",
+        "textPart": "Долі селом вулицею надійшли одна за другою при звуках труб і дерев'яних трембіт аж три громади озброєної молодіжі. Кожда громада несла наперед себе боєву хоругов",
+        "answers": [
+            {
+                "answer": "Три громади озброєної молодіжі",
+                "isCorrect": true
+            },
+            {
+                "answer": "Військо князя",
+                "isCorrect": false
+            },
+            {
+                "answer": "Група старійшин",
+                "isCorrect": false
+            },
+            {
+                "answer": "Загін монгольських воїнів",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Як спочатку тухольські молодці сприйняли Мирославу, коли вона під'їхала до них?",
+        "textPart": "Молодці прийняли приїжджу людину за монгольського висланця і виступили проти неї з луками. Але, виїхавши з лісу та наблизившись над стрімкий обрив, [...] показалася женщина в білім полотнянім, шовком перетиканім плащі",
+        "answers": [
+            {
+                "answer": "За монгольського висланця",
+                "isCorrect": true
+            },
+            {
+                "answer": "За звичайну подорожню",
+                "isCorrect": false
+            },
+            {
+                "answer": "За доньку боярина одразу",
+                "isCorrect": false
+            },
+            {
+                "answer": "За ворожого розвідника",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Який план порятунку громади передав Максим через Мирославу?",
+        "textPart": "Він радив тухольській громаді не спиняти монголів перед тісниною, а впустити їх у кітловину. Тут можна їх обступити та вирубати до остатнього, а коли ні, то виморити голодом.",
+        "answers": [
+            {
+                "answer": "Впустити монголів у кітловину і там їх оточити",
+                "isCorrect": true
+            },
+            {
+                "answer": "Напасти на монголів перед тісниною",
+                "isCorrect": false
+            },
+            {
+                "answer": "Втекти з села і сховатися в горах",
+                "isCorrect": false
+            },
+            {
+                "answer": "Здатися монголам без бою",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Що зробили тухольці, коли дізналися про наближення монголів?",
+        "textPart": "Усі кинулися до своїх хат, аби хоронити своє добро в ліси. [...] Матері несли своїх заплаканих дітей, батьки гнали худобу, везли на возах домашній спряток, мішки з хлібом та одежею.",
+        "answers": [
+            {
+                "answer": "Забрали своє майно і сховалися в лісах",
+                "isCorrect": true
+            },
+            {
+                "answer": "Залишилися в селі захищати свої домівки",
+                "isCorrect": false
+            },
+            {
+                "answer": "Вийшли назустріч монголам з білим прапором",
+                "isCorrect": false
+            },
+            {
+                "answer": "Спалили село і втекли в гори",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Яку тактику оборони запропонувала Мирослава тухольцям?",
+        "textPart": "Не бійтеся, — сказала вона тухольцям, — живо ми поворожимо їм! Нехай собі стріляють, а ви ратища в руки й плазом додолу! Аж коли передні покажуться до половини на горі, тоді разом на них!",
+        "answers": [
+            {
+                "answer": "Лягти на землю з ратищами і чекати, поки вороги піднімуться, щоб атакувати їх",
+                "isCorrect": true
+            },
+            {
+                "answer": "Відразу кинутися в атаку на ворогів",
+                "isCorrect": false
+            },
+            {
+                "answer": "Сховатися за камінням і стріляти у відповідь",
+                "isCorrect": false
+            },
+            {
+                "answer": "Відступити в глиб території",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Як відреагував Бурундибегадир на ситуацію, що склалася?",
+        "textPart": "Той скакав по майдані, мов скажений, рвучи собі волосся з голови, а в кінці, не тямлячись із лютості, з голою шаблею прискочив до Тугара Вовка.",
+        "answers": [
+            {
+                "answer": "Скакав по майдані та рвав собі волосся з голови від люті",
+                "isCorrect": true
+            },
+            {
+                "answer": "Спокійно обговорив ситуацію з Тугаром Вовком",
+                "isCorrect": false
+            },
+            {
+                "answer": "Втік з поля бою",
+                "isCorrect": false
+            },
+            {
+                "answer": "Заплакав від розпачу",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Як змінилося ставлення Тугара Вовка до Максима протягом описаних подій?",
+        "textPart": "Тугар Вовк чув, що гнів його до Максима якось пригасає, мов пожежа, якій не стало вже дров. [...] Тепер же він чув виразно, що щось, мов крига, тає в його серці",
+        "answers": [
+            {
+                "answer": "Його гнів поступово зменшувався, і він почав краще розуміти Максима",
+                "isCorrect": true
+            },
+            {
+                "answer": "Його ненависть до Максима ще більше п��силилася",
+                "isCorrect": false
+            },
+            {
+                "answer": "Його ставлення залишилося незмінним",
+                "isCorrect": false
+            },
+            {
+                "answer": "Він повністю забув про існування Максима",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Що боярин хотів запропонувати тухольцям під час переговорів?",
+        "textPart": "Я думаю нині ще йти до твоїх тухольців для переговорів: хочу обіцяти їм тебе взамін за вільний прохід.",
+        "answers": [
+            {
+                "answer": "Звільнити Максима в обмін на вільний прохід",
+                "isCorrect": true
+            },
+            {
+                "answer": "Дати тухольцям золото",
+                "isCorrect": false
+            },
+            {
+                "answer": "Залишити їхнє село в спокої",
+                "isCorrect": false
+            },
+            {
+                "answer": "Укласти мирний договір",
+                "isCorrect": false
+            }
+        ]
+    }
+]

questions/gemini_1_5_pro/zahar-berkut.json

@@ -0,0 +1,222 @@
+[
+    {
+        "question": "Хто з героїв твору побачив дивний сон?",
+        "textPart": "Дивний сон снився Захарові Беркутові.",
+        "answers": [
+            {
+                "answer": "Захар Беркут",
+                "isCorrect": true
+            },
+            {
+                "answer": "Максим",
+                "isCorrect": false
+            },
+            {
+                "answer": "Тугар Вовк",
+                "isCorrect": false
+            },
+            {
+                "answer": "Мирослава",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Як зреагував Захар Беркут, почувши про смерть сина?",
+        "textPart": "Почувши її, затремтів старий Захар, і гірка сльоза покотилася по його старім лиці.",
+        "answers": [
+            {
+                "answer": "Зрадів, що син загинув славною смертю.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Затремтів і заплакав.",
+                "isCorrect": true
+            },
+            {
+                "answer": "Розгнівався на монголів.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Пішов помститися за сина.",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Якою була головна мета Захара Беркута щодо монголів?",
+        "textPart": "Не відбити, але розбити їх — се повинна бути наша мета!",
+        "answers": [
+            {
+                "answer": "Розбити їх.",
+                "isCorrect": true
+            },
+            {
+                "answer": "Відбити їх від села.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Домовитися з ними.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Втекти від них.",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "У що була одягнена Мирослава, коли з'явилася перед тухольцями?",
+        "textPart": "...показалася  женщина в білім полотнянім, шовком перетиканім плащі, з луком за плечима й із блискучим топірцем за поясом.",
+        "answers": [
+            {
+                "answer": "У білий полотняний, шовком перетиканий плащ, з луком за плечима та топірцем за поясом.",
+                "isCorrect": true
+            },
+            {
+                "answer": "У шкіряну куртку та штани",
+                "isCorrect": false
+            },
+            {
+                "answer": "У монгольський одяг",
+                "isCorrect": false
+            },
+            {
+                "answer": "У просту селянську сукню",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Що порадив Максим тухольській громаді зробити з монголами?",
+        "textPart": "Він радив тухольській громаді не спиняти монголів перед тісниною, а впустити їх у кітловину. Тут можна їх обступити та вирубати до останнього, а коли ні, то виморити голодом. Треба тілько поробити засіки у вивозі при водопаді й повиносити із села усе добро громадське, усе збіжжя, увесь хліб, усю худобу, а потім замкнути їх тут зо всіх боків. «Тут, — казав Максим, — побідите їх або ніде інде!» Так радив Максим.",
+        "answers": [
+            {
+                "answer": "Впустити їх у кітловину, а потім обступити та вирубати або виморити голодом.",
+                "isCorrect": true
+            },
+            {
+                "answer": "Нападати на них одразу ж, як тільки вони з’являться.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Тікати з села та ховатися в горах.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Просити в монголів миру та платити їм данину.",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Як Бурунда-бегадир назвав тухольців, коли побачив, що село порожнє?",
+        "textPart": "— Прокляті пси! — говорив Бурунда до Тугара Вовка. — Зачули нас, поховалися!",
+        "answers": [
+            {
+                "answer": "Прокляті пси",
+                "isCorrect": true
+            },
+            {
+                "answer": "Хоробрі воїни",
+                "isCorrect": false
+            },
+            {
+                "answer": "Мудрі старці",
+                "isCorrect": false
+            },
+            {
+                "answer": "Спритні бігуни",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Що порадила Мирослава тухольцям, коли вони злякалися нападу?",
+        "textPart": "— Не бійтеся, — сказала вона тухольцям, — живо ми поворожимо їм! Нехай собі стріляють, а ви ратища в руки й плазом додолу! Аж коли передні покажуться до половини на горі, тоді разом на них!",
+        "answers": [
+            {
+                "answer": "Лягти ниць додолу з ратищами в руках і чекати, поки вороги піднімуться до половини.",
+                "isCorrect": true
+            },
+            {
+                "answer": "Втікати та ховатися в печерах.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Стріляти з луків у нападників.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Кидатися камінням згори.",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Як виглядав Максим, коли його привели до Тугара Вовка?",
+        "textPart": "Аж злякався Тугар Вовк, побачивши ненависного собі парубка в такім страшнім та оплаканім стані. Свіжопромите лице було бліде-бліде, аж зелене, губи потріскались із жари та спраги, очі були червоні від диму й...",
+        "answers": [
+            {
+                "answer": "Блідий, з потрісканими губами та червоними очима.",
+                "isCorrect": true
+            },
+            {
+                "answer": "Рум'яний та веселий.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Брудний та сердитий.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Спокійний та здоровий.",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Що запропонував боярин Максиму в обмін на службу монголам?",
+        "textPart": "Він радив йому перейти на службу до монголів, вести їх через гори й обіцював за те велику нагороду, а в противнім разі грозив, що монголи заб’ють його.",
+        "answers": [
+            {
+                "answer": "Велику нагороду.",
+                "isCorrect": true
+            },
+            {
+                "answer": "Свободу його родини.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Місце в монгольському війську.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Повернення втраченого майна.",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Чому, за словами Максима, тухольці не погодяться на пропозицію боярина?",
+        "textPart": "Тухольці не пристануть на таку заміну... Тухольці будуть битися до останнього, щоб не пустити вас через гори.",
+        "answers": [
+            {
+                "answer": "Вони будуть битися до останнього, щоб захистити свої землі.",
+                "isCorrect": true
+            },
+            {
+                "answer": "Вони не люблять Максима.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Вони бояться боярина.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Вони хочуть більше золота.",
+                "isCorrect": false
+            }
+        ]
+    }
+]

questions/gpt_4o/zahar-berkut.json

@@ -0,0 +1,222 @@
+[
+    {
+        "question": "Що снилося Захарові Беркутові у відривку?",
+        "textPart": "Дивний сон снився Захарові Беркутові. Здавалось йому, немов нині їхнє щорічне свято «Сторожа» і вся громада зібрана довкола каменя при вході до тухольської тіснини...",
+        "answers": [
+            {
+                "answer": "Йому снилося свято «Сторожа» і громада довкола святого каменя.",
+                "isCorrect": true
+            },
+            {
+                "answer": "Йому снилося, що він став боярином.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Йому снилося, що його син Максим повернувся з полону.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Йому снилося, що монголи відступили.",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Як Захар Беркут відреагував на звістку про напад монголів?",
+        "textPart": "Почувши її, затремтів старий Захар, і гірка сльоза покотилася по його старім лиці. Але швидко він скріпився духом. Громада кликала його, по тре бувала його ради.",
+        "answers": [
+            {
+                "answer": "Заспівав радісну пісню, бо любив воювати.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Заплакав і був глибоко засмучений, але потім скріпився духом.",
+                "isCorrect": true
+            },
+            {
+                "answer": "Сміявся, бо не вірив у правдивість цієї новини.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Залишив село, бо боявся за своє життя.",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Яка була мета громади, за словами бесідника?",
+        "textPart": "Не відбити, але розбити їх — се повинна бути наша мета!",
+        "answers": [
+            {
+                "answer": "Відбити монголів з села",
+                "isCorrect": false
+            },
+            {
+                "answer": "Розбити монголів",
+                "isCorrect": true
+            },
+            {
+                "answer": "Знайти більше союзників",
+                "isCorrect": false
+            },
+            {
+                "answer": "Укрити свої землі від нападів",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Ким була Мирослава за походженням згідно з уривком?",
+        "textPart": "Мирослава, дочка нашого боярина!",
+        "answers": [
+            {
+                "answer": "Дочка боярина",
+                "isCorrect": true
+            },
+            {
+                "answer": "Дружина Захара",
+                "isCorrect": false
+            },
+            {
+                "answer": "Сестра монгола",
+                "isCorrect": false
+            },
+            {
+                "answer": "Донька селянина",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Чому Мирослава каже, що не може вважати Тугара Вовка своїм батьком?",
+        "textPart": "Тепер я не можу вважати його батьком, бо не хочу зраджувати свого краю. Батьку, будь ти моїм вітцем!",
+        "answers": [
+            {
+                "answer": "Бо він зрадив свій край і пристав у службу монголів.",
+                "isCorrect": true
+            },
+            {
+                "answer": "Бо він загинув.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Бо він покинув сім'ю.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Бо він пішов воювати з монголами.",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Що зробили тухольці, к��ли дізналися про наближення монголів?",
+        "textPart": "Захар Беркут ще раз обстав за тим, аби впустити монголів у тухольську кітловину й тут, обскочивши їх, вирізати або виморити всіх до ноги. ... Але вся їхня лютість була даремна — у селі ніхто не показувався.",
+        "answers": [
+            {
+                "answer": "Вони покинули село і сховалися.",
+                "isCorrect": true
+            },
+            {
+                "answer": "Вони пішли в атаку на монголів.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Вони запросили монголів до села.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Вони сховалися у своїх будинках.",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Що зробила Мирослава, коли дізналася про небезпеку?",
+        "textPart": "Мирослава схопилася з місця й побігла оглянути небезпеку.",
+        "answers": [
+            {
+                "answer": "Вона побігла оглянути небезпеку.",
+                "isCorrect": true
+            },
+            {
+                "answer": "Вона сховалася за кам'яною брилою.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Вона почала стріляти з лука.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Вона закричала від страху.",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Чому Бурунда-бегадир був розлючений на Тугара Вовка?",
+        "textPart": "— Псе блідолиций! — кричав він, скрегочучи зубами. — Подвійний зраднику — се твоя вина! Ти запровадив нас у сю западню, відки ми вийти не можемо!",
+        "answers": [
+            {
+                "answer": "Бо він вважав Тугара Вовка винним у заманюванні їх у пастку.",
+                "isCorrect": true
+            },
+            {
+                "answer": "Бо Тугар Вовк відмовився йти в бій.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Бо Тугар Вовк вкрав його меч.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Бо Тугар Вовк допоміг ворогам монголів.",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Чому Максим відкинув пораду боярина стати провідником монголів через гори?",
+        "textPart": "але ж я кажу тобі, що можеш бути вільний. — Зраджуючи свій нарід, ведучи монголів через гори... Ні, краще вмерти, ніж так заробляти на вільність!",
+        "answers": [
+            {
+                "answer": "Через те, що він не хоче зрадити свій народ.",
+                "isCorrect": true
+            },
+            {
+                "answer": "Через те, що боярин обіцяв йому нагороду.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Через те, що він боявся монголів.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Через те, що він не знав дорогу через гори.",
+                "isCorrect": false
+            }
+        ]
+    },
+    {
+        "question": "Що думає Максим про шанси тухольців зупинити боярина і його військо?",
+        "textPart": "Не хвали, боярине, дня перед вечором! Нащо тут великої сили, де сама природа своїми стінами та скалами спиняє вас?",
+        "answers": [
+            {
+                "answer": "Він вірить, що природа допомагає тухольцям і вони зможуть зупинити ворога.",
+                "isCorrect": true
+            },
+            {
+                "answer": "Максим вважає, що тухольці одразу здадуться.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Максим боїться, що тухольці не витримають нападу.",
+                "isCorrect": false
+            },
+            {
+                "answer": "Максим не впевнений у силі тухольців.",
+                "isCorrect": false
+            }
+        ]
+    }
+]