| model,GEO_num_q_EM,GEO_num_q_CC,GEO_num_q_PM,GEO_open_q_EM,GEO_open_q_F1,GEO_open_q_LR,GEO_avg,HIST_num_q_EM,HIST_num_q_CC,HIST_num_q_PM,HIST_open_q_EM,HIST_open_q_F1,HIST_open_q_LR,HIST_avg,SOC_num_q_EM,SOC_num_q_CC,SOC_num_q_PM,SOC_open_q_EM,SOC_open_q_F1,SOC_open_q_LR,SOC_avg,POL_num_q_EM,POL_num_q_CC,POL_num_q_PM,POL_avg,DOMAIN_avg | |
| claude-3-5-sonnet,89.0,89.0,90.0,65.0,72.0,79.0,80.66666666666667,79.0,80.0,81.0,55.00000000000001,62.0,74.0,71.83333333333333,87.0,89.0,91.0,95.0,96.0,96.0,92.33333333333333,78.0,78.0,80.0,78.66666666666667,81.19047619047619 | |
| gemini-pro-1.5,89.0,90.0,90.0,57.99999999999999,70.0,76.0,78.83333333333333,74.0,75.0,79.0,48.0,61.0,74.0,68.5,82.0,85.0,88.0,89.0,92.0,97.0,88.83333333333333,73.0,74.0,76.0,74.33333333333333,78.0952380952381 | |
| mistral-123b,80.0,81.0,83.0,62.0,69.0,74.0,74.83333333333333,66.0,67.0,70.0,44.0,53.0,65.0,60.833333333333336,78.0,82.0,86.0,89.0,91.0,94.0,86.66666666666667,71.0,71.0,73.0,71.66666666666667,73.76190476190476 | |
| qwen2.5:72b-instruct-q4_0,84.0,86.0,87.0,55.00000000000001,63.0,72.0,74.5,66.0,69.0,70.0,30.0,41.0,56.99999999999999,55.5,72.0,83.0,81.0,74.0,81.0,87.0,79.66666666666667,74.0,76.0,76.0,75.33333333333333,70.66666666666667 | |
| deepseek-r1,79.0,90.0,91.0,5.0,56.99999999999999,60.0,63.666666666666664,72.0,83.0,83.0,20.0,56.00000000000001,68.0,63.666666666666664,70.0,86.0,89.0,57.99999999999999,87.0,87.0,79.5,59.0,74.0,76.0,69.66666666666667,69.04761904761905 | |
| GigaChat-Max,74.0,75.0,76.0,57.99999999999999,65.0,75.0,70.5,59.0,60.0,63.0,38.0,46.0,63.0,54.833333333333336,81.0,83.0,87.0,79.0,83.0,89.0,83.66666666666667,64.0,64.0,65.0,64.33333333333333,68.9047619047619 | |
| gpt-4o,82.0,82.0,83.0,2.0,71.0,73.0,65.5,73.0,74.0,77.0,15.0,56.99999999999999,69.0,60.833333333333336,84.0,87.0,89.0,11.0,86.0,88.0,74.16666666666667,76.0,76.0,78.0,76.66666666666667,68.23809523809524 | |
| t-tech/T-pro-it-1.0,83.0,84.0,86.0,46.0,56.99999999999999,67.0,70.5,66.0,67.0,72.0,27.0,44.0,60.0,56.0,75.0,80.0,84.0,61.0,69.0,79.0,74.66666666666667,74.0,75.0,76.0,75.0,68.19047619047619 | |
| GigaChat-Pro,79.0,81.0,80.0,64.0,69.0,77.0,75.0,52.0,54.0,56.99999999999999,38.0,46.0,62.0,51.5,72.0,74.0,80.0,71.0,75.0,84.0,76.0,56.99999999999999,59.0,59.0,58.333333333333336,66.19047619047619 | |
| qwen2.5:32b-instruct-q4_0,81.0,82.0,84.0,42.0,54.0,64.0,67.83333333333333,59.0,61.0,65.0,23.0,32.0,48.0,48.0,73.0,79.0,82.0,71.0,77.0,83.0,77.5,73.0,75.0,75.0,74.33333333333333,65.85714285714286 | |
| rscr/ruadapt_qwen2.5_32b:Q4_K_M,77.0,77.0,81.0,40.0,50.0,64.0,64.83333333333333,57.99999999999999,59.0,65.0,22.0,31.0,50.0,47.5,71.0,73.0,81.0,71.0,75.0,82.0,75.5,72.0,73.0,73.0,72.66666666666667,64.04761904761905 | |
| YandexGPT4-Pro-32k,65.0,65.0,80.0,44.0,56.99999999999999,66.0,62.833333333333336,52.0,52.0,68.0,39.0,50.0,65.0,54.333333333333336,55.00000000000001,56.99999999999999,84.0,79.0,87.0,92.0,75.66666666666667,59.0,59.0,62.0,60.0,63.666666666666664 | |
| YandexGPT4-Pro,64.0,64.0,80.0,44.0,56.00000000000001,66.0,62.333333333333336,52.0,53.0,68.0,39.0,50.0,65.0,54.5,55.00000000000001,57.99999999999999,84.0,79.0,87.0,92.0,75.83333333333333,59.0,59.0,62.0,60.0,63.61904761904762 | |
| gemma2:27b-instruct-q4_0,68.0,70.0,73.0,52.0,60.0,70.0,65.5,49.0,51.0,55.00000000000001,35.0,45.0,60.0,49.166666666666664,66.0,71.0,77.0,38.0,46.0,66.0,60.666666666666664,72.0,74.0,74.0,73.33333333333333,60.57142857142857 | |
| qwen2:72b-instruct-q4_0,81.0,84.0,84.0,4.0,61.0,64.0,63.0,61.0,65.0,66.0,14.000000000000002,39.0,51.0,49.333333333333336,69.0,80.0,79.0,15.0,55.00000000000001,67.0,60.833333333333336,69.0,75.0,72.0,72.0,59.76190476190476 | |
| GigaChat-Lite,70.0,71.0,72.0,52.0,63.0,72.0,66.66666666666667,45.0,46.0,50.0,24.0,30.0,47.0,40.333333333333336,70.0,73.0,79.0,63.0,65.0,76.0,71.0,55.00000000000001,56.00000000000001,56.99999999999999,56.0,58.857142857142854 | |
| ai-sage/GigaChat-20B-A3B-instruct,62.0,64.0,65.0,53.0,61.0,70.0,62.5,48.0,52.0,54.0,28.999999999999996,40.0,56.99999999999999,46.666666666666664,46.0,49.0,53.0,67.0,71.0,79.0,60.833333333333336,67.0,70.0,69.0,68.66666666666667,58.38095238095238 | |
| llama405,37.0,70.0,79.0,5.0,61.0,66.0,53.0,39.0,60.0,68.0,12.0,49.0,62.0,48.333333333333336,37.0,75.0,83.0,5.0,83.0,86.0,61.5,41.0,71.0,71.0,61.0,55.23809523809524 | |
| gemma2:9b-instruct-q4_0,59.0,63.0,65.0,33.0,43.0,56.00000000000001,53.166666666666664,41.0,45.0,49.0,19.0,27.0,43.0,37.333333333333336,60.0,69.0,73.0,55.00000000000001,62.0,75.0,65.66666666666667,69.0,72.0,72.0,71.0,54.76190476190476 | |
| YandexGPT4-Lite,49.0,50.0,54.0,35.0,50.0,64.0,50.333333333333336,38.0,39.0,44.0,33.0,48.0,63.0,44.166666666666664,54.0,57.99999999999999,70.0,45.0,74.0,82.0,63.833333333333336,53.0,54.0,55.00000000000001,54.0,52.95238095238095 | |
| llama3.1:70b-instruct-q4_0,33.0,63.0,69.0,0.0,65.0,69.0,49.833333333333336,30.0,50.0,55.00000000000001,14.000000000000002,48.0,61.0,43.0,49.0,71.0,77.0,6.0,74.0,79.0,59.333333333333336,37.0,73.0,74.0,61.333333333333336,52.23809523809524 | |
| llama3:70b-instruct-q4_0,56.99999999999999,64.0,63.0,2.0,62.0,66.0,52.333333333333336,41.0,47.0,49.0,7.000000000000001,42.0,56.00000000000001,40.333333333333336,54.0,73.0,69.0,15.0,49.0,61.0,53.5,69.0,71.0,72.0,70.66666666666667,51.857142857142854 | |
| qwen2.5:7b-instruct-q4_0,54.0,55.00000000000001,60.0,21.0,28.000000000000004,46.0,44.0,34.0,35.0,42.0,6.0,10.0,30.0,26.166666666666668,50.0,56.00000000000001,69.0,60.0,64.0,74.0,62.166666666666664,66.0,67.0,68.0,67.0,47.38095238095238 | |
| ilyagusev/saiga_nemo_12b,41.0,42.0,54.0,39.0,48.0,60.0,47.333333333333336,33.0,33.0,45.0,19.0,30.0,44.0,34.0,30.0,30.0,65.0,28.000000000000004,38.0,56.99999999999999,41.333333333333336,65.0,66.0,66.0,65.66666666666667,44.42857142857143 | |
| rscr/vikhr_nemo_12b:latest,28.000000000000004,44.0,40.0,13.0,32.0,42.0,33.166666666666664,28.999999999999996,41.0,43.0,10.0,26.0,39.0,31.333333333333332,41.0,51.0,62.0,27.0,44.0,57.99999999999999,47.166666666666664,56.00000000000001,67.0,64.0,62.333333333333336,40.80952380952381 | |
| ilyagusev/saiga_llama3,38.0,40.0,51.0,18.0,39.0,52.0,39.666666666666664,28.000000000000004,28.000000000000004,39.0,3.0,17.0,31.0,24.333333333333332,27.0,32.0,60.0,21.0,45.0,59.0,40.666666666666664,65.0,65.0,66.0,65.33333333333333,39.23809523809524 | |
| owl/t-lite:q4_0-instruct,37.0,40.0,47.0,1.0,48.0,56.99999999999999,38.333333333333336,30.0,31.0,37.0,3.0,28.999999999999996,44.0,29.0,28.999999999999996,31.0,54.0,15.0,50.0,61.0,40.0,57.99999999999999,60.0,60.0,59.333333333333336,39.142857142857146 | |
| phi3:14b-medium-4k-instruct-q4_0,41.0,43.0,62.0,20.0,38.0,51.0,42.5,30.0,33.0,49.0,3.0,15.0,25.0,25.833333333333332,27.0,30.0,68.0,4.0,27.0,37.0,32.166666666666664,64.0,69.0,69.0,67.33333333333333,38.333333333333336 | |
| qwen2:7b-instruct-q4_0,46.0,47.0,54.0,8.0,13.0,30.0,33.0,28.000000000000004,30.0,38.0,3.0,9.0,25.0,22.166666666666668,36.0,38.0,66.0,12.0,34.0,51.0,39.5,63.0,64.0,65.0,64.0,36.19047619047619 | |
| mistral:7b-instruct-v0.3-q4_0,28.999999999999996,30.0,45.0,10.0,19.0,30.0,27.166666666666668,21.0,24.0,35.0,1.0,10.0,21.0,18.666666666666668,22.0,24.0,53.0,6.0,32.0,36.0,28.833333333333332,55.00000000000001,56.00000000000001,56.99999999999999,56.0,29.333333333333332 | |
| solar:10.7b-instruct-v1-q4_0,23.0,35.0,46.0,3.0,11.0,17.0,22.5,18.0,27.0,37.0,4.0,12.0,21.0,19.833333333333332,24.0,26.0,57.99999999999999,9.0,23.0,36.0,29.333333333333332,48.0,61.0,61.0,56.666666666666664,28.571428571428573 | |
| llama3.1:8b-instruct-q4_0,1.0,35.0,44.0,0.0,34.0,48.0,27.0,2.0,26.0,34.0,0.0,19.0,36.0,19.5,2.0,26.0,57.99999999999999,0.0,41.0,54.0,30.166666666666668,9.0,62.0,62.0,44.333333333333336,28.238095238095237 | |
| llama3:8b-instruct-q4_0,6.0,35.0,46.0,0.0,34.0,46.0,27.833333333333332,6.0,26.0,35.0,0.0,15.0,28.999999999999996,18.5,5.0,27.0,60.0,0.0,24.0,34.0,25.0,11.0,62.0,63.0,45.333333333333336,26.857142857142858 | |
| wavecut/vikhr:7b-instruct_0.4-Q4_1,23.0,28.000000000000004,35.0,11.0,21.0,30.0,24.666666666666668,17.0,20.0,27.0,8.0,18.0,28.000000000000004,19.666666666666668,16.0,19.0,45.0,17.0,27.0,41.0,27.5,37.0,47.0,46.0,43.333333333333336,26.714285714285715 | |
| mixtral:8x7b-instruct-v0.1-q4_0,8.0,50.0,56.00000000000001,2.0,9.0,11.0,22.666666666666668,8.0,38.0,47.0,1.0,8.0,12.0,19.0,6.0,39.0,61.0,3.0,16.0,17.0,23.666666666666668,12.0,71.0,65.0,49.333333333333336,25.714285714285715 | |
| yi:9b,21.0,30.0,33.0,0.0,4.0,8.0,16.0,16.0,20.0,24.0,0.0,3.0,13.0,12.666666666666666,26.0,36.0,48.0,16.0,22.0,34.0,30.333333333333332,39.0,56.00000000000001,53.0,49.333333333333336,23.904761904761905 | |
| gemma:7b-instruct-v1.1-q4_0,12.0,39.0,44.0,0.0,4.0,12.0,18.5,5.0,22.0,27.0,0.0,4.0,16.0,12.333333333333334,7.000000000000001,30.0,49.0,0.0,11.0,18.0,19.166666666666668,18.0,57.99999999999999,57.99999999999999,44.666666666666664,20.666666666666668 | |
| random,16.8372093023256,17.5813953488372,22.3720930232558,,,,18.9302325581395,13.2535364526659,13.9281828073993,20.4134929270947,,,,15.8650707290533,11.6207951070336,13.8188073394495,29.0997706422018,,,,18.1797910295616,26.1275272161742,26.905132192846,28.149300155521,27.0606531881804,20.0089368762337 | |
| qwen:7b,20.0,20.0,26.0,0.0,2.0,13.0,13.5,15.0,15.0,22.0,0.0,2.0,14.000000000000002,11.333333333333334,16.0,16.0,35.0,1.0,16.0,33.0,19.5,40.0,40.0,41.0,40.333333333333336,18.428571428571427 | |
| llama3.2:3b-instruct-q4_0,0.0,24.0,30.0,0.0,10.0,22.0,14.333333333333334,0.0,18.0,26.0,0.0,4.0,18.0,11.0,0.0,21.0,40.0,0.0,7.000000000000001,21.0,14.833333333333334,0.0,53.0,54.0,35.666666666666664,16.571428571428573 | |
| yi:6b,17.0,24.0,20.0,0.0,3.0,7.000000000000001,11.833333333333334,11.0,17.0,15.0,0.0,2.0,9.0,9.0,11.0,27.0,25.0,8.0,12.0,16.0,16.5,33.0,42.0,41.0,38.666666666666664,16.19047619047619 | |
| llama2:13b,0.0,42.0,5.0,0.0,10.0,15.0,12.0,0.0,23.0,6.0,0.0,6.0,11.0,7.666666666666667,0.0,17.0,19.0,0.0,9.0,11.0,9.333333333333334,0.0,59.0,8.0,22.333333333333332,11.476190476190476 | |
| llama3.2:1b-instruct-q4_0,0.0,20.0,10.0,0.0,2.0,9.0,6.833333333333333,0.0,17.0,12.0,0.0,2.0,10.0,6.833333333333333,0.0,20.0,16.0,0.0,5.0,6.0,7.833333333333333,0.0,36.0,18.0,18.0,8.714285714285714 | |
| Среднее значение,46.60086533261222,55.47863710113575,3.0,23.023809523809526,41.54761904761905,50.38095238095238,45.812330989724174,36.37798921982944,42.95181820482324,48.102639370397554,16.333333333333332,29.476190476190474,42.76190476190476,35.84182335028806,42.94466965365195,52.205088542777894,65.25813420098143,34.833333333333336,52.666666666666664,61.30952380952381,51.170847853400666,50.840175051538935,63.18384028355456,61.86393721291909,58.62931751600421,46.34904504363333 | |