cptu_bench / data.json
jansowa's picture
Add new evaluation data, change scale of evaluations
aeefa77
raw
history blame
6.61 kB
[
{
"Model": "mistralai/Mistral-Large-Instruct-2407",
"Rozmiar": "123B",
"Średnia": 4.03025641025641,
"Analiza wydźwięku": 4.230769230769231,
"Zrozumienie tekstu": 4.0,
"Znajomość związków frazeologicznych": 3.86
},
{
"Model": "alpindale/WizardLM-2-8x22B",
"Rozmiar": "141B",
"Średnia": 3.9133760683760683,
"Analiza wydźwięku": 3.7051282051282053,
"Zrozumienie tekstu": 3.815,
"Znajomość związków frazeologicznych": 4.22
},
{
"Model": "meta-llama/Meta-Llama-3.1-70B-Instruct",
"Rozmiar": "70.6B",
"Średnia": 3.828974358974359,
"Analiza wydźwięku": 4.326923076923077,
"Zrozumienie tekstu": 3.91,
"Znajomość związków frazeologicznych": 3.25
},
{
"Model": "meta-llama/Meta-Llama-3-70B-Instruct",
"Rozmiar": "70.6B",
"Średnia": 3.806538461538462,
"Analiza wydźwięku": 4.134615384615385,
"Zrozumienie tekstu": 3.82,
"Znajomość związków frazeologicznych": 3.465
},
{
"Model": "mistralai/Mixtral-8x22B-Instruct-v0.1",
"Rozmiar": "141B",
"Średnia": 3.6690170940170943,
"Analiza wydźwięku": 3.782051282051282,
"Zrozumienie tekstu": 3.675,
"Znajomość związków frazeologicznych": 3.55
},
{
"Model": "TODO: Bielik v2.1 name",
"Rozmiar": "TODO",
"Średnia": 3.6583760683760684,
"Analiza wydźwięku": 3.9551282051282053,
"Zrozumienie tekstu": 3.915,
"Znajomość związków frazeologicznych": 3.105
},
{
"Model": "Qwen/Qwen2-72B-Instruct",
"Rozmiar": "72.7B",
"Średnia": 3.6442735042735044,
"Analiza wydźwięku": 3.7628205128205128,
"Zrozumienie tekstu": 3.89,
"Znajomość związków frazeologicznych": 3.28
},
{
"Model": "TODO: Bielik v2.0 name",
"Rozmiar": "TODO",
"Średnia": 3.614786324786325,
"Analiza wydźwięku": 3.9743589743589745,
"Zrozumienie tekstu": 3.745,
"Znajomość związków frazeologicznych": 3.125
},
{
"Model": "Qwen/Qwen1.5-72B-Chat",
"Rozmiar": "72.3B",
"Średnia": 3.3214529914529916,
"Analiza wydźwięku": 3.4743589743589745,
"Zrozumienie tekstu": 3.515,
"Znajomość związków frazeologicznych": 2.975
},
{
"Model": "meta-llama/Meta-Llama-3.1-8B-Instruct",
"Rozmiar": "8.03B",
"Średnia": 3.3114529914529918,
"Analiza wydźwięku": 3.9743589743589745,
"Zrozumienie tekstu": 3.38,
"Znajomość związków frazeologicznych": 2.58
},
{
"Model": "Remek/Mistral-Nemo-Instruct-2407-PL-finetuned",
"Rozmiar": "12.2B",
"Średnia": 3.2843162393162397,
"Analiza wydźwięku": 3.717948717948718,
"Zrozumienie tekstu": 3.41,
"Znajomość związków frazeologicznych": 2.725
},
{
"Model": "THUDM/glm-4-9b-chat",
"Rozmiar": "9.4B",
"Średnia": 3.2749145299145295,
"Analiza wydźwięku": 3.58974358974359,
"Zrozumienie tekstu": 3.455,
"Znajomość związków frazeologicznych": 2.78
},
{
"Model": "mistralai/Mistral-Nemo-Instruct-2407",
"Rozmiar": "12.2B",
"Średnia": 3.223675213675214,
"Analiza wydźwięku": 3.641025641025641,
"Zrozumienie tekstu": 3.29,
"Znajomość związków frazeologicznych": 2.74
},
{
"Model": "meta-llama/Meta-Llama-3-8B-Instruct",
"Rozmiar": "8.03B",
"Średnia": 3.172777777777778,
"Analiza wydźwięku": 3.3333333333333335,
"Zrozumienie tekstu": 3.15,
"Znajomość związków frazeologicznych": 3.035
},
{
"Model": "upstage/SOLAR-10.7B-Instruct-v1.0",
"Rozmiar": "10.7B",
"Średnia": 3.1343162393162394,
"Analiza wydźwięku": 2.967948717948718,
"Zrozumienie tekstu": 3.18,
"Znajomość związków frazeologicznych": 3.255
},
{
"Model": "speakleash/Bielik-7B-Instruct-v0.1",
"Rozmiar": "7.24B",
"Średnia": 3.126581196581197,
"Analiza wydźwięku": 3.58974358974359,
"Zrozumienie tekstu": 3.475,
"Znajomość związków frazeologicznych": 2.315
},
{
"Model": "openchat/openchat-3.5-0106-gemma",
"Rozmiar": "8.54B",
"Średnia": 3.08525641025641,
"Analiza wydźwięku": 3.730769230769231,
"Zrozumienie tekstu": 3.08,
"Znajomość związków frazeologicznych": 2.445
},
{
"Model": "mistralai/Mixtral-8x7B-Instruct-v0.1",
"Rozmiar": "46.7B",
"Średnia": 3.039230769230769,
"Analiza wydźwięku": 3.0576923076923075,
"Zrozumienie tekstu": 3.175,
"Znajomość związków frazeologicznych": 2.885
},
{
"Model": "mistralai/Mistral-7B-Instruct-v0.3",
"Rozmiar": "7.25B",
"Średnia": 3.022307692307692,
"Analiza wydźwięku": 3.326923076923077,
"Zrozumienie tekstu": 3.06,
"Znajomość związków frazeologicznych": 2.68
},
{
"Model": "berkeley-nest/Starling-LM-7B-alpha",
"Rozmiar": "7.24B",
"Średnia": 2.945897435897436,
"Analiza wydźwięku": 3.0576923076923075,
"Zrozumienie tekstu": 2.925,
"Znajomość związków frazeologicznych": 2.855
},
{
"Model": "openchat/openchat-3.5-0106",
"Rozmiar": "7.24B",
"Średnia": 2.8500854700854696,
"Analiza wydźwięku": 3.16025641025641,
"Zrozumienie tekstu": 2.835,
"Znajomość związków frazeologicznych": 2.555
},
{
"Model": "internlm/internlm2-chat-20b",
"Rozmiar": "19.9B",
"Średnia": 2.8237606837606837,
"Analiza wydźwięku": 3.301282051282051,
"Zrozumienie tekstu": 2.785,
"Znajomość związków frazeologicznych": 2.385
},
{
"Model": "01-ai/Yi-1.5-34B-Chat",
"Rozmiar": "34.4B",
"Średnia": 2.7756410256410255,
"Analiza wydźwięku": 3.076923076923077,
"Zrozumienie tekstu": 2.87,
"Znajomość związków frazeologicznych": 2.38
},
{
"Model": "Voicelab/trurl-2-13b-academic",
"Rozmiar": "13B",
"Średnia": 2.74042735042735,
"Analiza wydźwięku": 3.301282051282051,
"Zrozumienie tekstu": 2.755,
"Znajomość związków frazeologicznych": 2.165
}
]