Spaces:
Running
Running
Commit
·
a17103a
1
Parent(s):
2df73b2
add o1, gemini 2.5 pro, qwen 2.5 omni
Browse files- leaderboard_data.csv +3 -0
leaderboard_data.csv
CHANGED
@@ -21,11 +21,13 @@ gpt-4o-mini-2024-07-18,2024-12-05,,False,,68.2909090909091,71.33333333333334,80.
|
|
21 |
gemini-2.0-pro-exp-02-05,2025-02-12,,False,,77.6,80.0,80.0,90.0,58.0,85.0,87.1111111111111,86.0,78.66666666666666,68.0,50.0
|
22 |
Ovis1.6-Gemma2-27B,2024-12-05,28863552566.0,True,AIDC-AI/Ovis1.6-Gemma2-27B,30.18181818181818,43.33333333333333,50.0,0.0,11.0,5.0,43.55555555555555,29.0,11.333333333333332,46.66666666666667,20.0
|
23 |
MiniCPM-V-2_6,2024-12-05,8099175152.0,True,openbmb/MiniCPM-V-2_6,32.69090909090909,56.0,35.0,0.0,33.666666666666664,5.0,59.77777777777778,20.666666666666668,5.333333333333333,16.666666666666668,20.0
|
|
|
24 |
aya-vision-32b,2025-03-12,33137288432.0,True,CohereForAI/aya-vision-32b,52.07272727272727,68.83333333333334,100.0,35.0,70.0,10.0,76.88888888888889,24.33333333333333,16.333333333333332,38.66666666666666,70.0
|
25 |
InternVL2_5-78B,2024-12-09,78408318336.0,True,OpenGVLab/InternVL2_5-78B,67.16363636363637,71.33333333333334,75.0,25.0,66.66666666666667,70.0,78.88888888888889,60.66666666666666,51.0,68.0,85.0
|
26 |
gemini-2.0-flash-001,2025-02-12,,False,,79.0909090909091,73.5,80.0,70.0,65.33333333333333,93.5,72.66666666666667,90.0,96.66666666666666,88.0,50.0
|
27 |
gemini-2.0-flash-lite-001,2025-03-28,,False,,76.07272727272728,71.0,90.0,70.0,54.66666666666667,88.0,79.11111111111111,90.0,90.0,66.66666666666667,70.0
|
28 |
gemini-1.5-pro-002,2024-12-05,,False,,77.23636363636363,71.33333333333334,90.0,60.0,69.33333333333334,62.5,83.33333333333334,94.66666666666669,80.0,84.66666666666667,60.0
|
|
|
29 |
claude-3-7-sonnet-20250219,2025-02-25,,False,,64.87272727272727,69.5,50.0,40.0,59.0,25.0,86.88888888888889,64.66666666666667,73.0,72.0,30.0
|
30 |
Idefics3-8B-Llama3,2024-12-11,8462086384.0,True,HuggingFaceM4/Idefics3-8B-Llama3,18.509090909090908,26.666666666666664,0.0,0.0,23.333333333333336,0.0,20.0,21.0,5.333333333333333,33.333333333333336,10.0
|
31 |
MAmmoTH-VL-8B,2024-12-16,8027488800.0,True,MAmmoTH-VL/MAmmoTH-VL-8B,25.96363636363636,36.333333333333336,60.0,0.0,17.333333333333336,5.0,33.11111111111111,24.33333333333333,5.333333333333333,42.0,10.0
|
@@ -49,6 +51,7 @@ Ovis2-34B,2025-02-12,34872912886.0,True,AIDC-AI/Ovis2-34B,64.32727272727273,81.0
|
|
49 |
gemma-3-4b-it,2025-03-13,4300079472.0,True,google/gemma-3-4b-it,49.2,68.83333333333334,75.0,5.0,45.66666666666666,30.0,78.44444444444444,23.0,18.0,48.66666666666666,41.0
|
50 |
gpt-4-turbo-2024-04-09,2024-12-05,,False,,65.19999999999999,76.66666666666667,90.0,60.0,76.33333333333334,30.0,80.0,47.333333333333336,39.33333333333333,64.66666666666667,80.0
|
51 |
Llama-3.2-11B-Vision-Instruct,2024-12-05,10670220835.0,True,meta-llama/Llama-3.2-11B-Vision-Instruct,50.36363636363636,55.5,80.0,25.0,62.0,62.5,58.66666666666666,36.0,24.666666666666668,46.66666666666667,50.0
|
|
|
52 |
claude-3-haiku-20240307,2024-12-05,,False,,50.47272727272727,59.833333333333336,70.0,0.0,57.333333333333336,50.0,73.55555555555556,26.666666666666664,25.33333333333333,46.66666666666667,60.0
|
53 |
Llama-3.2-90B-Vision-Instruct,2024-12-09,88593355323.0,True,meta-llama/Llama-3.2-90B-Vision-Instruct,67.92727272727274,75.0,75.0,40.0,62.66666666666666,80.0,76.0,56.0,55.0,68.0,76.0
|
54 |
chatgpt-4o-latest (2025-01-29),2025-02-14,,False,,85.34545454545454,80.66666666666666,90.0,80.0,80.0,95.0,90.44444444444444,86.66666666666666,88.66666666666667,83.33333333333334,80.0
|
|
|
21 |
gemini-2.0-pro-exp-02-05,2025-02-12,,False,,77.6,80.0,80.0,90.0,58.0,85.0,87.1111111111111,86.0,78.66666666666666,68.0,50.0
|
22 |
Ovis1.6-Gemma2-27B,2024-12-05,28863552566.0,True,AIDC-AI/Ovis1.6-Gemma2-27B,30.18181818181818,43.33333333333333,50.0,0.0,11.0,5.0,43.55555555555555,29.0,11.333333333333332,46.66666666666667,20.0
|
23 |
MiniCPM-V-2_6,2024-12-05,8099175152.0,True,openbmb/MiniCPM-V-2_6,32.69090909090909,56.0,35.0,0.0,33.666666666666664,5.0,59.77777777777778,20.666666666666668,5.333333333333333,16.666666666666668,20.0
|
24 |
+
gemini-2.5-pro-exp-03-25,2025-03-31,,False,,89.67272727272727,86.0,90.0,90.0,79.66666666666667,95.0,89.11111111111111,100.0,96.66666666666666,93.33333333333334,70.0
|
25 |
aya-vision-32b,2025-03-12,33137288432.0,True,CohereForAI/aya-vision-32b,52.07272727272727,68.83333333333334,100.0,35.0,70.0,10.0,76.88888888888889,24.33333333333333,16.333333333333332,38.66666666666666,70.0
|
26 |
InternVL2_5-78B,2024-12-09,78408318336.0,True,OpenGVLab/InternVL2_5-78B,67.16363636363637,71.33333333333334,75.0,25.0,66.66666666666667,70.0,78.88888888888889,60.66666666666666,51.0,68.0,85.0
|
27 |
gemini-2.0-flash-001,2025-02-12,,False,,79.0909090909091,73.5,80.0,70.0,65.33333333333333,93.5,72.66666666666667,90.0,96.66666666666666,88.0,50.0
|
28 |
gemini-2.0-flash-lite-001,2025-03-28,,False,,76.07272727272728,71.0,90.0,70.0,54.66666666666667,88.0,79.11111111111111,90.0,90.0,66.66666666666667,70.0
|
29 |
gemini-1.5-pro-002,2024-12-05,,False,,77.23636363636363,71.33333333333334,90.0,60.0,69.33333333333334,62.5,83.33333333333334,94.66666666666669,80.0,84.66666666666667,60.0
|
30 |
+
o1-2024-12-17,2025-03-31,,False,,88.25454545454546,83.33333333333334,100.0,100.0,86.66666666666666,95.0,92.66666666666669,90.0,86.66666666666666,83.33333333333334,80.0
|
31 |
claude-3-7-sonnet-20250219,2025-02-25,,False,,64.87272727272727,69.5,50.0,40.0,59.0,25.0,86.88888888888889,64.66666666666667,73.0,72.0,30.0
|
32 |
Idefics3-8B-Llama3,2024-12-11,8462086384.0,True,HuggingFaceM4/Idefics3-8B-Llama3,18.509090909090908,26.666666666666664,0.0,0.0,23.333333333333336,0.0,20.0,21.0,5.333333333333333,33.333333333333336,10.0
|
33 |
MAmmoTH-VL-8B,2024-12-16,8027488800.0,True,MAmmoTH-VL/MAmmoTH-VL-8B,25.96363636363636,36.333333333333336,60.0,0.0,17.333333333333336,5.0,33.11111111111111,24.33333333333333,5.333333333333333,42.0,10.0
|
|
|
51 |
gemma-3-4b-it,2025-03-13,4300079472.0,True,google/gemma-3-4b-it,49.2,68.83333333333334,75.0,5.0,45.66666666666666,30.0,78.44444444444444,23.0,18.0,48.66666666666666,41.0
|
52 |
gpt-4-turbo-2024-04-09,2024-12-05,,False,,65.19999999999999,76.66666666666667,90.0,60.0,76.33333333333334,30.0,80.0,47.333333333333336,39.33333333333333,64.66666666666667,80.0
|
53 |
Llama-3.2-11B-Vision-Instruct,2024-12-05,10670220835.0,True,meta-llama/Llama-3.2-11B-Vision-Instruct,50.36363636363636,55.5,80.0,25.0,62.0,62.5,58.66666666666666,36.0,24.666666666666668,46.66666666666667,50.0
|
54 |
+
Qwen2.5-Omni-7B,2025-03-31,8931813888.0,True,Qwen/Qwen2.5-Omni-7B,66.29090909090908,65.33333333333333,70.0,25.0,64.66666666666667,90.0,72.22222222222223,72.66666666666667,61.0,55.33333333333333,70.0
|
55 |
claude-3-haiku-20240307,2024-12-05,,False,,50.47272727272727,59.833333333333336,70.0,0.0,57.333333333333336,50.0,73.55555555555556,26.666666666666664,25.33333333333333,46.66666666666667,60.0
|
56 |
Llama-3.2-90B-Vision-Instruct,2024-12-09,88593355323.0,True,meta-llama/Llama-3.2-90B-Vision-Instruct,67.92727272727274,75.0,75.0,40.0,62.66666666666666,80.0,76.0,56.0,55.0,68.0,76.0
|
57 |
chatgpt-4o-latest (2025-01-29),2025-02-14,,False,,85.34545454545454,80.66666666666666,90.0,80.0,80.0,95.0,90.44444444444444,86.66666666666666,88.66666666666667,83.33333333333334,80.0
|