yoonshik1205 commited on
Commit
f596b32
·
1 Parent(s): 755bc21

add new openai models

Browse files
Files changed (1) hide show
  1. leaderboard_data.csv +5 -0
leaderboard_data.csv CHANGED
@@ -3,6 +3,7 @@ gemini-1.5-flash-002,2024-12-05,,False,,73.45454545454545,72.83333333333333,90.0
3
  Aria,2024-12-11,25307311216.0,True,rhymes-ai/Aria,44.14545454545454,66.5,55.0,0.0,50.66666666666666,5.0,79.33333333333334,17.333333333333336,9.0,37.333333333333336,50.0
4
  claude-3-5-sonnet-20241022,2024-12-05,,False,,80.47272727272727,81.83333333333334,90.0,80.0,66.0,76.5,88.88888888888889,78.0,73.66666666666666,88.66666666666667,80.0
5
  Molmo-72B-0924,2024-12-09,73308285952.0,True,allenai/Molmo-72B-0924,36.58181818181818,45.5,25.0,5.0,47.66666666666666,0.0,54.44444444444444,18.33333333333333,20.666666666666668,42.66666666666666,70.0
 
6
  Molmo-7B-D-0924,2024-12-05,8021025280.0,True,allenai/Molmo-7B-D-0924,30.25454545454545,52.5,20.0,0.0,32.0,5.0,47.77777777777778,12.0,9.333333333333334,27.333333333333336,30.0
7
  Llama-3.2-MAAL-11B-Vision-v0.1,2024-12-05,11142080035.0,True,maum-ai/Llama-3.2-MAAL-11B-Vision-v0.1,61.127272727272725,78.0,65.0,5.0,51.66666666666667,63.0,77.33333333333333,53.0,45.0,50.0,70.0
8
  Ovis1.6-Gemma2-9B,2024-12-05,10206910518.0,True,AIDC-AI/Ovis1.6-Gemma2-9B,38.98181818181818,73.16666666666666,55.0,0.0,33.0,10.0,45.11111111111112,15.0,17.0,31.33333333333333,66.0
@@ -21,6 +22,7 @@ gpt-4o-2024-11-20,2024-12-05,,False,,81.96363636363637,78.33333333333333,90.0,85
21
  gpt-4o-mini-2024-07-18,2024-12-05,,False,,68.2909090909091,71.33333333333334,80.0,35.0,66.33333333333334,100.0,77.77777777777777,63.0,47.66666666666666,61.333333333333336,70.0
22
  gemini-2.0-pro-exp-02-05,2025-02-12,,False,,77.6,80.0,80.0,90.0,58.0,85.0,87.1111111111111,86.0,78.66666666666666,68.0,50.0
23
  Ovis1.6-Gemma2-27B,2024-12-05,28863552566.0,True,AIDC-AI/Ovis1.6-Gemma2-27B,30.18181818181818,43.33333333333333,50.0,0.0,11.0,5.0,43.55555555555555,29.0,11.333333333333332,46.66666666666667,20.0
 
24
  InternVL3-9B,2025-04-14,9138793472.0,True,OpenGVLab/InternVL3-9B,57.01818181818182,64.5,35.0,0.0,50.33333333333333,77.5,62.22222222222222,67.0,50.0,54.66666666666667,45.0
25
  MiniCPM-V-2_6,2024-12-05,8099175152.0,True,openbmb/MiniCPM-V-2_6,32.69090909090909,56.0,35.0,0.0,33.666666666666664,5.0,59.77777777777778,20.666666666666668,5.333333333333333,16.666666666666668,20.0
26
  gemini-2.5-pro-exp-03-25,2025-03-31,,False,,89.67272727272727,86.0,90.0,90.0,79.66666666666667,95.0,89.11111111111111,100.0,96.66666666666666,93.33333333333334,70.0
@@ -33,11 +35,14 @@ o1-2024-12-17,2025-03-31,,False,,88.25454545454546,83.33333333333334,100.0,100.0
33
  claude-3-7-sonnet-20250219,2025-02-25,,False,,64.87272727272727,69.5,50.0,40.0,59.0,25.0,86.88888888888889,64.66666666666667,73.0,72.0,30.0
34
  Idefics3-8B-Llama3,2024-12-11,8462086384.0,True,HuggingFaceM4/Idefics3-8B-Llama3,18.509090909090908,26.666666666666664,0.0,0.0,23.333333333333336,0.0,20.0,21.0,5.333333333333333,33.333333333333336,10.0
35
  InternVL3-78B,2025-04-15,78408318336.0,True,OpenGVLab/InternVL3-78B,70.25454545454545,81.5,70.0,35.0,58.0,80.0,82.66666666666667,58.66666666666666,65.66666666666666,59.66666666666667,80.0
 
36
  Mistral-Small-3.1-24B-Instruct-2503,2025-04-11,24011361280.0,True,mistralai/Mistral-Small-3.1-24B-Instruct-2503,49.2,60.33333333333333,55.0,15.0,62.66666666666666,15.0,62.44444444444444,29.0,38.333333333333336,46.66666666666667,80.0
 
37
  Llama-4-Scout-17B-16E-Instruct,2025-04-11,108641793536.0,True,meta-llama/Llama-4-Scout-17B-16E-Instruct,79.92727272727274,84.33333333333334,70.0,40.0,61.66666666666667,88.5,83.55555555555556,82.66666666666667,85.33333333333333,83.33333333333334,90.0
38
  MAmmoTH-VL-8B,2024-12-16,8027488800.0,True,MAmmoTH-VL/MAmmoTH-VL-8B,25.96363636363636,36.333333333333336,60.0,0.0,17.333333333333336,5.0,33.11111111111111,24.33333333333333,5.333333333333333,42.0,10.0
39
  internlm-xcomposer2d5-7b,2024-12-05,11095734272.0,True,internlm/internlm-xcomposer2d5-7b,8.327272727272728,14.0,20.0,0.0,3.333333333333333,5.0,10.888888888888888,6.666666666666666,0.0,5.333333333333333,20.0
40
  Qwen2.5-VL-72B-Instruct,2025-02-05,73410777344.0,True,Qwen/Qwen2.5-VL-72B-Instruct,80.10909090909092,81.83333333333334,90.0,45.0,63.66666666666666,95.0,85.33333333333333,83.33333333333334,84.0,76.66666666666667,80.0
 
41
  gemma-3-12b-it,2025-03-13,12187325040.0,True,google/gemma-3-12b-it,65.92727272727272,67.66666666666667,85.0,10.0,64.66666666666667,67.5,84.44444444444444,57.333333333333336,52.333333333333336,71.33333333333334,60.0
42
  gemini-2.0-flash-lite-preview-02-05,2025-02-12,,False,,65.23636363636363,59.833333333333336,75.0,60.0,43.66666666666666,68.0,72.66666666666667,80.33333333333333,71.66666666666667,63.33333333333333,60.0
43
  claude-3-sonnet-20240229,2024-12-13,,False,,31.854545454545452,28.5,20.0,0.0,32.0,27.5,30.22222222222222,38.0,49.333333333333336,42.0,10.0
 
3
  Aria,2024-12-11,25307311216.0,True,rhymes-ai/Aria,44.14545454545454,66.5,55.0,0.0,50.66666666666666,5.0,79.33333333333334,17.333333333333336,9.0,37.333333333333336,50.0
4
  claude-3-5-sonnet-20241022,2024-12-05,,False,,80.47272727272727,81.83333333333334,90.0,80.0,66.0,76.5,88.88888888888889,78.0,73.66666666666666,88.66666666666667,80.0
5
  Molmo-72B-0924,2024-12-09,73308285952.0,True,allenai/Molmo-72B-0924,36.58181818181818,45.5,25.0,5.0,47.66666666666666,0.0,54.44444444444444,18.33333333333333,20.666666666666668,42.66666666666666,70.0
6
+ gpt-4.1-mini-2025-04-14,2025-04-17,,False,,85.81818181818181,82.5,90.0,60.0,79.0,90.0,89.55555555555556,93.33333333333334,85.0,90.0,90.0
7
  Molmo-7B-D-0924,2024-12-05,8021025280.0,True,allenai/Molmo-7B-D-0924,30.25454545454545,52.5,20.0,0.0,32.0,5.0,47.77777777777778,12.0,9.333333333333334,27.333333333333336,30.0
8
  Llama-3.2-MAAL-11B-Vision-v0.1,2024-12-05,11142080035.0,True,maum-ai/Llama-3.2-MAAL-11B-Vision-v0.1,61.127272727272725,78.0,65.0,5.0,51.66666666666667,63.0,77.33333333333333,53.0,45.0,50.0,70.0
9
  Ovis1.6-Gemma2-9B,2024-12-05,10206910518.0,True,AIDC-AI/Ovis1.6-Gemma2-9B,38.98181818181818,73.16666666666666,55.0,0.0,33.0,10.0,45.11111111111112,15.0,17.0,31.33333333333333,66.0
 
22
  gpt-4o-mini-2024-07-18,2024-12-05,,False,,68.2909090909091,71.33333333333334,80.0,35.0,66.33333333333334,100.0,77.77777777777777,63.0,47.66666666666666,61.333333333333336,70.0
23
  gemini-2.0-pro-exp-02-05,2025-02-12,,False,,77.6,80.0,80.0,90.0,58.0,85.0,87.1111111111111,86.0,78.66666666666666,68.0,50.0
24
  Ovis1.6-Gemma2-27B,2024-12-05,28863552566.0,True,AIDC-AI/Ovis1.6-Gemma2-27B,30.18181818181818,43.33333333333333,50.0,0.0,11.0,5.0,43.55555555555555,29.0,11.333333333333332,46.66666666666667,20.0
25
+ gpt-4.1-nano-2025-04-14,2025-04-17,,False,,65.52727272727273,71.5,80.0,20.0,61.0,60.0,76.88888888888889,71.0,45.66666666666666,68.0,70.0
26
  InternVL3-9B,2025-04-14,9138793472.0,True,OpenGVLab/InternVL3-9B,57.01818181818182,64.5,35.0,0.0,50.33333333333333,77.5,62.22222222222222,67.0,50.0,54.66666666666667,45.0
27
  MiniCPM-V-2_6,2024-12-05,8099175152.0,True,openbmb/MiniCPM-V-2_6,32.69090909090909,56.0,35.0,0.0,33.666666666666664,5.0,59.77777777777778,20.666666666666668,5.333333333333333,16.666666666666668,20.0
28
  gemini-2.5-pro-exp-03-25,2025-03-31,,False,,89.67272727272727,86.0,90.0,90.0,79.66666666666667,95.0,89.11111111111111,100.0,96.66666666666666,93.33333333333334,70.0
 
35
  claude-3-7-sonnet-20250219,2025-02-25,,False,,64.87272727272727,69.5,50.0,40.0,59.0,25.0,86.88888888888889,64.66666666666667,73.0,72.0,30.0
36
  Idefics3-8B-Llama3,2024-12-11,8462086384.0,True,HuggingFaceM4/Idefics3-8B-Llama3,18.509090909090908,26.666666666666664,0.0,0.0,23.333333333333336,0.0,20.0,21.0,5.333333333333333,33.333333333333336,10.0
37
  InternVL3-78B,2025-04-15,78408318336.0,True,OpenGVLab/InternVL3-78B,70.25454545454545,81.5,70.0,35.0,58.0,80.0,82.66666666666667,58.66666666666666,65.66666666666666,59.66666666666667,80.0
38
+ o3-2025-04-16,2025-04-17,,False,,88.29090909090908,84.83333333333333,80.0,90.0,78.0,95.0,96.2222222222222,90.0,94.0,86.66666666666666,80.0
39
  Mistral-Small-3.1-24B-Instruct-2503,2025-04-11,24011361280.0,True,mistralai/Mistral-Small-3.1-24B-Instruct-2503,49.2,60.33333333333333,55.0,15.0,62.66666666666666,15.0,62.44444444444444,29.0,38.333333333333336,46.66666666666667,80.0
40
+ gpt-4.1-2025-04-14,2025-04-17,,False,,85.7090909090909,88.33333333333334,90.0,85.0,83.33333333333334,95.0,91.55555555555554,78.0,88.66666666666667,73.33333333333333,80.0
41
  Llama-4-Scout-17B-16E-Instruct,2025-04-11,108641793536.0,True,meta-llama/Llama-4-Scout-17B-16E-Instruct,79.92727272727274,84.33333333333334,70.0,40.0,61.66666666666667,88.5,83.55555555555556,82.66666666666667,85.33333333333333,83.33333333333334,90.0
42
  MAmmoTH-VL-8B,2024-12-16,8027488800.0,True,MAmmoTH-VL/MAmmoTH-VL-8B,25.96363636363636,36.333333333333336,60.0,0.0,17.333333333333336,5.0,33.11111111111111,24.33333333333333,5.333333333333333,42.0,10.0
43
  internlm-xcomposer2d5-7b,2024-12-05,11095734272.0,True,internlm/internlm-xcomposer2d5-7b,8.327272727272728,14.0,20.0,0.0,3.333333333333333,5.0,10.888888888888888,6.666666666666666,0.0,5.333333333333333,20.0
44
  Qwen2.5-VL-72B-Instruct,2025-02-05,73410777344.0,True,Qwen/Qwen2.5-VL-72B-Instruct,80.10909090909092,81.83333333333334,90.0,45.0,63.66666666666666,95.0,85.33333333333333,83.33333333333334,84.0,76.66666666666667,80.0
45
+ o4-mini-2025-04-16,2025-04-17,,False,,87.85454545454544,84.33333333333334,90.0,70.0,82.0,95.0,84.0,100.0,95.33333333333331,90.0,80.0
46
  gemma-3-12b-it,2025-03-13,12187325040.0,True,google/gemma-3-12b-it,65.92727272727272,67.66666666666667,85.0,10.0,64.66666666666667,67.5,84.44444444444444,57.333333333333336,52.333333333333336,71.33333333333334,60.0
47
  gemini-2.0-flash-lite-preview-02-05,2025-02-12,,False,,65.23636363636363,59.833333333333336,75.0,60.0,43.66666666666666,68.0,72.66666666666667,80.33333333333333,71.66666666666667,63.33333333333333,60.0
48
  claude-3-sonnet-20240229,2024-12-13,,False,,31.854545454545452,28.5,20.0,0.0,32.0,27.5,30.22222222222222,38.0,49.333333333333336,42.0,10.0