Muennighoff commited on
Commit
6761b3b
1 Parent(s): 039f451

Format MTEB evaluation

Browse files
evaluation/mteb/CQADupstackRetrieval.json CHANGED
@@ -2,12 +2,36 @@
2
  "dataset_version": null,
3
  "mteb_version": "0.0.2",
4
  "test": {
5
- "evaluation_time": 7822.83,
6
- "ndcg_at_1": 0.2821458333333333,
7
- "ndcg_at_3": 0.3325866666666667,
8
- "ndcg_at_5": 0.35453333333333326,
9
- "ndcg_at_10": 0.381195,
10
- "ndcg_at_100": 0.43441,
11
- "ndcg_at_1000": 0.45826083333333334
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
12
  }
13
  }
 
2
  "dataset_version": null,
3
  "mteb_version": "0.0.2",
4
  "test": {
5
+ "evaluation_time": 7608.65,
6
+ "map_at_1": 0.24949749999999998,
7
+ "map_at_10": 0.3404991666666667,
8
+ "map_at_100": 0.3526825,
9
+ "map_at_1000": 0.35383166666666666,
10
+ "map_at_3": 0.31181333333333333,
11
+ "map_at_5": 0.3277391666666667,
12
+ "mrr_at_1": 0.29402833333333334,
13
+ "mrr_at_10": 0.3801633333333333,
14
+ "mrr_at_100": 0.3888033333333334,
15
+ "mrr_at_1000": 0.38938500000000004,
16
+ "mrr_at_3": 0.355175,
17
+ "mrr_at_5": 0.3693808333333333,
18
+ "ndcg_at_1": 0.29402833333333334,
19
+ "ndcg_at_10": 0.3940316666666666,
20
+ "ndcg_at_100": 0.4466408333333333,
21
+ "ndcg_at_1000": 0.4696283333333333,
22
+ "ndcg_at_3": 0.3446633333333334,
23
+ "ndcg_at_5": 0.3678441666666667,
24
+ "precision_at_1": 0.29402833333333334,
25
+ "precision_at_10": 0.06965833333333334,
26
+ "precision_at_100": 0.011330833333333335,
27
+ "precision_at_1000": 0.0015158333333333334,
28
+ "precision_at_3": 0.15886666666666666,
29
+ "precision_at_5": 0.11360416666666667,
30
+ "recall_at_1": 0.24949749999999998,
31
+ "recall_at_10": 0.5129325,
32
+ "recall_at_100": 0.743695,
33
+ "recall_at_1000": 0.9031299999999999,
34
+ "recall_at_3": 0.37580083333333336,
35
+ "recall_at_5": 0.43529666666666667
36
  }
37
  }