joshuasundance/mtg-coloridentity-multilabel-classification

This is a proof-of-concept model trained on datasets/joshuasundance/mtg-coloridentity-multilabel-classification.

It takes card name + text as a single str as input and outputs color identity as an encoding:

colors = ['B', 'G', 'R', 'U', 'W']
b = [1, 0, 0, 0, 0]
bw = [1, 0, 0, 0, 1]
gru = [0, 1, 1, 1, 0]
# and so on

SetFit with sentence-transformers/paraphrase-mpnet-base-v2

This is a SetFit model that can be used for Text Classification. This SetFit model uses sentence-transformers/paraphrase-mpnet-base-v2 as the Sentence Transformer embedding model. A OneVsRestClassifier instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

1. Fine-tuning a Sentence Transformer with contrastive learning.
2. Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

• Model Type: SetFit
• Sentence Transformer body: sentence-transformers/paraphrase-mpnet-base-v2
• Classification head: a OneVsRestClassifier instance
• Maximum Sequence Length: 512 tokens

Model Sources

• Repository: SetFit on GitHub
• Paper: Efficient Few-Shot Learning Without Prompts
• Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Evaluation

Metrics

Label	Accuracy
all	0.7146

Classification Report

              precision    recall  f1-score   support

                   0.80      0.77      0.78       594
           B       0.81      0.76      0.78       821
          BG       0.42      0.56      0.48        63
         BGR       0.46      0.55      0.50        22
        BGRU       0.00      0.00      0.00         0
       BGRUW       0.73      0.33      0.46        24
        BGRW       0.00      0.00      0.00         0
         BGU       0.27      0.38      0.32         8
        BGUW       0.12      1.00      0.22         1
         BGW       0.14      0.33      0.19         9
          BR       0.41      0.59      0.48        80
         BRU       0.55      0.50      0.52        24
        BRUW       0.00      0.00      0.00         0
         BRW       0.29      0.36      0.32        14
          BU       0.53      0.56      0.54        91
         BUW       0.29      0.43      0.34        14
          BW       0.36      0.37      0.37        73
           G       0.77      0.76      0.77       791
          GR       0.42      0.46      0.44        85
         GRU       0.14      0.22      0.17         9
        GRUW       0.00      0.00      0.00         0
         GRW       0.27      0.50      0.35        18
          GU       0.48      0.49      0.49        69
         GUW       0.15      0.27      0.20        15
          GW       0.40      0.43      0.41        89
           R       0.81      0.77      0.79       803
          RU       0.43      0.51      0.47        68
         RUW       0.20      0.43      0.27         7
          RW       0.47      0.49      0.48        80
           U       0.83      0.81      0.82       818
          UW       0.37      0.43      0.40        86
           W       0.77      0.72      0.74       777

    accuracy                           0.71      5553
   macro avg       0.40      0.46      0.41      5553
weighted avg       0.73      0.71      0.72      5553

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("joshuasundance/mtg-coloridentity-multilabel-classification")
# Run inference
preds = model("Scattershot Archer

{T}: Scattershot Archer deals 1 damage to each creature with flying.")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	2	27.6981	125

Training Hyperparameters

• batch_size: (16, 16)
• num_epochs: (1, 1)
• max_steps: -1
• sampling_strategy: oversampling
• num_iterations: 20
• body_learning_rate: (2e-05, 2e-05)
• head_learning_rate: 2e-05
• loss: CosineSimilarityLoss
• distance_metric: cosine_distance
• margin: 0.25
• end_to_end: False
• use_amp: False
• warmup_proportion: 0.1
• seed: 42
• eval_max_steps: -1
• load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0000	1	0.2605	-
0.0009	50	0.3223	-
0.0018	100	0.2684	-
0.0027	150	0.2719	-
0.0036	200	0.2633	-
0.0045	250	0.2316	-
0.0054	300	0.2421	-
0.0063	350	0.214	-
0.0072	400	0.2395	-
0.0081	450	0.2538	-
0.0090	500	0.2395	-
0.0099	550	0.2397	-
0.0108	600	0.26	-
0.0117	650	0.2746	-
0.0126	700	0.2475	-
0.0135	750	0.2246	-
0.0144	800	0.2283	-
0.0153	850	0.2298	-
0.0162	900	0.215	-
0.0171	950	0.207	-
0.0180	1000	0.267	-
0.0189	1050	0.2208	-
0.0198	1100	0.279	-
0.0207	1150	0.229	-
0.0216	1200	0.2151	-
0.0225	1250	0.2535	-
0.0234	1300	0.2877	-
0.0243	1350	0.2363	-
0.0252	1400	0.2105	-
0.0261	1450	0.2008	-
0.0270	1500	0.2007	-
0.0279	1550	0.2174	-
0.0288	1600	0.2656	-
0.0297	1650	0.2201	-
0.0306	1700	0.2003	-
0.0315	1750	0.1754	-
0.0324	1800	0.1691	-
0.0333	1850	0.1601	-
0.0342	1900	0.2164	-
0.0351	1950	0.2484	-
0.0360	2000	0.1987	-
0.0369	2050	0.2213	-
0.0378	2100	0.1926	-
0.0387	2150	0.203	-
0.0396	2200	0.3085	-
0.0405	2250	0.1433	-
0.0414	2300	0.2142	-
0.0423	2350	0.2168	-
0.0432	2400	0.1593	-
0.0441	2450	0.1916	-
0.0450	2500	0.2276	-
0.0459	2550	0.1327	-
0.0468	2600	0.2008	-
0.0477	2650	0.176	-
0.0486	2700	0.156	-
0.0495	2750	0.1111	-
0.0504	2800	0.1874	-
0.0513	2850	0.1932	-
0.0522	2900	0.1368	-
0.0531	2950	0.2034	-
0.0540	3000	0.2156	-
0.0549	3050	0.2058	-
0.0558	3100	0.2087	-
0.0567	3150	0.2237	-
0.0576	3200	0.1176	-
0.0585	3250	0.2106	-
0.0594	3300	0.1955	-
0.0603	3350	0.3023	-
0.0612	3400	0.1772	-
0.0621	3450	0.1349	-
0.0630	3500	0.228	-
0.0639	3550	0.1392	-
0.0648	3600	0.2427	-
0.0657	3650	0.1837	-
0.0666	3700	0.1677	-
0.0675	3750	0.1701	-
0.0684	3800	0.1005	-
0.0693	3850	0.1389	-
0.0702	3900	0.1104	-
0.0711	3950	0.1995	-
0.0720	4000	0.1954	-
0.0729	4050	0.2294	-
0.0738	4100	0.2467	-
0.0747	4150	0.1473	-
0.0756	4200	0.2144	-
0.0765	4250	0.2426	-
0.0774	4300	0.117	-
0.0784	4350	0.1414	-
0.0793	4400	0.1858	-
0.0802	4450	0.142	-
0.0811	4500	0.2029	-
0.0820	4550	0.0982	-
0.0829	4600	0.2232	-
0.0838	4650	0.1262	-
0.0847	4700	0.1787	-
0.0856	4750	0.1136	-
0.0865	4800	0.1539	-
0.0874	4850	0.1044	-
0.0883	4900	0.1124	-
0.0892	4950	0.2406	-
0.0901	5000	0.1673	-
0.0910	5050	0.1529	-
0.0919	5100	0.1105	-
0.0928	5150	0.2392	-
0.0937	5200	0.1937	-
0.0946	5250	0.2045	-
0.0955	5300	0.1527	-
0.0964	5350	0.0835	-
0.0973	5400	0.2018	-
0.0982	5450	0.1031	-
0.0991	5500	0.1805	-
0.1000	5550	0.2392	-
0.1009	5600	0.0867	-
0.1018	5650	0.1787	-
0.1027	5700	0.0891	-
0.1036	5750	0.2148	-
0.1045	5800	0.0937	-
0.1054	5850	0.1451	-
0.1063	5900	0.189	-
0.1072	5950	0.1082	-
0.1081	6000	0.2226	-
0.1090	6050	0.1938	-
0.1099	6100	0.1394	-
0.1108	6150	0.2158	-
0.1117	6200	0.142	-
0.1126	6250	0.1007	-
0.1135	6300	0.1545	-
0.1144	6350	0.1162	-
0.1153	6400	0.142	-
0.1162	6450	0.1252	-
0.1171	6500	0.1764	-
0.1180	6550	0.0405	-
0.1189	6600	0.0682	-
0.1198	6650	0.1181	-
0.1207	6700	0.1066	-
0.1216	6750	0.2133	-
0.1225	6800	0.1513	-
0.1234	6850	0.0937	-
0.1243	6900	0.1249	-
0.1252	6950	0.2474	-
0.1261	7000	0.0905	-
0.1270	7050	0.1067	-
0.1279	7100	0.1639	-
0.1288	7150	0.2112	-
0.1297	7200	0.0852	-
0.1306	7250	0.0963	-
0.1315	7300	0.1056	-
0.1324	7350	0.0679	-
0.1333	7400	0.0888	-
0.1342	7450	0.1096	-
0.1351	7500	0.0855	-
0.1360	7550	0.0702	-
0.1369	7600	0.0456	-
0.1378	7650	0.1596	-
0.1387	7700	0.1146	-
0.1396	7750	0.1561	-
0.1405	7800	0.134	-
0.1414	7850	0.1962	-
0.1423	7900	0.1557	-
0.1432	7950	0.1178	-
0.1441	8000	0.142	-
0.1450	8050	0.1368	-
0.1459	8100	0.1537	-
0.1468	8150	0.1454	-
0.1477	8200	0.2237	-
0.1486	8250	0.1172	-
0.1495	8300	0.0987	-
0.1504	8350	0.062	-
0.1513	8400	0.0981	-
0.1522	8450	0.1276	-
0.1531	8500	0.1503	-
0.1540	8550	0.099	-
0.1549	8600	0.1606	-
0.1558	8650	0.1157	-
0.1567	8700	0.0971	-
0.1576	8750	0.1783	-
0.1585	8800	0.0727	-
0.1594	8850	0.0888	-
0.1603	8900	0.1898	-
0.1612	8950	0.1185	-
0.1621	9000	0.1595	-
0.1630	9050	0.1044	-
0.1639	9100	0.1146	-
0.1648	9150	0.1444	-
0.1657	9200	0.0684	-
0.1666	9250	0.0735	-
0.1675	9300	0.0986	-
0.1684	9350	0.1439	-
0.1693	9400	0.0933	-
0.1702	9450	0.1357	-
0.1711	9500	0.0887	-
0.1720	9550	0.1112	-
0.1729	9600	0.0949	-
0.1738	9650	0.0777	-
0.1747	9700	0.0964	-
0.1756	9750	0.1507	-
0.1765	9800	0.0949	-
0.1774	9850	0.0218	-
0.1783	9900	0.0985	-
0.1792	9950	0.0662	-
0.1801	10000	0.1998	-
0.1810	10050	0.0385	-
0.1819	10100	0.0991	-
0.1828	10150	0.1084	-
0.1837	10200	0.0837	-
0.1846	10250	0.1003	-
0.1855	10300	0.1278	-
0.1864	10350	0.1085	-
0.1873	10400	0.093	-
0.1882	10450	0.0794	-
0.1891	10500	0.1013	-
0.1900	10550	0.0605	-
0.1909	10600	0.1076	-
0.1918	10650	0.2	-
0.1927	10700	0.2024	-
0.1936	10750	0.1346	-
0.1945	10800	0.0548	-
0.1954	10850	0.0828	-
0.1963	10900	0.0776	-
0.1972	10950	0.0694	-
0.1981	11000	0.1473	-
0.1990	11050	0.1222	-
0.1999	11100	0.0889	-
0.2008	11150	0.1062	-
0.2017	11200	0.1663	-
0.2026	11250	0.1587	-
0.2035	11300	0.1054	-
0.2044	11350	0.0915	-
0.2053	11400	0.0517	-
0.2062	11450	0.0782	-
0.2071	11500	0.1826	-
0.2080	11550	0.1524	-
0.2089	11600	0.1023	-
0.2098	11650	0.1056	-
0.2107	11700	0.1251	-
0.2116	11750	0.0895	-
0.2125	11800	0.1104	-
0.2134	11850	0.0762	-
0.2143	11900	0.1532	-
0.2152	11950	0.0941	-
0.2161	12000	0.1207	-
0.2170	12050	0.0839	-
0.2179	12100	0.0431	-
0.2188	12150	0.1572	-
0.2197	12200	0.0717	-
0.2206	12250	0.1244	-
0.2215	12300	0.1261	-
0.2224	12350	0.0732	-
0.2233	12400	0.1829	-
0.2242	12450	0.1142	-
0.2251	12500	0.0272	-
0.2260	12550	0.1645	-
0.2269	12600	0.0775	-
0.2278	12650	0.1358	-
0.2287	12700	0.0485	-
0.2296	12750	0.1348	-
0.2305	12800	0.1387	-
0.2314	12850	0.0783	-
0.2323	12900	0.0713	-
0.2332	12950	0.0838	-
0.2341	13000	0.1496	-
0.2351	13050	0.0463	-
0.2360	13100	0.0665	-
0.2369	13150	0.0149	-
0.2378	13200	0.0744	-
0.2387	13250	0.0411	-
0.2396	13300	0.1816	-
0.2405	13350	0.0956	-
0.2414	13400	0.1163	-
0.2423	13450	0.1136	-
0.2432	13500	0.116	-
0.2441	13550	0.0997	-
0.2450	13600	0.0649	-
0.2459	13650	0.0291	-
0.2468	13700	0.1282	-
0.2477	13750	0.0576	-
0.2486	13800	0.0891	-
0.2495	13850	0.0872	-
0.2504	13900	0.0606	-
0.2513	13950	0.0508	-
0.2522	14000	0.0457	-
0.2531	14050	0.0656	-
0.2540	14100	0.0936	-
0.2549	14150	0.0739	-
0.2558	14200	0.0941	-
0.2567	14250	0.1054	-
0.2576	14300	0.1083	-
0.2585	14350	0.0662	-
0.2594	14400	0.1149	-
0.2603	14450	0.1683	-
0.2612	14500	0.0796	-
0.2621	14550	0.0439	-
0.2630	14600	0.027	-
0.2639	14650	0.0666	-
0.2648	14700	0.041	-
0.2657	14750	0.0915	-
0.2666	14800	0.0678	-
0.2675	14850	0.1054	-
0.2684	14900	0.051	-
0.2693	14950	0.1416	-
0.2702	15000	0.0569	-
0.2711	15050	0.0851	-
0.2720	15100	0.065	-
0.2729	15150	0.0199	-
0.2738	15200	0.0837	-
0.2747	15250	0.0828	-
0.2756	15300	0.1139	-
0.2765	15350	0.1072	-
0.2774	15400	0.1733	-
0.2783	15450	0.1137	-
0.2792	15500	0.0504	-
0.2801	15550	0.0513	-
0.2810	15600	0.0579	-
0.2819	15650	0.0765	-
0.2828	15700	0.0466	-
0.2837	15750	0.0887	-
0.2846	15800	0.0741	-
0.2855	15850	0.0617	-
0.2864	15900	0.0368	-
0.2873	15950	0.0632	-
0.2882	16000	0.062	-
0.2891	16050	0.0413	-
0.2900	16100	0.0347	-
0.2909	16150	0.1019	-
0.2918	16200	0.0846	-
0.2927	16250	0.0714	-
0.2936	16300	0.0389	-
0.2945	16350	0.0514	-
0.2954	16400	0.1095	-
0.2963	16450	0.0753	-
0.2972	16500	0.0648	-
0.2981	16550	0.062	-
0.2990	16600	0.065	-
0.2999	16650	0.1014	-
0.3008	16700	0.037	-
0.3017	16750	0.1058	-
0.3026	16800	0.1038	-
0.3035	16850	0.0733	-
0.3044	16900	0.0791	-
0.3053	16950	0.1121	-
0.3062	17000	0.1084	-
0.3071	17050	0.0496	-
0.3080	17100	0.0733	-
0.3089	17150	0.0379	-
0.3098	17200	0.0448	-
0.3107	17250	0.1056	-
0.3116	17300	0.0687	-
0.3125	17350	0.0245	-
0.3134	17400	0.0584	-
0.3143	17450	0.0946	-
0.3152	17500	0.0857	-
0.3161	17550	0.1144	-
0.3170	17600	0.1119	-
0.3179	17650	0.1323	-
0.3188	17700	0.1026	-
0.3197	17750	0.0933	-
0.3206	17800	0.0671	-
0.3215	17850	0.0132	-
0.3224	17900	0.0611	-
0.3233	17950	0.056	-
0.3242	18000	0.0329	-
0.3251	18050	0.0358	-
0.3260	18100	0.1389	-
0.3269	18150	0.0653	-
0.3278	18200	0.0438	-
0.3287	18250	0.0612	-
0.3296	18300	0.1245	-
0.3305	18350	0.1018	-
0.3314	18400	0.082	-
0.3323	18450	0.0577	-
0.3332	18500	0.1349	-
0.3341	18550	0.0871	-
0.3350	18600	0.0525	-
0.3359	18650	0.0551	-
0.3368	18700	0.046	-
0.3377	18750	0.1323	-
0.3386	18800	0.147	-
0.3395	18850	0.045	-
0.3404	18900	0.027	-
0.3413	18950	0.1375	-
0.3422	19000	0.0569	-
0.3431	19050	0.0454	-
0.3440	19100	0.1545	-
0.3449	19150	0.0703	-
0.3458	19200	0.0434	-
0.3467	19250	0.0133	-
0.3476	19300	0.095	-
0.3485	19350	0.0344	-
0.3494	19400	0.0449	-
0.3503	19450	0.1665	-
0.3512	19500	0.0521	-
0.3521	19550	0.0844	-
0.3530	19600	0.1029	-
0.3539	19650	0.0858	-
0.3548	19700	0.1014	-
0.3557	19750	0.076	-
0.3566	19800	0.0882	-
0.3575	19850	0.1332	-
0.3584	19900	0.0877	-
0.3593	19950	0.0531	-
0.3602	20000	0.0796	-
0.3611	20050	0.0783	-
0.3620	20100	0.044	-
0.3629	20150	0.182	-
0.3638	20200	0.0672	-
0.3647	20250	0.0571	-
0.3656	20300	0.0452	-
0.3665	20350	0.0693	-
0.3674	20400	0.087	-
0.3683	20450	0.0594	-
0.3692	20500	0.0791	-
0.3701	20550	0.0546	-
0.3710	20600	0.1234	-
0.3719	20650	0.0592	-
0.3728	20700	0.0462	-
0.3737	20750	0.064	-
0.3746	20800	0.0991	-
0.3755	20850	0.0322	-
0.3764	20900	0.0624	-
0.3773	20950	0.0522	-
0.3782	21000	0.0826	-
0.3791	21050	0.0962	-
0.3800	21100	0.0556	-
0.3809	21150	0.0287	-
0.3818	21200	0.0798	-
0.3827	21250	0.0722	-
0.3836	21300	0.0784	-
0.3845	21350	0.0558	-
0.3854	21400	0.0405	-
0.3863	21450	0.1242	-
0.3872	21500	0.1275	-
0.3881	21550	0.0679	-
0.3890	21600	0.05	-
0.3899	21650	0.0593	-
0.3909	21700	0.1064	-
0.3918	21750	0.1139	-
0.3927	21800	0.1437	-
0.3936	21850	0.1023	-
0.3945	21900	0.0259	-
0.3954	21950	0.0481	-
0.3963	22000	0.0358	-
0.3972	22050	0.0236	-
0.3981	22100	0.0573	-
0.3990	22150	0.123	-
0.3999	22200	0.0783	-
0.4008	22250	0.0661	-
0.4017	22300	0.0598	-
0.4026	22350	0.0387	-
0.4035	22400	0.0347	-
0.4044	22450	0.0271	-
0.4053	22500	0.0532	-
0.4062	22550	0.0515	-
0.4071	22600	0.0416	-
0.4080	22650	0.0912	-
0.4089	22700	0.0275	-
0.4098	22750	0.1205	-
0.4107	22800	0.025	-
0.4116	22850	0.0827	-
0.4125	22900	0.1313	-
0.4134	22950	0.0709	-
0.4143	23000	0.045	-
0.4152	23050	0.07	-
0.4161	23100	0.1394	-
0.4170	23150	0.0125	-
0.4179	23200	0.0982	-
0.4188	23250	0.0595	-
0.4197	23300	0.1046	-
0.4206	23350	0.0363	-
0.4215	23400	0.0789	-
0.4224	23450	0.0477	-
0.4233	23500	0.1119	-
0.4242	23550	0.0854	-
0.4251	23600	0.0811	-
0.4260	23650	0.0482	-
0.4269	23700	0.0241	-
0.4278	23750	0.0508	-
0.4287	23800	0.0437	-
0.4296	23850	0.1025	-
0.4305	23900	0.0857	-
0.4314	23950	0.0242	-
0.4323	24000	0.0993	-
0.4332	24050	0.0426	-
0.4341	24100	0.0259	-
0.4350	24150	0.0612	-
0.4359	24200	0.0604	-
0.4368	24250	0.0838	-
0.4377	24300	0.1664	-
0.4386	24350	0.0614	-
0.4395	24400	0.0525	-
0.4404	24450	0.036	-
0.4413	24500	0.0293	-
0.4422	24550	0.0181	-
0.4431	24600	0.0901	-
0.4440	24650	0.0812	-
0.4449	24700	0.0439	-
0.4458	24750	0.1715	-
0.4467	24800	0.0555	-
0.4476	24850	0.0177	-
0.4485	24900	0.0253	-
0.4494	24950	0.1183	-
0.4503	25000	0.0599	-
0.4512	25050	0.0783	-
0.4521	25100	0.0889	-
0.4530	25150	0.0186	-
0.4539	25200	0.075	-
0.4548	25250	0.03	-
0.4557	25300	0.0311	-
0.4566	25350	0.0826	-
0.4575	25400	0.0406	-
0.4584	25450	0.0672	-
0.4593	25500	0.0872	-
0.4602	25550	0.1159	-
0.4611	25600	0.0405	-
0.4620	25650	0.0318	-
0.4629	25700	0.075	-
0.4638	25750	0.0533	-
0.4647	25800	0.0498	-
0.4656	25850	0.0694	-
0.4665	25900	0.0394	-
0.4674	25950	0.1791	-
0.4683	26000	0.0315	-
0.4692	26050	0.0277	-
0.4701	26100	0.0447	-
0.4710	26150	0.059	-
0.4719	26200	0.0787	-
0.4728	26250	0.0743	-
0.4737	26300	0.0304	-
0.4746	26350	0.0507	-
0.4755	26400	0.0389	-
0.4764	26450	0.0399	-
0.4773	26500	0.0201	-
0.4782	26550	0.0423	-
0.4791	26600	0.0408	-
0.4800	26650	0.0329	-
0.4809	26700	0.0288	-
0.4818	26750	0.1072	-
0.4827	26800	0.1211	-
0.4836	26850	0.0531	-
0.4845	26900	0.0967	-
0.4854	26950	0.0188	-
0.4863	27000	0.0868	-
0.4872	27050	0.1007	-
0.4881	27100	0.0375	-
0.4890	27150	0.0529	-
0.4899	27200	0.0422	-
0.4908	27250	0.0391	-
0.4917	27300	0.0221	-
0.4926	27350	0.1447	-
0.4935	27400	0.0505	-
0.4944	27450	0.1414	-
0.4953	27500	0.0798	-
0.4962	27550	0.0375	-
0.4971	27600	0.0603	-
0.4980	27650	0.1289	-
0.4989	27700	0.0574	-
0.4998	27750	0.0957	-
0.5007	27800	0.0799	-
0.5016	27850	0.0755	-
0.5025	27900	0.0888	-
0.5034	27950	0.0168	-
0.5043	28000	0.0764	-
0.5052	28050	0.0392	-
0.5061	28100	0.0383	-
0.5070	28150	0.0313	-
0.5079	28200	0.0074	-
0.5088	28250	0.091	-
0.5097	28300	0.0608	-
0.5106	28350	0.0332	-
0.5115	28400	0.0997	-
0.5124	28450	0.0805	-
0.5133	28500	0.0378	-
0.5142	28550	0.08	-
0.5151	28600	0.0394	-
0.5160	28650	0.0712	-
0.5169	28700	0.0284	-
0.5178	28750	0.0301	-
0.5187	28800	0.1545	-
0.5196	28850	0.0546	-
0.5205	28900	0.0302	-
0.5214	28950	0.0518	-
0.5223	29000	0.0488	-
0.5232	29050	0.091	-
0.5241	29100	0.0989	-
0.5250	29150	0.0481	-
0.5259	29200	0.1095	-
0.5268	29250	0.0343	-
0.5277	29300	0.0334	-
0.5286	29350	0.0449	-
0.5295	29400	0.064	-
0.5304	29450	0.0749	-
0.5313	29500	0.0084	-
0.5322	29550	0.0247	-
0.5331	29600	0.0204	-
0.5340	29650	0.0369	-
0.5349	29700	0.0921	-
0.5358	29750	0.0607	-
0.5367	29800	0.0384	-
0.5376	29850	0.0867	-
0.5385	29900	0.1473	-
0.5394	29950	0.0606	-
0.5403	30000	0.0799	-
0.5412	30050	0.0747	-
0.5421	30100	0.0769	-
0.5430	30150	0.0244	-
0.5439	30200	0.0641	-
0.5448	30250	0.0333	-
0.5457	30300	0.0245	-
0.5466	30350	0.0185	-
0.5476	30400	0.0478	-
0.5485	30450	0.0846	-
0.5494	30500	0.068	-
0.5503	30550	0.0687	-
0.5512	30600	0.0521	-
0.5521	30650	0.0592	-
0.5530	30700	0.0493	-
0.5539	30750	0.035	-
0.5548	30800	0.0773	-
0.5557	30850	0.0627	-
0.5566	30900	0.0299	-
0.5575	30950	0.0815	-
0.5584	31000	0.0207	-
0.5593	31050	0.0339	-
0.5602	31100	0.0205	-
0.5611	31150	0.0559	-
0.5620	31200	0.0605	-
0.5629	31250	0.0251	-
0.5638	31300	0.0905	-
0.5647	31350	0.0185	-
0.5656	31400	0.0461	-
0.5665	31450	0.0444	-
0.5674	31500	0.0465	-
0.5683	31550	0.0194	-
0.5692	31600	0.0353	-
0.5701	31650	0.0668	-
0.5710	31700	0.0831	-
0.5719	31750	0.0845	-
0.5728	31800	0.0525	-
0.5737	31850	0.0418	-
0.5746	31900	0.0239	-
0.5755	31950	0.0667	-
0.5764	32000	0.0419	-
0.5773	32050	0.1183	-
0.5782	32100	0.0358	-
0.5791	32150	0.0341	-
0.5800	32200	0.0462	-
0.5809	32250	0.0119	-
0.5818	32300	0.0309	-
0.5827	32350	0.0614	-
0.5836	32400	0.0688	-
0.5845	32450	0.0242	-
0.5854	32500	0.0384	-
0.5863	32550	0.0764	-
0.5872	32600	0.0512	-
0.5881	32650	0.0545	-
0.5890	32700	0.0515	-
0.5899	32750	0.0905	-
0.5908	32800	0.0266	-
0.5917	32850	0.1118	-
0.5926	32900	0.0393	-
0.5935	32950	0.0172	-
0.5944	33000	0.0303	-
0.5953	33050	0.0523	-
0.5962	33100	0.0153	-
0.5971	33150	0.0347	-
0.5980	33200	0.0144	-
0.5989	33250	0.0826	-
0.5998	33300	0.0194	-
0.6007	33350	0.031	-
0.6016	33400	0.1032	-
0.6025	33450	0.0865	-
0.6034	33500	0.0175	-
0.6043	33550	0.0785	-
0.6052	33600	0.0645	-
0.6061	33650	0.012	-
0.6070	33700	0.0237	-
0.6079	33750	0.0527	-
0.6088	33800	0.0375	-
0.6097	33850	0.0727	-
0.6106	33900	0.0764	-
0.6115	33950	0.0447	-
0.6124	34000	0.0358	-
0.6133	34050	0.0762	-
0.6142	34100	0.0306	-
0.6151	34150	0.0431	-
0.6160	34200	0.0256	-
0.6169	34250	0.0894	-
0.6178	34300	0.0297	-
0.6187	34350	0.0495	-
0.6196	34400	0.0394	-
0.6205	34450	0.0689	-
0.6214	34500	0.0224	-
0.6223	34550	0.0248	-
0.6232	34600	0.0587	-
0.6241	34650	0.0585	-
0.625	34700	0.0279	-
0.6259	34750	0.0267	-
0.6268	34800	0.0182	-
0.6277	34850	0.0422	-
0.6286	34900	0.0166	-
0.6295	34950	0.0246	-
0.6304	35000	0.0248	-
0.6313	35050	0.0902	-
0.6322	35100	0.0309	-
0.6331	35150	0.0705	-
0.6340	35200	0.0507	-
0.6349	35250	0.019	-
0.6358	35300	0.0947	-
0.6367	35350	0.0226	-
0.6376	35400	0.0534	-
0.6385	35450	0.0607	-
0.6394	35500	0.0208	-
0.6403	35550	0.0198	-
0.6412	35600	0.0298	-
0.6421	35650	0.0191	-
0.6430	35700	0.0589	-
0.6439	35750	0.0909	-
0.6448	35800	0.0829	-
0.6457	35850	0.055	-
0.6466	35900	0.0188	-
0.6475	35950	0.033	-
0.6484	36000	0.0617	-
0.6493	36050	0.0374	-
0.6502	36100	0.0481	-
0.6511	36150	0.034	-
0.6520	36200	0.1183	-
0.6529	36250	0.0265	-
0.6538	36300	0.0413	-
0.6547	36350	0.0232	-
0.6556	36400	0.0244	-
0.6565	36450	0.0452	-
0.6574	36500	0.072	-
0.6583	36550	0.0216	-
0.6592	36600	0.0383	-
0.6601	36650	0.0625	-
0.6610	36700	0.0875	-
0.6619	36750	0.1208	-
0.6628	36800	0.0431	-
0.6637	36850	0.025	-
0.6646	36900	0.056	-
0.6655	36950	0.0399	-
0.6664	37000	0.0521	-
0.6673	37050	0.0415	-
0.6682	37100	0.1265	-
0.6691	37150	0.022	-
0.6700	37200	0.0395	-
0.6709	37250	0.0759	-
0.6718	37300	0.0428	-
0.6727	37350	0.0304	-
0.6736	37400	0.0203	-
0.6745	37450	0.0484	-
0.6754	37500	0.0384	-
0.6763	37550	0.0548	-
0.6772	37600	0.0346	-
0.6781	37650	0.0284	-
0.6790	37700	0.0247	-
0.6799	37750	0.0497	-
0.6808	37800	0.0796	-
0.6817	37850	0.0603	-
0.6826	37900	0.0381	-
0.6835	37950	0.0292	-
0.6844	38000	0.0295	-
0.6853	38050	0.0312	-
0.6862	38100	0.056	-
0.6871	38150	0.0198	-
0.6880	38200	0.0648	-
0.6889	38250	0.0529	-
0.6898	38300	0.018	-
0.6907	38350	0.0837	-
0.6916	38400	0.0366	-
0.6925	38450	0.0216	-
0.6934	38500	0.0436	-
0.6943	38550	0.0211	-
0.6952	38600	0.0532	-
0.6961	38650	0.0468	-
0.6970	38700	0.1161	-
0.6979	38750	0.073	-
0.6988	38800	0.0201	-
0.6997	38850	0.1307	-
0.7006	38900	0.0281	-
0.7015	38950	0.0891	-
0.7024	39000	0.0204	-
0.7034	39050	0.0363	-
0.7043	39100	0.0551	-
0.7052	39150	0.0213	-
0.7061	39200	0.139	-
0.7070	39250	0.013	-
0.7079	39300	0.024	-
0.7088	39350	0.071	-
0.7097	39400	0.026	-
0.7106	39450	0.0294	-
0.7115	39500	0.0245	-
0.7124	39550	0.011	-
0.7133	39600	0.0099	-
0.7142	39650	0.0829	-
0.7151	39700	0.0637	-
0.7160	39750	0.0109	-
0.7169	39800	0.0113	-
0.7178	39850	0.0297	-
0.7187	39900	0.0291	-
0.7196	39950	0.0526	-
0.7205	40000	0.0339	-
0.7214	40050	0.09	-
0.7223	40100	0.0565	-
0.7232	40150	0.0435	-
0.7241	40200	0.0218	-
0.7250	40250	0.032	-
0.7259	40300	0.1011	-
0.7268	40350	0.0334	-
0.7277	40400	0.0363	-
0.7286	40450	0.065	-
0.7295	40500	0.0408	-
0.7304	40550	0.0229	-
0.7313	40600	0.07	-
0.7322	40650	0.0315	-
0.7331	40700	0.0406	-
0.7340	40750	0.0151	-
0.7349	40800	0.0399	-
0.7358	40850	0.0399	-
0.7367	40900	0.0201	-
0.7376	40950	0.0402	-
0.7385	41000	0.0957	-
0.7394	41050	0.0271	-
0.7403	41100	0.0341	-
0.7412	41150	0.0572	-
0.7421	41200	0.0389	-
0.7430	41250	0.0319	-
0.7439	41300	0.0262	-
0.7448	41350	0.0809	-
0.7457	41400	0.0208	-
0.7466	41450	0.0423	-
0.7475	41500	0.0673	-
0.7484	41550	0.025	-
0.7493	41600	0.0764	-
0.7502	41650	0.0293	-
0.7511	41700	0.0545	-
0.7520	41750	0.0219	-
0.7529	41800	0.0119	-
0.7538	41850	0.08	-
0.7547	41900	0.0286	-
0.7556	41950	0.0307	-
0.7565	42000	0.0433	-
0.7574	42050	0.0518	-
0.7583	42100	0.0372	-
0.7592	42150	0.0542	-
0.7601	42200	0.0254	-
0.7610	42250	0.0604	-
0.7619	42300	0.029	-
0.7628	42350	0.0263	-
0.7637	42400	0.0317	-
0.7646	42450	0.0903	-
0.7655	42500	0.0277	-
0.7664	42550	0.0662	-
0.7673	42600	0.0205	-
0.7682	42650	0.0191	-
0.7691	42700	0.0866	-
0.7700	42750	0.0482	-
0.7709	42800	0.0391	-
0.7718	42850	0.0584	-
0.7727	42900	0.035	-
0.7736	42950	0.0393	-
0.7745	43000	0.0168	-
0.7754	43050	0.0522	-
0.7763	43100	0.0178	-
0.7772	43150	0.0961	-
0.7781	43200	0.0343	-
0.7790	43250	0.0251	-
0.7799	43300	0.019	-
0.7808	43350	0.0511	-
0.7817	43400	0.0326	-
0.7826	43450	0.0327	-
0.7835	43500	0.0951	-
0.7844	43550	0.0726	-
0.7853	43600	0.0562	-
0.7862	43650	0.0473	-
0.7871	43700	0.0116	-
0.7880	43750	0.0501	-
0.7889	43800	0.0672	-
0.7898	43850	0.0669	-
0.7907	43900	0.0623	-
0.7916	43950	0.0303	-
0.7925	44000	0.0651	-
0.7934	44050	0.0419	-
0.7943	44100	0.0671	-
0.7952	44150	0.1371	-
0.7961	44200	0.0345	-
0.7970	44250	0.0543	-
0.7979	44300	0.0438	-
0.7988	44350	0.0365	-
0.7997	44400	0.0504	-
0.8006	44450	0.0388	-
0.8015	44500	0.0135	-
0.8024	44550	0.0912	-
0.8033	44600	0.0565	-
0.8042	44650	0.0357	-
0.8051	44700	0.0879	-
0.8060	44750	0.0191	-
0.8069	44800	0.0293	-
0.8078	44850	0.0655	-
0.8087	44900	0.0092	-
0.8096	44950	0.0548	-
0.8105	45000	0.0355	-
0.8114	45050	0.0195	-
0.8123	45100	0.0484	-
0.8132	45150	0.0788	-
0.8141	45200	0.0342	-
0.8150	45250	0.0424	-
0.8159	45300	0.0346	-
0.8168	45350	0.0562	-
0.8177	45400	0.033	-
0.8186	45450	0.0591	-
0.8195	45500	0.0369	-
0.8204	45550	0.0693	-
0.8213	45600	0.052	-
0.8222	45650	0.0387	-
0.8231	45700	0.0391	-
0.8240	45750	0.0498	-
0.8249	45800	0.0262	-
0.8258	45850	0.0079	-
0.8267	45900	0.0333	-
0.8276	45950	0.0521	-
0.8285	46000	0.0607	-
0.8294	46050	0.0246	-
0.8303	46100	0.0308	-
0.8312	46150	0.0422	-
0.8321	46200	0.0277	-
0.8330	46250	0.0268	-
0.8339	46300	0.0896	-
0.8348	46350	0.0268	-
0.8357	46400	0.0271	-
0.8366	46450	0.0291	-
0.8375	46500	0.0663	-
0.8384	46550	0.0388	-
0.8393	46600	0.0205	-
0.8402	46650	0.0269	-
0.8411	46700	0.0197	-
0.8420	46750	0.0493	-
0.8429	46800	0.0345	-
0.8438	46850	0.0901	-
0.8447	46900	0.0237	-
0.8456	46950	0.056	-
0.8465	47000	0.0556	-
0.8474	47050	0.0489	-
0.8483	47100	0.0136	-
0.8492	47150	0.0974	-
0.8501	47200	0.0354	-
0.8510	47250	0.0453	-
0.8519	47300	0.0891	-
0.8528	47350	0.0185	-
0.8537	47400	0.0479	-
0.8546	47450	0.0286	-
0.8555	47500	0.0528	-
0.8564	47550	0.0334	-
0.8573	47600	0.0105	-
0.8582	47650	0.0613	-
0.8591	47700	0.0345	-
0.8601	47750	0.0449	-
0.8610	47800	0.0179	-
0.8619	47850	0.0156	-
0.8628	47900	0.084	-
0.8637	47950	0.0233	-
0.8646	48000	0.0281	-
0.8655	48050	0.0667	-
0.8664	48100	0.0132	-
0.8673	48150	0.0301	-
0.8682	48200	0.081	-
0.8691	48250	0.017	-
0.8700	48300	0.0418	-
0.8709	48350	0.013	-
0.8718	48400	0.0473	-
0.8727	48450	0.0731	-
0.8736	48500	0.0182	-
0.8745	48550	0.0225	-
0.8754	48600	0.0722	-
0.8763	48650	0.0131	-
0.8772	48700	0.0436	-
0.8781	48750	0.0292	-
0.8790	48800	0.0418	-
0.8799	48850	0.0906	-
0.8808	48900	0.0498	-
0.8817	48950	0.013	-
0.8826	49000	0.0422	-
0.8835	49050	0.0359	-
0.8844	49100	0.0317	-
0.8853	49150	0.0461	-
0.8862	49200	0.0407	-
0.8871	49250	0.0392	-
0.8880	49300	0.0622	-
0.8889	49350	0.017	-
0.8898	49400	0.0471	-
0.8907	49450	0.0465	-
0.8916	49500	0.0242	-
0.8925	49550	0.0532	-
0.8934	49600	0.0481	-
0.8943	49650	0.0628	-
0.8952	49700	0.0281	-
0.8961	49750	0.0136	-
0.8970	49800	0.0656	-
0.8979	49850	0.0182	-
0.8988	49900	0.0519	-
0.8997	49950	0.0207	-
0.9006	50000	0.0377	-
0.9015	50050	0.0552	-
0.9024	50100	0.0195	-
0.9033	50150	0.03	-
0.9042	50200	0.0568	-
0.9051	50250	0.0388	-
0.9060	50300	0.0445	-
0.9069	50350	0.0461	-
0.9078	50400	0.0299	-
0.9087	50450	0.0173	-
0.9096	50500	0.0908	-
0.9105	50550	0.0524	-
0.9114	50600	0.0241	-
0.9123	50650	0.051	-
0.9132	50700	0.0114	-
0.9141	50750	0.0379	-
0.9150	50800	0.0909	-
0.9159	50850	0.1076	-
0.9168	50900	0.0346	-
0.9177	50950	0.0319	-
0.9186	51000	0.0186	-
0.9195	51050	0.0397	-
0.9204	51100	0.046	-
0.9213	51150	0.0412	-
0.9222	51200	0.0147	-
0.9231	51250	0.0262	-
0.9240	51300	0.0552	-
0.9249	51350	0.0545	-
0.9258	51400	0.0402	-
0.9267	51450	0.0603	-
0.9276	51500	0.0343	-
0.9285	51550	0.0267	-
0.9294	51600	0.0439	-
0.9303	51650	0.0317	-
0.9312	51700	0.0108	-
0.9321	51750	0.0439	-
0.9330	51800	0.0365	-
0.9339	51850	0.0305	-
0.9348	51900	0.0228	-
0.9357	51950	0.0204	-
0.9366	52000	0.0433	-
0.9375	52050	0.018	-
0.9384	52100	0.1014	-
0.9393	52150	0.0442	-
0.9402	52200	0.014	-
0.9411	52250	0.0527	-
0.9420	52300	0.0263	-
0.9429	52350	0.0219	-
0.9438	52400	0.0251	-
0.9447	52450	0.0446	-
0.9456	52500	0.0231	-
0.9465	52550	0.0406	-
0.9474	52600	0.0201	-
0.9483	52650	0.0399	-
0.9492	52700	0.0633	-
0.9501	52750	0.0375	-
0.9510	52800	0.0862	-
0.9519	52850	0.0443	-
0.9528	52900	0.0219	-
0.9537	52950	0.0335	-
0.9546	53000	0.05	-
0.9555	53050	0.0529	-
0.9564	53100	0.0495	-
0.9573	53150	0.0219	-
0.9582	53200	0.0519	-
0.9591	53250	0.0272	-
0.9600	53300	0.0189	-
0.9609	53350	0.0257	-
0.9618	53400	0.0401	-
0.9627	53450	0.0426	-
0.9636	53500	0.0168	-
0.9645	53550	0.0358	-
0.9654	53600	0.0279	-
0.9663	53650	0.0133	-
0.9672	53700	0.0257	-
0.9681	53750	0.0344	-
0.9690	53800	0.0718	-
0.9699	53850	0.045	-
0.9708	53900	0.0287	-
0.9717	53950	0.0448	-
0.9726	54000	0.0458	-
0.9735	54050	0.033	-
0.9744	54100	0.0164	-
0.9753	54150	0.0228	-
0.9762	54200	0.0616	-
0.9771	54250	0.0172	-
0.9780	54300	0.0538	-
0.9789	54350	0.0318	-
0.9798	54400	0.0323	-
0.9807	54450	0.0428	-
0.9816	54500	0.043	-
0.9825	54550	0.0144	-
0.9834	54600	0.0896	-
0.9843	54650	0.0501	-
0.9852	54700	0.034	-
0.9861	54750	0.0546	-
0.9870	54800	0.0212	-
0.9879	54850	0.0385	-
0.9888	54900	0.048	-
0.9897	54950	0.0317	-
0.9906	55000	0.0373	-
0.9915	55050	0.0357	-
0.9924	55100	0.0406	-
0.9933	55150	0.0255	-
0.9942	55200	0.0297	-
0.9951	55250	0.0155	-
0.9960	55300	0.0329	-
0.9969	55350	0.0186	-
0.9978	55400	0.0257	-
0.9987	55450	0.033	-
0.9996	55500	0.0505	-

Framework Versions

• Python: 3.11.7
• SetFit: 1.0.3
• Sentence Transformers: 2.3.0
• Transformers: 4.37.2
• PyTorch: 2.1.2+cu118
• Datasets: 2.16.1
• Tokenizers: 0.15.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}