SetFit with projecte-aina/ST-NLI-ca_paraphrase-multilingual-mpnet-base

This is a SetFit model that can be used for Text Classification. This SetFit model uses projecte-aina/ST-NLI-ca_paraphrase-multilingual-mpnet-base as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: projecte-aina/ST-NLI-ca_paraphrase-multilingual-mpnet-base
Classification head: a LogisticRegression instance
Maximum Sequence Length: 128 tokens
Number of Classes: 20 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
0	'Aquest text és Aigües.' 'Aquest text és Aigües.' 'Aquest text és Aigües.'
1	'Aquest text és Consum, comerç i mercats.' 'Aquest text és Consum, comerç i mercats.' 'Aquest text és Consum, comerç i mercats.'
2	'Aquest text és Cultura.' 'Aquest text és Cultura.' 'Aquest text és Cultura.'
3	'Aquest text és Economia.' 'Aquest text és Economia.' 'Aquest text és Economia.'
4	'Aquest text és Educació.' 'Aquest text és Educació.' 'Aquest text és Educació.'
5	'Aquest text és Enllumenat públic.' 'Aquest text és Enllumenat públic.' 'Aquest text és Enllumenat públic.'
6	'Aquest text és Esports.' 'Aquest text és Esports.' 'Aquest text és Esports.'
7	'Aquest text és Habitatge.' 'Aquest text és Habitatge.' 'Aquest text és Habitatge.'
8	'Aquest text és Horta.' 'Aquest text és Horta.' 'Aquest text és Horta.'
9	'Aquest text és Informació general.' 'Aquest text és Informació general.' 'Aquest text és Informació general.'
10	'Aquest text és Informàtica.' 'Aquest text és Informàtica.' 'Aquest text és Informàtica.'
11	'Aquest text és Joventut.' 'Aquest text és Joventut.' 'Aquest text és Joventut.'
12	'Aquest text és Medi ambient.' 'Aquest text és Medi ambient.' 'Aquest text és Medi ambient.'
13	'Aquest text és Neteja de la via pública.' 'Aquest text és Neteja de la via pública.' 'Aquest text és Neteja de la via pública.'
14	'Aquest text és Salut pública i Cementiri.' 'Aquest text és Salut pública i Cementiri.' 'Aquest text és Salut pública i Cementiri.'
15	'Aquest text és Seguretat.' 'Aquest text és Seguretat.' 'Aquest text és Seguretat.'
16	'Aquest text és Serveis socials.' 'Aquest text és Serveis socials.' 'Aquest text és Serveis socials.'
17	'Aquest text és Tramitacions.' 'Aquest text és Tramitacions.' 'Aquest text és Tramitacions.'
18	'Aquest text és Urbanisme.' 'Aquest text és Urbanisme.' 'Aquest text és Urbanisme.'
19	'Aquest text és Via pública i mobilitat.' 'Aquest text és Via pública i mobilitat.' 'Aquest text és Via pública i mobilitat.'

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("adriansanz/fs_setfit_dummy")
# Run inference
preds = model("Suggeriria que es realitzessin campanyes de recompensa per incentivar els ciutadans a informar de fuites d'aigua, oferint descomptes en la factura d'aigua o altres incentius.")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	4	4.85	8

Label	Training Sample Count
0	8
1	8
2	8
3	8
4	8
5	8
6	8
7	8
8	8
9	8
10	8
11	8
12	8
13	8
14	8
15	8
16	8
17	8
18	8
19	8

Training Hyperparameters

batch_size: (16, 16)
num_epochs: (3, 3)
max_steps: -1
sampling_strategy: oversampling
body_learning_rate: (2e-05, 1e-05)
head_learning_rate: 0.01
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
seed: 42
eval_max_steps: -1
load_best_model_at_end: True

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0007	1	0.1362	-
0.0329	50	0.0344	-
0.0658	100	0.0017	-
0.0987	150	0.0013	-
0.1316	200	0.0013	-
0.1645	250	0.0007	-
0.1974	300	0.0004	-
0.2303	350	0.0004	-
0.2632	400	0.0006	-
0.2961	450	0.0005	-
0.3289	500	0.0003	-
0.3618	550	0.0005	-
0.3947	600	0.0006	-
0.4276	650	0.0004	-
0.4605	700	0.0003	-
0.4934	750	0.0001	-
0.5263	800	0.0002	-
0.5592	850	0.0002	-
0.5921	900	0.0002	-
0.625	950	0.0002	-
0.6579	1000	0.0002	-
0.6908	1050	0.0002	-
0.7237	1100	0.0002	-
0.7566	1150	0.0002	-
0.7895	1200	0.0002	-
0.8224	1250	0.0003	-
0.8553	1300	0.0002	-
0.8882	1350	0.0001	-
0.9211	1400	0.0001	-
0.9539	1450	0.0002	-
0.9868	1500	0.0002	-
1.0	1520	-	0.1669
1.0197	1550	0.0002	-
1.0526	1600	0.0001	-
1.0855	1650	0.0003	-
1.1184	1700	0.0002	-
1.1513	1750	0.0002	-
1.1842	1800	0.0001	-
1.2171	1850	0.0002	-
1.25	1900	0.0003	-
1.2829	1950	0.0002	-
1.3158	2000	0.0001	-
1.3487	2050	0.0002	-
1.3816	2100	0.0001	-
1.4145	2150	0.0001	-
1.4474	2200	0.0001	-
1.4803	2250	0.0002	-
1.5132	2300	0.0002	-
1.5461	2350	0.0002	-
1.5789	2400	0.0001	-
1.6118	2450	0.0001	-
1.6447	2500	0.0002	-
1.6776	2550	0.0002	-
1.7105	2600	0.0002	-
1.7434	2650	0.0001	-
1.7763	2700	0.0001	-
1.8092	2750	0.0001	-
1.8421	2800	0.0001	-
1.875	2850	0.0001	-
1.9079	2900	0.0001	-
1.9408	2950	0.0001	-
1.9737	3000	0.0001	-
2.0	3040	-	0.1629
2.0066	3050	0.0001	-
2.0395	3100	0.0001	-
2.0724	3150	0.0001	-
2.1053	3200	0.0001	-
2.1382	3250	0.0001	-
2.1711	3300	0.0001	-
2.2039	3350	0.0001	-
2.2368	3400	0.0001	-
2.2697	3450	0.0001	-
2.3026	3500	0.0002	-
2.3355	3550	0.0001	-
2.3684	3600	0.0001	-
2.4013	3650	0.0001	-
2.4342	3700	0.0001	-
2.4671	3750	0.0001	-
2.5	3800	0.0001	-
2.5329	3850	0.0001	-
2.5658	3900	0.0001	-
2.5987	3950	0.0	-
2.6316	4000	0.0	-
2.6645	4050	0.0001	-
2.6974	4100	0.0	-
2.7303	4150	0.0001	-
2.7632	4200	0.0001	-
2.7961	4250	0.0001	-
2.8289	4300	0.0001	-
2.8618	4350	0.0001	-
2.8947	4400	0.0001	-
2.9276	4450	0.0001	-
2.9605	4500	0.0001	-
2.9934	4550	0.0	-
3.0	4560	-	0.1625

The bold row denotes the saved checkpoint.

Framework Versions

Python: 3.10.12
SetFit: 1.0.3
Sentence Transformers: 3.0.0
Transformers: 4.39.0
PyTorch: 2.3.0+cu121
Datasets: 2.19.1
Tokenizers: 0.15.2

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

adriansanz
/

fs_setfit_dummy