SetFit Polarity Model with sentence-transformers/paraphrase-multilingual-mpnet-base-v2

This is a SetFit model that can be used for Aspect Based Sentiment Analysis (ABSA). This SetFit model uses sentence-transformers/paraphrase-multilingual-mpnet-base-v2 as the Sentence Transformer embedding model. A SetFitHead instance is used for classification. In particular, this model is in charge of classifying aspect polarities.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

This model was trained within the context of a larger system for ABSA, which looks like so:

Use a spaCy model to select possible aspect span candidates.
Use a SetFit model to filter these possible aspect span candidates.
Use this SetFit model to classify the filtered aspect span candidates.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: sentence-transformers/paraphrase-multilingual-mpnet-base-v2
Classification head: a SetFitHead instance
spaCy Model: it_core_news_lg
SetFitABSA Aspect Model: setfit-absa-aspect
SetFitABSA Polarity Model: MattiaTintori/Final_polarity_Colab_It
Maximum Sequence Length: 128 tokens
Number of Classes: 3 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
1	'l'abbiamo fatto notare alla cameriera che ci ha risposto ":Abbiamo appena pranzato al circolino, sinceramente non capiamo il motivo di tante stelline\nCibo scadente, panna cotta fatta con bustine, vino della casa "puro metanolo" e il peggio è stato quando l'abbiamo fatto notare alla cameriera che ci ha risposto "il vostro parere non conta...Altro' 'stelline\nCibo scadente, panna cotta fatta con bustine, vino:Abbiamo appena pranzato al circolino, sinceramente non capiamo il motivo di tante stelline\nCibo scadente, panna cotta fatta con bustine, vino della casa "puro metanolo" e il peggio è stato quando l'abbiamo fatto notare alla cameriera che ci ha risposto "il vostro parere non conta...Altro' 'cotta fatta con bustine, vino della casa "puro metanolo:Abbiamo appena pranzato al circolino, sinceramente non capiamo il motivo di tante stelline\nCibo scadente, panna cotta fatta con bustine, vino della casa "puro metanolo" e il peggio è stato quando l'abbiamo fatto notare alla cameriera che ci ha risposto "il vostro parere non conta...Altro'
0	'in quanto abbiamo scelto il menu’ a prezzo fisso (15 euro) e:Abbiamo pranzato all’aperto dopo una bellissima passeggiata per la Citta’ Alta. Quello che stupisce è sicuramente il rapporto qualità prezzo, in quanto abbiamo scelto il menu’ a prezzo fisso (15 euro) e ne siamo rimasti soddisfatti. Ottimi i casoncelli. Unico neo una porzione di coniglio...Altro' 'che stupisce è sicuramente il rapporto qualità prezzo, in quanto abbiamo scelto:Abbiamo pranzato all’aperto dopo una bellissima passeggiata per la Citta’ Alta. Quello che stupisce è sicuramente il rapporto qualità prezzo, in quanto abbiamo scelto il menu’ a prezzo fisso (15 euro) e ne siamo rimasti soddisfatti. Ottimi i casoncelli. Unico neo una porzione di coniglio...Altro' 'Bella la posizione nella piazza centrale. :Bella la posizione nella piazza centrale. per il resto....servizio molto lento....la signora che ci serviva completamente fusa.....abbiamo dovuto chiamarla perchè dopo 30 min nessuno ci aveva degnato di attenzione.\nper due volte ci è venuta a richiedere le ordinazioni....due coktail....niente di complicato.....il colmo quando mi...Altro'
2	"coperti di mozzarella. L'atmosfera è piuttosto sobrio, ma:Basato su una raccomandazione locale, siamo andati a Il By a mangiare la pizza. Che è stata una decisione piuttosto cattiva. Non abbiamo mai avuto formaggio così grave per le nostre pizze. Non riesco a ricordare che pizze che abbiamo avuto, ma avevano entrambi erano...coperti di mozzarella. L'atmosfera è piuttosto sobrio, ma che non dovrebbe essere così tanto di un problema.Altro" "città d'Italia per un aperitivo servito con quattro patatine e:In città alta periodo natalizio una delle più belle città d'Italia per un aperitivo servito con quattro patatine e 4 olive. Uno squallore incredibile a questo punto ordina una focaccia che non è mai arrivata. Mai più" 'di formaggi di capra, casoncelli alla bergamasca e gnocchetti in:Io e il mio ragazzo abbiamo deciso di pranzare al Circolino dopo aver letto numerose recensioni decisamente positive. Il locale somiglia a una grande mensa (distanziamento anti-Covid inesistente). Abbiamo preso un tagliere di formaggi di capra, casoncelli alla bergamasca e gnocchetti in crema di zucchine...Altro'

Evaluation

Metrics

Label	F1
all	0.8415

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import AbsaModel

# Download from the 🤗 Hub
model = AbsaModel.from_pretrained(
    "setfit-absa-aspect",
    "MattiaTintori/Final_polarity_Colab_It",
)
# Run inference
preds = model("The food was great, but the venue is just way too busy.")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	14	42.1222	146

Label	Training Sample Count
0	914
1	345
2	148

Training Hyperparameters

batch_size: (128, 32)
num_epochs: (5, 32)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 10
body_learning_rate: (2e-05, 2e-05)
head_learning_rate: 0.04
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: True
warmup_proportion: 0.1
l2_weight: 0.02
seed: 42
eval_max_steps: -1
load_best_model_at_end: True

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0045	1	0.2501	-
0.0455	10	0.2514	0.2407
0.0909	20	0.2359	0.2252
0.1364	30	0.21	0.2067
0.1818	40	0.1984	0.1779
0.2273	50	0.1408	0.1469
0.2727	60	0.1246	0.1493
0.3182	70	0.0654	0.1312
0.3636	80	0.0546	0.1293
0.4091	90	0.0651	0.1222
0.4545	100	0.0374	0.1385
0.5	110	0.0546	0.1214
0.5455	120	0.0453	0.1284
0.5909	130	0.0269	0.1241
0.6364	140	0.0303	0.1451
0.6818	150	0.0355	0.1299
0.7273	160	0.0096	0.1329
0.7727	170	0.0129	0.1411
0.8182	180	0.0127	0.1325

The bold row denotes the saved checkpoint.

Framework Versions

Python: 3.10.12
SetFit: 1.0.3
Sentence Transformers: 3.1.0
spaCy: 3.7.6
Transformers: 4.39.0
PyTorch: 2.4.0+cu121
Datasets: 3.0.0
Tokenizers: 0.15.2

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

MattiaTintori
/

ABSA_Polarity_IT