metadata

tags:
  - setfit
  - sentence-transformers
  - text-classification
  - generated_from_setfit_trainer
widget:
  - text: "Die Forderungen sind landesweit die gleichen. Es geht um die Wiedereinführung eines 9-Euro-Tickets und ein Tempolimit von 100\_km/h auf den Autobahnen. Außerdem fordern wir die Einführung eines Gesellschaftsrats. Dieser soll Maßnahmen erarbeiten, wie Deutschland bis 2030 emissionsfrei wird. Die Lösungsansätze sollen von der Bundesregierung anerkannt und in der Politik umgesetzt werden."
  - text: >-
      Die aktivist bezeichnen sich als ›DLG›. Sie fordern von
      Bundeswirtschaftsminister Robert Habeck Grüne, auf fossile Energie zu
      verzichten. Zudem verlangen sie eine Lebenserklärung der Rektorin der
      Leipziger Universität. Diese soll sich ›offiziell, öffentlich und
      gerichtet an Robert Habeck gegen den Bau und die Finanzierung neuer
      fossiler Infrastruktur aussprechen. Insbesondere gegen neue Ölbohrungen in
      der Nordsee sowie neue Flüssiggas-Terminals›, hieß es in einer Mitteilung
      der Gruppe am Donnerstag.
  - text: >-
      Am Montag war es erneut das Amtsgericht Tiergarten, in dem ein Anwalt die
      Aktionen der ›DLG› mit einem fragwürdigen historischen Vergleich
      rechtfertigte. Verhandelt wurde an dem Tag gegen den 63-jährigen Winfried
      L. Wegen fünf Straßenblockaden, bei denen er teilweise seine Hand auf der
      Straße angeklebt hatte, musste sich L. wegen der Vorwürfe Nötigung und
      Widerstand gegen Vollstreckungsbeamte verantworten.
  - text: >-
      In einer am Morgen verbreiteten Mitteilung begründete die Gruppe ihre
      Aktion. Mit der Sitzblockade habe der "fossile Alltag" auf der Straße
      unterbrochen werden sollen. Auf Transparenten seien Forderungen deutlich
      gemacht worden: ein 9-Euro-Ticket für alle, ein Tempolimit von 100
      Stundenkilometern auf Autobahnen und die Bildung eines Gesellschaftsrats
      zum Thema Ende der fossilen Brennstoffe bis 2030.
  - text: >-
      aktivist feiern Festival für mehr Klimaschutz Xanten wer Die Ortsgruppe
      Xanten von FFF hat am Freitagnachmittag wieder für mehr Klimaschutz
      protestiert – aber anders als sonst. Die aktivist organisierten an der
      Kriemhildmühle im Kurpark ein Festival mit Musik, Essen, Getränken und
      Vorträgen. Viele Menschen kamen, genossen das schöne Wetter und die
      entspannte Atmosphäre, lauschten den Liedern und sangen mit. Ansprachen
      gab es auch: Seit Jahrzehnten warne die Wissenschaft vor den Folgen des
      Klimawandels, trotzdem unternehme die Politik zu wenig, und die
      Bevölkerung müsse unter den Folgen wie Dürren, Überschwemmungen und Hitze
      leiden, kritisierte Frederik Krohn von der Xantener Ortsgruppe der
      Klimaschutzbewegung. Deshalb gehe FFF immer wieder auf die Straße, um der
      Politik zu sagen, dass es so nicht weitergehe. Die große Teilnahme am
      Festival in Xanten und damit am Klimaschutz-Protest sei ein ›starkes
      Zeichen›, sagte Krohn.
metrics:
  - accuracy
pipeline_tag: text-classification
library_name: setfit
inference: true
base_model: deutsche-telekom/gbert-large-paraphrase-cosine

SetFit with deutsche-telekom/gbert-large-paraphrase-cosine

This is a SetFit model that can be used for Text Classification. This SetFit model uses deutsche-telekom/gbert-large-paraphrase-cosine as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: deutsche-telekom/gbert-large-paraphrase-cosine
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 3 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
neutral	'Die Ampelkoalition hat sich auf Gesetzesinitiativen zur flächendeckenden Einführung von Wärmepumpen geeinigt. Das sogenannte "Heizungsgesetz" zielt darauf ab, den Einsatz erneuerbarer Energien bei Heizsystemen zu fördern und die Abhängigkeit von fossilen Brennstoffen zu reduzieren. Die Maßnahmen sollen bis 2024 umgesetzt werden.' 'Die Bundesregierung plant, mit dem neuen Gebäudeenergiegesetz die flächendeckende Einführung von Wärmepumpen voranzutreiben. Ziel der Initiative ist es, den CO2-Ausstoß im Gebäudesektor zu reduzieren und die Energiewende zu unterstützen. Kritiker und Befürworter diskutieren weiterhin über die wirtschaftlichen und praktischen Auswirkungen des Gesetzes.' 'Das Bundeskabinett hat heute einen Gesetzesentwurf zur flächendeckenden Einführung von Wärmepumpen gebilligt. Demnach sollen neue Gas- und Ölheizungen nur noch in Kombination mit Wärmepumpen genehmigt werden, nachdem die jeweiligen Städte und Kommunen einen sogenannten "Wärmeplan" vorgelegt haben. Die Regelung könnte in einigen Städten wie Berlin frühestens 2026 in Kraft treten.'
opposed	'Das sogenannte "Heizungsgesetz" zur flächendeckenden Einführung von Wärmepumpen ist ein weiterer Schritt in der überzogenen Grünfärberei unserer Energiepolitik. Während Eigentümer bereits unter steigenden Steuern und Sanierungspflichten leiden, drohen nun massive Kosten für den Wechsel zu unbewährten Technologien wie Wärmepumpen. Diese Initiative ignoriert die praktischen Herausforderungen und könnte langfristig mehr Schaden anrichten als nützen.' 'Berlin Die flächendeckende Einführung von Wärmepumpen durch das Heizungsgesetz sorgt für Unmut in der Wirtschaft: Ein Unternehmer, der anonym bleiben möchte, berichtet von Kurzarbeit und drohenden Entlassungen aufgrund der unsicheren Förderpolitik und widersprüchlichen Signale aus Berlin. Die Zukunft seiner Firma steht auf dem Spiel, während die Regierung auf eine Technologie setzt, die für viele Betriebe kaum umsetzbar scheint.' 'Die Bundesregierung will mit dem sogenannten Heizungsgesetz die flächendeckende Einführung von Wärmepumpen vorantreiben. Doch hinter der grünen Fassade verbirgt sich ein lukrativer Deal für die Heizungsindustrie: Durch das staatlich verordnete Heizungsverbot werden die Unternehmen in die Lage versetzt, ihre Preise für alternative Heizungen in die Höhe zu treiben und so die Fördergelder einstreichen. Während die Bürger mit höheren Kosten belastet werden, dürften die Heizungsunternehmen zu den Hauptprofiteuren des Gesetzes gehören.'
supportive	'Obwohl das geplante "Heizungsgesetz" auf gemischte Reaktionen stößt, ist es ein wichtiger Schritt in Richtung Energiewende. Kritiker monieren die möglichen finanziellen Belastungen für Hausbesitzer, doch Grünen-Fraktionsvorsitzende Katharina Dröge verteidigt den Entwurf als pragmatische und soziale Maßnahme. Der Bundestag könnte das Gesetz noch vor der Sommerpause verabschieden.' 'Das Heizungsgesetz, das die flächendeckende Einführung von Wärmepumpen vorsieht, stößt auf Kritik, doch es bietet auch Chancen für eine nachhaltige Energiezukunft. Trotz der hohen Anfangsinvestitionen könnte es langfristig sowohl Umwelt als auch Verbraucher entlasten. Entscheidend wird sein, wie pragmatisch und sozial die Umsetzung gestaltet wird.' 'Die von der Regierungskoalition geplanten Gesetzesinitiativen zur flächendeckenden Einführung von Wärmepumpen stoßen auf gemischte Reaktionen. Während die weitreichenden Förderprogramme für die Gebäudesanierung und den Heizungsaustausch bis zu 70 Prozent der Kosten übernehmen und damit Anreize setzen, umweltfreundliche Alternativen zu wählen, bleibt die Frage nach der praktischen Umsetzbarkeit und der Auswirkung auf die Haushaltskassen offen. Trotz dieser Bedenken werden die Pläne, die auch nach dem Karlsruher Urteil unangetastet bleiben, als Schritt in die richtige Richtung gewertet.'

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("cbpuschmann/klimacoder2_v0.9")
# Run inference
preds = model("Die Forderungen sind landesweit die gleichen. Es geht um die Wiedereinführung eines 9-Euro-Tickets und ein Tempolimit von 100 km/h auf den Autobahnen. Außerdem fordern wir die Einführung eines Gesellschaftsrats. Dieser soll Maßnahmen erarbeiten, wie Deutschland bis 2030 emissionsfrei wird. Die Lösungsansätze sollen von der Bundesregierung anerkannt und in der Politik umgesetzt werden.")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	24	61.46	111

Label	Training Sample Count
neutral	42
opposed	42
supportive	116

Training Hyperparameters

batch_size: (32, 32)
num_epochs: (2, 2)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 200
body_learning_rate: (5e-05, 5e-05)
head_learning_rate: 5e-05
loss: ContrastiveLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
l2_weight: 0.01
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0016	1	0.0653	-
0.08	50	0.0245	-
0.16	100	0.0002	-
0.24	150	0.0	-
0.32	200	0.0	-
0.4	250	0.0	-
0.48	300	0.0	-
0.56	350	0.0	-
0.64	400	0.0	-
0.72	450	0.0	-
0.8	500	0.0	-
0.88	550	0.0	-
0.96	600	0.0	-
1.04	650	0.0	-
1.12	700	0.0	-
1.2	750	0.0	-
1.28	800	0.0	-
1.3600	850	0.0	-
1.44	900	0.0	-
1.52	950	0.0	-
1.6	1000	0.0	-
1.6800	1050	0.0	-
1.76	1100	0.0	-
1.8400	1150	0.0	-
1.92	1200	0.0	-
2.0	1250	0.0	-

Framework Versions

Python: 3.11.11
SetFit: 1.1.1
Sentence Transformers: 3.4.1
Transformers: 4.49.0
PyTorch: 2.4.1.post300
Datasets: 3.4.1
Tokenizers: 0.21.0

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}