[ { "eval_loss": 0.11767489463090897, "eval_f1_weighted": 0.9649920315555134, "eval_f1_macro": 0.9107725718578208, "eval_f1_micro": 0.9646924829157175, "eval_accuracy": 0.9646924829157175, "eval_precision_weighted": 0.9654428432212139, "eval_recall_weighted": 0.9646924829157175, "eval_f1_weighted_real": 0.6238214285714285, "eval_f1_macro_real": 0.3668571428571428, "eval_f1_micro_real": 0.5625, "eval_accuracy_real": 0.5625, "eval_class_report": [ { "narrative_id": 0, "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", "precision": 0.9935515873015874, "recall": 0.9930555555555556, "f1": 0.9931464289734137 }, { "narrative_id": 1, "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", "precision": 0.9800606384876047, "recall": 0.9775280898876404, "f1": 0.9780428514970242 }, { "narrative_id": 2, "narrative": "Die Wahrheit \u00fcber die Corona-Todesopfer wird verheimlicht und ist tats\u00e4chlich niedriger.", "precision": 0.9588014981273408, "recall": 0.9588014981273408, "f1": 0.9588014981273408 }, { "narrative_id": 3, "narrative": "Die Wahrheit \u00fcber die Nebenwirkungen der Covid-19-Impfung wird verheimlicht.", "precision": 0.9780116851896393, "recall": 0.9775280898876404, "f1": 0.9770747424580228 }, { "narrative_id": 4, "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", "precision": 0.9627001336049236, "recall": 0.9550561797752809, "f1": 0.9548327993095935 }, { "narrative_id": 5, "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", "precision": 0.9774411710209375, "recall": 0.9766536964980544, "f1": 0.9768827788246525 }, { "narrative_id": 6, "narrative": "Die EU kostet Deutschland nur Geld und die EWG w\u00fcrde reichen.", "precision": 0.9462928394378893, "recall": 0.9375, "f1": 0.940369157502778 }, { "narrative_id": 7, "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", "precision": 0.9710601385887938, "recall": 0.96875, "f1": 0.9687961220498323 }, { "narrative_id": 8, "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", "precision": 0.9677418748472715, "recall": 0.9649805447470817, "f1": 0.964202625093409 }, { "narrative_id": 9, "narrative": "Hom\u00f6opathie wirkt \u00fcber den Placebo-Effekt hinaus und kann schwerwiegende Krankheiten heilen", "precision": 0.9884529471105347, "recall": 0.9883268482490273, "f1": 0.9883178585287724 }, { "narrative_id": 10, "narrative": "Unsere eigenen Leute m\u00fcssen leiden, weil Deutschland Geld ins Ausland schickt.", "precision": 0.9194445739506115, "recall": 0.9045643153526971, "f1": 0.9076151819733852 }, { "narrative_id": 11, "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", "precision": 0.9797141539880129, "recall": 0.979253112033195, "f1": 0.9794433342380656 }, { "narrative_id": 12, "narrative": "Ausl\u00e4nder werden geringer f\u00fcr Verbrechen bestraft als Deutsche.", "precision": 0.9652009475355998, "recall": 0.9655172413793104, "f1": 0.9645206014209012 }, { "narrative_id": 13, "narrative": "Ausl\u00e4nder werden \u00fcberdurchschnittflich oft als schuldunf\u00e4hig eingestuft.", "precision": 0.9393687916509493, "recall": 0.9377593360995851, "f1": 0.9375123493380756 }, { "narrative_id": 14, "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", "precision": 0.9632510346796062, "recall": 0.9567099567099567, "f1": 0.9563801412775133 }, { "narrative_id": 15, "narrative": "Die wahren Zahlen \u00fcber Ausl\u00e4nderkriminalit\u00e4t werden verheimlicht.", "precision": 0.978587962962963, "recall": 0.978448275862069, "f1": 0.9784383174219591 }, { "narrative_id": 16, "narrative": "Die Regierung will gezielt Migranten ins Land holen.", "precision": 0.9627723989549716, "recall": 0.9626556016597511, "f1": 0.9626448559538119 }, { "narrative_id": 17, "narrative": "Migranten sind wie Menschen, die in deine Wohnung kommen und den K\u00fchlschrank leer fressen", "precision": 0.9562417361239474, "recall": 0.9543568464730291, "f1": 0.9550933073526043 }, { "narrative_id": 18, "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", "precision": 0.9713074497234142, "recall": 0.9698275862068966, "f1": 0.9701057071093011 }, { "narrative_id": 19, "narrative": "Bargeld soll abgeschafft werden.", "precision": 0.9135318566024814, "recall": 0.9081272084805654, "f1": 0.9104660210867873 }, { "narrative_id": 20, "narrative": "Deutschland wird von Faschisten regiert.", "precision": 0.9208628901097154, "recall": 0.9222614840989399, "f1": 0.9210971764227696 }, { "narrative_id": 21, "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", "precision": 0.9962720210847551, "recall": 0.9962546816479401, "f1": 0.9962223077574487 }, { "narrative_id": 22, "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", "precision": 0.9573561365445297, "recall": 0.947565543071161, "f1": 0.9498885654111355 }, { "narrative_id": 23, "narrative": "Die Ukraine wird von Nazis regiert", "precision": 0.9888852589507144, "recall": 0.9887640449438202, "f1": 0.9887862826171072 }, { "narrative_id": 24, "narrative": "Russland will den 2+4 Vertrag k\u00fcndigen, weil sich Deutschland mit Waffenlieferungen an die Ukraine nicht daran h\u00e4lt", "precision": 0.9683375295643549, "recall": 0.9610894941634242, "f1": 0.9615159855171242 }, { "narrative_id": 25, "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", "precision": 0.9579859875509715, "recall": 0.9571984435797666, "f1": 0.9570555070277138 }, { "narrative_id": 26, "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", "precision": 0.9675904241478012, "recall": 0.9590163934426229, "f1": 0.960375551986178 }, { "narrative_id": 27, "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", "precision": 0.9657237681064644, "recall": 0.9649805447470817, "f1": 0.9651888484282305 }, { "narrative_id": 28, "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", "precision": 0.9727280587980977, "recall": 0.9727626459143969, "f1": 0.9726791531530754 }, { "narrative_id": 29, "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", "precision": 0.9802071234998064, "recall": 0.9796747967479674, "f1": 0.9797632858490534 }, { "narrative_id": 30, "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", "precision": 0.9629680987165202, "recall": 0.9634146341463414, "f1": 0.9631511761907022 }, { "narrative_id": 31, "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", "precision": 0.9533514937912764, "recall": 0.9512195121951219, "f1": 0.9519467075813962 }, { "narrative_id": 32, "narrative": "Wahlhelfer lassen Stimmen verschwinden.", "precision": 0.9816857542987552, "recall": 0.9812734082397003, "f1": 0.9803816842516073 }, { "narrative_id": 33, "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", "precision": 0.9892990904226858, "recall": 0.9887640449438202, "f1": 0.9888852589507144 }, { "narrative_id": 34, "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", "precision": 0.9737827715355806, "recall": 0.9737827715355806, "f1": 0.9737827715355806 }, { "narrative_id": 35, "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", "precision": 0.9780135311501479, "recall": 0.9775280898876404, "f1": 0.9776088313211028 }, { "narrative_id": 36, "narrative": "In der Wahlkabine liegen Bleistifte aus, damit Stimmen manipuliert werden k\u00f6nnen", "precision": 0.9809911222083507, "recall": 0.9812734082397003, "f1": 0.9810941591197164 }, { "narrative_id": 37, "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", "precision": 0.9537174303683738, "recall": 0.9509433962264151, "f1": 0.9506717880108757 }, { "narrative_id": 38, "narrative": "Gr\u00fcne Gentechnik kann Krankheiten ausl\u00f6sen.", "precision": 0.9767681865861825, "recall": 0.9737827715355806, "f1": 0.9739580676895875 }, { "narrative_id": 39, "narrative": "Der Westen hat ein Friedensabkommen zwischen Russland und der Ukraine verhindert.", "precision": 0.9849312419943448, "recall": 0.9844357976653697, "f1": 0.9843997694192247 }, { "narrative_id": 40, "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", "precision": 0.961049726135933, "recall": 0.9612068965517241, "f1": 0.9606047917760051 } ], "eval_class_report_real": [ { "narrative_id": 0, "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", "precision": 0.1111111111111111, "recall": 0.3333333333333333, "f1": 0.16666666666666666 }, { "narrative_id": 1, "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 4, "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", "precision": 0.8240740740740741, "recall": 0.75, "f1": 0.7850877192982456 }, { "narrative_id": 5, "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 7, "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", "precision": 1.0, "recall": 0.2857142857142857, "f1": 0.44444444444444436 }, { "narrative_id": 8, "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 11, "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", "precision": 0.3333333333333333, "recall": 0.5, "f1": 0.4 }, { "narrative_id": 14, "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 16, "narrative": "Die Regierung will gezielt Migranten ins Land holen.", "precision": 1.0, "recall": 0.5, "f1": 0.6666666666666666 }, { "narrative_id": 18, "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", "precision": 0.4444444444444444, "recall": 0.6666666666666666, "f1": 0.5333333333333333 }, { "narrative_id": 19, "narrative": "Bargeld soll abgeschafft werden.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 20, "narrative": "Deutschland wird von Faschisten regiert.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 21, "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 22, "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 23, "narrative": "Die Ukraine wird von Nazis regiert", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 25, "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", "precision": 1.0, "recall": 0.5, "f1": 0.6666666666666666 }, { "narrative_id": 26, "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", "precision": 1.0, "recall": 0.75, "f1": 0.8571428571428571 }, { "narrative_id": 27, "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", "precision": 0.25, "recall": 0.5, "f1": 0.3333333333333333 }, { "narrative_id": 28, "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 29, "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", "precision": 1.0, "recall": 0.6666666666666666, "f1": 0.8 }, { "narrative_id": 30, "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", "precision": 0.8666666666666666, "recall": 0.4, "f1": 0.42000000000000004 }, { "narrative_id": 31, "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 32, "narrative": "Wahlhelfer lassen Stimmen verschwinden.", "precision": 1.0, "recall": 0.5, "f1": 0.6666666666666666 }, { "narrative_id": 33, "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 34, "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 35, "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 37, "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", "precision": 0.25, "recall": 0.5, "f1": 0.3333333333333333 }, { "narrative_id": 40, "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", "precision": 0.25, "recall": 0.5, "f1": 0.3333333333333333 } ], "eval_runtime": 139.5141, "eval_samples_per_second": 76.207, "eval_steps_per_second": 0.953, "epoch": 0.9989909182643795, "step": 495, "datasplit_random_state": 2024, "learning_rate": 2e-05, "batch_size": 16, "weight_decay": 0.1, "model_checkpoint": "MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7" }, { "eval_loss": 0.07704894244670868, "eval_f1_weighted": 0.9783088430565907, "eval_f1_macro": 0.9425410502085283, "eval_f1_micro": 0.978454821564161, "eval_accuracy": 0.978454821564161, "eval_precision_weighted": 0.9782648032636756, "eval_recall_weighted": 0.978454821564161, "eval_f1_weighted_real": 0.7585720486111112, "eval_f1_macro_real": 0.48263888888888884, "eval_f1_micro_real": 0.6979166666666666, "eval_accuracy_real": 0.6979166666666666, "eval_class_report": [ { "narrative_id": 0, "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", "precision": 0.9966563786008229, "recall": 0.9965277777777778, "f1": 0.9965264931968595 }, { "narrative_id": 1, "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", "precision": 0.9889186681785381, "recall": 0.9887640449438202, "f1": 0.9886164370341991 }, { "narrative_id": 2, "narrative": "Die Wahrheit \u00fcber die Corona-Todesopfer wird verheimlicht und ist tats\u00e4chlich niedriger.", "precision": 0.9777187292591425, "recall": 0.9775280898876404, "f1": 0.976886530725482 }, { "narrative_id": 3, "narrative": "Die Wahrheit \u00fcber die Nebenwirkungen der Covid-19-Impfung wird verheimlicht.", "precision": 0.9812349289415627, "recall": 0.9812734082397003, "f1": 0.9808930081637585 }, { "narrative_id": 4, "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", "precision": 0.9817638665953273, "recall": 0.9812734082397003, "f1": 0.9812512137605771 }, { "narrative_id": 5, "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", "precision": 0.9783013810863699, "recall": 0.9766536964980544, "f1": 0.9765217220005621 }, { "narrative_id": 6, "narrative": "Die EU kostet Deutschland nur Geld und die EWG w\u00fcrde reichen.", "precision": 0.9791666666666666, "recall": 0.9791666666666666, "f1": 0.9791666666666666 }, { "narrative_id": 7, "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", "precision": 0.9741990546218487, "recall": 0.97265625, "f1": 0.972750351782364 }, { "narrative_id": 8, "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", "precision": 0.9763800071429914, "recall": 0.9766536964980544, "f1": 0.9764770908693228 }, { "narrative_id": 9, "narrative": "Hom\u00f6opathie wirkt \u00fcber den Placebo-Effekt hinaus und kann schwerwiegende Krankheiten heilen", "precision": 0.9884529471105347, "recall": 0.9883268482490273, "f1": 0.9883178585287724 }, { "narrative_id": 10, "narrative": "Unsere eigenen Leute m\u00fcssen leiden, weil Deutschland Geld ins Ausland schickt.", "precision": 0.953787664834568, "recall": 0.9543568464730291, "f1": 0.9539778785504156 }, { "narrative_id": 11, "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", "precision": 0.9960043030582449, "recall": 0.995850622406639, "f1": 0.9958842643249677 }, { "narrative_id": 12, "narrative": "Ausl\u00e4nder werden geringer f\u00fcr Verbrechen bestraft als Deutsche.", "precision": 0.97389091626348, "recall": 0.9741379310344828, "f1": 0.9738083931973667 }, { "narrative_id": 13, "narrative": "Ausl\u00e4nder werden \u00fcberdurchschnittflich oft als schuldunf\u00e4hig eingestuft.", "precision": 0.9612608753848214, "recall": 0.9585062240663901, "f1": 0.9593240117623814 }, { "narrative_id": 14, "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", "precision": 0.9786772486772487, "recall": 0.9783549783549783, "f1": 0.9784695113430485 }, { "narrative_id": 15, "narrative": "Die wahren Zahlen \u00fcber Ausl\u00e4nderkriminalit\u00e4t werden verheimlicht.", "precision": 0.9829694527736133, "recall": 0.9827586206896551, "f1": 0.9824159139328854 }, { "narrative_id": 16, "narrative": "Die Regierung will gezielt Migranten ins Land holen.", "precision": 0.9774036337830302, "recall": 0.975103734439834, "f1": 0.9740946720038415 }, { "narrative_id": 17, "narrative": "Migranten sind wie Menschen, die in deine Wohnung kommen und den K\u00fchlschrank leer fressen", "precision": 0.9719917012448133, "recall": 0.970954356846473, "f1": 0.9695540584823304 }, { "narrative_id": 18, "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", "precision": 0.9685581659719591, "recall": 0.9655172413793104, "f1": 0.9646457762854109 }, { "narrative_id": 19, "narrative": "Bargeld soll abgeschafft werden.", "precision": 0.9430284014754587, "recall": 0.9328621908127208, "f1": 0.926002895658468 }, { "narrative_id": 20, "narrative": "Deutschland wird von Faschisten regiert.", "precision": 0.9497529534873139, "recall": 0.950530035335689, "f1": 0.9500671354200263 }, { "narrative_id": 21, "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", "precision": 0.9893164298595011, "recall": 0.9887640449438202, "f1": 0.9885631475473804 }, { "narrative_id": 22, "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", "precision": 0.992648078790401, "recall": 0.9925093632958801, "f1": 0.9925079776805076 }, { "narrative_id": 23, "narrative": "Die Ukraine wird von Nazis regiert", "precision": 0.9925267027326952, "recall": 0.9925093632958801, "f1": 0.9924769894053888 }, { "narrative_id": 24, "narrative": "Russland will den 2+4 Vertrag k\u00fcndigen, weil sich Deutschland mit Waffenlieferungen an die Ukraine nicht daran h\u00e4lt", "precision": 0.981789909195856, "recall": 0.980544747081712, "f1": 0.9802005334614748 }, { "narrative_id": 25, "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", "precision": 0.9785402664780096, "recall": 0.9766536964980544, "f1": 0.9765147304057811 }, { "narrative_id": 26, "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", "precision": 0.968071313133462, "recall": 0.9672131147540983, "f1": 0.9670862217736598 }, { "narrative_id": 27, "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", "precision": 0.9842799062157039, "recall": 0.9844357976653697, "f1": 0.9841287624988662 }, { "narrative_id": 28, "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", "precision": 0.976456415616251, "recall": 0.9766536964980544, "f1": 0.9763750441880658 }, { "narrative_id": 29, "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", "precision": 0.9846316575410652, "recall": 0.983739837398374, "f1": 0.9836569437626078 }, { "narrative_id": 30, "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", "precision": 0.9758000770363033, "recall": 0.975609756097561, "f1": 0.9755074683010423 }, { "narrative_id": 31, "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", "precision": 0.9772918418839361, "recall": 0.975609756097561, "f1": 0.9761170549307736 }, { "narrative_id": 32, "narrative": "Wahlhelfer lassen Stimmen verschwinden.", "precision": 0.9771100344752545, "recall": 0.9775280898876404, "f1": 0.9771068055977441 }, { "narrative_id": 33, "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", "precision": 0.992648078790401, "recall": 0.9925093632958801, "f1": 0.9925403313149761 }, { "narrative_id": 34, "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", "precision": 0.981394784297406, "recall": 0.9812734082397003, "f1": 0.9811547936484203 }, { "narrative_id": 35, "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", "precision": 0.9926654182272159, "recall": 0.9925093632958801, "f1": 0.99239922867068 }, { "narrative_id": 36, "narrative": "In der Wahlkabine liegen Bleistifte aus, damit Stimmen manipuliert werden k\u00f6nnen", "precision": 0.9925267027326952, "recall": 0.9925093632958801, "f1": 0.9924769894053888 }, { "narrative_id": 37, "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", "precision": 0.9778077268643307, "recall": 0.9773584905660377, "f1": 0.9773249475890984 }, { "narrative_id": 38, "narrative": "Gr\u00fcne Gentechnik kann Krankheiten ausl\u00f6sen.", "precision": 0.9887640449438202, "recall": 0.9887640449438202, "f1": 0.9887640449438202 }, { "narrative_id": 39, "narrative": "Der Westen hat ein Friedensabkommen zwischen Russland und der Ukraine verhindert.", "precision": 0.9806824304100569, "recall": 0.980544747081712, "f1": 0.980544747081712 }, { "narrative_id": 40, "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", "precision": 0.9789807048427738, "recall": 0.978448275862069, "f1": 0.9773858366723434 } ], "eval_class_report_real": [ { "narrative_id": 0, "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", "precision": 0.8333333333333334, "recall": 0.5, "f1": 0.48888888888888893 }, { "narrative_id": 1, "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", "precision": 0.6666666666666666, "recall": 0.3333333333333333, "f1": 0.4444444444444444 }, { "narrative_id": 4, "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", "precision": 0.9444444444444445, "recall": 0.8333333333333334, "f1": 0.8740740740740741 }, { "narrative_id": 5, "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 7, "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 8, "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 11, "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", "precision": 0.3333333333333333, "recall": 0.5, "f1": 0.4 }, { "narrative_id": 14, "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 16, "narrative": "Die Regierung will gezielt Migranten ins Land holen.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 18, "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 19, "narrative": "Bargeld soll abgeschafft werden.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 20, "narrative": "Deutschland wird von Faschisten regiert.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 21, "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 22, "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", "precision": 1.0, "recall": 0.6666666666666666, "f1": 0.8000000000000002 }, { "narrative_id": 23, "narrative": "Die Ukraine wird von Nazis regiert", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 25, "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 26, "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", "precision": 1.0, "recall": 0.75, "f1": 0.8571428571428571 }, { "narrative_id": 27, "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", "precision": 0.25, "recall": 0.5, "f1": 0.3333333333333333 }, { "narrative_id": 28, "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 29, "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", "precision": 1.0, "recall": 0.5555555555555556, "f1": 0.7142857142857143 }, { "narrative_id": 30, "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", "precision": 0.8666666666666666, "recall": 0.4, "f1": 0.42000000000000004 }, { "narrative_id": 31, "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 32, "narrative": "Wahlhelfer lassen Stimmen verschwinden.", "precision": 1.0, "recall": 0.5, "f1": 0.6666666666666666 }, { "narrative_id": 33, "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 34, "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 35, "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 37, "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 40, "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", "precision": 0.25, "recall": 0.5, "f1": 0.3333333333333333 } ], "eval_runtime": 133.5175, "eval_samples_per_second": 79.63, "eval_steps_per_second": 0.996, "epoch": 2.0, "step": 991, "datasplit_random_state": 2024, "learning_rate": 2e-05, "batch_size": 16, "weight_decay": 0.1, "model_checkpoint": "MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7" }, { "eval_loss": 0.08929800242185593, "eval_f1_weighted": 0.9812929960386142, "eval_f1_macro": 0.949316803240119, "eval_f1_micro": 0.9813971146545178, "eval_accuracy": 0.9813971146545178, "eval_precision_weighted": 0.9812162606832993, "eval_recall_weighted": 0.9813971146545178, "eval_f1_weighted_real": 0.6928530092592592, "eval_f1_macro_real": 0.4239417989417989, "eval_f1_micro_real": 0.6145833333333334, "eval_accuracy_real": 0.6145833333333334, "eval_class_report": [ { "narrative_id": 0, "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", "precision": 0.9966563786008229, "recall": 0.9965277777777778, "f1": 0.9965568485803433 }, { "narrative_id": 1, "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", "precision": 0.9887529477042586, "recall": 0.9887640449438202, "f1": 0.9886892217137013 }, { "narrative_id": 2, "narrative": "Die Wahrheit \u00fcber die Corona-Todesopfer wird verheimlicht und ist tats\u00e4chlich niedriger.", "precision": 0.9701428769593563, "recall": 0.9700374531835206, "f1": 0.9700277538759124 }, { "narrative_id": 3, "narrative": "Die Wahrheit \u00fcber die Nebenwirkungen der Covid-19-Impfung wird verheimlicht.", "precision": 0.9779536942458291, "recall": 0.9775280898876404, "f1": 0.9766396186718179 }, { "narrative_id": 4, "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", "precision": 0.9832882507976142, "recall": 0.9812734082397003, "f1": 0.980816703329049 }, { "narrative_id": 5, "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", "precision": 0.9922366961784995, "recall": 0.9922178988326849, "f1": 0.9921829049498847 }, { "narrative_id": 6, "narrative": "Die EU kostet Deutschland nur Geld und die EWG w\u00fcrde reichen.", "precision": 0.979394317485334, "recall": 0.9791666666666666, "f1": 0.9792465070526603 }, { "narrative_id": 7, "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", "precision": 0.980636961722488, "recall": 0.98046875, "f1": 0.9801523696828128 }, { "narrative_id": 8, "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", "precision": 0.9922927267285244, "recall": 0.9922178988326849, "f1": 0.9920810541551532 }, { "narrative_id": 9, "narrative": "Hom\u00f6opathie wirkt \u00fcber den Placebo-Effekt hinaus und kann schwerwiegende Krankheiten heilen", "precision": 0.9922178988326849, "recall": 0.9922178988326849, "f1": 0.9922178988326849 }, { "narrative_id": 10, "narrative": "Unsere eigenen Leute m\u00fcssen leiden, weil Deutschland Geld ins Ausland schickt.", "precision": 0.970954356846473, "recall": 0.970954356846473, "f1": 0.970954356846473 }, { "narrative_id": 11, "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", "precision": 0.9875518672199171, "recall": 0.9875518672199171, "f1": 0.9875518672199171 }, { "narrative_id": 12, "narrative": "Ausl\u00e4nder werden geringer f\u00fcr Verbrechen bestraft als Deutsche.", "precision": 0.9648930657622009, "recall": 0.9655172413793104, "f1": 0.9650236832133384 }, { "narrative_id": 13, "narrative": "Ausl\u00e4nder werden \u00fcberdurchschnittflich oft als schuldunf\u00e4hig eingestuft.", "precision": 0.9813001383125864, "recall": 0.979253112033195, "f1": 0.9796740472122458 }, { "narrative_id": 14, "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", "precision": 0.9737969474530741, "recall": 0.974025974025974, "f1": 0.9731296147706548 }, { "narrative_id": 15, "narrative": "Die wahren Zahlen \u00fcber Ausl\u00e4nderkriminalit\u00e4t werden verheimlicht.", "precision": 0.9871631807047296, "recall": 0.9870689655172413, "f1": 0.9869202349374764 }, { "narrative_id": 16, "narrative": "Die Regierung will gezielt Migranten ins Land holen.", "precision": 0.9791061481321259, "recall": 0.979253112033195, "f1": 0.9787572772622299 }, { "narrative_id": 17, "narrative": "Migranten sind wie Menschen, die in deine Wohnung kommen und den K\u00fchlschrank leer fressen", "precision": 0.979115663900415, "recall": 0.979253112033195, "f1": 0.9789327444638128 }, { "narrative_id": 18, "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", "precision": 0.9872281167108753, "recall": 0.9870689655172413, "f1": 0.9870689655172413 }, { "narrative_id": 19, "narrative": "Bargeld soll abgeschafft werden.", "precision": 0.9584723604896672, "recall": 0.9540636042402827, "f1": 0.9533137960784114 }, { "narrative_id": 20, "narrative": "Deutschland wird von Faschisten regiert.", "precision": 0.9684243906858747, "recall": 0.9681978798586572, "f1": 0.9679531586942312 }, { "narrative_id": 21, "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 22, "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", "precision": 0.988683270336043, "recall": 0.9887640449438202, "f1": 0.9886345091511427 }, { "narrative_id": 23, "narrative": "Die Ukraine wird von Nazis regiert", "precision": 0.9780988596059207, "recall": 0.9775280898876404, "f1": 0.9771194597541342 }, { "narrative_id": 24, "narrative": "Russland will den 2+4 Vertrag k\u00fcndigen, weil sich Deutschland mit Waffenlieferungen an die Ukraine nicht daran h\u00e4lt", "precision": 0.9657731661622713, "recall": 0.9649805447470817, "f1": 0.9651122418437593 }, { "narrative_id": 25, "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", "precision": 0.9692650881745427, "recall": 0.9688715953307393, "f1": 0.9686189843535976 }, { "narrative_id": 26, "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", "precision": 0.9645719489981786, "recall": 0.9631147540983607, "f1": 0.9626463700234191 }, { "narrative_id": 27, "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", "precision": 0.9803462471099081, "recall": 0.980544747081712, "f1": 0.9803536389433943 }, { "narrative_id": 28, "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", "precision": 0.9842990442370897, "recall": 0.9844357976653697, "f1": 0.984326088639324 }, { "narrative_id": 29, "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", "precision": 0.987936615477266, "recall": 0.9878048780487805, "f1": 0.9877954863491647 }, { "narrative_id": 30, "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", "precision": 0.9796476311684104, "recall": 0.9796747967479674, "f1": 0.9794518786949044 }, { "narrative_id": 31, "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", "precision": 0.9843661547726589, "recall": 0.983739837398374, "f1": 0.9839584793762692 }, { "narrative_id": 32, "narrative": "Wahlhelfer lassen Stimmen verschwinden.", "precision": 0.9925267027326952, "recall": 0.9925093632958801, "f1": 0.9924769894053888 }, { "narrative_id": 33, "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", "precision": 0.9892990904226858, "recall": 0.9887640449438202, "f1": 0.9888852589507144 }, { "narrative_id": 34, "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", "precision": 0.981394784297406, "recall": 0.9812734082397003, "f1": 0.9811547936484203 }, { "narrative_id": 35, "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", "precision": 0.9890588153696768, "recall": 0.9887640449438202, "f1": 0.9887245767026213 }, { "narrative_id": 36, "narrative": "In der Wahlkabine liegen Bleistifte aus, damit Stimmen manipuliert werden k\u00f6nnen", "precision": 0.985509184947387, "recall": 0.9850187265917603, "f1": 0.984996532112637 }, { "narrative_id": 37, "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", "precision": 0.9853998203054808, "recall": 0.9849056603773585, "f1": 0.9848832983927325 }, { "narrative_id": 38, "narrative": "Gr\u00fcne Gentechnik kann Krankheiten ausl\u00f6sen.", "precision": 0.9887640449438202, "recall": 0.9887640449438202, "f1": 0.9887640449438202 }, { "narrative_id": 39, "narrative": "Der Westen hat ein Friedensabkommen zwischen Russland und der Ukraine verhindert.", "precision": 0.977300082647685, "recall": 0.9727626459143969, "f1": 0.9718995905865259 }, { "narrative_id": 40, "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", "precision": 0.9915626359591877, "recall": 0.9913793103448276, "f1": 0.9912463133882147 } ], "eval_class_report_real": [ { "narrative_id": 0, "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", "precision": 0.08333333333333333, "recall": 0.16666666666666666, "f1": 0.1111111111111111 }, { "narrative_id": 1, "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", "precision": 0.3333333333333333, "recall": 0.3333333333333333, "f1": 0.3333333333333333 }, { "narrative_id": 4, "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", "precision": 0.9166666666666666, "recall": 0.75, "f1": 0.8240740740740741 }, { "narrative_id": 5, "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 7, "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", "precision": 1.0, "recall": 0.5714285714285714, "f1": 0.7272727272727273 }, { "narrative_id": 8, "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 11, "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 14, "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 16, "narrative": "Die Regierung will gezielt Migranten ins Land holen.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 18, "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", "precision": 1.0, "recall": 0.6666666666666666, "f1": 0.7777777777777777 }, { "narrative_id": 19, "narrative": "Bargeld soll abgeschafft werden.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 20, "narrative": "Deutschland wird von Faschisten regiert.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 21, "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 22, "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", "precision": 1.0, "recall": 0.3333333333333333, "f1": 0.5 }, { "narrative_id": 23, "narrative": "Die Ukraine wird von Nazis regiert", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 25, "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 26, "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", "precision": 1.0, "recall": 0.75, "f1": 0.8571428571428571 }, { "narrative_id": 27, "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 28, "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 29, "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", "precision": 1.0, "recall": 0.7777777777777778, "f1": 0.875 }, { "narrative_id": 30, "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", "precision": 0.8666666666666666, "recall": 0.6, "f1": 0.6333333333333333 }, { "narrative_id": 31, "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 32, "narrative": "Wahlhelfer lassen Stimmen verschwinden.", "precision": 1.0, "recall": 0.5, "f1": 0.6666666666666666 }, { "narrative_id": 33, "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 34, "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 35, "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", "precision": 1.0, "recall": 0.8571428571428571, "f1": 0.9183673469387755 }, { "narrative_id": 37, "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", "precision": 0.25, "recall": 0.5, "f1": 0.3333333333333333 }, { "narrative_id": 40, "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", "precision": 0.25, "recall": 0.5, "f1": 0.3333333333333333 } ], "eval_runtime": 148.3343, "eval_samples_per_second": 71.676, "eval_steps_per_second": 0.897, "epoch": 2.9989909182643792, "step": 1486, "datasplit_random_state": 2024, "learning_rate": 2e-05, "batch_size": 16, "weight_decay": 0.1, "model_checkpoint": "MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7" }, { "eval_loss": 0.09917911887168884, "eval_f1_weighted": 0.9807043613149505, "eval_f1_macro": 0.9517012694935253, "eval_f1_micro": 0.980542900531511, "eval_accuracy": 0.980542900531511, "eval_precision_weighted": 0.9809601925939406, "eval_recall_weighted": 0.980542900531511, "eval_f1_weighted_real": 0.7764821724709785, "eval_f1_macro_real": 0.47246225015274507, "eval_f1_micro_real": 0.75, "eval_accuracy_real": 0.75, "eval_class_report": [ { "narrative_id": 0, "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", "precision": 0.9966563786008229, "recall": 0.9965277777777778, "f1": 0.9965568485803433 }, { "narrative_id": 1, "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", "precision": 0.993044408774746, "recall": 0.9925093632958801, "f1": 0.9926305773027744 }, { "narrative_id": 2, "narrative": "Die Wahrheit \u00fcber die Corona-Todesopfer wird verheimlicht und ist tats\u00e4chlich niedriger.", "precision": 0.9657275627687611, "recall": 0.9662921348314607, "f1": 0.9659747003157477 }, { "narrative_id": 3, "narrative": "Die Wahrheit \u00fcber die Nebenwirkungen der Covid-19-Impfung wird verheimlicht.", "precision": 0.9744022407302895, "recall": 0.9737827715355806, "f1": 0.9729962329946412 }, { "narrative_id": 4, "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", "precision": 0.9816895547232625, "recall": 0.9812734082397003, "f1": 0.9814457090267986 }, { "narrative_id": 5, "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", "precision": 0.9743840698689102, "recall": 0.9727626459143969, "f1": 0.9732357408026897 }, { "narrative_id": 6, "narrative": "Die EU kostet Deutschland nur Geld und die EWG w\u00fcrde reichen.", "precision": 0.9675916736506256, "recall": 0.9618055555555556, "f1": 0.9634241540611141 }, { "narrative_id": 7, "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", "precision": 0.9814262576219512, "recall": 0.98046875, "f1": 0.9804866627307858 }, { "narrative_id": 8, "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", "precision": 0.988551331936546, "recall": 0.9883268482490273, "f1": 0.9880264517694518 }, { "narrative_id": 9, "narrative": "Hom\u00f6opathie wirkt \u00fcber den Placebo-Effekt hinaus und kann schwerwiegende Krankheiten heilen", "precision": 0.9844357976653697, "recall": 0.9844357976653697, "f1": 0.9844357976653697 }, { "narrative_id": 10, "narrative": "Unsere eigenen Leute m\u00fcssen leiden, weil Deutschland Geld ins Ausland schickt.", "precision": 0.945798844659242, "recall": 0.9336099585062241, "f1": 0.9363524767127276 }, { "narrative_id": 11, "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", "precision": 0.9881446354475399, "recall": 0.9875518672199171, "f1": 0.9876834767141115 }, { "narrative_id": 12, "narrative": "Ausl\u00e4nder werden geringer f\u00fcr Verbrechen bestraft als Deutsche.", "precision": 0.9850574712643678, "recall": 0.9827586206896551, "f1": 0.9826247590490469 }, { "narrative_id": 13, "narrative": "Ausl\u00e4nder werden \u00fcberdurchschnittflich oft als schuldunf\u00e4hig eingestuft.", "precision": 0.9764887680641008, "recall": 0.975103734439834, "f1": 0.9754440866372793 }, { "narrative_id": 14, "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", "precision": 0.9789735969251798, "recall": 0.9783549783549783, "f1": 0.9785619178380057 }, { "narrative_id": 15, "narrative": "Die wahren Zahlen \u00fcber Ausl\u00e4nderkriminalit\u00e4t werden verheimlicht.", "precision": 0.9958554376657826, "recall": 0.9956896551724138, "f1": 0.9956896551724138 }, { "narrative_id": 16, "narrative": "Die Regierung will gezielt Migranten ins Land holen.", "precision": 0.9840821558142493, "recall": 0.983402489626556, "f1": 0.982886446175374 }, { "narrative_id": 17, "narrative": "Migranten sind wie Menschen, die in deine Wohnung kommen und den K\u00fchlschrank leer fressen", "precision": 0.97967001167319, "recall": 0.979253112033195, "f1": 0.9794213216248383 }, { "narrative_id": 18, "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", "precision": 0.9872281167108753, "recall": 0.9870689655172413, "f1": 0.9870689655172413 }, { "narrative_id": 19, "narrative": "Bargeld soll abgeschafft werden.", "precision": 0.9588486454652531, "recall": 0.9540636042402827, "f1": 0.9554884183966931 }, { "narrative_id": 20, "narrative": "Deutschland wird von Faschisten regiert.", "precision": 0.9667180776359077, "recall": 0.9646643109540636, "f1": 0.9654277130061791 }, { "narrative_id": 21, "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", "precision": 0.9963933971424607, "recall": 0.9962546816479401, "f1": 0.996285649667036 }, { "narrative_id": 22, "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", "precision": 0.9870162297128591, "recall": 0.9850187265917603, "f1": 0.9854834374536859 }, { "narrative_id": 23, "narrative": "Die Ukraine wird von Nazis regiert", "precision": 0.9850877647180656, "recall": 0.9850187265917603, "f1": 0.9848862532944929 }, { "narrative_id": 24, "narrative": "Russland will den 2+4 Vertrag k\u00fcndigen, weil sich Deutschland mit Waffenlieferungen an die Ukraine nicht daran h\u00e4lt", "precision": 0.9810624638960643, "recall": 0.980544747081712, "f1": 0.9806508985971831 }, { "narrative_id": 25, "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", "precision": 0.9787402018834941, "recall": 0.9766536964980544, "f1": 0.9768871672992545 }, { "narrative_id": 26, "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", "precision": 0.9601234355976439, "recall": 0.9549180327868853, "f1": 0.956614606701748 }, { "narrative_id": 27, "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", "precision": 0.9927737632017788, "recall": 0.9922178988326849, "f1": 0.9923191074769685 }, { "narrative_id": 28, "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", "precision": 0.9847992130177885, "recall": 0.9844357976653697, "f1": 0.9842074689534265 }, { "narrative_id": 29, "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", "precision": 0.9960855164107196, "recall": 0.9959349593495935, "f1": 0.9959318287830549 }, { "narrative_id": 30, "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", "precision": 0.9788880146865985, "recall": 0.975609756097561, "f1": 0.9753195145170546 }, { "narrative_id": 31, "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", "precision": 0.9816660775303405, "recall": 0.9796747967479674, "f1": 0.9800787566091334 }, { "narrative_id": 32, "narrative": "Wahlhelfer lassen Stimmen verschwinden.", "precision": 0.9850534054653904, "recall": 0.9850187265917603, "f1": 0.9849950425350325 }, { "narrative_id": 33, "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", "precision": 0.9855735885698432, "recall": 0.9850187265917603, "f1": 0.9852132242561373 }, { "narrative_id": 34, "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", "precision": 0.9782985553772071, "recall": 0.9775280898876404, "f1": 0.9777562771614324 }, { "narrative_id": 35, "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", "precision": 0.9899263851220458, "recall": 0.9887640449438202, "f1": 0.9889163021747291 }, { "narrative_id": 36, "narrative": "In der Wahlkabine liegen Bleistifte aus, damit Stimmen manipuliert werden k\u00f6nnen", "precision": 0.993044408774746, "recall": 0.9925093632958801, "f1": 0.9924982660563185 }, { "narrative_id": 37, "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", "precision": 0.9888078266946191, "recall": 0.9886792452830189, "f1": 0.9886750570644776 }, { "narrative_id": 38, "narrative": "Gr\u00fcne Gentechnik kann Krankheiten ausl\u00f6sen.", "precision": 0.9858312030596673, "recall": 0.9850187265917603, "f1": 0.9852239710941696 }, { "narrative_id": 39, "narrative": "Der Westen hat ein Friedensabkommen zwischen Russland und der Ukraine verhindert.", "precision": 0.9884705178090392, "recall": 0.9883268482490273, "f1": 0.9883268482490273 }, { "narrative_id": 40, "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", "precision": 0.9870490102171137, "recall": 0.9870689655172413, "f1": 0.9869776798162336 } ], "eval_class_report_real": [ { "narrative_id": 0, "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", "precision": 0.7999999999999999, "recall": 0.5, "f1": 0.45714285714285713 }, { "narrative_id": 1, "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", "precision": 0.8333333333333334, "recall": 0.6666666666666666, "f1": 0.6666666666666666 }, { "narrative_id": 4, "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", "precision": 0.9166666666666666, "recall": 0.8333333333333334, "f1": 0.851851851851852 }, { "narrative_id": 5, "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 7, "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", "precision": 1.0, "recall": 0.8571428571428571, "f1": 0.9230769230769231 }, { "narrative_id": 8, "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 11, "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", "precision": 0.8333333333333333, "recall": 0.75, "f1": 0.7333333333333334 }, { "narrative_id": 14, "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 16, "narrative": "Die Regierung will gezielt Migranten ins Land holen.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 18, "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 19, "narrative": "Bargeld soll abgeschafft werden.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 20, "narrative": "Deutschland wird von Faschisten regiert.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 21, "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", "precision": 1.0, "recall": 0.5, "f1": 0.6666666666666666 }, { "narrative_id": 22, "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", "precision": 1.0, "recall": 0.3333333333333333, "f1": 0.5 }, { "narrative_id": 23, "narrative": "Die Ukraine wird von Nazis regiert", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 25, "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", "precision": 1.0, "recall": 0.5, "f1": 0.6666666666666666 }, { "narrative_id": 26, "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", "precision": 1.0, "recall": 0.75, "f1": 0.8571428571428571 }, { "narrative_id": 27, "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 28, "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 29, "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", "precision": 1.0, "recall": 0.7777777777777778, "f1": 0.875 }, { "narrative_id": 30, "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", "precision": 0.8666666666666666, "recall": 0.6, "f1": 0.6333333333333333 }, { "narrative_id": 31, "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 32, "narrative": "Wahlhelfer lassen Stimmen verschwinden.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 33, "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 34, "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 35, "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", "precision": 0.8928571428571429, "recall": 0.8571428571428571, "f1": 0.8571428571428571 }, { "narrative_id": 37, "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 40, "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", "precision": 1.0, "recall": 1.0, "f1": 1.0 } ], "eval_runtime": 138.7923, "eval_samples_per_second": 76.604, "eval_steps_per_second": 0.958, "epoch": 4.0, "step": 1982, "datasplit_random_state": 2024, "learning_rate": 2e-05, "batch_size": 16, "weight_decay": 0.1, "model_checkpoint": "MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7" }, { "eval_loss": 0.0867423266172409, "eval_f1_weighted": 0.9853375698462054, "eval_f1_macro": 0.960851119146693, "eval_f1_micro": 0.9853834472285498, "eval_accuracy": 0.9853834472285498, "eval_precision_weighted": 0.9853110253562772, "eval_recall_weighted": 0.9853834472285498, "eval_f1_weighted_real": 0.7886457214464732, "eval_f1_macro_real": 0.501969208736126, "eval_f1_micro_real": 0.7395833333333334, "eval_accuracy_real": 0.7395833333333334, "eval_class_report": [ { "narrative_id": 0, "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", "precision": 0.9966563786008229, "recall": 0.9965277777777778, "f1": 0.9965568485803433 }, { "narrative_id": 1, "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", "precision": 0.9963933971424609, "recall": 0.9962546816479401, "f1": 0.996285649667036 }, { "narrative_id": 2, "narrative": "Die Wahrheit \u00fcber die Corona-Todesopfer wird verheimlicht und ist tats\u00e4chlich niedriger.", "precision": 0.9773373560826745, "recall": 0.9775280898876404, "f1": 0.9772596625622779 }, { "narrative_id": 3, "narrative": "Die Wahrheit \u00fcber die Nebenwirkungen der Covid-19-Impfung wird verheimlicht.", "precision": 0.9925784014221855, "recall": 0.9925093632958801, "f1": 0.9923768899986127 }, { "narrative_id": 4, "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", "precision": 0.9963933971424607, "recall": 0.9962546816479401, "f1": 0.9962532960325675 }, { "narrative_id": 5, "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", "precision": 0.9922366961784995, "recall": 0.9922178988326849, "f1": 0.9921829049498847 }, { "narrative_id": 6, "narrative": "Die EU kostet Deutschland nur Geld und die EWG w\u00fcrde reichen.", "precision": 0.9895833333333334, "recall": 0.9895833333333334, "f1": 0.9895833333333334 }, { "narrative_id": 7, "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", "precision": 0.9846504407051282, "recall": 0.984375, "f1": 0.9842187499999999 }, { "narrative_id": 8, "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", "precision": 0.988551331936546, "recall": 0.9883268482490273, "f1": 0.9880264517694518 }, { "narrative_id": 9, "narrative": "Hom\u00f6opathie wirkt \u00fcber den Placebo-Effekt hinaus und kann schwerwiegende Krankheiten heilen", "precision": 0.9884705178090392, "recall": 0.9883268482490273, "f1": 0.9883268482490273 }, { "narrative_id": 10, "narrative": "Unsere eigenen Leute m\u00fcssen leiden, weil Deutschland Geld ins Ausland schickt.", "precision": 0.9668424444992201, "recall": 0.9626556016597511, "f1": 0.9637792668117007 }, { "narrative_id": 11, "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", "precision": 0.9960043030582449, "recall": 0.995850622406639, "f1": 0.9958490873057906 }, { "narrative_id": 12, "narrative": "Ausl\u00e4nder werden geringer f\u00fcr Verbrechen bestraft als Deutsche.", "precision": 0.9850574712643678, "recall": 0.9827586206896551, "f1": 0.9826247590490469 }, { "narrative_id": 13, "narrative": "Ausl\u00e4nder werden \u00fcberdurchschnittflich oft als schuldunf\u00e4hig eingestuft.", "precision": 0.9721734153670053, "recall": 0.970954356846473, "f1": 0.9712133486989505 }, { "narrative_id": 14, "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", "precision": 0.9826839826839827, "recall": 0.9826839826839827, "f1": 0.9826839826839827 }, { "narrative_id": 15, "narrative": "Die wahren Zahlen \u00fcber Ausl\u00e4nderkriminalit\u00e4t werden verheimlicht.", "precision": 0.991402993558166, "recall": 0.9913793103448276, "f1": 0.9913429891762917 }, { "narrative_id": 16, "narrative": "Die Regierung will gezielt Migranten ins Land holen.", "precision": 0.9840821558142493, "recall": 0.983402489626556, "f1": 0.982886446175374 }, { "narrative_id": 17, "narrative": "Migranten sind wie Menschen, die in deine Wohnung kommen und den K\u00fchlschrank leer fressen", "precision": 0.9791666666666666, "recall": 0.979253112033195, "f1": 0.9789621623145289 }, { "narrative_id": 18, "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", "precision": 0.9884066587395958, "recall": 0.9870689655172413, "f1": 0.9870089375041687 }, { "narrative_id": 19, "narrative": "Bargeld soll abgeschafft werden.", "precision": 0.9639071176173649, "recall": 0.9611307420494699, "f1": 0.9608871038785624 }, { "narrative_id": 20, "narrative": "Deutschland wird von Faschisten regiert.", "precision": 0.9675391477958907, "recall": 0.9681978798586572, "f1": 0.9670598894627163 }, { "narrative_id": 21, "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 22, "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", "precision": 0.9889374393119712, "recall": 0.9887640449438202, "f1": 0.9886626001523835 }, { "narrative_id": 23, "narrative": "Die Ukraine wird von Nazis regiert", "precision": 0.9886832703360432, "recall": 0.9887640449438202, "f1": 0.9886345091511427 }, { "narrative_id": 24, "narrative": "Russland will den 2+4 Vertrag k\u00fcndigen, weil sich Deutschland mit Waffenlieferungen an die Ukraine nicht daran h\u00e4lt", "precision": 0.9885457891294467, "recall": 0.9883268482490273, "f1": 0.9880098062229085 }, { "narrative_id": 25, "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", "precision": 0.9841997030019362, "recall": 0.9844357976653697, "f1": 0.9842258009319854 }, { "narrative_id": 26, "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", "precision": 0.9672131147540983, "recall": 0.9672131147540983, "f1": 0.9672131147540983 }, { "narrative_id": 27, "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", "precision": 0.9886150742181871, "recall": 0.9883268482490273, "f1": 0.9883988247674079 }, { "narrative_id": 28, "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", "precision": 0.981453733018612, "recall": 0.980544747081712, "f1": 0.9802033532153286 }, { "narrative_id": 29, "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", "precision": 0.987936615477266, "recall": 0.9878048780487805, "f1": 0.9877954863491647 }, { "narrative_id": 30, "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", "precision": 0.9794773128106462, "recall": 0.9796747967479674, "f1": 0.9791329730173081 }, { "narrative_id": 31, "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", "precision": 0.9883855981416957, "recall": 0.9878048780487805, "f1": 0.987934588747597 }, { "narrative_id": 32, "narrative": "Wahlhelfer lassen Stimmen verschwinden.", "precision": 0.9850187265917603, "recall": 0.9850187265917603, "f1": 0.9850187265917603 }, { "narrative_id": 33, "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", "precision": 0.9890414759328617, "recall": 0.9887640449438202, "f1": 0.9888656793469174 }, { "narrative_id": 34, "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", "precision": 0.9781270004971356, "recall": 0.9775280898876404, "f1": 0.977375318275014 }, { "narrative_id": 35, "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", "precision": 0.9925267027326952, "recall": 0.9925093632958801, "f1": 0.9924769894053888 }, { "narrative_id": 36, "narrative": "In der Wahlkabine liegen Bleistifte aus, damit Stimmen manipuliert werden k\u00f6nnen", "precision": 0.9888916631987792, "recall": 0.9887640449438202, "f1": 0.9887598880977024 }, { "narrative_id": 37, "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", "precision": 0.9853998203054806, "recall": 0.9849056603773585, "f1": 0.9848832983927325 }, { "narrative_id": 38, "narrative": "Gr\u00fcne Gentechnik kann Krankheiten ausl\u00f6sen.", "precision": 0.9887640449438202, "recall": 0.9887640449438202, "f1": 0.9887640449438202 }, { "narrative_id": 39, "narrative": "Der Westen hat ein Friedensabkommen zwischen Russland und der Ukraine verhindert.", "precision": 0.9922178988326849, "recall": 0.9922178988326849, "f1": 0.9922178988326849 }, { "narrative_id": 40, "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", "precision": 0.9915626359591877, "recall": 0.9913793103448276, "f1": 0.9912463133882147 } ], "eval_class_report_real": [ { "narrative_id": 0, "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", "precision": 0.8888888888888888, "recall": 0.5, "f1": 0.5333333333333333 }, { "narrative_id": 1, "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 4, "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", "precision": 0.9444444444444445, "recall": 0.8333333333333334, "f1": 0.8740740740740741 }, { "narrative_id": 5, "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 7, "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", "precision": 1.0, "recall": 0.8571428571428571, "f1": 0.9230769230769231 }, { "narrative_id": 8, "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 11, "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", "precision": 0.5, "recall": 0.5, "f1": 0.5 }, { "narrative_id": 14, "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 16, "narrative": "Die Regierung will gezielt Migranten ins Land holen.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 18, "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 19, "narrative": "Bargeld soll abgeschafft werden.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 20, "narrative": "Deutschland wird von Faschisten regiert.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 21, "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 22, "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", "precision": 1.0, "recall": 0.3333333333333333, "f1": 0.5 }, { "narrative_id": 23, "narrative": "Die Ukraine wird von Nazis regiert", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 25, "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 26, "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", "precision": 1.0, "recall": 0.75, "f1": 0.8571428571428571 }, { "narrative_id": 27, "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", "precision": 0.25, "recall": 0.5, "f1": 0.3333333333333333 }, { "narrative_id": 28, "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 29, "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", "precision": 1.0, "recall": 0.7777777777777778, "f1": 0.875 }, { "narrative_id": 30, "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", "precision": 0.8666666666666666, "recall": 0.6, "f1": 0.6333333333333333 }, { "narrative_id": 31, "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 32, "narrative": "Wahlhelfer lassen Stimmen verschwinden.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 33, "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 34, "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 35, "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 37, "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 40, "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", "precision": 0.25, "recall": 0.5, "f1": 0.3333333333333333 } ], "eval_runtime": 147.7984, "eval_samples_per_second": 71.936, "eval_steps_per_second": 0.9, "epoch": 4.998990918264379, "step": 2477, "datasplit_random_state": 2024, "learning_rate": 2e-05, "batch_size": 16, "weight_decay": 0.1, "model_checkpoint": "MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7" }, { "eval_loss": 0.11188022047281265, "eval_f1_weighted": 0.9845120131763575, "eval_f1_macro": 0.9590792493937701, "eval_f1_micro": 0.9845292331055429, "eval_accuracy": 0.9845292331055429, "eval_precision_weighted": 0.9846583253763934, "eval_recall_weighted": 0.9845292331055429, "eval_f1_weighted_real": 0.8102418414918415, "eval_f1_macro_real": 0.4965034965034965, "eval_f1_micro_real": 0.78125, "eval_accuracy_real": 0.78125, "eval_class_report": [ { "narrative_id": 0, "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", "precision": 0.9966563786008229, "recall": 0.9965277777777778, "f1": 0.9965568485803433 }, { "narrative_id": 1, "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", "precision": 0.9927867942849217, "recall": 0.9925093632958801, "f1": 0.9925625281922549 }, { "narrative_id": 2, "narrative": "Die Wahrheit \u00fcber die Corona-Todesopfer wird verheimlicht und ist tats\u00e4chlich niedriger.", "precision": 0.9746862703404096, "recall": 0.9737827715355806, "f1": 0.973370201928037 }, { "narrative_id": 3, "narrative": "Die Wahrheit \u00fcber die Nebenwirkungen der Covid-19-Impfung wird verheimlicht.", "precision": 0.9774651744607779, "recall": 0.9775280898876404, "f1": 0.9769126382310641 }, { "narrative_id": 4, "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", "precision": 0.9890414759328617, "recall": 0.9887640449438202, "f1": 0.9888656793469174 }, { "narrative_id": 5, "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", "precision": 0.9886150742181871, "recall": 0.9883268482490273, "f1": 0.9883972677243572 }, { "narrative_id": 6, "narrative": "Die EU kostet Deutschland nur Geld und die EWG w\u00fcrde reichen.", "precision": 0.9864534785545422, "recall": 0.9861111111111112, "f1": 0.986126529718595 }, { "narrative_id": 7, "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", "precision": 0.9846504407051282, "recall": 0.984375, "f1": 0.9842187499999999 }, { "narrative_id": 8, "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", "precision": 0.9841863713459044, "recall": 0.9844357976653697, "f1": 0.9841433109644917 }, { "narrative_id": 9, "narrative": "Hom\u00f6opathie wirkt \u00fcber den Placebo-Effekt hinaus und kann schwerwiegende Krankheiten heilen", "precision": 0.9884529471105347, "recall": 0.9883268482490273, "f1": 0.9883178585287724 }, { "narrative_id": 10, "narrative": "Unsere eigenen Leute m\u00fcssen leiden, weil Deutschland Geld ins Ausland schickt.", "precision": 0.9697658374593248, "recall": 0.966804979253112, "f1": 0.9676168909170031 }, { "narrative_id": 11, "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 12, "narrative": "Ausl\u00e4nder werden geringer f\u00fcr Verbrechen bestraft als Deutsche.", "precision": 0.9884066587395958, "recall": 0.9870689655172413, "f1": 0.9870089375041687 }, { "narrative_id": 13, "narrative": "Ausl\u00e4nder werden \u00fcberdurchschnittflich oft als schuldunf\u00e4hig eingestuft.", "precision": 0.9764887680641008, "recall": 0.975103734439834, "f1": 0.9754440866372793 }, { "narrative_id": 14, "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", "precision": 0.9791567691567692, "recall": 0.9783549783549783, "f1": 0.9785559874919497 }, { "narrative_id": 15, "narrative": "Die wahren Zahlen \u00fcber Ausl\u00e4nderkriminalit\u00e4t werden verheimlicht.", "precision": 0.9915687760515347, "recall": 0.9913793103448276, "f1": 0.9912550919484351 }, { "narrative_id": 16, "narrative": "Die Regierung will gezielt Migranten ins Land holen.", "precision": 0.9840821558142493, "recall": 0.983402489626556, "f1": 0.982886446175374 }, { "narrative_id": 17, "narrative": "Migranten sind wie Menschen, die in deine Wohnung kommen und den K\u00fchlschrank leer fressen", "precision": 0.9797878256405869, "recall": 0.979253112033195, "f1": 0.9786562924791815 }, { "narrative_id": 18, "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", "precision": 0.9833074534161491, "recall": 0.9827586206896551, "f1": 0.9827187100893997 }, { "narrative_id": 19, "narrative": "Bargeld soll abgeschafft werden.", "precision": 0.9603276582075168, "recall": 0.9575971731448764, "f1": 0.9576427334036163 }, { "narrative_id": 20, "narrative": "Deutschland wird von Faschisten regiert.", "precision": 0.9718527730174858, "recall": 0.9717314487632509, "f1": 0.9716357987084194 }, { "narrative_id": 21, "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 22, "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", "precision": 0.9925784014221855, "recall": 0.9925093632958801, "f1": 0.9923768899986127 }, { "narrative_id": 23, "narrative": "Die Ukraine wird von Nazis regiert", "precision": 0.9925267027326952, "recall": 0.9925093632958801, "f1": 0.9924769894053888 }, { "narrative_id": 24, "narrative": "Russland will den 2+4 Vertrag k\u00fcndigen, weil sich Deutschland mit Waffenlieferungen an die Ukraine nicht daran h\u00e4lt", "precision": 0.9856433650878841, "recall": 0.9844357976653697, "f1": 0.9843816089531795 }, { "narrative_id": 25, "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", "precision": 0.9927737632017788, "recall": 0.9922178988326849, "f1": 0.9922063697939185 }, { "narrative_id": 26, "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", "precision": 0.967905979553952, "recall": 0.9631147540983607, "f1": 0.9636825332770963 }, { "narrative_id": 27, "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", "precision": 0.9806575311566007, "recall": 0.980544747081712, "f1": 0.9804268822484984 }, { "narrative_id": 28, "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", "precision": 0.9847992130177885, "recall": 0.9844357976653697, "f1": 0.9842074689534265 }, { "narrative_id": 29, "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", "precision": 0.9859078590785908, "recall": 0.983739837398374, "f1": 0.9836135938999142 }, { "narrative_id": 30, "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", "precision": 0.9759413855922462, "recall": 0.975609756097561, "f1": 0.9752488788670753 }, { "narrative_id": 31, "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", "precision": 0.9883855981416957, "recall": 0.9878048780487805, "f1": 0.987934588747597 }, { "narrative_id": 32, "narrative": "Wahlhelfer lassen Stimmen verschwinden.", "precision": 0.9850187265917603, "recall": 0.9850187265917603, "f1": 0.9850187265917603 }, { "narrative_id": 33, "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", "precision": 0.992648078790401, "recall": 0.9925093632958801, "f1": 0.9925403313149761 }, { "narrative_id": 34, "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", "precision": 0.9823346753589497, "recall": 0.9812734082397003, "f1": 0.9812108704564564 }, { "narrative_id": 35, "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", "precision": 0.9925267027326952, "recall": 0.9925093632958801, "f1": 0.9924769894053888 }, { "narrative_id": 36, "narrative": "In der Wahlkabine liegen Bleistifte aus, damit Stimmen manipuliert werden k\u00f6nnen", "precision": 0.9926654182272159, "recall": 0.9925093632958801, "f1": 0.99239922867068 }, { "narrative_id": 37, "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", "precision": 0.9812494758909853, "recall": 0.9811320754716981, "f1": 0.9811250951074627 }, { "narrative_id": 38, "narrative": "Gr\u00fcne Gentechnik kann Krankheiten ausl\u00f6sen.", "precision": 0.9851463448467193, "recall": 0.9850187265917603, "f1": 0.9850145697456425 }, { "narrative_id": 39, "narrative": "Der Westen hat ein Friedensabkommen zwischen Russland und der Ukraine verhindert.", "precision": 0.9922178988326849, "recall": 0.9922178988326849, "f1": 0.9922178988326849 }, { "narrative_id": 40, "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", "precision": 0.9915626359591877, "recall": 0.9913793103448276, "f1": 0.9912463133882147 } ], "eval_class_report_real": [ { "narrative_id": 0, "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", "precision": 0.5, "recall": 0.3333333333333333, "f1": 0.38888888888888884 }, { "narrative_id": 1, "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", "precision": 0.8333333333333334, "recall": 0.6666666666666666, "f1": 0.6666666666666666 }, { "narrative_id": 4, "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", "precision": 0.9444444444444445, "recall": 0.9166666666666666, "f1": 0.9228070175438595 }, { "narrative_id": 5, "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 7, "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 8, "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 11, "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", "precision": 1.0, "recall": 0.75, "f1": 0.8333333333333333 }, { "narrative_id": 14, "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 16, "narrative": "Die Regierung will gezielt Migranten ins Land holen.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 18, "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 19, "narrative": "Bargeld soll abgeschafft werden.", "precision": 0.25, "recall": 0.5, "f1": 0.3333333333333333 }, { "narrative_id": 20, "narrative": "Deutschland wird von Faschisten regiert.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 21, "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", "precision": 1.0, "recall": 0.5, "f1": 0.6666666666666666 }, { "narrative_id": 22, "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", "precision": 1.0, "recall": 0.6666666666666666, "f1": 0.8000000000000002 }, { "narrative_id": 23, "narrative": "Die Ukraine wird von Nazis regiert", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 25, "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 26, "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", "precision": 1.0, "recall": 0.75, "f1": 0.8571428571428571 }, { "narrative_id": 27, "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 28, "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 29, "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", "precision": 1.0, "recall": 0.8888888888888888, "f1": 0.9411764705882353 }, { "narrative_id": 30, "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", "precision": 0.8666666666666666, "recall": 0.6, "f1": 0.6333333333333333 }, { "narrative_id": 31, "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 32, "narrative": "Wahlhelfer lassen Stimmen verschwinden.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 33, "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 34, "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 35, "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 37, "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 40, "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", "precision": 0.25, "recall": 0.5, "f1": 0.3333333333333333 } ], "eval_runtime": 138.398, "eval_samples_per_second": 76.822, "eval_steps_per_second": 0.961, "epoch": 6.0, "step": 2973, "datasplit_random_state": 2024, "learning_rate": 2e-05, "batch_size": 16, "weight_decay": 0.1, "model_checkpoint": "MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7" }, { "eval_loss": 0.10926356166601181, "eval_f1_weighted": 0.9847429322839655, "eval_f1_macro": 0.9599985726873115, "eval_f1_micro": 0.9847190584662111, "eval_accuracy": 0.9847190584662111, "eval_precision_weighted": 0.9848389770938004, "eval_recall_weighted": 0.9847190584662111, "eval_f1_weighted_real": 0.8023714539007093, "eval_f1_macro_real": 0.49371833839918944, "eval_f1_micro_real": 0.7708333333333334, "eval_accuracy_real": 0.7708333333333334, "eval_class_report": [ { "narrative_id": 0, "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", "precision": 0.9966563786008229, "recall": 0.9965277777777778, "f1": 0.9965568485803433 }, { "narrative_id": 1, "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", "precision": 0.9927867942849217, "recall": 0.9925093632958801, "f1": 0.9925625281922549 }, { "narrative_id": 2, "narrative": "Die Wahrheit \u00fcber die Corona-Todesopfer wird verheimlicht und ist tats\u00e4chlich niedriger.", "precision": 0.9732909165753454, "recall": 0.9737827715355806, "f1": 0.9731742087140999 }, { "narrative_id": 3, "narrative": "Die Wahrheit \u00fcber die Nebenwirkungen der Covid-19-Impfung wird verheimlicht.", "precision": 0.981699012597889, "recall": 0.9812734082397003, "f1": 0.9807200937975605 }, { "narrative_id": 4, "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", "precision": 0.9925093632958801, "recall": 0.9925093632958801, "f1": 0.9925093632958801 }, { "narrative_id": 5, "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", "precision": 0.9922178988326849, "recall": 0.9922178988326849, "f1": 0.9922178988326849 }, { "narrative_id": 6, "narrative": "Die EU kostet Deutschland nur Geld und die EWG w\u00fcrde reichen.", "precision": 0.9798810371727039, "recall": 0.9791666666666666, "f1": 0.979394317485334 }, { "narrative_id": 7, "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", "precision": 0.9889010823114084, "recall": 0.98828125, "f1": 0.9880834918713247 }, { "narrative_id": 8, "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", "precision": 0.9881900035714957, "recall": 0.9883268482490273, "f1": 0.9882171162997943 }, { "narrative_id": 9, "narrative": "Hom\u00f6opathie wirkt \u00fcber den Placebo-Effekt hinaus und kann schwerwiegende Krankheiten heilen", "precision": 0.9922178988326849, "recall": 0.9922178988326849, "f1": 0.9922178988326849 }, { "narrative_id": 10, "narrative": "Unsere eigenen Leute m\u00fcssen leiden, weil Deutschland Geld ins Ausland schickt.", "precision": 0.9659180943311274, "recall": 0.9626556016597511, "f1": 0.9634417100619751 }, { "narrative_id": 11, "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", "precision": 0.992294013040901, "recall": 0.991701244813278, "f1": 0.9918328543074725 }, { "narrative_id": 12, "narrative": "Ausl\u00e4nder werden geringer f\u00fcr Verbrechen bestraft als Deutsche.", "precision": 0.9786007957559683, "recall": 0.978448275862069, "f1": 0.978448275862069 }, { "narrative_id": 13, "narrative": "Ausl\u00e4nder werden \u00fcberdurchschnittflich oft als schuldunf\u00e4hig eingestuft.", "precision": 0.9800215152912248, "recall": 0.979253112033195, "f1": 0.9795442014488674 }, { "narrative_id": 14, "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", "precision": 0.9755651755651754, "recall": 0.974025974025974, "f1": 0.9742982844107173 }, { "narrative_id": 15, "narrative": "Die wahren Zahlen \u00fcber Ausl\u00e4nderkriminalit\u00e4t werden verheimlicht.", "precision": 0.9958554376657826, "recall": 0.9956896551724138, "f1": 0.9956896551724138 }, { "narrative_id": 16, "narrative": "Die Regierung will gezielt Migranten ins Land holen.", "precision": 0.9754953412757946, "recall": 0.975103734439834, "f1": 0.9747924092664957 }, { "narrative_id": 17, "narrative": "Migranten sind wie Menschen, die in deine Wohnung kommen und den K\u00fchlschrank leer fressen", "precision": 0.975103734439834, "recall": 0.975103734439834, "f1": 0.975103734439834 }, { "narrative_id": 18, "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", "precision": 0.9958492975734355, "recall": 0.9956896551724138, "f1": 0.9956863356923772 }, { "narrative_id": 19, "narrative": "Bargeld soll abgeschafft werden.", "precision": 0.9611628654031481, "recall": 0.9575971731448764, "f1": 0.9571337423269637 }, { "narrative_id": 20, "narrative": "Deutschland wird von Faschisten regiert.", "precision": 0.975788509357414, "recall": 0.9752650176678446, "f1": 0.9754637237253725 }, { "narrative_id": 21, "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 22, "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", "precision": 0.992648078790401, "recall": 0.9925093632958801, "f1": 0.9925079776805076 }, { "narrative_id": 23, "narrative": "Die Ukraine wird von Nazis regiert", "precision": 0.9890414759328617, "recall": 0.9887640449438202, "f1": 0.9888333257124489 }, { "narrative_id": 24, "narrative": "Russland will den 2+4 Vertrag k\u00fcndigen, weil sich Deutschland mit Waffenlieferungen an die Ukraine nicht daran h\u00e4lt", "precision": 0.9885457891294467, "recall": 0.9883268482490273, "f1": 0.9880098062229085 }, { "narrative_id": 25, "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", "precision": 0.9884594321948408, "recall": 0.9883268482490273, "f1": 0.9883225296579244 }, { "narrative_id": 26, "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", "precision": 0.9686757334562729, "recall": 0.9672131147540983, "f1": 0.9664568111822888 }, { "narrative_id": 27, "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", "precision": 0.9888827126181212, "recall": 0.9883268482490273, "f1": 0.9883153192102608 }, { "narrative_id": 28, "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", "precision": 0.9847992130177885, "recall": 0.9844357976653697, "f1": 0.9842074689534265 }, { "narrative_id": 29, "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", "precision": 0.9890664423885619, "recall": 0.9878048780487805, "f1": 0.9877482662640941 }, { "narrative_id": 30, "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", "precision": 0.9759413855922462, "recall": 0.975609756097561, "f1": 0.9752488788670753 }, { "narrative_id": 31, "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", "precision": 0.9883855981416957, "recall": 0.9878048780487805, "f1": 0.987934588747597 }, { "narrative_id": 32, "narrative": "Wahlhelfer lassen Stimmen verschwinden.", "precision": 0.9850187265917603, "recall": 0.9850187265917603, "f1": 0.9850187265917603 }, { "narrative_id": 33, "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", "precision": 0.9855735885698432, "recall": 0.9850187265917603, "f1": 0.9852132242561373 }, { "narrative_id": 34, "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", "precision": 0.9745357355375207, "recall": 0.9737827715355806, "f1": 0.9740022284635635 }, { "narrative_id": 35, "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", "precision": 0.9963933971424607, "recall": 0.9962546816479401, "f1": 0.9962532960325675 }, { "narrative_id": 36, "narrative": "In der Wahlkabine liegen Bleistifte aus, damit Stimmen manipuliert werden k\u00f6nnen", "precision": 0.9925093632958801, "recall": 0.9925093632958801, "f1": 0.9925093632958801 }, { "narrative_id": 37, "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", "precision": 0.9853998203054806, "recall": 0.9849056603773585, "f1": 0.9848832983927325 }, { "narrative_id": 38, "narrative": "Gr\u00fcne Gentechnik kann Krankheiten ausl\u00f6sen.", "precision": 0.9852786560931753, "recall": 0.9850187265917603, "f1": 0.9851116306490484 }, { "narrative_id": 39, "narrative": "Der Westen hat ein Friedensabkommen zwischen Russland und der Ukraine verhindert.", "precision": 0.9922178988326849, "recall": 0.9922178988326849, "f1": 0.9922178988326849 }, { "narrative_id": 40, "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", "precision": 0.9915626359591877, "recall": 0.9913793103448276, "f1": 0.9912463133882147 } ], "eval_class_report_real": [ { "narrative_id": 0, "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", "precision": 0.8333333333333334, "recall": 0.6666666666666666, "f1": 0.7222222222222222 }, { "narrative_id": 1, "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 4, "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", "precision": 0.9166666666666666, "recall": 0.8333333333333334, "f1": 0.851851851851852 }, { "narrative_id": 5, "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 7, "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", "precision": 1.0, "recall": 0.8571428571428571, "f1": 0.9230769230769231 }, { "narrative_id": 8, "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 11, "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", "precision": 1.0, "recall": 0.75, "f1": 0.8333333333333333 }, { "narrative_id": 14, "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 16, "narrative": "Die Regierung will gezielt Migranten ins Land holen.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 18, "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 19, "narrative": "Bargeld soll abgeschafft werden.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 20, "narrative": "Deutschland wird von Faschisten regiert.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 21, "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", "precision": 1.0, "recall": 0.5, "f1": 0.6666666666666666 }, { "narrative_id": 22, "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", "precision": 1.0, "recall": 0.3333333333333333, "f1": 0.5 }, { "narrative_id": 23, "narrative": "Die Ukraine wird von Nazis regiert", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 25, "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 26, "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", "precision": 1.0, "recall": 0.75, "f1": 0.8571428571428571 }, { "narrative_id": 27, "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 28, "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 29, "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", "precision": 1.0, "recall": 0.8888888888888888, "f1": 0.9411764705882353 }, { "narrative_id": 30, "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", "precision": 0.8666666666666666, "recall": 0.6, "f1": 0.6333333333333333 }, { "narrative_id": 31, "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 32, "narrative": "Wahlhelfer lassen Stimmen verschwinden.", "precision": 1.0, "recall": 0.5, "f1": 0.6666666666666666 }, { "narrative_id": 33, "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 34, "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 35, "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 37, "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 40, "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", "precision": 0.25, "recall": 0.5, "f1": 0.3333333333333333 } ], "eval_runtime": 147.9381, "eval_samples_per_second": 71.868, "eval_steps_per_second": 0.899, "epoch": 6.998990918264379, "step": 3468, "datasplit_random_state": 2024, "learning_rate": 2e-05, "batch_size": 16, "weight_decay": 0.1, "model_checkpoint": "MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7" }, { "eval_loss": 0.11466827243566513, "eval_f1_weighted": 0.9857086760323819, "eval_f1_macro": 0.9626363117504515, "eval_f1_micro": 0.9857630979498861, "eval_accuracy": 0.9857630979498861, "eval_precision_weighted": 0.9857466665876528, "eval_recall_weighted": 0.9857630979498861, "eval_f1_weighted_real": 0.8045271100193018, "eval_f1_macro_real": 0.5058197344563374, "eval_f1_micro_real": 0.75, "eval_accuracy_real": 0.75, "eval_class_report": [ { "narrative_id": 0, "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 1, "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", "precision": 0.9927867942849217, "recall": 0.9925093632958801, "f1": 0.9925625281922549 }, { "narrative_id": 2, "narrative": "Die Wahrheit \u00fcber die Corona-Todesopfer wird verheimlicht und ist tats\u00e4chlich niedriger.", "precision": 0.9746862703404096, "recall": 0.9737827715355806, "f1": 0.973370201928037 }, { "narrative_id": 3, "narrative": "Die Wahrheit \u00fcber die Nebenwirkungen der Covid-19-Impfung wird verheimlicht.", "precision": 0.981699012597889, "recall": 0.9812734082397003, "f1": 0.9807200937975605 }, { "narrative_id": 4, "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", "precision": 0.9925093632958801, "recall": 0.9925093632958801, "f1": 0.9925093632958801 }, { "narrative_id": 5, "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", "precision": 0.9961277467621572, "recall": 0.9961089494163424, "f1": 0.996075512576593 }, { "narrative_id": 6, "narrative": "Die EU kostet Deutschland nur Geld und die EWG w\u00fcrde reichen.", "precision": 0.9895833333333334, "recall": 0.9895833333333334, "f1": 0.9895833333333334 }, { "narrative_id": 7, "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", "precision": 0.9889010823114084, "recall": 0.98828125, "f1": 0.9880834918713247 }, { "narrative_id": 8, "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", "precision": 0.9881900035714957, "recall": 0.9883268482490273, "f1": 0.9882171162997943 }, { "narrative_id": 9, "narrative": "Hom\u00f6opathie wirkt \u00fcber den Placebo-Effekt hinaus und kann schwerwiegende Krankheiten heilen", "precision": 0.9922178988326849, "recall": 0.9922178988326849, "f1": 0.9922178988326849 }, { "narrative_id": 10, "narrative": "Unsere eigenen Leute m\u00fcssen leiden, weil Deutschland Geld ins Ausland schickt.", "precision": 0.9752451206393116, "recall": 0.975103734439834, "f1": 0.9750991291372887 }, { "narrative_id": 11, "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", "precision": 0.9960043030582449, "recall": 0.995850622406639, "f1": 0.9958842643249677 }, { "narrative_id": 12, "narrative": "Ausl\u00e4nder werden geringer f\u00fcr Verbrechen bestraft als Deutsche.", "precision": 0.9827586206896551, "recall": 0.9827586206896551, "f1": 0.9827586206896551 }, { "narrative_id": 13, "narrative": "Ausl\u00e4nder werden \u00fcberdurchschnittflich oft als schuldunf\u00e4hig eingestuft.", "precision": 0.9800215152912248, "recall": 0.979253112033195, "f1": 0.9795442014488674 }, { "narrative_id": 14, "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", "precision": 0.9876789876789877, "recall": 0.987012987012987, "f1": 0.987012987012987 }, { "narrative_id": 15, "narrative": "Die wahren Zahlen \u00fcber Ausl\u00e4nderkriminalit\u00e4t werden verheimlicht.", "precision": 0.9871631807047296, "recall": 0.9870689655172413, "f1": 0.9869202349374764 }, { "narrative_id": 16, "narrative": "Die Regierung will gezielt Migranten ins Land holen.", "precision": 0.9791061481321259, "recall": 0.979253112033195, "f1": 0.9787572772622299 }, { "narrative_id": 17, "narrative": "Migranten sind wie Menschen, die in deine Wohnung kommen und den K\u00fchlschrank leer fressen", "precision": 0.9837464794788554, "recall": 0.983402489626556, "f1": 0.9830676421249562 }, { "narrative_id": 18, "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", "precision": 0.9919950738916256, "recall": 0.9913793103448276, "f1": 0.9913593550447 }, { "narrative_id": 19, "narrative": "Bargeld soll abgeschafft werden.", "precision": 0.953785201841739, "recall": 0.950530035335689, "f1": 0.9500249412145535 }, { "narrative_id": 20, "narrative": "Deutschland wird von Faschisten regiert.", "precision": 0.9749623136535283, "recall": 0.9752650176678446, "f1": 0.9750335677100131 }, { "narrative_id": 21, "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 22, "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", "precision": 0.9925784014221855, "recall": 0.9925093632958801, "f1": 0.9923768899986127 }, { "narrative_id": 23, "narrative": "Die Ukraine wird von Nazis regiert", "precision": 0.9925267027326952, "recall": 0.9925093632958801, "f1": 0.9924769894053888 }, { "narrative_id": 24, "narrative": "Russland will den 2+4 Vertrag k\u00fcndigen, weil sich Deutschland mit Waffenlieferungen an die Ukraine nicht daran h\u00e4lt", "precision": 0.9817523145042265, "recall": 0.980544747081712, "f1": 0.9804905583695219 }, { "narrative_id": 25, "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", "precision": 0.9922178988326849, "recall": 0.9922178988326849, "f1": 0.9922178988326849 }, { "narrative_id": 26, "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", "precision": 0.974716730954677, "recall": 0.9713114754098361, "f1": 0.9707391315839742 }, { "narrative_id": 27, "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", "precision": 0.9806575311566007, "recall": 0.980544747081712, "f1": 0.9804268822484984 }, { "narrative_id": 28, "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", "precision": 0.9884020376322863, "recall": 0.9883268482490273, "f1": 0.9881900948207473 }, { "narrative_id": 29, "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", "precision": 0.9890664423885619, "recall": 0.9878048780487805, "f1": 0.9877482662640941 }, { "narrative_id": 30, "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", "precision": 0.9759413855922462, "recall": 0.975609756097561, "f1": 0.9752488788670753 }, { "narrative_id": 31, "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", "precision": 0.9843661547726589, "recall": 0.983739837398374, "f1": 0.9839584793762692 }, { "narrative_id": 32, "narrative": "Wahlhelfer lassen Stimmen verschwinden.", "precision": 0.9848612399638067, "recall": 0.9850187265917603, "f1": 0.9847213059480567 }, { "narrative_id": 33, "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", "precision": 0.9890414759328617, "recall": 0.9887640449438202, "f1": 0.9888656793469174 }, { "narrative_id": 34, "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", "precision": 0.9782860709827003, "recall": 0.9775280898876404, "f1": 0.9776446109030378 }, { "narrative_id": 35, "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", "precision": 0.9890414759328617, "recall": 0.9887640449438202, "f1": 0.9888333257124489 }, { "narrative_id": 36, "narrative": "In der Wahlkabine liegen Bleistifte aus, damit Stimmen manipuliert werden k\u00f6nnen", "precision": 0.9962720210847551, "recall": 0.9962546816479401, "f1": 0.9962223077574487 }, { "narrative_id": 37, "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", "precision": 0.9888078266946191, "recall": 0.9886792452830189, "f1": 0.9886750570644776 }, { "narrative_id": 38, "narrative": "Gr\u00fcne Gentechnik kann Krankheiten ausl\u00f6sen.", "precision": 0.9852786560931753, "recall": 0.9850187265917603, "f1": 0.9851116306490484 }, { "narrative_id": 39, "narrative": "Der Westen hat ein Friedensabkommen zwischen Russland und der Ukraine verhindert.", "precision": 0.9922178988326849, "recall": 0.9922178988326849, "f1": 0.9922178988326849 }, { "narrative_id": 40, "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", "precision": 0.9871631807047296, "recall": 0.9870689655172413, "f1": 0.9869130510294304 } ], "eval_class_report_real": [ { "narrative_id": 0, "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", "precision": 0.7777777777777777, "recall": 0.5, "f1": 0.6031746031746031 }, { "narrative_id": 1, "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 4, "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", "precision": 0.9444444444444445, "recall": 0.9166666666666666, "f1": 0.9228070175438595 }, { "narrative_id": 5, "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 7, "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", "precision": 1.0, "recall": 0.8571428571428571, "f1": 0.9230769230769231 }, { "narrative_id": 8, "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 11, "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", "precision": 0.5, "recall": 0.25, "f1": 0.3333333333333333 }, { "narrative_id": 14, "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 16, "narrative": "Die Regierung will gezielt Migranten ins Land holen.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 18, "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", "precision": 1.0, "recall": 0.6666666666666666, "f1": 0.7777777777777777 }, { "narrative_id": 19, "narrative": "Bargeld soll abgeschafft werden.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 20, "narrative": "Deutschland wird von Faschisten regiert.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 21, "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", "precision": 1.0, "recall": 0.5, "f1": 0.6666666666666666 }, { "narrative_id": 22, "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", "precision": 1.0, "recall": 0.6666666666666666, "f1": 0.8000000000000002 }, { "narrative_id": 23, "narrative": "Die Ukraine wird von Nazis regiert", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 25, "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 26, "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", "precision": 1.0, "recall": 0.75, "f1": 0.8571428571428571 }, { "narrative_id": 27, "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 28, "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 29, "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", "precision": 1.0, "recall": 0.7777777777777778, "f1": 0.875 }, { "narrative_id": 30, "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", "precision": 0.8666666666666666, "recall": 0.6, "f1": 0.6333333333333333 }, { "narrative_id": 31, "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 32, "narrative": "Wahlhelfer lassen Stimmen verschwinden.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 33, "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 34, "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 35, "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 37, "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 40, "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", "precision": 0.25, "recall": 0.5, "f1": 0.3333333333333333 } ], "eval_runtime": 138.962, "eval_samples_per_second": 76.51, "eval_steps_per_second": 0.957, "epoch": 8.0, "step": 3964, "datasplit_random_state": 2024, "learning_rate": 2e-05, "batch_size": 16, "weight_decay": 0.1, "model_checkpoint": "MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7" }, { "eval_loss": 0.11454310268163681, "eval_f1_weighted": 0.9858399380218279, "eval_f1_macro": 0.9629434399226713, "eval_f1_micro": 0.9858580106302202, "eval_accuracy": 0.9858580106302202, "eval_precision_weighted": 0.9858412971582003, "eval_recall_weighted": 0.9858580106302202, "eval_f1_weighted_real": 0.7750736597830622, "eval_f1_macro_real": 0.48237380058406343, "eval_f1_micro_real": 0.7291666666666666, "eval_accuracy_real": 0.7291666666666666, "eval_class_report": [ { "narrative_id": 0, "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", "precision": 0.9966563786008229, "recall": 0.9965277777777778, "f1": 0.9965568485803433 }, { "narrative_id": 1, "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", "precision": 0.9927867942849217, "recall": 0.9925093632958801, "f1": 0.9925625281922549 }, { "narrative_id": 2, "narrative": "Die Wahrheit \u00fcber die Corona-Todesopfer wird verheimlicht und ist tats\u00e4chlich niedriger.", "precision": 0.9742286427679685, "recall": 0.9737827715355806, "f1": 0.9737494798168956 }, { "narrative_id": 3, "narrative": "Die Wahrheit \u00fcber die Nebenwirkungen der Covid-19-Impfung wird verheimlicht.", "precision": 0.9851733498264782, "recall": 0.9850187265917603, "f1": 0.9847136924157525 }, { "narrative_id": 4, "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", "precision": 0.993044408774746, "recall": 0.9925093632958801, "f1": 0.9924982660563185 }, { "narrative_id": 5, "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", "precision": 0.992367554624364, "recall": 0.9922178988326849, "f1": 0.9922178988326849 }, { "narrative_id": 6, "narrative": "Die EU kostet Deutschland nur Geld und die EWG w\u00fcrde reichen.", "precision": 0.9863535373434902, "recall": 0.9861111111111112, "f1": 0.9861983235188079 }, { "narrative_id": 7, "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", "precision": 0.9889010823114084, "recall": 0.98828125, "f1": 0.9880834918713247 }, { "narrative_id": 8, "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", "precision": 0.9881900035714957, "recall": 0.9883268482490273, "f1": 0.9882171162997943 }, { "narrative_id": 9, "narrative": "Hom\u00f6opathie wirkt \u00fcber den Placebo-Effekt hinaus und kann schwerwiegende Krankheiten heilen", "precision": 0.9922178988326849, "recall": 0.9922178988326849, "f1": 0.9922178988326849 }, { "narrative_id": 10, "narrative": "Unsere eigenen Leute m\u00fcssen leiden, weil Deutschland Geld ins Ausland schickt.", "precision": 0.9652424208440805, "recall": 0.9626556016597511, "f1": 0.9633672405212558 }, { "narrative_id": 11, "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 12, "narrative": "Ausl\u00e4nder werden geringer f\u00fcr Verbrechen bestraft als Deutsche.", "precision": 0.9785680076628352, "recall": 0.978448275862069, "f1": 0.9784316784618858 }, { "narrative_id": 13, "narrative": "Ausl\u00e4nder werden \u00fcberdurchschnittflich oft als schuldunf\u00e4hig eingestuft.", "precision": 0.9800215152912248, "recall": 0.979253112033195, "f1": 0.9795442014488674 }, { "narrative_id": 14, "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", "precision": 0.982857142857143, "recall": 0.9826839826839827, "f1": 0.982689179567931 }, { "narrative_id": 15, "narrative": "Die wahren Zahlen \u00fcber Ausl\u00e4nderkriminalit\u00e4t werden verheimlicht.", "precision": 0.991402993558166, "recall": 0.9913793103448276, "f1": 0.9913429891762917 }, { "narrative_id": 16, "narrative": "Die Regierung will gezielt Migranten ins Land holen.", "precision": 0.9791061481321259, "recall": 0.979253112033195, "f1": 0.9787572772622299 }, { "narrative_id": 17, "narrative": "Migranten sind wie Menschen, die in deine Wohnung kommen und den K\u00fchlschrank leer fressen", "precision": 0.9789866783140424, "recall": 0.979253112033195, "f1": 0.9790770817353753 }, { "narrative_id": 18, "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", "precision": 0.9958492975734355, "recall": 0.9956896551724138, "f1": 0.9956863356923772 }, { "narrative_id": 19, "narrative": "Bargeld soll abgeschafft werden.", "precision": 0.9595867485984891, "recall": 0.9575971731448764, "f1": 0.9575313482037187 }, { "narrative_id": 20, "narrative": "Deutschland wird von Faschisten regiert.", "precision": 0.9717923723650542, "recall": 0.9717314487632509, "f1": 0.9717235175748402 }, { "narrative_id": 21, "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 22, "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", "precision": 0.9925784014221855, "recall": 0.9925093632958801, "f1": 0.9923768899986127 }, { "narrative_id": 23, "narrative": "Die Ukraine wird von Nazis regiert", "precision": 0.9925267027326952, "recall": 0.9925093632958801, "f1": 0.9924769894053888 }, { "narrative_id": 24, "narrative": "Russland will den 2+4 Vertrag k\u00fcndigen, weil sich Deutschland mit Waffenlieferungen an die Ukraine nicht daran h\u00e4lt", "precision": 0.9850292567260931, "recall": 0.9844357976653697, "f1": 0.9842214953986189 }, { "narrative_id": 25, "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", "precision": 0.9922178988326849, "recall": 0.9922178988326849, "f1": 0.9922178988326849 }, { "narrative_id": 26, "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", "precision": 0.976775956284153, "recall": 0.9754098360655737, "f1": 0.9753888188314419 }, { "narrative_id": 27, "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", "precision": 0.9806575311566007, "recall": 0.980544747081712, "f1": 0.9804268822484984 }, { "narrative_id": 28, "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", "precision": 0.992380900412331, "recall": 0.9922178988326849, "f1": 0.9921036984718924 }, { "narrative_id": 29, "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", "precision": 0.9924506387921022, "recall": 0.991869918699187, "f1": 0.9918510990665462 }, { "narrative_id": 30, "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", "precision": 0.9759413855922462, "recall": 0.975609756097561, "f1": 0.9752488788670753 }, { "narrative_id": 31, "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", "precision": 0.9883855981416957, "recall": 0.9878048780487805, "f1": 0.987934588747597 }, { "narrative_id": 32, "narrative": "Wahlhelfer lassen Stimmen verschwinden.", "precision": 0.9848612399638067, "recall": 0.9850187265917603, "f1": 0.9847213059480567 }, { "narrative_id": 33, "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", "precision": 0.9890414759328617, "recall": 0.9887640449438202, "f1": 0.9888656793469174 }, { "narrative_id": 34, "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", "precision": 0.9782860709827003, "recall": 0.9775280898876404, "f1": 0.9776446109030378 }, { "narrative_id": 35, "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", "precision": 0.9925267027326952, "recall": 0.9925093632958801, "f1": 0.9924769894053888 }, { "narrative_id": 36, "narrative": "In der Wahlkabine liegen Bleistifte aus, damit Stimmen manipuliert werden k\u00f6nnen", "precision": 0.993044408774746, "recall": 0.9925093632958801, "f1": 0.9924982660563185 }, { "narrative_id": 37, "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", "precision": 0.9888078266946191, "recall": 0.9886792452830189, "f1": 0.9886750570644776 }, { "narrative_id": 38, "narrative": "Gr\u00fcne Gentechnik kann Krankheiten ausl\u00f6sen.", "precision": 0.9852786560931753, "recall": 0.9850187265917603, "f1": 0.9851116306490484 }, { "narrative_id": 39, "narrative": "Der Westen hat ein Friedensabkommen zwischen Russland und der Ukraine verhindert.", "precision": 0.9922178988326849, "recall": 0.9922178988326849, "f1": 0.9922178988326849 }, { "narrative_id": 40, "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", "precision": 0.9871631807047296, "recall": 0.9870689655172413, "f1": 0.9869130510294304 } ], "eval_class_report_real": [ { "narrative_id": 0, "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", "precision": 0.5, "recall": 0.3333333333333333, "f1": 0.38888888888888884 }, { "narrative_id": 1, "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 4, "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", "precision": 0.9166666666666666, "recall": 0.8333333333333334, "f1": 0.851851851851852 }, { "narrative_id": 5, "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 7, "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", "precision": 1.0, "recall": 0.8571428571428571, "f1": 0.9230769230769231 }, { "narrative_id": 8, "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 11, "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", "precision": 1.0, "recall": 0.75, "f1": 0.8333333333333333 }, { "narrative_id": 14, "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 16, "narrative": "Die Regierung will gezielt Migranten ins Land holen.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 18, "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 19, "narrative": "Bargeld soll abgeschafft werden.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 20, "narrative": "Deutschland wird von Faschisten regiert.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 21, "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 22, "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", "precision": 1.0, "recall": 0.6666666666666666, "f1": 0.8000000000000002 }, { "narrative_id": 23, "narrative": "Die Ukraine wird von Nazis regiert", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 25, "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 26, "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", "precision": 1.0, "recall": 0.75, "f1": 0.8571428571428571 }, { "narrative_id": 27, "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 28, "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 29, "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", "precision": 1.0, "recall": 0.6666666666666666, "f1": 0.8 }, { "narrative_id": 30, "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", "precision": 0.8666666666666666, "recall": 0.6, "f1": 0.6333333333333333 }, { "narrative_id": 31, "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 32, "narrative": "Wahlhelfer lassen Stimmen verschwinden.", "precision": 1.0, "recall": 0.5, "f1": 0.6666666666666666 }, { "narrative_id": 33, "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 34, "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 35, "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 37, "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 40, "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", "precision": 0.25, "recall": 0.5, "f1": 0.3333333333333333 } ], "eval_runtime": 147.2437, "eval_samples_per_second": 72.207, "eval_steps_per_second": 0.903, "epoch": 8.99899091826438, "step": 4459, "datasplit_random_state": 2024, "learning_rate": 2e-05, "batch_size": 16, "weight_decay": 0.1, "model_checkpoint": "MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7" }, { "eval_loss": 0.1161591187119484, "eval_f1_weighted": 0.9865839701625604, "eval_f1_macro": 0.9651416279172226, "eval_f1_micro": 0.9866173120728929, "eval_accuracy": 0.9866173120728929, "eval_precision_weighted": 0.98658355324801, "eval_recall_weighted": 0.9866173120728929, "eval_f1_weighted_real": 0.791466548702393, "eval_f1_macro_real": 0.4924165824064712, "eval_f1_micro_real": 0.7395833333333334, "eval_accuracy_real": 0.7395833333333334, "eval_class_report": [ { "narrative_id": 0, "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", "precision": 0.9966563786008229, "recall": 0.9965277777777778, "f1": 0.9965568485803433 }, { "narrative_id": 1, "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", "precision": 0.9927867942849217, "recall": 0.9925093632958801, "f1": 0.9925625281922549 }, { "narrative_id": 2, "narrative": "Die Wahrheit \u00fcber die Corona-Todesopfer wird verheimlicht und ist tats\u00e4chlich niedriger.", "precision": 0.9785893570068898, "recall": 0.9775280898876404, "f1": 0.9774655521043963 }, { "narrative_id": 3, "narrative": "Die Wahrheit \u00fcber die Nebenwirkungen der Covid-19-Impfung wird verheimlicht.", "precision": 0.981699012597889, "recall": 0.9812734082397003, "f1": 0.9807200937975605 }, { "narrative_id": 4, "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", "precision": 0.993044408774746, "recall": 0.9925093632958801, "f1": 0.9924982660563185 }, { "narrative_id": 5, "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", "precision": 0.9922178988326849, "recall": 0.9922178988326849, "f1": 0.9922178988326849 }, { "narrative_id": 6, "narrative": "Die EU kostet Deutschland nur Geld und die EWG w\u00fcrde reichen.", "precision": 0.9895833333333334, "recall": 0.9895833333333334, "f1": 0.9895833333333334 }, { "narrative_id": 7, "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", "precision": 0.9889010823114084, "recall": 0.98828125, "f1": 0.9880834918713247 }, { "narrative_id": 8, "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", "precision": 0.9881900035714957, "recall": 0.9883268482490273, "f1": 0.9882171162997943 }, { "narrative_id": 9, "narrative": "Hom\u00f6opathie wirkt \u00fcber den Placebo-Effekt hinaus und kann schwerwiegende Krankheiten heilen", "precision": 0.9922178988326849, "recall": 0.9922178988326849, "f1": 0.9922178988326849 }, { "narrative_id": 10, "narrative": "Unsere eigenen Leute m\u00fcssen leiden, weil Deutschland Geld ins Ausland schickt.", "precision": 0.9684038513914034, "recall": 0.966804979253112, "f1": 0.9672421883796061 }, { "narrative_id": 11, "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 12, "narrative": "Ausl\u00e4nder werden geringer f\u00fcr Verbrechen bestraft als Deutsche.", "precision": 0.9827586206896551, "recall": 0.9827586206896551, "f1": 0.9827586206896551 }, { "narrative_id": 13, "narrative": "Ausl\u00e4nder werden \u00fcberdurchschnittflich oft als schuldunf\u00e4hig eingestuft.", "precision": 0.9800215152912248, "recall": 0.979253112033195, "f1": 0.9795442014488674 }, { "narrative_id": 14, "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", "precision": 0.982857142857143, "recall": 0.9826839826839827, "f1": 0.982689179567931 }, { "narrative_id": 15, "narrative": "Die wahren Zahlen \u00fcber Ausl\u00e4nderkriminalit\u00e4t werden verheimlicht.", "precision": 0.991402993558166, "recall": 0.9913793103448276, "f1": 0.9913429891762917 }, { "narrative_id": 16, "narrative": "Die Regierung will gezielt Migranten ins Land holen.", "precision": 0.9791061481321259, "recall": 0.979253112033195, "f1": 0.9787572772622299 }, { "narrative_id": 17, "narrative": "Migranten sind wie Menschen, die in deine Wohnung kommen und den K\u00fchlschrank leer fressen", "precision": 0.9877463692946058, "recall": 0.9875518672199171, "f1": 0.9872198103275027 }, { "narrative_id": 18, "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", "precision": 0.9958492975734355, "recall": 0.9956896551724138, "f1": 0.9956863356923772 }, { "narrative_id": 19, "narrative": "Bargeld soll abgeschafft werden.", "precision": 0.9595867485984891, "recall": 0.9575971731448764, "f1": 0.9575313482037187 }, { "narrative_id": 20, "narrative": "Deutschland wird von Faschisten regiert.", "precision": 0.9749623136535283, "recall": 0.9752650176678446, "f1": 0.9750335677100131 }, { "narrative_id": 21, "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 22, "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", "precision": 0.9925784014221855, "recall": 0.9925093632958801, "f1": 0.9923768899986127 }, { "narrative_id": 23, "narrative": "Die Ukraine wird von Nazis regiert", "precision": 0.9925267027326952, "recall": 0.9925093632958801, "f1": 0.9924769894053888 }, { "narrative_id": 24, "narrative": "Russland will den 2+4 Vertrag k\u00fcndigen, weil sich Deutschland mit Waffenlieferungen an die Ukraine nicht daran h\u00e4lt", "precision": 0.9850292567260931, "recall": 0.9844357976653697, "f1": 0.9842214953986189 }, { "narrative_id": 25, "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", "precision": 0.9922178988326849, "recall": 0.9922178988326849, "f1": 0.9922178988326849 }, { "narrative_id": 26, "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", "precision": 0.9801329921751808, "recall": 0.9795081967213115, "f1": 0.9790938170186471 }, { "narrative_id": 27, "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", "precision": 0.9806575311566007, "recall": 0.980544747081712, "f1": 0.9804268822484984 }, { "narrative_id": 28, "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", "precision": 0.9884020376322863, "recall": 0.9883268482490273, "f1": 0.9881900948207473 }, { "narrative_id": 29, "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", "precision": 0.9924506387921022, "recall": 0.991869918699187, "f1": 0.9918510990665462 }, { "narrative_id": 30, "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", "precision": 0.9759413855922462, "recall": 0.975609756097561, "f1": 0.9752488788670753 }, { "narrative_id": 31, "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", "precision": 0.9883855981416957, "recall": 0.9878048780487805, "f1": 0.987934588747597 }, { "narrative_id": 32, "narrative": "Wahlhelfer lassen Stimmen verschwinden.", "precision": 0.9848612399638067, "recall": 0.9850187265917603, "f1": 0.9847213059480567 }, { "narrative_id": 33, "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", "precision": 0.9890414759328617, "recall": 0.9887640449438202, "f1": 0.9888656793469174 }, { "narrative_id": 34, "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", "precision": 0.9782860709827003, "recall": 0.9775280898876404, "f1": 0.9776446109030378 }, { "narrative_id": 35, "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", "precision": 0.9925267027326952, "recall": 0.9925093632958801, "f1": 0.9924769894053888 }, { "narrative_id": 36, "narrative": "In der Wahlkabine liegen Bleistifte aus, damit Stimmen manipuliert werden k\u00f6nnen", "precision": 0.9963933971424607, "recall": 0.9962546816479401, "f1": 0.9962532960325675 }, { "narrative_id": 37, "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", "precision": 0.9888078266946191, "recall": 0.9886792452830189, "f1": 0.9886750570644776 }, { "narrative_id": 38, "narrative": "Gr\u00fcne Gentechnik kann Krankheiten ausl\u00f6sen.", "precision": 0.9852786560931753, "recall": 0.9850187265917603, "f1": 0.9851116306490484 }, { "narrative_id": 39, "narrative": "Der Westen hat ein Friedensabkommen zwischen Russland und der Ukraine verhindert.", "precision": 0.9922178988326849, "recall": 0.9922178988326849, "f1": 0.9922178988326849 }, { "narrative_id": 40, "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", "precision": 0.9915626359591877, "recall": 0.9913793103448276, "f1": 0.9912463133882147 } ], "eval_class_report_real": [ { "narrative_id": 0, "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", "precision": 0.5, "recall": 0.3333333333333333, "f1": 0.38888888888888884 }, { "narrative_id": 1, "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 4, "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", "precision": 0.9166666666666666, "recall": 0.8333333333333334, "f1": 0.8728070175438596 }, { "narrative_id": 5, "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 7, "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", "precision": 1.0, "recall": 0.8571428571428571, "f1": 0.9230769230769231 }, { "narrative_id": 8, "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 11, "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", "precision": 0.5, "recall": 0.5, "f1": 0.5 }, { "narrative_id": 14, "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 16, "narrative": "Die Regierung will gezielt Migranten ins Land holen.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 18, "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 19, "narrative": "Bargeld soll abgeschafft werden.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 20, "narrative": "Deutschland wird von Faschisten regiert.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 21, "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", "precision": 1.0, "recall": 0.5, "f1": 0.6666666666666666 }, { "narrative_id": 22, "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", "precision": 1.0, "recall": 0.6666666666666666, "f1": 0.8000000000000002 }, { "narrative_id": 23, "narrative": "Die Ukraine wird von Nazis regiert", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 25, "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 26, "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", "precision": 1.0, "recall": 0.75, "f1": 0.8571428571428571 }, { "narrative_id": 27, "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "narrative_id": 28, "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 29, "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", "precision": 1.0, "recall": 0.7777777777777778, "f1": 0.875 }, { "narrative_id": 30, "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", "precision": 0.8666666666666666, "recall": 0.6, "f1": 0.6333333333333333 }, { "narrative_id": 31, "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 32, "narrative": "Wahlhelfer lassen Stimmen verschwinden.", "precision": 1.0, "recall": 0.5, "f1": 0.6666666666666666 }, { "narrative_id": 33, "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 34, "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 35, "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 37, "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "narrative_id": 40, "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", "precision": 0.25, "recall": 0.5, "f1": 0.3333333333333333 } ], "eval_runtime": 139.1042, "eval_samples_per_second": 76.432, "eval_steps_per_second": 0.956, "epoch": 9.989909182643794, "step": 4950, "datasplit_random_state": 2024, "learning_rate": 2e-05, "batch_size": 16, "weight_decay": 0.1, "model_checkpoint": "MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7" } ]