README.md

metadata

language:
  - it
license: apache-2.0
datasets:
  - squad_it
tags:
  - Italian
  - efficient
  - sequence-to-sequence
  - question-generation
  - squad_it
  - text2text-generation
widget:
  - text: >-
      Le conoscenze mediche erano stagnanti durante il Medioevo. Il resoconto
      più autorevole di allora è venuto dalla facoltà di medicina di Parigi in
      un rapporto al re di Francia che ha incolpato i cieli, sotto forma di una
      congiunzione di tre pianeti nel 1345 che causò una "grande pestilenza
      nell' aria". Questa relazione è diventata la prima e più diffusa di una
      serie di casi di peste che cercava di dare consigli ai malati. Che la
      peste fosse causata dalla cattiva aria divenne la teoria più accettata.
      Oggi, questo è conosciuto come la teoria di Miasma. La parola "peste" non
      aveva un significato particolare in questo momento, e solo la ricorrenza
      dei focolai durante il Medioevo gli diede il nome che è diventato il
      termine medico. Risposta: re di Francia
  - text: >-
      Il 14 aprile 2011, ABC ha annullato le lunghe opere di sapone All My
      Children e One Life to Live dopo 41 e 43 anni in onda, rispettivamente (in
      seguito al contraccolpo dei tifosi, ABC ha venduto i diritti ad entrambi
      gli spettacoli a Prospect Park, che alla fine ha rilanciato i saponi su
      Hulu per un' ulteriore stagione nel 2013 e con entrambe le società che si
      citano in giudizio per accuse di interferenza con il processo di rilancio
      degli spettacoli, mancato pagamento delle tasse di licenza. Il
      talk/lifestyle show che ha sostituito One Life to Live, The Revolution,
      non è riuscito a generare giudizi soddisfacenti ed è stato a sua volta
      annullato dopo soli sette mesi. La stagione 2011-12 ha visto l' ABC cadere
      al quarto posto nel 18-49 demografico nonostante rinnovando una manciata
      di nuovi spettacoli (compresi i drammi matricole Scandal, Revenge e Once
      Upon a Time) per la seconda stagione. Risposta: Hulu
  - text: >-
      L' American Broadcasting Company (ABC) (stlized nel suo logo come abc dal
      1957) è una rete televisiva commerciale americana trasmissione televisiva
      che è di proprietà del Disney-ABC Television Group, una controllata della
      divisione Disney Media Networks di The Walt Disney Company. La rete fa
      parte delle grandi reti televisive Big Three. La rete ha sede a Columbus
      Avenue e West 66th Street a Manhattan, con ulteriori uffici e stabilimenti
      di produzione a New York City, Los Angeles e Burbank, California.
      Risposta: Manhattan
  - text: >-
      La disobbedienza civile non rivoluzionaria è una semplice disobbedienza
      delle leggi sulla base del fatto che sono giudicate "sbagliate" da una
      coscienza individuale, o come parte di uno sforzo per rendere alcune leggi
      inefficaci, per causarne l' abrogazione, o per esercitare pressioni per
      ottenere i propri desideri politici su qualche altra questione. La
      disobbedienza civile rivoluzionaria è più che altro un tentativo attivo di
      rovesciare un governo (o di cambiare le tradizioni culturali, i costumi
      sociali, le credenze religiose, ecc. La rivoluzione non deve
      necessariamente essere politica, cioè "rivoluzione culturale", implica
      semplicemente un cambiamento radicale e diffuso in una sezione del tessuto
      sociale). Gli atti di Gandhi sono stati descritti come disobbedienza
      civile rivoluzionaria. È stato affermato che gli ungheresi sotto Ferenc
      Deák hanno diretto una disobbedienza civile rivoluzionaria contro il
      governo austriaco. Thoreau ha anche scritto di disobbedienza civile
      realizzando "rivoluzione pacifica". Howard Zinn, Harvey Wheeler e altri
      hanno identificato il diritto sposato nella Dichiarazione d' Indipendenza
      di "alterare o abolire" un governo ingiusto come principio di
      disobbedienza civile. Risposta: Ferenc Deák
metrics:
  - rouge
  - bertscore
model-index:
  - name: it5-efficient-small-el32-question-generation
    results:
      - task:
          type: question-generation
          name: Question generation
        dataset:
          type: squad_it
          name: SQuAD-IT
        metrics:
          - type: rouge1
            value: 0.382
            name: Test Rouge1
          - type: rouge2
            value: 0.201
            name: Test Rouge2
          - type: rougeL
            value: 0.357
            name: Test RougeL
          - type: bertscore
            value: 0.517
            name: Test BERTScore
            args:
              - model_type: dbmdz/bert-base-italian-xxl-uncased
              - lang: it
              - num_layers: 10
              - rescale_with_baseline: true
              - baseline_path: bertscore_baseline_ita.tsv

IT5 Cased Small Efficient EL32 for Question Generation 💭 🇮🇹

Shout-out to Stefan Schweter for contributing the pre-trained efficient model!

This repository contains the checkpoint for the IT5 Cased Small Efficient EL32 model fine-tuned on question generation on the SQuAD-IT corpus as part of the experiments of the paper IT5: Large-scale Text-to-text Pretraining for Italian Language Understanding and Generation by Gabriele Sarti and Malvina Nissim.

Efficient IT5 models differ from the standard ones by adopting a different vocabulary that enables cased text generation and an optimized model architecture to improve performances while reducing parameter count. The Small-EL32 replaces the original encoder from the T5 Small architecture with a 32-layer deep encoder, showing improved performances over the base model.

A comprehensive overview of other released materials is provided in the gsarti/it5 repository. Refer to the paper for additional details concerning the reported scores and the evaluation approach.

Using the model

Model checkpoints are available for usage in Tensorflow, Pytorch and JAX. They can be used directly with pipelines as:

from transformers import pipelines

qg = pipeline("text2text-generation", model='it5/it5-efficient-small-el32-question-generation')
qg("Le conoscenze mediche erano stagnanti durante il Medioevo. Il resoconto più autorevole di allora è venuto dalla facoltà di medicina di Parigi in un rapporto al re di Francia che ha incolpato i cieli, sotto forma di una congiunzione di tre pianeti nel 1345 che causò una "grande pestilenza nell\' aria". Questa relazione è diventata la prima e più diffusa di una serie di casi di peste che cercava di dare consigli ai malati. Che la peste fosse causata dalla cattiva aria divenne la teoria più accettata. Oggi, questo è conosciuto come la teoria di Miasma. La parola "peste" non aveva un significato particolare in questo momento, e solo la ricorrenza dei focolai durante il Medioevo gli diede il nome che è diventato il termine medico. Risposta: re di Francia")
>>> [{"generated_text": "Per chi è stato redatto il referto medico?"}]

or loaded using autoclasses:

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("it5/it5-efficient-small-el32-question-generation")
model = AutoModelForSeq2SeqLM.from_pretrained("it5/it5-efficient-small-el32-question-generation")

If you use this model in your research, please cite our work as:

@article{sarti-nissim-2022-it5,
    title={{IT5}: Large-scale Text-to-text Pretraining for Italian Language Understanding and Generation},
    author={Sarti, Gabriele and Nissim, Malvina},
    journal={ArXiv preprint 2203.03759},
    url={https://arxiv.org/abs/2203.03759},
    year={2022},
    month={mar}
}

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0003
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 7.0

Framework versions

• Transformers 4.15.0
• Pytorch 1.10.0+cu102
• Datasets 1.17.0
• Tokenizers 0.10.3