utils.py

ascending_metrics = {
    "wer",
    "cer",
    "loss",
    "mae",
    "mahalanobis",
    "mse",
    "perplexity",
    "ter",
}

metric_ranges = {
    "accuracy": (0,1),
    "precision": (0,1),
    "recall": (0,1),
    "macro f1": (0,1),
    "micro f1": (0,1),
    "pearson": (-1, 1),
    "matthews_correlation": (-1, 1),
    "spearmanr": (-1, 1),
    "google_bleu": (0, 1),
    "precision@10": (0, 1),
    "mae": (0, 1),
    "mauve": (0, 1),
    "frontier_integral": (0, 1),
    "mean_iou": (0, 1),
    "mean_accuracy": (0, 1),
    "overall_accuracy": (0, 1),
    "meteor": (0, 1),
    "mse": (0, 1),
    "perplexity": (0, float("inf")),
    "rogue1": (0, 1),
    "rogue2": (0, 1),
    "sari": (0, 100),
}

CV11_LANGUAGES = {
     'ab': 'Abkhaz',
     'ace': 'Acehnese',
     'ady': 'Adyghe',
     'af': 'Afrikaans',
     'am': 'Amharic',
     'an': 'Aragonese',
     'ar': 'Arabic',
     'arn': 'Mapudungun',
     'as': 'Assamese',
     'ast': 'Asturian',
     'az': 'Azerbaijani',
     'ba': 'Bashkir',
     'bas': 'Basaa',
     'be': 'Belarusian',
     'bg': 'Bulgarian',
     'bn': 'Bengali',
     'br': 'Breton',
     'bs': 'Bosnian',
     'bxr': 'Buryat',
     'ca': 'Catalan',
     'cak': 'Kaqchikel',
     'ckb': 'Central Kurdish',
     'cnh': 'Hakha Chin',
     'co': 'Corsican',
     'cs': 'Czech',
     'cv': 'Chuvash',
     'cy': 'Welsh',
     'da': 'Danish',
     'de': 'German',
     'dsb': 'Sorbian, Lower',
     'dv': 'Dhivehi',
     'dyu': 'Dioula',
     'el': 'Greek',
     'en': 'English',
     'eo': 'Esperanto',
     'es': 'Spanish',
     'et': 'Estonian',
     'eu': 'Basque',
     'fa': 'Persian',
     'ff': 'Fulah',
     'fi': 'Finnish',
     'fo': 'Faroese',
     'fr': 'French',
     'fy-NL': 'Frisian',
     'ga-IE': 'Irish',
     'gl': 'Galician',
     'gn': 'Guarani',
     'gom': 'Goan Konkani',
     'ha': 'Hausa',
     'he': 'Hebrew',
     'hi': 'Hindi',
     'hil': 'Hiligaynon',
     'hr': 'Croatian',
     'hsb': 'Sorbian, Upper',
     'ht': 'Haitian',
     'hu': 'Hungarian',
     'hy-AM': 'Armenian',
     'hyw': 'Armenian Western',
     'ia': 'Interlingua',
     'id': 'Indonesian',
     'ie': 'Interlingue',
     'ig': 'Igbo',
     'is': 'Icelandic',
     'it': 'Italian',
     'izh': 'Izhorian',
     'ja': 'Japanese',
     'jbo': 'Lojban',
     'ka': 'Georgian',
     'kaa': 'Karakalpak',
     'kab': 'Kabyle',
     'kbd': 'Kabardian',
     'ki': 'Kikuyu',
     'kk': 'Kazakh',
     'km': 'Khmer',
     'kmr': 'Kurmanji Kurdish',
     'kn': 'Kannada',
     'knn': 'Konkani (Devanagari)',
     'ko': 'Korean',
     'kpv': 'Komi-Zyrian',
     'kw': 'Cornish',
     'ky': 'Kyrgyz',
     'lb': 'Luxembourgish',
     'lg': 'Luganda',
     'lij': 'Ligurian',
     'ln': 'Lingala',
     'lo': 'Lao',
     'lt': 'Lithuanian',
     'lv': 'Latvian',
     'mai': 'Maithili',
     'mdf': 'Moksha',
     'mg': 'Malagasy',
     'mhr': 'Meadow Mari',
     'mk': 'Macedonian',
     'ml': 'Malayalam',
     'mn': 'Mongolian',
     'mni': 'Meetei Lon',
     'mos': 'Mossi',
     'mr': 'Marathi',
     'mrj': 'Hill Mari',
     'ms': 'Malay',
     'mt': 'Maltese',
     'my': 'Burmese',
     'myv': 'Erzya',
     'nan-tw': 'Taiwanese (Minnan)',
     'nb-NO': 'Norwegian Bokmål',
     'nd': 'IsiNdebele (North)',
     'ne-NP': 'Nepali',
     'nia': 'Nias',
     'nl': 'Dutch',
     'nn-NO': 'Norwegian Nynorsk',
     'nr': 'IsiNdebele (South)',
     'nso': 'Northern Sotho',
     'nyn': 'Runyankole',
     'oc': 'Occitan',
     'om': 'Afaan Ormoo',
     'or': 'Odia',
     'pa-IN': 'Punjabi',
     'pap-AW': 'Papiamento (Aruba)',
     'pl': 'Polish',
     'ps': 'Pashto',
     'pt': 'Portuguese',
     'quc': "K'iche'",
     'quy': 'Quechua Chanka',
     'rm-sursilv': 'Romansh Sursilvan',
     'rm-vallader': 'Romansh Vallader',
     'ro': 'Romanian',
     'ru': 'Russian',
     'rw': 'Kinyarwanda',
     'sah': 'Sakha',
     'sat': 'Santali (Ol Chiki)',
     'sc': 'Sardinian',
     'scn': 'Sicilian',
     'sdh': 'Southern Kurdish',
     'shi': 'Shilha',
     'si': 'Sinhala',
     'sk': 'Slovak',
     'skr': 'Saraiki',
     'sl': 'Slovenian',
     'snk': 'Soninke',
     'so': 'Somali',
     'sq': 'Albanian',
     'sr': 'Serbian',
     'ss': 'Siswati',
     'st': 'Southern Sotho',
     'sv-SE': 'Swedish',
     'sw': 'Swahili',
     'syr': 'Syriac',
     'ta': 'Tamil',
     'te': 'Telugu',
     'tg': 'Tajik',
     'th': 'Thai',
     'ti': 'Tigrinya',
     'tig': 'Tigre',
     'tk': 'Turkmen',
     'tl': 'Tagalog',
     'tn': 'Setswana',
     'tok': 'Toki Pona',
     'tr': 'Turkish',
     'ts': 'Xitsonga',
     'tt': 'Tatar',
     'tw': 'Twi',
     'ty': 'Tahitian',
     'uby': 'Ubykh',
     'udm': 'Udmurt',
     'ug': 'Uyghur',
     'uk': 'Ukrainian',
     'ur': 'Urdu',
     'uz': 'Uzbek',
     've': 'Tshivenda',
     'vec': 'Venetian',
     'vi': 'Vietnamese',
     'vot': 'Votic',
     'xh': 'Xhosa',
     'yi': 'Yiddish',
     'yo': 'Yoruba',
     'yue': 'Cantonese',
     'zgh': 'Tamazight',
     'zh-CN': 'Chinese (China)',
     'zh-HK': 'Chinese (Hong Kong)',
     'zh-TW': 'Chinese (Taiwan)',
     'zu': 'Zulu',
}

FLEURS_LANGUAGES = {
    'af_za': 'Afrikaans',
     'am_et': 'Amharic',
     'ar_eg': 'Arabic',
     'as_in': 'Assamese',
     'ast_es': 'Asturian',
     'az_az': 'Azerbaijani',
     'be_by': 'Belarusian',
     'bg_bg': 'Bulgarian',
     'bn_in': 'Bengali',
     'bs_ba': 'Bosnian',
     'ca_es': 'Catalan',
     'ceb_ph': 'Cebuano',
     'ckb_iq': 'Sorani-Kurdish',
     'cmn_hans_cn': 'Mandarin Chinese',
     'cs_cz': 'Czech',
     'cy_gb': 'Welsh',
     'da_dk': 'Danish',
     'de_de': 'German',
     'el_gr': 'Greek',
     'en_us': 'English',
     'es_419': 'Spanish',
     'et_ee': 'Estonian',
     'fa_ir': 'Persian',
     'ff_sn': 'Fula',
     'fi_fi': 'Finnish',
     'fil_ph': 'Filipino',
     'fr_fr': 'French',
     'ga_ie': 'Irish',
     'gl_es': 'Galician',
     'gu_in': 'Gujarati',
     'ha_ng': 'Hausa',
     'he_il': 'Hebrew',
     'hi_in': 'Hindi',
     'hr_hr': 'Croatian',
     'hu_hu': 'Hungarian',
     'hy_am': 'Armenian',
     'id_id': 'Indonesian',
     'ig_ng': 'Igbo',
     'is_is': 'Icelandic',
     'it_it': 'Italian',
     'ja_jp': 'Japanese',
     'jv_id': 'Javanese',
     'ka_ge': 'Georgian',
     'kam_ke': 'Kamba',
     'kea_cv': 'Kabuverdianu',
     'kk_kz': 'Kazakh',
     'km_kh': 'Khmer',
     'kn_in': 'Kannada',
     'ko_kr': 'Korean',
     'ky_kg': 'Kyrgyz',
     'lb_lu': 'Luxembourgish',
     'lg_ug': 'Ganda',
     'ln_cd': 'Lingala',
     'lo_la': 'Lao',
     'lt_lt': 'Lithuanian',
     'luo_ke': 'Luo',
     'lv_lv': 'Latvian',
     'mi_nz': 'Maori',
     'mk_mk': 'Macedonian',
     'ml_in': 'Malayalam',
     'mn_mn': 'Mongolian',
     'mr_in': 'Marathi',
     'ms_my': 'Malay',
     'mt_mt': 'Maltese',
     'my_mm': 'Burmese',
     'nb_no': 'Norwegian',
     'ne_np': 'Nepali',
     'nl_nl': 'Dutch',
     'nso_za': 'Northern-Sotho',
     'ny_mw': 'Nyanja',
     'oc_fr': 'Occitan',
     'om_et': 'Oromo',
     'or_in': 'Oriya',
     'pa_in': 'Punjabi',
     'pl_pl': 'Polish',
     'ps_af': 'Pashto',
     'pt_br': 'Portuguese',
     'ro_ro': 'Romanian',
     'ru_ru': 'Russian',
     'sd_in': 'Sindhi',
     'sk_sk': 'Slovak',
     'sl_si': 'Slovenian',
     'sn_zw': 'Shona',
     'so_so': 'Somali',
     'sr_rs': 'Serbian',
     'sv_se': 'Swedish',
     'sw_ke': 'Swahili',
     'ta_in': 'Tamil',
     'te_in': 'Telugu',
     'tg_tj': 'Tajik',
     'th_th': 'Thai',
     'tr_tr': 'Turkish',
     'uk_ua': 'Ukrainian',
     'umb_ao': 'Umbundu',
     'ur_pk': 'Urdu',
     'uz_uz': 'Uzbek',
     'vi_vn': 'Vietnamese',
     'wo_sn': 'Wolof',
     'xh_za': 'Xhosa',
     'yo_ng': 'Yoruba',
     'yue_hant_hk': 'Cantonese Chinese',
     'zu_za': 'Zulu',
}