ter / comet
Vvvasoo's picture
Create comet
f259daa verified
raw
history blame
2.87 kB
from transformers import AutoModelForSequenceClassification, AutoTokenizer
import torch
# Указываем токен для авторизации в Hugging Face
from huggingface_hub import login
login(token="your_huggingface_api_token") # Вставьте сюда свой токен
# Загружаем модель COMET
model_name = "Unbabel/comet-xxlarge-2023"
model = AutoModelForSequenceClassification.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)
# Ваши тексты (оригинальный, эталонный и машинный перевод)
source_text = "Globalization and technological progress have profoundly transformed economies and radically redistributed opportunities to participate and thrive. As a result, there is a need for new deliberate action across stakeholders—business, government and workers—to create greater shared prosperity."
reference_text = "мирование политических систем и тотальное перераспределение возможностей участия в мировых экономических процессах и как следствие возможностей для развития экономики, происходящее на фоне глобализации и непрекращающегося технологического прогресса, обуславливают необходимость в осуществлении решительных новаторских мерах на всех уровнях экономики (смысловое развитие – изменили степень абстракции) ,от политического и коммерческого до частного, в отсутствие которых невозможно будет обеспечить условия для равного процветания."
machine_translation = "Глобализация и технический прогресс коренным образом преобразили экономику и радикально перераспределили возможности для участия и процветания. В результате необходимы новые целенаправленные действия заинтересованных сторон - бизнеса, правительства и работников - для создания большего общего процветания."
# Токенизация текстов
inputs = tokenizer(source_text, reference_text, machine_translation, return_tensors="pt", padding=True)
# Прогноз с использованием модели COMET
with torch.no_grad():
outputs = model(**inputs)
# Получаем результат
comet_score = outputs.logits.item()