File size: 2,872 Bytes
f259daa
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
from transformers import AutoModelForSequenceClassification, AutoTokenizer
import torch

# Указываем токен для авторизации в Hugging Face
from huggingface_hub import login
login(token="your_huggingface_api_token")  # Вставьте сюда свой токен

# Загружаем модель COMET
model_name = "Unbabel/comet-xxlarge-2023"
model = AutoModelForSequenceClassification.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# Ваши тексты (оригинальный, эталонный и машинный перевод)
source_text = "Globalization and technological progress have profoundly transformed economies and radically redistributed opportunities to participate and thrive. As a result, there is a need for new deliberate action across stakeholders—business, government and workers—to create greater shared prosperity."
reference_text = "мирование политических систем и тотальное перераспределение возможностей участия в мировых экономических процессах и как следствие возможностей для развития экономики, происходящее на фоне глобализации и непрекращающегося технологического прогресса, обуславливают необходимость в осуществлении решительных новаторских  мерах на всех уровнях экономики (смысловое развитие – изменили степень абстракции) ,от политического и коммерческого до частного, в отсутствие которых невозможно будет обеспечить условия для равного процветания."
machine_translation = "Глобализация и технический прогресс коренным образом преобразили экономику и радикально перераспределили возможности для участия и процветания. В результате необходимы новые целенаправленные действия заинтересованных сторон - бизнеса, правительства и работников - для создания большего общего процветания."

# Токенизация текстов
inputs = tokenizer(source_text, reference_text, machine_translation, return_tensors="pt", padding=True)

# Прогноз с использованием модели COMET
with torch.no_grad():
    outputs = model(**inputs)

# Получаем результат
comet_score = outputs.logits.item()