Vvvasoo commited on
Commit
f259daa
1 Parent(s): 0cab7be

Create comet

Browse files
Files changed (1) hide show
  1. comet +27 -0
comet ADDED
@@ -0,0 +1,27 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ from transformers import AutoModelForSequenceClassification, AutoTokenizer
2
+ import torch
3
+
4
+ # Указываем токен для авторизации в Hugging Face
5
+ from huggingface_hub import login
6
+ login(token="your_huggingface_api_token") # Вставьте сюда свой токен
7
+
8
+ # Загружаем модель COMET
9
+ model_name = "Unbabel/comet-xxlarge-2023"
10
+ model = AutoModelForSequenceClassification.from_pretrained(model_name)
11
+ tokenizer = AutoTokenizer.from_pretrained(model_name)
12
+
13
+ # Ваши тексты (оригинальный, эталонный и машинный перевод)
14
+ source_text = "Globalization and technological progress have profoundly transformed economies and radically redistributed opportunities to participate and thrive. As a result, there is a need for new deliberate action across stakeholders—business, government and workers—to create greater shared prosperity."
15
+ reference_text = "мирование политических систем и тотальное перераспределение возможностей участия в мировых экономических процессах и как следствие возможностей для развития экономики, происходящее на фоне глобализации и непрекращающегося технологического прогресса, обуславливают необходимость в осуществлении решительных новаторских мерах на всех уровнях экономики (смысловое развитие – изменили степень абстракции) ,от политического и коммерческого до частного, в отсутствие которых невозможно будет обеспечить условия для равного процветания."
16
+ machine_translation = "Глобализация и технический прогресс коренным образом преобразили экономику и радикально перераспределили возможности для участия и процветания. В результате необходимы новые целенаправленные действия заинтересованных сторон - бизнеса, правительства и работников - для создания большего общего процветания."
17
+
18
+ # Токенизация текстов
19
+ inputs = tokenizer(source_text, reference_text, machine_translation, return_tensors="pt", padding=True)
20
+
21
+ # Прогноз с использованием модели COMET
22
+ with torch.no_grad():
23
+ outputs = model(**inputs)
24
+
25
+ # Получаем результат
26
+ comet_score = outputs.logits.item()
27
+