Update README.md

README.md

@@ -1,5 +1,114 @@
+```python
+import os
+
+os.environ["CUDA_VISIBLE_DEVICES"] = "1"
+from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig
+import torch
+
+
+model_name = "dim/mistral-open-orca-ru-4600-step"
+tokenizer_path = model_name
+tokenizer = AutoTokenizer.from_pretrained(tokenizer_path)
+model = AutoModelForCausalLM.from_pretrained(
+    model_name,
+    torch_dtype=torch.bfloat16,
+    device_map={"": 0},
+)
+
+generation_config = GenerationConfig(
+    bos_token_id=1,
+    eos_token_id=32000,
+    # eos_token_id=2,
+    pad_token_id=32000,
+    # pad_token_id=2,
+    # pad_token_id=2,
+    max_new_tokens=4000,
+    repetition_penalty=1.0,
+)
+
+
+def generate_orca_ru(instructions):
+    system = "Вы помощник ИИ, который помогает людям находить информацию."
+    prompt = [
+        {
+            "role": "system",
+            "content": system,
+        },
+        *[
+            {"role": "user" if i % 2 == 0 else "assistant", "content": instruction}
+            for i, instruction in enumerate(instructions)
+        ],
+    ]
+    prompt = tokenizer.apply_chat_template(
+        prompt,
+        tokenize=False,
+        add_generation_prompt=True,
+    )
+
+    def generate(model, tokenizer, prompt, generation_config):
+        data = tokenizer(prompt, return_tensors="pt", add_special_tokens=True)
+        data = {k: v.to(model.device) for k, v in data.items()}
+        output_ids = model.generate(**data, generation_config=generation_config)[0]
+        output_ids = output_ids[len(data["input_ids"][0]) :]
+        
+        output = tokenizer.decode(output_ids, skip_special_tokens=True)
+        return output.strip()
+
+    return generate(
+        model=model,
+        tokenizer=tokenizer,
+        prompt=prompt,
+        generation_config=generation_config,
+    )
+
+
+print(generate_orca_ru(instructions=["Почему трава зеленая?"]))
+print(generate_orca_ru(instructions=["Почему небо голубое?"]))
+```
+```text
+Трава зеленая из-за присутствия хлорофилла, пигмента, содержащегося в хлоропластах клеток травы. Хлорофилл отвечает за процесс фотосинтеза, при котором растения преобразуют солнечный свет в энергию. Зеленый цвет хлорофилла поглощает свет в синем и красном спектрах, отражая зеленый свет. Это позволяет траве поглощать энергию солнечного света и преобразовывать ее в химическую энергию, которая затем используется для роста и развития растения.
+Голубой цвет неба в первую очередь является результатом рассеяния солнечного света атмосферой Земли. Когда солнечный свет проходит через атмосферу, он взаимодействует с молекулами кислорода и азота, присутствующими в воздухе. Эти молекулы рассеивают свет, отбрасывая фотоны с определенной длиной волны. Голубой цвет неба в первую очередь является результатом рассеяния синего света, которое имеет самую короткую длину волны среди видимого спектра.
+
+В дополнение к рассеянию солнечного света атмосфера также может изменять цвет неба из-за рассеяния и поглощения другими компонентами, такими как вода и загрязняющие вещества. Например, при закате и восходе солнца небо может казаться оранжевым или розовым из-за рассеяния солнечного света атмосферой, когда солнце находится низко в небе.
+
+Таким образом, голубой цвет неба в первую очередь является результатом рассеяния солнечного света атмосферой Земли, в основном из-за взаимодействия с молекулами кислорода и азота.
+```
+
+
+
 ### Mt bench ru
 
+```python
+from datasets import load_dataset
+import json
+import shortuuid
+import time
+import tqdm
+
+
+dataset = load_dataset("dim/mt_bench_ru")
+
+
+dataset = dataset["train"].to_list()
+
+new_dataset = []
+for item in dataset:
+    replies = []
+    conversation = []
+    for turn in item["turns_ru"]:
+        print(turn)
+      
+        conversation.append(turn)
+       
+        output = generate_orca_ru(instructions=conversation)
+        replies.append(output)
+        conversation.append(output)
+        print(output)
+       
+
+        print("=" * 10)
+        print("=" * 10)
+```
 ```text
 Напишите интересный пост в блоге о недавней поездке на Гавайи, рассказывая о культурном опыте и достопримечательностях, которые обязательно нужно увидеть.
 Название: Исследуя культурное сердце Гавайев: путешествие по богатой истории и достопримечательностям