README.md

---
library_name: transformers
language:
- ru
- en
pipeline_tag: text-generation
---

# Cotype-Nano🤖

MTSAIR/Cotype-Nano – это легковесный ИИ на основе meta-llama/Llama-3.2-1B, разработанный для выполнения задач с минимальными ресурсами. Он оптимизирован для быстрого и эффективного взаимодействия с пользователями, обеспечивая высокую производительность даже в условиях ограниченных ресурсов.* 

Cotype Nano is a lightweight AI based on meta-llama/Llama-3.2-1B, designed to perform tasks with minimal resources. It is optimized for fast and efficient interaction with users, providing high performance even under resource-constrained conditions.

### Inference with vLLM
```sh
python3 -m vllm.entrypoints.openai.api_server --model MTSAIR/Cotype-Nano --port 8000
```

### Recommended generation parameters and system prompt
```python
import openai
import pandas as pd
from tqdm import tqdm

openai.api_key = 'xxx'

endpoint = 'http://localhost:8000/v1'
model = 'MTSAIR/Cotype-Nano'
openai.api_base = endpoint

response = openai.ChatCompletion.create(
    model=model,
    temperature=0.2, # 0.0 is also allowed
    frequency_penalty=0.0,
    max_tokens=2048,
    top_p=0.9, # 0.1 is also allowed
    messages=[
          {"role": "system", "content": "Ты — ИИ-помощник. Тебе дано задание: необходимо сгенерировать подробный и развернутый ответ."},
          {"role": "user", "content": "Как мне обучить модель meta-llama/Llama-3.2-1B с помощью библиотеки transformers?"}
        ]
    )

answer = response["choices"][0]["message"]["content"]
print(answer)
```

### Inference with Huggingface
```python
from transformers import pipeline

pipe = pipeline("text-generation", model="MTSAIR/Cotype-Nano", device="cuda")

messages = [
  {"role": "system", "content": "Ты — ИИ-помощник. Тебе дано задание: необходимо сгенерировать подробный и развернутый ответ."},
  {"role": "user", "content": "Расскажи мне про ИИ"},
]

res = pipe(messages, max_length=1024)
print(res[0]['generated_text'][-1]['content'])
```


## Example request

**Request:** Напиши простой сервер на фастапи


#### Cotype-Nano response:
> Фастапи (FastAPI) — это современный фреймворк для создания API с Python, который обеспечивает высокую производительность и удобство. Он основан на стандартных типах Python и использует декораторы для определения поведения функций.
>
> Ниже приведен пример простого сервера на FastAPI с эндпоинтом `test`.
>
> ```python
> # Импортируем модуль FastAPI и утилиту ASGI
> from fastapi import FastAPI
>
> # Создаем экземпляр приложения
> app = FastAPI()
>
> # Определяем эндпоинт '/test'
> @app.get("/test")
> async def read_test():
>     # Возвращаем текст "Hello World!"
>     return {"message": "Hello World!"}
> ```
>
> Чтобы запустить этот сервер, вам нужно будет выполнить следующие шаги:
>
> 1. Установите FastAPI, если он еще не установлен, используя `pip install fastapi`.
> 2. Создайте файл, например `main.py`, и вставьте в него приведенный выше код.
> 3. Запустите сервер, используя команду `uvicorn main:app --reload`, где `main` — это имя вашего файла, а `app` — это имя модуля, который вы импортировали. Команда `--reload` позволяет серверу автоматически перезагружаться при изменении кода.
>
> После запуска сервера вы сможете обращаться к эндпоинту `/test` через браузер или с помощью инструментов, таких как `curl` или Postman, используя следующий URL:
>
> ```
> http://127.0.0.1:8000/test
> ```
>
> Вы должны увидеть ответ в формате JSON с текстом "Hello World!", который указывает на то, что сервер успешно обрабатывает запрос.

### Training process

The model was trained in two stages. In the first stage, MLP layers were trained on mathematics and code. In the second stage, the entire model was trained on internal and open synthetic instructional datasets.

### ru-llm-arena: **21.3** (local measurement)

| **Model**                                   | **Score** | **95% CI**      | **Avg Tokens** |
| ------------------------------------------- | --------- | --------------- | -------------- |
| **MTSAIR/Cotype-Nano**                  | **29.4**     | **+1.7 / -1.6**     | **616**         |
| storm-7b                                    | 20.62     | +2.0 / -1.6     | 419.32         |
| neural-chat-7b-v3-3                         | 19.04     | +2.0 / -1.7     | 927.21         |
| Vikhrmodels-Vikhr-Llama-3.2-1B-instruct | 19.04 | +1.3 / -1.6 | 958.63     |
| gigachat_lite                               | 17.2      | +1.4 / -1.4     | 276.81         | 
| Vikhrmodels-vikhr-qwen-1.5b-it              | 13.19     | +1.4 / -1.6     | 2495.38        |
| meta-llama-Llama-3.2-1B-Instruct            | 4.04      | +0.8 / -0.6     | 1240.53        |