metadata

library_name: transformers
language:
  - ru
  - en
pipeline_tag: text-generation

Cotype-Nano🤖

MTSAIR/Cotype-Nano – это легковесный ИИ на основе meta-llama/Llama-3.2-1B, разработанный для выполнения задач с минимальными ресурсами. Он оптимизирован для быстрого и эффективного взаимодействия с пользователями, обеспечивая высокую производительность даже в условиях ограниченных ресурсов.*

Cotype Nano is a lightweight AI based on meta-llama/Llama-3.2-1B, designed to perform tasks with minimal resources. It is optimized for fast and efficient interaction with users, providing high performance even under resource-constrained conditions.

Inference with vLLM

python3 -m vllm.entrypoints.openai.api_server --model MTSAIR/Cotype-Nano --port 8000

Recommended generation parameters and system prompt

import openai
import pandas as pd
from tqdm import tqdm

openai.api_key = 'xxx'

endpoint = 'http://localhost:8000/v1'
model = 'MTSAIR/Cotype-Nano'
openai.api_base = endpoint

response = openai.ChatCompletion.create(
    model=model,
    temperature=0.2, # 0.0 is also allowed
    frequency_penalty=0.0,
    max_tokens=2048,
    top_p=0.9, # 0.1 is also allowed
    messages=[
          {"role": "system", "content": "Ты — ИИ-помощник. Тебе дано задание: необходимо сгенерировать подробный и развернутый ответ."},
          {"role": "user", "content": "Как мне обучить модель meta-llama/Llama-3.2-1B с помощью библиотеки transformers?"}
        ]
    )

answer = response["choices"][0]["message"]["content"]
print(answer)

Inference with Huggingface

from transformers import pipeline

pipe = pipeline("text-generation", model="MTSAIR/Cotype-Nano", device="cuda")

messages = [
  {"role": "system", "content": "Ты — ИИ-помощник. Тебе дано задание: необходимо сгенерировать подробный и развернутый ответ."},
  {"role": "user", "content": "Расскажи мне про ИИ"},
]

res = pipe(messages, max_length=1024)
print(res[0]['generated_text'][-1]['content'])

Example request

Request: Напиши простой сервер на фастапи

Cotype-Nano response:

Фастапи (FastAPI) — это современный фреймворк для создания API с Python, который обеспечивает высокую производительность и удобство. Он основан на стандартных типах Python и использует декораторы для определения поведения функций.

Ниже приведен пример простого сервера на FastAPI с эндпоинтом test.
# Импортируем модуль FastAPI и утилиту ASGI
from fastapi import FastAPI

# Создаем экземпляр приложения
app = FastAPI()

# Определяем эндпоинт '/test'
@app.get("/test")
async def read_test():
    # Возвращаем текст "Hello World!"
    return {"message": "Hello World!"}
Чтобы запустить этот сервер, вам нужно будет выполнить следующие шаги:

Установите FastAPI, если он еще не установлен, используя pip install fastapi.

Создайте файл, например main.py, и вставьте в него приведенный выше код.

Запустите сервер, используя команду uvicorn main:app --reload, где main — это имя вашего файла, а app — это имя модуля, который вы импортировали. Команда --reload позволяет серверу автоматически перезагружаться при изменении кода.

После запуска сервера вы сможете обращаться к эндпоинту /test через браузер или с помощью инструментов, таких как curl или Postman, используя следующий URL:
http://127.0.0.1:8000/test
Вы должны увидеть ответ в формате JSON с текстом "Hello World!", который указывает на то, что сервер успешно обрабатывает запрос.

Training process

The model was trained in two stages. In the first stage, MLP layers were trained on mathematics and code. In the second stage, the entire model was trained on internal and open synthetic instructional datasets.

ru-llm-arena: 21.3 (local measurement)

Model	Score	95% CI	Avg Tokens
MTSAIR/Cotype-Nano	29.4	+1.7 / -1.6	616
storm-7b	20.62	+2.0 / -1.6	419.32
neural-chat-7b-v3-3	19.04	+2.0 / -1.7	927.21
Vikhrmodels-Vikhr-Llama-3.2-1B-instruct	19.04	+1.3 / -1.6	958.63
gigachat_lite	17.2	+1.4 / -1.4	276.81
Vikhrmodels-vikhr-qwen-1.5b-it	13.19	+1.4 / -1.6	2495.38
meta-llama-Llama-3.2-1B-Instruct	4.04	+0.8 / -0.6	1240.53