Cotype-Nano-4bit🤖

Cotype-Nano-4bit – это LLM, которая весит меньше и работает быстрее чем Cotype-Nano, при этом сохраняя свои языковые способности

Cotype-Nano-4bit is an LLM that is lighter and runs faster than Cotype-Nano, while maintaining its language capabilities.

Inference with vLLM

python3 -m vllm.entrypoints.openai.api_server --model MTSAIR/Cotype-Nano-4bit --port 8000

Recommended generation parameters and system prompt

import openai
import pandas as pd
from tqdm import tqdm

openai.api_key = 'xxx'

endpoint = 'http://localhost:8000/v1'
model = 'MTSAIR/Cotype-Nano-4bit'
openai.api_base = endpoint

response = openai.ChatCompletion.create(
    model=model,
    temperature=0.0, # также допускается 0.2
    frequency_penalty=0.0,
    max_tokens=2048,
    top_p=0.1, # также допускается 0.9
    messages=[
          {"role": "system", "content": "Ты — ИИ-помощник. Тебе дано задание: необходимо сгенерировать подробный и развернутый ответ."},
          {"role": "user", "content": "Расскажи мне про ИИ, коротко"}
        ]
    )

answer = response["choices"][0]["message"]["content"]
print(answer)

Inference with Huggingface

from transformers import pipeline

pipe = pipeline("text-generation", model="MTSAIR/Cotype-Nano-4bit", device="cuda")

messages = [
  {"role": "system", "content": "Ты — ИИ-помощник. Тебе дано задание: необходимо сгенерировать подробный и развернутый ответ."},
  {"role": "user", "content": "Расскажи мне про ИИ"},
]

res = pipe(messages, max_length=1024)
print(res[0]['generated_text'][1])

Example request

Request:

Cotype-Nano-4bit response:

Рекламный текст для магазина экологичной одежды:


Заботьтесь о Земле, одевайтесь с умом!

Приглашаем вас в мир экологичной моды! Мы предлагаем вам не только стильные и качественные вещи, но и возможность сделать свой выбор в пользу устойчивого развития и сохранения природы.

Экологичная одежда – ваш выбор!

  1. Создание гармонии с природой. Мы используем только экологически чистые материалы, которые не наносят вреда окружающей среде.
  2. Минимализм в стиле. Наша одежда – это не просто предметы гардероба, это стиль, который подчеркивает вашу индивидуальность.
  3. Продолжительный срок службы. Мы создаем вещи, которые прослужат вам долго, что позволяет избежать ненужного потребления и отходов.
  4. Поддержка местных производителей. Мы выбираем местных мастеров и производителей, что способствует созданию рабочих мест и поддерживает местную экономику.
  5. Возвращаем вещи в круговорот. Мы предлагаем программы по возврату и переработке одежды, чтобы вы могли внести свой вклад в сохранение экологии.

Ваш выбор – ваша ответственность.

Выбирайте экологичную одежду, и помните, что ваш выбор влияет на будущее нашей планеты. Давайте вместе создадим гармонию между человеком, его потребностями и природой.

Приходите в наш магазин, чтобы стать частью экологической моды!


Мы уверены, что вы найдете в нашем ассортименте не только стильные вещи, но и уверенность в том, что ваш выбор в пользу устойчивости и экологии не будет лишним. Приходите и посмотрите, как можно сочетать моду с ответственностью!

Results on ru-llm-arena: 22.5 (local measurement)

Model Score 95% CI Avg. #Tokens
Cotype-Nano-4bit 22.5 +2.1 / -1.4 582
storm-7b 20.62 +1.4 / -1.6 419.32
neural-chat-7b-v3-3 19.04 +1.8 / -1.5 927.21
Vikhrmodels-Vikhr-Llama-3.2-1B-instruct 19.04 +1.2 / -1.5 958.63
gigachat_lite 17.2 +1.5 / -1.5 276.81
Vikhrmodels-Vikhr-Qwen-2.5-0.5b-Instruct 16.5 +1.5 / -1.7 583.5
Qwen-Qwen2.5-1.5B-Instruct 16.46 +1.3 / -1.3 483.67
Vikhrmodels-vikhr-qwen-1.5b-it 13.19 +1.3 / -1.1 2495.38
meta-llama-Llama-3.2-1B-Instruct 4.04 +0.6 / -0.8 1240.53
Qwen-Qwen2.5-0.5B-Instruct 4.02 +0.7 / -0.8 829.87
Downloads last month
565
Safetensors
Model size
403M params
Tensor type
I32
·
FP16
·
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Collection including MTSAIR/Cotype-Nano-4bit