--- license: apache-2.0 language: - ru - en base_model: - Qwen/Qwen2.5-3B-Instruct pipeline_tag: text-generation library_name: transformers --- --- ## FractalGPT/RuQwen2.5-3b-instruct --- ### Model Overview - **RuQwen2.5-3b-instruct** by FractalGPT is a language model tailored to deliver high-quality Russian language output. Building upon the Qwen2.5 series, it is optimized for Russian-language tasks while retaining broad multilingual support. - **Improved Russian Language Quality**: Adaptations have significantly enhanced the fluency, accuracy, and coherence of Russian text generation, making it an excellent choice for Russian-language applications. ### Model Specifications - **Type**: Instruction-tuned Causal Language Model - **Training Stages**: Pretraining & Instruction Tuning - **Architecture**: Transformer with RoPE, SwiGLU, RMSNorm, and Attention QKV bias - **Layers**: 36 - **Attention Heads (GQA)**: 24 for Q, 4 for KV - **Context Length**: Supports a full context of 131,072 tokens and generation of up to 8,192 tokens ### Requirements The code of Qwen2.5 has been in the latest Hugging face transformers and we advise you to use the latest version of transformers. ``` pip install autoawq -q pip install --upgrade torch -q pip install --upgrade transformers -q ``` With transformers<4.37.0, you will encounter the following error: ``` KeyError: 'qwen2' ``` Also check out our [AWQ documentation](https://qwen.readthedocs.io/en/latest/quantization/awq.html) for more usage guide. With pytorch<2.4.0, you will encounter the following error: ``` AttributeError: module 'torch.library' has no attribute 'register_fake' ``` ### Quickstart We use a special RuQwen2ForCausalLM class to work with this model: ```python from transformers import Qwen2ForCausalLM, AutoConfig, AutoTokenizer import torch class RuQwen2ForCausalLM(Qwen2ForCausalLM): def __init__(self, config): super().__init__(config) if hasattr(self, "lm_head") and isinstance(self.lm_head, torch.nn.Linear): if self.lm_head.bias is None: self.config.add_bias_to_lm_head = True self._add_bias_to_lm_head() def _add_bias_to_lm_head(self): """Добавляет bias в lm_head, если его нет.""" old_lm_head = self.lm_head # lm_head с bias self.lm_head = torch.nn.Linear( old_lm_head.in_features, old_lm_head.out_features, dtype=self.model.dtype, bias=True, ) with torch.no_grad(): self.lm_head.weight = old_lm_head.weight torch.nn.init.zeros_(self.lm_head.bias) @classmethod def from_pretrained(cls, model_name, *args, **kwargs): # Загружает модель с конфигурацией model = super().from_pretrained(model_name, *args, **kwargs) if hasattr(model.config, "add_bias_to_lm_head") and not model.config.add_bias_to_lm_head: model._add_bias_to_lm_head() return model def save_pretrained(self, save_directory, *args, **kwargs): self.config.add_bias_to_lm_head = self.lm_head.bias is not None super().save_pretrained(save_directory, *args, **kwargs) ``` Here provides a code snippet with apply_chat_template to show you how to load the tokenizer and model and how to generate contents. ```python def generate(messages): input_ids = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt").to(model.device) output = model.generate(input_ids, max_new_tokens=1024, do_sample=False, temperature=None, top_k=None, top_p=None) generated_text = tokenizer.decode(output[0], skip_special_tokens=False)#.split('<|im_start|>assistant')[1] return generated_text model_name = 'FractalGPT/RuQwen2.5-3B-Instruct-AWQ' model = Qwen2ForCausalLMWithBias.from_pretrained(model_name, torch_dtype=torch.float16) tokenizer = AutoTokenizer.from_pretrained(model_name) prompt = "Классификация медицинских терминов" messages = [ {"role": "system", "content": "You are RuQwen, created by FractalGPT. You are a helpful assistant."}, {"role": "user", "content": prompt} ] print(generate(messages)) ``` ### Example of improvements Question: 'Классификация медицинских терминов' The answer to the original model ``` Классификация медицинских терминов играет ключевую роль в медицине и информационных системах. Вот несколько основных подходов к классификации медицинских терминов: 1. **International Classification of Diseases (ICD)**: Это стандартная система классификации заболеваний и причин смерти, разработанная ВОЗ. Она используется во многих странах для классификации медицинских случаев. 2. **Medical Subject Headings (MeSH)**: Это система классификации медицинской литературы, разработанная National Library of Medicine (NLM). MeSH помогает организовать информацию о медицинских исследованиях и статьях. 3. **Systematized Nomenclature of Medicine (SNOMED)**: SNOMED International предоставляет глубоко специализированную систему классификации медицинских терминов. Она предназначена для использования в больницах, клиниках и других медицинских учреждениях. 4. **Unified Medical Language System (UMLS)**: Это расширяемая система классификации медицинских терминов, которая объединяет данные из различных источников, таких как ICD-10, MeSH и другие. 5. **Clinical Terms**: Это система классификации медицинских терминов, разработанная для использования в клинических системах управления пациентами (EHR). 6. **Pharmaceutical Product Names (PPNs)**: Это система классификации названий лекарственных препаратов, разработанная для обеспечения уникальности и стандартизации названий. Каждая из этих систем имеет свои особенности и области применения. Например, ICD主要用于疾病和死亡原因的分类，而MeSH主要用于医学文献的分类。SNOMED则提供更详细的医疗术语分类，适用于临床应用。 Также существуют специализированные системы для конкретных областей медицины, такие как терминология для хирургии, терапии, педиатрии и т.д. Классификация медицинских терминов позволяет упорядочить информацию, сделать ее доступной для широкого круга пользователей и обеспечивает стандартизацию терминологии, что важно для точного понимания и эффективного общения между врачами, пациентами и медицинскими работниками.<|im_end|> ``` Our model's answer ``` TODO: добавить ```