HashTagDev/SAVIO-4bits-Turbo

S.A.V.I.O: Sistema de Acesoria Virtual e Inteligencia en Operaciones

SAVIO es un modelo de lenguaje ajustado específicamente para tareas de análisis y respuesta en contexto, con integración de capacidades de RAG (Retrieval-Augmented Generation). Este modelo está diseñado para procesar preguntas complejas en base a documentos proporcionados por el usuario y responde con precisión adaptándose al contenido.

Basado en

• LLaMA 2 from Meta IA
• Adaptado a quantización de 4bits en: "corneille97/llama-2-7b-4bits-turbo" El modelo base elegido proporciona una combinación óptima de rendimiento y eficiencia en memoria, haciendo de SAVIO una solución ligera y potente.

Características Principales

Fine-Tuning Específico: SAVIO ha sido afinado con un conjunto de datos personalizado relacionado con ventas y análisis empresarial. Integración de RAG: El modelo permite la inclusión de archivos en formatos .pdf, .xlsx, y .csv para responder preguntas basadas en datos específicos. Eficiencia en Memoria: Utiliza técnicas avanzadas como cuantización a 4 bits y almacenamiento optimizado con SafeTensors y GUFF. Compatibilidad Extensa: Diseñado para despliegues en entornos limitados, desde servidores hasta bots de Telegram.

Herramientas Usadas

• Transformers: Para la carga y manipulación del modelo base.
• UnsLoth: Para cuantización eficiente y soporte de técnicas avanzadas como LoRA.
• PEFT: Para la implementación de Fine-Tuning eficiente con LoRA.
• RAG Framework: Integración para generación aumentada por recuperación.
• Datasets y Pandas: Manejo de datos personalizados en formatos .csv.
• Accelerate y BitsAndBytes: Optimización en el entrenamiento y uso del modelo.
• Torch y Safetensors: Guardado eficiente del modelo ajustado.

Uso

SAVIO puede ser utilizado tanto localmente como en la nube para tareas como:

• Responder preguntas sobre datos de ventas en tiempo real.
• Integración en aplicaciones empresariales para análisis y reportes.
• Despliegue como bot de atención en plataformas como Telegram.

Ejemplo(python):

from transformers import AutoTokenizer from unsloth import FastLanguageModel

Cargar el modelo

model = FastLanguageModel.from_pretrained("usuario/SAVIO") tokenizer = AutoTokenizer.from_pretrained("usuario/SAVIO")

Pregunta

question = "¿Cuáles fueron las ventas totales del último trimestre?"

Generar respuesta

inputs = tokenizer(question, return_tensors="pt").to("cuda") output = model.generate(**inputs, max_new_tokens=100) response = tokenizer.decode(output[0], skip_special_tokens=True) print(response)

Licencia

Sin licencia, uso aplicado de acuerdo con los terminos de uso de Llama (Meta IA)

Contribuciones

Si deseas contribuir o reportar un problema, visita el repositorio asociado o contacta al equipo de desarrollo.