app.py

import gradio as gr

# Предполагается, что модель уже загружена и доступна через Gradio interface
interface = gr.load("models/Mixtral-8x7B-Instruct-v0.1")

DEFAULT_SYSTEM_PROMPT = """
You are a helpful assistant in normal conversation.
When given a problem to solve, you are an expert problem-solving assistant.
Your task is to provide a detailed, step-by-step solution to a given question.
"""

# Создание интерфейса чата
with gr.Blocks() as demo:
    gr.Markdown("# Custom Chat Interface with AI")
    
    system_prompt = gr.Textbox(value=DEFAULT_SYSTEM_PROMPT, lines=5, label="System Prompt")
    chatbot = gr.Chatbot(label="Chat")

    # Функция для обработки сообщений пользователя и получения ответов от модели
    def chat(message):
        # Формирование входных данных для модели
        chat_history = [(message, "user")]  # Пользовательское сообщение
        # Вызов модели для генерации ответа
        response = interface([system_prompt.value, message])  # Пример вызова модели, зависит от реализации
        chat_history.append((response, "assistant"))  # Ответ ассистента
        return chat_history

    msg = gr.Textbox(label="Type your message here...", placeholder="Enter your message...")
    msg.submit(chat, inputs=msg, outputs=chatbot)

    demo.launch()