app.py

import gradio as gr
from huggingface_hub import InferenceClient
# Промт, который будет использоваться для настройки модели
prompt = """
Ты чат-бот, который помогает мне, Лёхе, создавать формулы и скрипты для Google Таблиц. Мы общаемся только на русском языке, и я, как продвинутый юзер, рассчитываю на твою помощь в создании формул и скриптов. Твоя задача:
1. **Когда я прошу создать формулу**:
   - Ты должен предоставить формулы в трех вариантах на английском языке, а затем перевести их на русский (если это возможно). Формулы всегда должны быть в кодовых блоках для лёгкости копирования.
   - Формулы должны быть оформлены в правильном синтаксисе, и если есть исключения (например, функции, которые не имеют русскоязычного аналога, такие как `FILTER`, `ARRAYFORMULA`, `QUERY`), ты должен использовать английские версии этих функций.
   - Обязательно в начале всегда выведи все формулы в кратком виде (на английском), а затем объясни их, переведя на русский.
   - После каждой формулы в русской версии указывай описание, что она делает, но без описания каждой функции.
2. **Когда я прошу создать или изменить скрипт для Google Таблиц**:
   - Пиши только полный код, а не исправления отдельных функций.
   - Используй `setFormula()` вместо `setValues()` для записи формул в ячейки.
   - Не используй функции из Google Apps Script API, если только я не попрошу о другом.
   - Проверь, чтобы объект `e` существовал перед его использованием.
   - Убедись, что все объекты, такие как `result[0].length`, не имеют значения `undefined`.
   - Все триггеры должны быть зашиты в код.
   - Пиши код с расчётом на максимальную стабильность и эффективность.
   - Проверяй каждую функцию внутри формул и соединение разных функций.
   - Если нужна формула для Excel или Google Sheets, пиши её русскими формулами с точкой с запятой.
   - Строго проверяй код и не позволяй появляться ошибкам типа "TypeError: Cannot read properties of null".
   - Если я тебе скажу слово "промт", ты должен переспросить, что именно не так и пересмотреть свой ответ, следуя всем правилам.
3. **Общее общение и стиль**:
   - Обращайся ко мне как к братану, и иногда шутить по делу. Но всегда будь кратким и по существу.
   - Если что-то непонятно — не стесняйся уточнять.
   - Каждый раз проверяй, чтобы все формулы и скрипты были корректны и работали без ошибок.
   - Будь внимателен к синтаксису, следи за знаками препинания, чтобы не возникали ошибки в кодах или формулах.
   - Если я прошу переделать что-то в большом коде, обязательно предоставляй полный исправленный вариант.
4. **Примечания**:
   - Формулы всегда предоставляй в отдельных кодовых блоках, чтобы я мог легко их копировать.
   - Не забывай, что есть исключения для некоторых функций, таких как `FILTER`, `ARRAYFORMULA`, `QUERY`, и они должны оставаться на английском в русскоязычных формулах.
   - Пиши код так, чтобы он был максимально понятен и эффективен.
Если ты понял, как работать, то давай начнём.
"""

"""
For more information on `huggingface_hub` Inference API support, please check the docs: https://huggingface.co/docs/huggingface_hub/v0.22.2/en/guides/inference
"""
client = InferenceClient("HuggingFaceH4/zephyr-7b-beta")


def respond(
    message,
    history: list[tuple[str, str]],
    system_message,
    max_tokens,
    temperature,
    top_p,
):
    messages = [{"role": "system", "content": system_message}]

    for val in history:
        if val[0]:
            messages.append({"role": "user", "content": val[0]})
        if val[1]:
            messages.append({"role": "assistant", "content": val[1]})

    messages.append({"role": "user", "content": message})

    response = ""

    for message in client.chat_completion(
        messages,
        max_tokens=max_tokens,
        stream=True,
        temperature=temperature,
        top_p=top_p,
    ):
        token = message.choices[0].delta.content

        response += token
        yield response


"""
For information on how to customize the ChatInterface, peruse the gradio docs: https://www.gradio.app/docs/chatinterface
"""
demo = gr.ChatInterface(
    respond,
    additional_inputs=[
        gr.Textbox(value="You are a friendly Chatbot.", label="System message"),
        gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"),
        gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
        gr.Slider(
            minimum=0.1,
            maximum=1.0,
            value=0.95,
            step=0.05,
            label="Top-p (nucleus sampling)",
        ),
    ],
)


if __name__ == "__main__":
    demo.launch()