import streamlit as st from huggingface_hub import InferenceClient from dotenv import load_dotenv import os import json import time import requests t = "12345hf_IsAVwGwHDKzSCQJPgIPOhhVbkSfAqfkUib" client = InferenceClient(api_key=t[5:]) # 预设提示词文件路径 PROMPTS_FILE = "custom_prompts.json" # 加载预设提示词 def load_prompts(): if os.path.exists(PROMPTS_FILE): with open(PROMPTS_FILE, 'r', encoding='utf-8') as f: return json.load(f) return { "翻译助手": "翻译助手,给你中文你翻译成英文,给你英文你翻译成中文。直接翻译,不要解释。", "代码解释器": "你是一个代码解释器。请解释用户提供的代码,并在需要时提供改进建议。", "创意写作": "你是一个创意写作助手。根据用户提供的主题或开头,继续创作故事或文章。", "数学导师": "你是一个数学导师。帮助用户解决数学问题,并解释解题步骤。", "历史学家": "你是一个历史学家。回答用户关于历史事、人物和时期的问题,提供详细和准确的信息。" } # 保存预设提示词 def save_prompts(prompts): with open(PROMPTS_FILE, 'w', encoding='utf-8') as f: json.dump(prompts, f, ensure_ascii=False, indent=2) # 初始化会话状态 if 'messages' not in st.session_state: st.session_state.messages = [] if 'custom_prompts' not in st.session_state: st.session_state.custom_prompts = load_prompts() # 设置页面标题 st.title("AI 助手") # 创建侧边栏用于参数调整 st.sidebar.header("参数设置") # 模型选择 models = [ "Qwen/Qwen2.5-72B-Instruct", ] selected_model = st.sidebar.selectbox("选择模型", models) temperature = st.sidebar.slider("Temperature", 0.0, 1.0, 0.7, 0.1) max_tokens = st.sidebar.slider("Max Tokens", 100, 32768, 8196, 100) top_p = st.sidebar.slider("Top P", 0.1, 1.0, 0.9, 0.1) # 提示词选择 selected_prompt = st.sidebar.selectbox("选择系统提示", list(st.session_state.custom_prompts.keys()) + ["自定义"]) if selected_prompt == "自定义": system_prompt = st.sidebar.text_area("输入自定义系统提示", "") else: system_prompt = st.session_state.custom_prompts[selected_prompt] # 如果提示词改变,重置对话 if 'current_prompt' not in st.session_state or st.session_state.current_prompt != system_prompt: st.session_state.messages = [{"role": "system", "content": system_prompt}] st.session_state.current_prompt = system_prompt # 显示对话历史 for message in st.session_state.messages[1:]: # 跳过系统消息 with st.chat_message(message["role"]): if message["role"] == "assistant": st.code(message["content"], language="markdown") else: st.write(message["content"]) # 获取用户输入 user_input = st.chat_input("请输入你的问题:") if user_input: # 添加用户消息到历史 st.session_state.messages.append({"role": "user", "content": user_input}) with st.chat_message("user"): st.write(user_input) # 创建助手消息占位符 with st.chat_message("assistant"): message_placeholder = st.empty() full_response = "" max_retries = 3 retry_delay = 2 for attempt in range(max_retries): try: # 发送请求到模型 for chunk in client.chat.completions.create( model=selected_model, messages=st.session_state.messages, stream=True, temperature=temperature, max_tokens=max_tokens, top_p=top_p ): content = chunk.choices[0].delta.content if content: full_response += content message_placeholder.markdown(full_response + "▌") break # 如果成功,跳出重试循环 except (requests.exceptions.RequestException, ConnectionError) as e: if attempt < max_retries - 1: st.warning(f"连接错误,正在重试... ({attempt + 1}/{max_retries})") time.sleep(retry_delay) else: st.error(f"连接失败,请稍后再试。错误信息:{str(e)}") full_response = "抱歉,我现在无法回答。请稍后再试。" message_placeholder.markdown(full_response) # 将助手的回复添加到消息历史 st.session_state.messages.append({"role": "assistant", "content": full_response}) # 在对话历史下方添加一个可复制的代码块 st.code(full_response, language="markdown") # 添加清除对话按钮 if st.button("清除对话"): st.session_state.messages = [{"role": "system", "content": system_prompt}] st.rerun() # 使用 st.rerun() 替代 st.experimental_rerun() # 系统提示管理(放在左侧最下面) st.sidebar.markdown("---") st.sidebar.subheader("系统提示管理") new_prompt_name = st.sidebar.text_input("新系统提示名称") new_prompt_content = st.sidebar.text_area("新系统提示内容") if st.sidebar.button("添加新系统提示"): if new_prompt_name and new_prompt_content: st.session_state.custom_prompts[new_prompt_name] = new_prompt_content save_prompts(st.session_state.custom_prompts) st.sidebar.success(f"已添加新系统提示:{new_prompt_name}") # 删除系统提示 prompt_to_delete = st.sidebar.selectbox("选择要删除的系统提示", list(st.session_state.custom_prompts.keys())) if st.sidebar.button("删除选中的系统提示"): if prompt_to_delete in st.session_state.custom_prompts: del st.session_state.custom_prompts[prompt_to_delete] save_prompts(st.session_state.custom_prompts) st.sidebar.success(f"已删除系统提示:{prompt_to_delete}")