from flask import Flask, request, jsonify, render_template, Response
import os
from dotenv import load_dotenv
import json
import requests
from PIL import Image
import base64
from io import BytesIO
import logging
import time
# 加载环境变量
load_dotenv()
app = Flask(__name__)
logging.basicConfig(level=logging.INFO)
logger = logging.getLogger(__name__)
def create_headers():
"""创建API请求头"""
return {
"Content-Type": "application/json",
"Authorization": f"Bearer {os.getenv('OPENAI_API_KEY')}"
}
def image_to_base64(image):
"""将PIL图像转换为base64"""
buffered = BytesIO()
image.save(buffered, format="PNG")
return base64.b64encode(buffered.getvalue()).decode()
def process_image_with_vision(image_base64):
"""使用Vision API处理图像"""
url = f"{os.getenv('OPENAI_API_BASE')}/v1/chat/completions"
messages = [
{
"role": "user",
"content": [
{
"type": "text",
"text": """请仔细分析这张图片中的题目，要求：
1. 识别内容类型：
- 判断是否为数学题、物理题、化学题等
- 识别是选择题、填空题还是解答题
- 判断是否包含图表或特殊符号
2. 内容提取：
- 提取所有文字内容，包括题干、选项（如果有）
- 识别所有数学公式、化学方程式或特殊符号
- 保留原有的排版格式（如换行、缩进等）
3. 公式处理：
- 将所有数学公式转换为LaTeX格式
- 使用[formula_n]作为占位符，其中n为公式编号
- 保持公式的完整性和准确性
请使用以下JSON格式返回：
{
"type": "题目类型（如：数学/物理/化学）",
"format": "题目格式（如：选择题/填空题/解答题）",
"text": "包含[formula_1], [formula_2]等占位符的完整文本",
"formulas": ["latex公式1", "latex公式2"],
"options": ["A. xxx", "B. xxx"] // 如果是选择题则包含此字段
"notes": ["可能存在的问题说明1", "问题说明2"]
}"""
},
{
"type": "image_url",
"image_url": {
"url": f"data:image/png;base64,{image_base64}"
}
}
]
}
]
payload = {
"model": os.getenv('OPENAI_VISION_MODEL'),
"messages": messages,
"max_tokens": 1500,
"temperature": 0.2
}
try:
response = requests.post(url, headers=create_headers(), json=payload)
response.raise_for_status()
result = response.json()
content = result['choices'][0]['message']['content']
try:
return json.loads(content)
except json.JSONDecodeError:
return {
"type": "unknown",
"format": "unknown",
"text": content,
"formulas": [],
"notes": ["无法解析为JSON格式"]
}
except Exception as e:
logger.error(f"Vision API调用错误: {str(e)}")
return {"error": str(e)}
def handle_sse_response(raw_data):
"""处理SSE响应数据"""
if raw_data:
try:
data = json.loads(raw_data)
if len(data['choices']) > 0:
delta = data['choices'][0].get('delta', {})
content = delta.get('content', '')
print(f"Stream content: {content}", flush=True) # 直接打印流式内容
return content
except json.JSONDecodeError:
pass
return ''
def stream_solve(problem_text, formulas):
url = f"{os.getenv('OPENAI_API_BASE')}/v1/chat/completions"
full_problem = problem_text
for i, formula in enumerate(formulas, 1):
full_problem = full_problem.replace(f"[formula_{i}]", f"$${formula}$$")
print(f"\n问题内容: {full_problem}")
messages = [
{
"role": "system",
"content": """请按照以下格式回答问题：
[开始解答]
这是答案：（写出明确的答案，如"答案为：2.5米"，"答案选 A"等）
[解答结束]
[开始解析]
这是解析：（写出详细的解析过程，需严格遵循以下要求：
解题思路要求：
1. 开篇明确指出题目涉及的核心知识点和解题方向
2. 采用合理的解题策略，并说明策略选择的依据
3. 对于多解法题目，说明最优解法的选择理由
专业性要求：
1. 严格使用规范的学科专业术语，避免口语化表达
2. 数学公式、物理量、化学方程式等必须符合学科规范
3. 计算步骤要详实，重要的中间步骤不得省略
4. 注意数据的有效位数，物理量单位的规范性
逻辑性要求：
1. 解题步骤要层次分明，逻辑推导严谨
2. 关键结论要有充分的推导过程和理论依据
3. 复杂问题应合理拆分为子步骤，循序渐进
教学性要求：
1. 对重要概念和关键步骤要适当添加解释说明
2. 特别标注解题中的难点和易错点
3. 适时补充相关的知识点拓展
4. 针对典型错误进行分析和提醒
书写规范：
1. 专业符号和公式要规范，确保清晰美观
2. 合理使用缩进和分段，突出层次结构
3. 保持语言的严谨性和专业性）
[解析结束]"""
},
{
"role": "user",
"content": full_problem
}
]
payload = {
"model": os.getenv('OPENAI_CHAT_MODEL'),
"messages": messages,
"stream": True,
"temperature": 0.3
}
try:
response = requests.post(
url,
headers=create_headers(),
json=payload,
stream=True
)
response.raise_for_status()
complete_response = ""
for line in response.iter_lines():
if not line or not line.startswith(b'data: '):
continue
try:
data = json.loads(line[6:].decode('utf-8'))
content = data['choices'][0].get('delta', {}).get('content', '')
complete_response += content
except json.JSONDecodeError:
continue
except Exception as e:
print(f"\n错误: {str(e)}")
yield f"data: {json.dumps({'error': str(e)})}\n\n"
return
# 提取答案和解析
try:
if '[开始解答]' in complete_response and '[开始解析]' in complete_response:
parts = complete_response.split('[开始解答]')
answer_part = parts[1].split('[解答结束]')[0].strip()
parts = complete_response.split('[开始解析]')
analysis_part = parts[1].split('[解析结束]')[0].strip()
# 控制台打印
print("\n完整回答:")
print(f"答案: {answer_part}")
print(f"解析: {analysis_part}")
# 返回结果给前端
yield f"data: {json.dumps({'type': 'answer', 'content': answer_part})}\n\n"
yield f"data: {json.dumps({'type': 'analysis', 'content': analysis_part})}\n\n"
else:
print("\n响应格式不符合预期")
yield f"data: {json.dumps({'error': '响应格式不符合预期'})}\n\n"
except Exception as e:
print(f"\n解析错误: {str(e)}")
yield f"data: {json.dumps({'error': f'解析响应时出错: {str(e)}'})}\n\n"
@app.route('/')
def index():
return render_template('index.html')
@app.route('/process', methods=['POST'])
def process():
if 'file' not in request.files:
return jsonify({'error': '没有文件上传'}), 400
file = request.files['file']
if file.filename == '':
return jsonify({'error': '没有选择文件'}), 400
try:
image = Image.open(file)
image_base64 = image_to_base64(image)
result = process_image_with_vision(image_base64)
if 'error' in result:
return jsonify({'error': result['error']}), 500
return jsonify({
'original_image': image_base64,
'result': result
})
except Exception as e:
logger.error(f"处理图像错误: {str(e)}")
return jsonify({'error': str(e)}), 500
@app.route('/solve', methods=['POST'])
def solve():
data = request.json
if not data or 'text' not in data or 'formulas' not in data:
return jsonify({'error': '无效的请求数据'}), 400
return Response(
stream_solve(data['text'], data['formulas']),
content_type='text/event-stream'
)
if __name__ == '__main__':
app.run(host='0.0.0.0', port=7860, debug=True)