Create app.py

app.py

@@ -0,0 +1,190 @@
+import gradio as gr
+import os
+import requests
+import json
+import time
+from dotenv import load_dotenv
+
+# .env 파일 로드 (있는 경우)
+load_dotenv()
+
+def create_deepseek_interface():
+    # 환경 변수에서 API 키 가져오기
+    api_key = os.getenv("FW_API_KEY")
+    if not api_key:
+        print("경고: FW_API_KEY 환경 변수가 설정되지 않았습니다.")
+    
+    # 스트리밍 방식으로 DeepSeek API 호출 함수
+    def query_deepseek_streaming(message, history):
+        if not api_key:
+            yield history, "환경 변수 FW_API_KEY가 설정되지 않았습니다. 서버에서 환경 변수를 확인해주세요."
+            return
+        
+        # API 요청을 위한 대화 기록 준비
+        messages = []
+        for user, assistant in history:
+            messages.append({"role": "user", "content": user})
+            messages.append({"role": "assistant", "content": assistant})
+        
+        # 새 사용자 메시지 추가
+        messages.append({"role": "user", "content": message})
+        
+        # API 요청 준비
+        url = "https://api.fireworks.ai/inference/v1/chat/completions"
+        payload = {
+            "model": "accounts/fireworks/models/deepseek-v3-0324",
+            "max_tokens": 20480,
+            "top_p": 1,
+            "top_k": 40,
+            "presence_penalty": 0,
+            "frequency_penalty": 0,
+            "temperature": 0.6,
+            "messages": messages,
+            "stream": True  # 스트리밍 활성화
+        }
+        headers = {
+            "Accept": "application/json",
+            "Content-Type": "application/json",
+            "Authorization": f"Bearer {api_key}"
+        }
+        
+        try:
+            # 스트리밍 응답 요청
+            response = requests.request("POST", url, headers=headers, data=json.dumps(payload), stream=True)
+            response.raise_for_status()  # HTTP 오류 발생 시 예외 발생
+            
+            # 메시지를 추가하고 초기 빈 응답으로 시작
+            new_history = history.copy()
+            new_history.append((message, ""))
+            
+            # 응답 전체 텍스트
+            full_response = ""
+            
+            # 스트리밍 응답 처리
+            for line in response.iter_lines():
+                if line:
+                    line_text = line.decode('utf-8')
+                    
+                    # 'data: ' 접두사 제거
+                    if line_text.startswith("data: "):
+                        line_text = line_text[6:]
+                    
+                    # 스트림 종료 메시지 확인
+                    if line_text == "[DONE]":
+                        break
+                    
+                    try:
+                        # JSON 파싱
+                        chunk = json.loads(line_text)
+                        chunk_content = chunk.get("choices", [{}])[0].get("delta", {}).get("content", "")
+                        
+                        if chunk_content:
+                            full_response += chunk_content
+                            # 채팅 기록 업데이트
+                            new_history[-1] = (message, full_response)
+                            yield new_history, ""
+                    except json.JSONDecodeError:
+                        continue
+            
+            # 최종 응답 반환
+            yield new_history, ""
+            
+        except requests.exceptions.RequestException as e:
+            error_msg = f"API 오류: {str(e)}"
+            if hasattr(e, 'response') and e.response and e.response.status_code == 401:
+                error_msg = "인증 실패. 환경 변수 FW_API_KEY를 확인해주세요."
+            yield history, error_msg
+    
+    # Gradio 인터페이스 생성
+    with gr.Blocks(theme="soft", fill_height=True) as demo:
+        # 헤더 섹션
+        gr.Markdown(
+            """
+            # 🤖 DeepSeek V3 스트리밍 인터페이스
+            ### Fireworks AI가 제공하는 고급 AI 모델 - 실시간 응답 지원
+            """
+        )
+        
+        # 메인 레이아웃 (두 개의 열)
+        with gr.Row():
+            # 사이드바 - 모델 정보
+            with gr.Column(scale=1):
+                gr.Markdown(
+                    """
+                    ## 📊 모델 세부 정보
+                    - **모델**: DeepSeek-V3-0324
+                    - **제공자**: Fireworks AI
+                    - **최대 토큰**: 20,480
+                    - **온도**: 0.6
+                    - **기능**: 고급 언어 이해와 실시간 스트리밍 응답
+                    
+                    > **참고**: API 키는 환경 변수(FW_API_KEY)에서 자동으로 로드됩니다.
+                    """
+                )
+                
+                # 오류 메시지 표시
+                error_box = gr.Markdown("")
+            
+            # 메인 콘텐츠 영역
+            with gr.Column(scale=2):
+                # 채팅 인터페이스
+                chatbot = gr.Chatbot(
+                    height=500,
+                    show_label=False,
+                    container=True,
+                    bubble=True,
+                    avatar_images=("👤", "🤖")
+                )
+                
+                # 입력 영역
+                with gr.Row():
+                    msg = gr.Textbox(
+                        label="메시지",
+                        placeholder="여기에 프롬프트를 입력하세요...",
+                        show_label=False,
+                        scale=9
+                    )
+                    submit = gr.Button("전송", variant="primary", scale=1)
+                
+                # 대화 초기화 버튼
+                with gr.Row():
+                    clear = gr.ClearButton([msg, chatbot], value="🧹 대화 초기화")
+                    
+                # 예제 쿼리
+                gr.Examples(
+                    examples=[
+                        "딥러닝에서 트랜스포머와 RNN의 차이점을 설명해주세요.",
+                        "특정 범위 내의 소수를 찾는 파이썬 함수를 작성해주세요.",
+                        "강화학습의 주요 개념을 요약해주세요."
+                    ],
+                    inputs=msg
+                )
+        
+        # 버튼과 기능 연결
+        submit.click(
+            query_deepseek_streaming,
+            inputs=[msg, chatbot],
+            outputs=[chatbot, error_box]
+        ).then(
+            lambda: "",
+            None,
+            [msg]
+        )
+        
+        # Enter 키 제출 허용
+        msg.submit(
+            query_deepseek_streaming,
+            inputs=[msg, chatbot],
+            outputs=[chatbot, error_box]
+        ).then(
+            lambda: "",
+            None,
+            [msg]
+        )
+        
+    return demo
+
+# 인터페이스 실행
+if __name__ == "__main__":
+    demo = create_deepseek_interface()
+    demo.launch(debug=True)