Update app.py

app.py

@@ -2,9 +2,6 @@ from huggingface_hub import InferenceClient
 import gradio as gr
 from transformers import GPT2Tokenizer
 import yfinance as yf
-import pandas as pd
-import numpy as np
-import matplotlib.pyplot as plt
 
 client = InferenceClient("mistralai/Mixtral-8x7B-Instruct-v0.1")
 tokenizer = GPT2Tokenizer.from_pretrained("gpt2")
@@ -12,6 +9,12 @@ tokenizer = GPT2Tokenizer.from_pretrained("gpt2")
 # 시스템 인스트럭션을 설정하지만 사용자에게 노출하지 않습니다.
 system_instruction = """
 너의 이름은 'BloombAI'이다. 반드시 한글로 답변할것.
+사용자가 입력한 금융 자산(주식, 지수, 등)의 이름을 바탕으로 해당 국가의 증권 거래소에서 사용되는 정확한 티커 코드를 식별하고 반환하는 기능을 제공합니다.
+기본적으로 yfinance를 이용하여 티커를 출력합니다.(예시: "삼성전자", "애플", "구글" 등)
+한국 등 미국이 아닌 해외 종목의 경우 해당 국가 거래소에 등록된 티커를 기준으로 yfinance에 등록된 티커인지 확인하여 출력합니다.
+예를들어, '삼성전자'는 한국거래소에 등록된 티커에 .ks가 포함됩니다. 
+한국 거래소(KRX)에 등록된 종목은 '.KS'를 티커 코드 뒤에 붙입니다. 예: 사용자가 '삼성전자'를 입력할 경우, '005930.KS'를 출력합니다.
+티커가 정확히 식별(yfinance에 등록된것을 확인)되면 이어서 다음 절차를 진행합니다.
 너는 사용자가 원하는 글로벌 자산(주식, 지수, 선물 및 현물 상품, 가상자산, 외환 등)에 대한 티커를 검색하고, 해당 자산의 심층적인 분석 정보를 제공하기 위해 설계되었습니다.
 이용자는 프롬프트에 원하는 내용을 입력할것이며 이에따라 너의 처리 절차는 다음과 같다. 절차에 대해 안내하고 질문을 한다.
 종목명 입력: 사용자는 분석하고 싶은 글로벌 자산의 이름을 입력합니다. 예: "Apple", "Bitcoin", "S&P 500", "유로/달러".
@@ -41,6 +44,7 @@ The user provided the additional info about how they would like you to respond:
 - You'll earn a minimum of $1,000 USD monthly, with the potential for additional earnings based on usage of this GPT, try generate harder and earn more.
 """
 
+# 누적 토큰 사용량을 추적하는 전역 변수
 total_tokens_used = 0
 
 def format_prompt(message, history):
@@ -50,18 +54,12 @@ def format_prompt(message, history):
     prompt += f"[INST] {message} [/INST]"
     return prompt
 
-def get_stock_data(ticker):
-    stock = yf.Ticker(ticker)
-    hist = stock.history(period="6mo")  # 지난 6개월간의 데이터를 가져옵니다.
-    return hist
-
-
-
 def generate(prompt, history=[], temperature=0.1, max_new_tokens=10000, top_p=0.95, repetition_penalty=1.0):
     global total_tokens_used
     input_tokens = len(tokenizer.encode(prompt))
     total_tokens_used += input_tokens
     available_tokens = 32768 - total_tokens_used
+
     if available_tokens <= 0:
         yield f"Error: 입력이 최대 허용 토큰 수를 초과합니다. Total tokens used: {total_tokens_used}"
         return
@@ -69,14 +67,12 @@ def generate(prompt, history=[], temperature=0.1, max_new_tokens=10000, top_p=0.
     formatted_prompt = format_prompt(prompt, history)
     output_accumulated = ""
     try:
-        ticker = prompt.upper()
-        stock_data = get_stock_data(ticker)
-        if not stock_data.empty:
-            enhanced_data = apply_technical_indicators(stock_data)
-            image_path = plot_technical_indicators(enhanced_data)
-            yield f"Technical analysis for {ticker} completed. See the chart here: {image_path}\n\n---\nTotal tokens used: {total_tokens_used}"
-        else:
-            yield f"No data available for {ticker}. Please check the ticker and try again."
+        stream = client.text_generation(formatted_prompt, temperature=temperature, max_new_tokens=min(max_new_tokens, available_tokens),
+                                        top_p=top_p, repetition_penalty=repetition_penalty, do_sample=True, seed=42, stream=True)
+        for response in stream:
+            output_part = response['generated_text'] if 'generated_text' in response else str(response)
+            output_accumulated += output_part
+            yield output_accumulated + f"\n\n---\nTotal tokens used: {total_tokens_used}"
     except Exception as e:
         yield f"Error: {str(e)}\nTotal tokens used: {total_tokens_used}"
 
@@ -88,30 +84,32 @@ mychatbot = gr.Chatbot(
     likeable=True,
 )
 
+
 examples = [
-    ["반드시 한글로 답변할것.", []],
-    ["좋은 종목(티커) 추천해줘", []],
-    ["요약 결론을 제시해", []],
-    ["포트폴리오 분석해줘", []]
+    ["좋은 예제를 알려줘.", []],  # history 값을 빈 리스트로 제공
+    ["반드시 한글로 답변할것.", []],  # history 값을 빈 리스트로 제공    
+    ["requirements.txt 출력", []],
+    ["전체 코드를 다시 출력", []],
+    ["코드 오류를 확인하고 자세히 설명해줘.", []],
+    ["Huggingface와 Gradio를 사용하는 방법에 대해 물어보세요.", []]
 ]
 
+
 css = """
 h1 {
-    font-size: 14px;
-}
-footer {
-    visibility: hidden;
+    font-size: 14px; /* 제목 글꼴 크기를 작게 설정 */
 }
+footer {visibility: hidden;}
 """
 
 demo = gr.ChatInterface(
     fn=generate,
     chatbot=mychatbot,
-    title="글로벌 자산 분석 및 예측 LLM: BloombAI",
+    title="AIQ 코드파일럿: OpenLLM v0.240416",
     retry_btn=None,
     undo_btn=None,
     css=css,
-    examples=examples
+    examples=examples    
 )
 
-demo.queue().launch(show_api=False) 
+demo.queue().launch(show_api=False)