Update app.py

app.py

@@ -47,6 +47,7 @@ def convert_to_seoul_time(timestamp_str):
 def analyze_sentiment_batch(articles, client):
     """
     OpenAI API를 통해 뉴스 기사들의 종합 감성 분석을 수행
+    (분석 결과를 한국어로 작성하도록 유도)
     """
     try:
         # 모든 기사의 제목과 내용을 하나의 텍스트로 결합
@@ -55,7 +56,8 @@ def analyze_sentiment_batch(articles, client):
             for article in articles
         ])
         
-        prompt = f"""다음 뉴스 모음에 대해 전반적인 감성 분석을 수행하세요:
+        # 한국어 작성을 유도하는 문구 추가
+        prompt = f"""다음 뉴스 모음에 대해 전반적인 감성 분석을 수행하세요. (한국어로 작성하세요)
 
 뉴스 내용:
 {combined_text}
@@ -148,22 +150,18 @@ def display_results(articles):
 def search_company(company):
     """
     단일 기업(또는 키워드)에 대해 미국 뉴스 검색 후,
-    1) 기사 목록 + 2) 감성 분석 보고를 함께 출력
+    기사 목록 + 감성 분석 보고를 함께 출력
     => { "articles": [...], "analysis": ... } 형태로 DB에 저장
     """
     error_message, articles = serphouse_search(company, "United States")
     if not error_message and articles:
-        # 감성 분석
         analysis = analyze_sentiment_batch(articles, client)
-        
-        # DB 저장용 데이터 구성
         store_dict = {
             "articles": articles,
             "analysis": analysis
         }
         save_to_db(company, "United States", store_dict)
         
-        # 화면 출력용
         output = display_results(articles)
         output += f"\n\n### 분석 보고\n{analysis}\n"
         return output
@@ -174,12 +172,11 @@ def search_company(company):
 ########################################
 def load_company(company):
     """
-    DB에서 단일 기업(또는 키워드)의 미국 뉴스 검색 결과를 불러와
-    기사 목록 + 분석 결과를 함께 출력
+    DB에서 (keyword=company, country=United States)에 해당하는
+    기사 목록 + 분석 보고를 함께 출력
     """
     data, timestamp = load_from_db(company, "United States")
     if data:
-        # data는 { "articles": [...], "analysis": "..."} 형태
         articles = data.get("articles", [])
         analysis = data.get("analysis", "")
         
@@ -191,24 +188,21 @@ def load_company(company):
 
 
 ########################################
-# 3) 기존 show_stats()에서 리포트 제목 변경
+# 3) 리포트: "EarnBOT 분석 리포트"
 ########################################
 def show_stats():
     """
-    KOREAN_COMPANIES 목록 내 모든 기업에 대해:
-      - 가장 최근 DB 저장 일자
-      - 기사 수
-      - 감성 분석 결과
-    를 병렬처리로 조회하여 보고서 형태로 반환
-    
-    (문구 변경) "한국 기업 뉴스 분석 리포트" -> "EarnBOT 분석 리포트"
+    KOREAN_COMPANIES 내 모든 기업의
+    - 최신 DB 저장 시각
+    - 기사 수
+    - 감성 분석 결과
+    등을 병렬로 조회, 보고서 형태로 반환
     """
     conn = sqlite3.connect("search_results.db")
     c = conn.cursor()
     
-    output = "## EarnBOT 분석 리포트\n\n"  # 여기서 문구 변경
+    output = "## EarnBOT 분석 리포트\n\n"
     
-    # 모든 기업에 대해 DB에서 읽어올 (company, timestamp, articles) 목록 수집
     data_list = []
     for company in KOREAN_COMPANIES:
         c.execute("""
@@ -221,23 +215,17 @@ def show_stats():
         
         row = c.fetchone()
         if row:
-            results_json, timestamp = row
-            data_list.append((company, timestamp, results_json))
+            results_json, tstamp = row
+            data_list.append((company, tstamp, results_json))
     
     conn.close()
     
-    # 감성 분석 병렬 처리 함수
     def analyze_data(item):
         comp, tstamp, results_json = item
         data = json.loads(results_json)
         articles = data.get("articles", [])
         analysis = data.get("analysis", "")
-        
         count_articles = len(articles)
-        # 여기서는 이미 DB에 "analysis"가 들어 있으므로, 
-        # 굳이 재분석할 필요가 없으면 그대로 사용
-        # (필요 시 재분석 가능)
-        
         return (comp, tstamp, count_articles, analysis)
 
     results_list = []
@@ -246,7 +234,6 @@ def show_stats():
         for future in as_completed(futures):
             results_list.append(future.result())
     
-    # 결과 출력
     for comp, tstamp, count, analysis in results_list:
         seoul_time = convert_to_seoul_time(tstamp)
         output += f"### {comp}\n"
@@ -259,11 +246,9 @@ def show_stats():
     
     return output
 
-
 def search_all_companies():
     """
-    KOREAN_COMPANIES 리스트 내 모든 기업 검색 (멀티스레딩) => 
-    => 분석 + DB 저장 => 결과 Markdown 반환
+    모든 기업 검색 + 분석 -> DB 저장
     """
     overall_result = "# [전체 검색 결과]\n\n"
     
@@ -281,8 +266,7 @@ def search_all_companies():
 
 def load_all_companies():
     """
-    KOREAN_COMPANIES 리스트 내 모든 기업 DB 불러오기 => 
-    기사 목록 + 분석 보고 => 결과 Markdown
+    모든 기업에 대한 DB 저장된 기사 + 분석 출력
     """
     overall_result = "# [전체 출력 결과]\n\n"
     
@@ -294,16 +278,12 @@ def load_all_companies():
 
 def full_summary_report():
     """
-    (1) 모든 기업 검색(병렬) -> (2) DB에서 불러오기 -> (3) 감성 분석 통계
-    순서대로 실행하여, 전체 리포트를 합쳐 반환
+    1) 모든 기업 병렬 검색+분석 => DB 저장
+    2) DB에서 로드 => 기사 + 분석 출력
+    3) EarnBOT 분석 리포트
     """
-    # 1) 전체 검색(병렬) => 기사 + 분석 DB 저장
     search_result_text = search_all_companies()
-    
-    # 2) 전체 출력 => DB에 저장된 기사 + 분석 결과
     load_result_text = load_all_companies()
-    
-    # 3) 전체 통계(감성 분석) - 리포트 제목 변경됨(EarnBOT 분석 리포트)
     stats_text = show_stats()
     
     combined_report = (
@@ -319,13 +299,13 @@ def full_summary_report():
 
 
 ########################################
-# 사용자 임의 검색 (추가 기능)
+# 사용자 임의 검색
 ########################################
 def search_custom(query, country):
     """
-    사용자가 입력한 (query, country)에 대해 
+    (query, country)에 대해
     1) 검색 + 분석 => DB 저장
-    2) DB 로드 => 결과(기사 목록 + 분석) 출력
+    2) DB 로드 => 기사+분석 출력
     """
     error_message, articles = serphouse_search(query, country)
     if error_message:
@@ -333,39 +313,30 @@ def search_custom(query, country):
     if not articles:
         return "검색 결과가 없습니다."
     
-    # 1) 분석
     analysis = analyze_sentiment_batch(articles, client)
-    
-    # 2) DB 저장
     save_data = {
         "articles": articles,
         "analysis": analysis
     }
     save_to_db(query, country, save_data)
     
-    # 3) DB 재로드
     loaded_data, timestamp = load_from_db(query, country)
     if not loaded_data:
         return "DB에서 로드 실패"
 
-    # 4) 결과 표시
+    arts = loaded_data.get("articles", [])
+    analy = loaded_data.get("analysis", "")
+    
     out = f"## [사용자 임의 검색 결과]\n\n"
     out += f"**키워드**: {query}\n\n"
     out += f"**국가**: {country}\n\n"
     out += f"**저장 시간**: {timestamp}\n\n"
-
-    arts = loaded_data.get("articles", [])
-    analy = loaded_data.get("analysis", "")
-    
     out += display_results(arts)
     out += f"### 뉴스 감성 분석\n{analy}\n"
     
     return out
 
 
-########################################
-# API 인증
-########################################
 ACCESS_TOKEN = os.getenv("HF_TOKEN")
 if not ACCESS_TOKEN:
     raise ValueError("HF_TOKEN environment variable is not set")
@@ -378,9 +349,6 @@ client = OpenAI(
 API_KEY = os.getenv("SERPHOUSE_API_KEY")
 
 
-########################################
-# 국가별 설정
-########################################
 COUNTRY_LANGUAGES = {
     "United States": "en",
     "KOREA": "ko",
@@ -523,185 +491,6 @@ COUNTRY_LOCATIONS = {
     "Iceland": "Iceland"
 }
 
-
-@lru_cache(maxsize=100)
-def translate_query(query, country):
-    """
-    Google Translation API(비공식) 사용하여 검색어를 해당 국가 언어로 번역
-    """
-    try:
-        if is_english(query):
-            return query
-        
-        if country in COUNTRY_LANGUAGES:
-            if country == "South Korea":
-                return query
-            target_lang = COUNTRY_LANGUAGES[country]
-            
-            url = "https://translate.googleapis.com/translate_a/single"
-            params = {
-                "client": "gtx",
-                "sl": "auto",
-                "tl": target_lang,
-                "dt": "t",
-                "q": query
-            }
-            
-            session = requests.Session()
-            retries = Retry(total=3, backoff_factor=0.5)
-            session.mount('https://', HTTPAdapter(max_retries=retries))
-            
-            response = session.get(url, params=params, timeout=(5, 10))
-            translated_text = response.json()[0][0][0]
-            return translated_text
-            
-        return query
-        
-    except Exception as e:
-        print(f"번역 오류: {str(e)}")
-        return query
-
-def is_english(text):
-    return all(ord(char) < 128 for char in text.replace(' ', '').replace('-', '').replace('_', ''))
-
-def search_serphouse(query, country, page=1, num_result=10):
-    """
-    SerpHouse API에 실시간 검색 요청을 보내어, 
-    '뉴스' 탭 (sort_by=date)에서 해당 query에 대한 기사 목록을 가져온다.
-    """
-    url = "https://api.serphouse.com/serp/live"
-    
-    now = datetime.utcnow()
-    yesterday = now - timedelta(days=1)
-    date_range = f"{yesterday.strftime('%Y-%m-%d')},{now.strftime('%Y-%m-%d')}"
-    
-    translated_query = translate_query(query, country)
-    
-    payload = {
-        "data": {
-            "q": translated_query,
-            "domain": "google.com",
-            "loc": COUNTRY_LOCATIONS.get(country, "United States"),
-            "lang": COUNTRY_LANGUAGES.get(country, "en"),
-            "device": "desktop",
-            "serp_type": "news",
-            "page": str(page),
-            "num": "100",
-            "date_range": date_range,
-            "sort_by": "date"
-        }
-    }
-
-    headers = {
-        "accept": "application/json",
-        "content-type": "application/json",
-        "authorization": f"Bearer {API_KEY}"
-    }
-
-    try:
-        session = requests.Session()
-        
-        retries = Retry(
-            total=5,
-            backoff_factor=1,
-            status_forcelist=[500, 502, 503, 504, 429],
-            allowed_methods=["POST"]
-        )
-        
-        adapter = HTTPAdapter(max_retries=retries)
-        session.mount('http://', adapter)
-        session.mount('https://', adapter)
-        
-        response = session.post(
-            url, 
-            json=payload, 
-            headers=headers, 
-            timeout=(30, 30)
-        )
-        
-        response.raise_for_status()
-        return {"results": response.json(), "translated_query": translated_query}
-        
-    except requests.exceptions.Timeout:
-        return {
-            "error": "검색 시간이 초과되었습니다. 잠시 후 다시 시도해주세요.",
-            "translated_query": query
-        }
-    except requests.exceptions.RequestException as e:
-        return {
-            "error": f"검색 중 오류가 발생했습니다: {str(e)}",
-            "translated_query": query
-        }
-    except Exception as e:
-        return {
-            "error": f"예기치 않은 오류가 발생했습니다: {str(e)}",
-            "translated_query": query
-        }
-
-def format_results_from_raw(response_data):
-    """
-    SerpHouse API의 응답 데이터를 가공하여,
-    (에러메시지, 기사리스트) 형태로 반환.
-    """
-    if "error" in response_data:
-        return "Error: " + response_data["error"], []
-
-    try:
-        results = response_data["results"]
-        translated_query = response_data["translated_query"]
-        
-        # 실제 뉴스 결과
-        news_results = results.get('results', {}).get('results', {}).get('news', [])
-        if not news_results:
-            return "검색 결과가 없습니다.", []
-        
-        # 한국 도메인 및 한국 관련 키워드 포함 기사 제외
-        korean_domains = [
-            '.kr', 'korea', 'korean', 'yonhap', 'hankyung', 'chosun', 
-            'donga', 'joins', 'hani', 'koreatimes', 'koreaherald'
-        ]
-        korean_keywords = [
-            'korea', 'korean', 'seoul', 'busan', 'incheon', 'daegu', 
-            'gwangju', 'daejeon', 'ulsan', 'sejong'
-        ]
-
-        filtered_articles = []
-        for idx, result in enumerate(news_results, 1):
-            url = result.get("url", result.get("link", "")).lower()
-            title = result.get("title", "").lower()
-            channel = result.get("channel", result.get("source", "")).lower()
-            
-            is_korean_content = (
-                any(domain in url or domain in channel for domain in korean_domains) or
-                any(keyword in title for keyword in korean_keywords)
-            )
-            
-            # 한국어 뉴스(또는 한국 도메인) 제외
-            if not is_korean_content:
-                filtered_articles.append({
-                    "index": idx,
-                    "title": result.get("title", "제목 없음"),
-                    "link": url,
-                    "snippet": result.get("snippet", "내용 없음"),
-                    "channel": result.get("channel", result.get("source", "알 수 없음")),
-                    "time": result.get("time", result.get("date", "알 수 없는 시간")),
-                    "image_url": result.get("img", result.get("thumbnail", "")),
-                    "translated_query": translated_query
-                })
-
-        return "", filtered_articles
-    except Exception as e:
-        return f"결과 처리 중 오류 발생: {str(e)}", []
-
-def serphouse_search(query, country):
-    """
-    검색 및 결과 포매팅까지 일괄 처리
-    """
-    response_data = search_serphouse(query, country)
-    return format_results_from_raw(response_data)
-
-
-# CSS (UI 커스터마이징)
 css = """
 /* 전역 스타일 */
 footer {visibility: hidden;}
@@ -877,8 +666,6 @@ footer {visibility: hidden;}
 }
 """
 
-import gradio as gr
-
 with gr.Blocks(theme="Yntec/HaleyCH_Theme_Orange", css=css, title="NewsAI 서비스") as iface:
     init_db()