move tests outside sheet

sheet.py

@@ -43,16 +43,6 @@ def get_serp( query: str, google_domain: str, gl: str, lr: str) -> dict:
     # return result['organic_results'][0]
     return result
 
-def test_get_serp():
-    # query = "原味商行"
-    # query = "南投縣中寮鄉中寮村鄉林巷４３號 和興商店"
-    # query = "啓輝環管企業社"
-    # query = "蘭陽客棧小吃店"
-    # query = '韓笑味食品有限公司'
-    # query = '小阿姨的店'
-    query = '達米娜魚料理店'
-    res = get_serp(query, google_domain='google.com.tw')
-    print(res)
 
 def get_condensed_result(result):
     """
@@ -79,16 +69,6 @@ def get_condensed_result(result):
     # print( condensed_results )
     return condensed_result
 
-def test_get_condensed_result():
-    # query = "原味商行"
-    # query = "南投縣中寮鄉中寮村鄉林巷４３號 和興商店"
-    # query = "啓輝環管企業社"
-    # query = "蘭陽客棧小吃店"
-    # query = '韓笑味食品有限公司'
-    # query = '小阿姨的店'
-    query = '達米娜魚料理店'
-    res = get_serp(query)
-    cond_res = get_condensed_result(res)
 
 def compose_analysis( client, query, search_results, classes: list, model: str = 'gpt-3.5-turbo-0125'):
     """
@@ -138,18 +118,6 @@ def compose_analysis( client, query, search_results, classes: list, model: str =
     response = chat_completion.choices[0].message.content
     return response
 
-def test_compose_analysis():
-    # query = "原味商行"
-    # query = "南投縣中寮鄉中寮村鄉林巷４３號 和興商店"
-    # query = "啓輝環管企業社"
-    # query = "蘭陽客棧小吃店"
-    # query = '韓笑味食品有限公司'
-    # query = '小阿姨的店'
-    query = '達米娜魚料理店'
-    res = get_serp(query)
-    cond_res = get_condensed_result(res)
-    resp = compose_analysis( client, query = query, search_results = cond_res)
-    print( resp )
 
 def compose_classication( 
         client, 
@@ -202,12 +170,6 @@ def compose_classication(
     response = chat_completion.choices[0].message.content
     return response
 
-def test_compose_classification( evidence):
-    """
-    """
-    evidence = '[{"title": "年年有魚餐飲有限公司- 店家介紹", "snippet": "統一編號. 93769370 · 公司狀況. 營業中 · 公司名稱. 年年有魚餐飲有限公司 · 公司類型. 有限公司 · 資本總額. 6000000 · 所在地. 臺中市西區民龍里臺灣大道2段159號1樓."}, {"title": "年年有魚餐飲有限公司", "snippet": "營業地址, 臺中市西區民龍里臺灣大道2段159號1樓 ; 統編, 93769370 ; 營業名稱, 年年有魚餐飲有限公司 ; 資本額, 6,000,000 ; 設立日期, 1120713."}, {"title": "年年有魚餐飲有限公司", "snippet": "公司名稱, 年年有魚餐飲有限公司 ; 資本總額(元), 6,000,000 ; 負責人, 江敏 ; 登記地址, 看地圖 臺中市西區民龍里臺灣大道二段159號1樓 郵遞區號查詢 ; 設立 ..."}, {"title": "年年有魚餐飲有限公司", "snippet": "年年有魚餐飲有限公司 ; 負責人, 江敏 ; 登記地址, 台中市西區民龍里台灣大道二段159號1樓 ; 公司狀態, 核准設立 ; 資本額, 6,000,000元 ; 所在縣市, 台中市 西區 民龍里."}, {"title": "江_敏－年年有魚餐飲有限公司", "snippet": "負責人:江_敏·公司名:年年有魚餐飲有限公司·統一編號:93769370·公司地址:臺中市西區民龍里臺灣大道二段159號1樓·資本額:6000000·公司狀況:核准設立·核准設立 ..."}, {"title": "年年有魚餐飲有限公司/負責人：江_敏", "snippet": "公司名稱:年年有魚餐飲有限公司·代表人姓名:江_敏·公司所在地:臺中市西區民龍里臺灣大道二段159號1樓·統編:93769370資本總額:6000000·公司狀況:核准設立·核准設立 ..."}, {"title": "貓吃魚餐飲有限公司｜工作徵才簡介", "snippet": "貓吃魚餐飲有限公司. 台中市西屯區. 時薪186元. 應徵人數：1 ~ 5人. 排休; 晚班; 工作經驗不拘; 學歷不拘. 1.佈置及清理餐桌2.為顧客帶位或安排座位3.上菜並提供有關用餐的 ..."}, {"title": "食力餐飲_食力國際有限公司｜公司簡介", "snippet": "「食力國際有限公司」正式成立於2023年4月，目前短短時間已成立了四個品牌～ 一、【食力據點】 1:食力咖哩- 台中遠百店（台中市西屯區臺灣大道三段251號大遠百12樓大食 ..."}, {"title": "112 年臺中市優質餐飲店家分級評核獲獎名單", "snippet": "112 年臺中市優質餐飲店家分級評核獲獎名單-. 臺中市餐廳飲食店低碳認證書20 家. 1 築間幸福鍋物-臺中市政二店臺中市西屯區文心路二段213 號. 2 有之和牛-臺中文心店."}, {"title": "年年有魚水族館", "snippet": "營業地址, 臺中市西屯區何安里西屯路2段101-2號1樓 ; 統編, 21833774 ; 營業名稱, 年年有魚水族館 ; 資本額, 60,000 ; 設立日期, 0940502."}, {"title": "類似的店", "snippet": "[\'設計公司\']\\t[\'餐廳\']"}, {"telephone_number": "04 2376 6318"}]'
-    x = compose_classication( evidence )
-    print( x )
 
 def classify_results( 
         analysis_results: pd.DataFrame, 
@@ -281,9 +243,6 @@ def classify_results_mp( extracted_results: pd.DataFrame, classified_file_path,
     print( f"total time: {time.time() - st}")
     return classified_results
 
-def test_get_evidence_classification():
-    analysis_results = classify_results( analysis_results)
-    patch_analysis_results = classify_results( patch_analysis_results)
 
 def compose_query( address, name, with_index: bool = True, exclude: str = "-inurl:twincn.com -inurl:findcompany.com.tw -inurl:iyp.com.tw -inurl:twypage.com -inurl:alltwcompany.com -inurl:zhupiter.com -inurl:twinc.com.tw"):
     """
@@ -432,9 +391,6 @@ def extract_results_mp( crawled_results, extracted_file_path, classes: list):
     print( f"total time: {time.time() - st}")
     return extracted_results
 
-def test_get_analysis_results():
-    data = pd.read_csv("data/餐廳類型分類.xlsx - 測試清單.csv")
-    analysis_results, empty_indices = extract_results( data )
 
 def postprocess_result( results: pd.DataFrame, postprocessed_results_path, category_hierarchy: dict, column_name: str = 'category'):
     """
@@ -467,9 +423,6 @@ def postprocess_result( results: pd.DataFrame, postprocessed_results_path, categ
             postprocessed_results = joblib.load(f)
     return postprocessed_results
 
-def test_postprocess_result():
-    analysis_result = ""
-    pos_res = postprocess_result( analysis_result) 
 
 def combine_results( results: pd.DataFrame, combined_results_path: str, src_column: str = 'classified_category', tgt_column: str = 'category', strategy: str = 'replace'):
     """

test.py

@@ -0,0 +1,65 @@
+
+import pandas as pd
+
+from sheet import (get_serp, get_condensed_result, compose_analysis, 
+                   compose_classication, classify_results, extract_results,
+                   postprocess_result)
+
+
+def test_get_serp():
+    # query = "原味商行"
+    # query = "南投縣中寮鄉中寮村鄉林巷４３號 和興商店"
+    # query = "啓輝環管企業社"
+    # query = "蘭陽客棧小吃店"
+    # query = '韓笑味食品有限公司'
+    # query = '小阿姨的店'
+    query = '達米娜魚料理店'
+    res = get_serp(query, google_domain='google.com.tw')
+    print(res)
+
+
+def test_get_condensed_result():
+    # query = "原味商行"
+    # query = "南投縣中寮鄉中寮村鄉林巷４３號 和興商店"
+    # query = "啓輝環管企業社"
+    # query = "蘭陽客棧小吃店"
+    # query = '韓笑味食品有限公司'
+    # query = '小阿姨的店'
+    query = '達米娜魚料理店'
+    res = get_serp(query)
+    cond_res = get_condensed_result(res)
+
+
+def test_compose_analysis():
+    # query = "原味商行"
+    # query = "南投縣中寮鄉中寮村鄉林巷４３號 和興商店"
+    # query = "啓輝環管企業社"
+    # query = "蘭陽客棧小吃店"
+    # query = '韓笑味食品有限公司'
+    # query = '小阿姨的店'
+    query = '達米娜魚料理店'
+    res = get_serp(query)
+    cond_res = get_condensed_result(res)
+    resp = compose_analysis( query = query, search_results = cond_res)
+    print( resp )
+
+def test_compose_classification( evidence):
+    """
+    """
+    evidence = '[{"title": "年年有魚餐飲有限公司- 店家介紹", "snippet": "統一編號. 93769370 · 公司狀況. 營業中 · 公司名稱. 年年有魚餐飲有限公司 · 公司類型. 有限公司 · 資本總額. 6000000 · 所在地. 臺中市西區民龍里臺灣大道2段159號1樓."}, {"title": "年年有魚餐飲有限公司", "snippet": "營業地址, 臺中市西區民龍里臺灣大道2段159號1樓 ; 統編, 93769370 ; 營業名稱, 年年有魚餐飲有限公司 ; 資本額, 6,000,000 ; 設立日期, 1120713."}, {"title": "年年有魚餐飲有限公司", "snippet": "公司名稱, 年年有魚餐飲有限公司 ; 資本總額(元), 6,000,000 ; 負責人, 江敏 ; 登記地址, 看地圖 臺中市西區民龍里臺灣大道二段159號1樓 郵遞區號查詢 ; 設立 ..."}, {"title": "年年有魚餐飲有限公司", "snippet": "年年有魚餐飲有限公司 ; 負責人, 江敏 ; 登記地址, 台中市西區民龍里台灣大道二段159號1樓 ; 公司狀態, 核准設立 ; 資本額, 6,000,000元 ; 所在縣市, 台中市 西區 民龍里."}, {"title": "江_敏－年年有魚餐飲有限公司", "snippet": "負責人:江_敏·公司名:年年有魚餐飲有限公司·統一編號:93769370·公司地址:臺中市西區民龍里臺灣大道二段159號1樓·資本額:6000000·公司狀況:核准設立·核准設立 ..."}, {"title": "年年有魚餐飲有限公司/負責人：江_敏", "snippet": "公司名稱:年年有魚餐飲有限公司·代表人姓名:江_敏·公司所在地:臺中市西區民龍里臺灣大道二段159號1樓·統編:93769370資本總額:6000000·公司狀況:核准設立·核准設立 ..."}, {"title": "貓吃魚餐飲有限公司｜工作徵才簡介", "snippet": "貓吃魚餐飲有限公司. 台中市西屯區. 時薪186元. 應徵人數：1 ~ 5人. 排休; 晚班; 工作經驗不拘; 學歷不拘. 1.佈置及清理餐桌2.為顧客帶位或安排座位3.上菜並提供有關用餐的 ..."}, {"title": "食力餐飲_食力國際有限公司｜公司簡介", "snippet": "「食力國際有限公司」正式成立於2023年4月，目前短短時間已成立了四個品牌～ 一、【食力據點】 1:食力咖哩- 台中遠百店（台中市西屯區臺灣大道三段251號大遠百12樓大食 ..."}, {"title": "112 年臺中市優質餐飲店家分級評核獲獎名單", "snippet": "112 年臺中市優質餐飲店家分級評核獲獎名單-. 臺中市餐廳飲食店低碳認證書20 家. 1 築間幸福鍋物-臺中市政二店臺中市西屯區文心路二段213 號. 2 有之和牛-臺中文心店."}, {"title": "年年有魚水族館", "snippet": "營業地址, 臺中市西屯區何安里西屯路2段101-2號1樓 ; 統編, 21833774 ; 營業名稱, 年年有魚水族館 ; 資本額, 60,000 ; 設立日期, 0940502."}, {"title": "類似的店", "snippet": "[\'設計公司\']\\t[\'餐廳\']"}, {"telephone_number": "04 2376 6318"}]'
+    x = compose_classication( evidence )
+    print( x )
+
+
+def test_classify_results():
+    analysis_results = classify_results( analysis_results)
+    patch_analysis_results = classify_results( patch_analysis_results)
+
+
+def test_get_analysis_results():
+    data = pd.read_csv("data/餐廳類型分類.xlsx - 測試清單.csv")
+    analysis_results, empty_indices = extract_results( data )
+
+def test_postprocess_result():
+    analysis_result = ""
+    pos_res = postprocess_result( analysis_result)