Update util/getdata.py

util/getdata.py

@@ -6,52 +6,26 @@ from util.dbquery import load_json, insert_data, getDataNum
 def fetch_and_store_data():
     print("최신데이터를 받아오는 중입니다. 데이터를 받는 도중 프로그램을 종료하지 마십시오.")
     KEY = os.environ['PRODUCT_PRICE_API']
-    list = 1
-    json_data = []
-    data_count = getDataNum() #sql 서버의 현재 데이터 수
-    file_path = 'data/init_data.json'
-    
-    # 서울시 공공데이터 데이터베이스의 현재 데이터 수    
-    url = f'http://openAPI.seoul.go.kr:8088/{KEY}/json/ListNecessariesPricesService/{list}/{list}'
-    response = requests.get(url)
-    decoded = response.content.decode('utf-8')
-    init_data = json.loads(decoded)
-    list_total_count = init_data["ListNecessariesPricesService"]["list_total_count"]
-    #sql 서버의 데이터 수와 서울시 데이터베이스의 데이터 수를 비교하여 최신여부 확인
-    if(data_count >= list_total_count):# 최신일경우
-        print("현재 모든 데이터가 최신입니다.")
-    else:# 업데이트 필요한 경우
-            
-        if os.path.exists(file_path):#기존 init_data.json 파일이 있을경우 init_data.json 파일에 데이터 이어쓰기
-            with open(file_path, "r", encoding = "utf-8") as file:
-                json_data = json.load(file)
- 
-        list_total_count = list_total_count - data_count #업데이트 필요한 수만큼만 업데이트
-        print(f"새로운 {list_total_count}개의 데이터를 업데이트 합니다.")
-        pbar = tqdm(total=list_total_count)
-        
-        while list <= list_total_count:
-            if(list+999 > list_total_count):
-                url = f'http://openAPI.seoul.go.kr:8088/{KEY}/json/ListNecessariesPricesService/{list}/{list_total_count}'
-                pbar.update(list_total_count - list + 1)
-            else:
-                url = f'http://openAPI.seoul.go.kr:8088/{KEY}/json/ListNecessariesPricesService/{list}/{list+999}'
-                pbar.update(1000)
-                
-            response = requests.get(url)
-            decoded = response.content.decode('utf-8')
-            temp = json.loads(decoded)
-            json_data.append(temp["ListNecessariesPricesService"]["row"])
-            list += 1000
-        pbar.close()
+    i = 1
+    while i + 999 <= 100000:   
+        url = f'http://openAPI.seoul.go.kr:8088/{KEY}/json/ListNecessariesPricesService/{i}/{i+999}'
+        response = requests.get(url)
+        decoded = response.content.decode('utf-8')
+        data = json.loads(decoded)
+
+        # 데이터를 바로 처리하고 데이터베이스에 삽입
+        inserted_rows = insert_data(data)
         
-        for data in json_data:
-            insert_data(load_json(data))
-        with open(file_path, 'w', encoding='utf-8') as f:
-            json.dump(json_data, f, ensure_ascii=False, indent=4)
-    
-    
-    
+        if inserted_rows == 0:  # 새로 삽입된 데이터가 없으면 루프 탈출
+            print("\n데이터베이스에 새로운 데이터가 없습니다. 업데이트를 중단합니다.")
+            break
+
+        i += 1000
+        sys.stdout.write('\r')
+        completion = min(int(i/1000), 100)
+        sys.stdout.write("[%-50s] %d%%" % ('='*int(completion/2), completion))
+        sys.stdout.flush()
+
     current_time = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime())
-    print(f"\nData stored {current_time}")
+    print(f"\n데이터 업데이트 완료 시간: {current_time}")
     print("업데이트 완료")