app.py

import streamlit as st
import requests
import re

# Streamlit 제목 및 설명
st.title("VOD 채팅 크롤러")
st.write("VOD URL을 입력하고 채팅 데이터를 크롤링합니다.")

# URL 입력 받기
vod_url = st.text_input("VOD URL 입력")


# 채팅 크롤링 함수
def crawl_chats(vod_url):
    # URL 설정
    url = vod_url + "/chats"

    # 요청 헤더 (필요시 쿠키나 기타 헤더 정보 추가)
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36",
        "Accept": "application/json, text/plain, */*",
        "Referer": "https://chzzk.naver.com/video/3646597",
        "Origin": "https://chzzk.naver.com",
        "Cookie": "your-cookie-string-here"  # 로그인 후 개발자 도구의 Request Headers 탭에서 쿠키 값 복사
    }

    # 초기 요청 파라미터 설정
    params = {
        "playerMessageTime": 0,  # 시작 시점 (0 = 0초)
        "previousVideoChatSize": 50  # 가져올 채팅 메시지 수
    }

    # 마지막 수집한 채팅 메시지 저장 변수
    last_collected_chats = None
    total_collected_chats = 0
    chat_logs = []

    # 채팅 데이터를 순차적으로 요청하여 가져오기
    while True:
        # API 요청 보내기
        response = requests.get(url, params=params, headers=headers)

        # 요청 결과가 성공적이지 않을 경우 종료
        if response.status_code != 200:
            return f"API 요청 실패: {response.status_code}"

        # JSON 데이터로 변환
        data = response.json()

        # 채팅 메시지가 포함된 'videoChats' 배열 가져오기
        chats = data.get("content", {}).get("videoChats", [])

        # 채팅 메시지가 없다면 종료
        if not chats:
            break

        # 현재 수집된 채팅이 이전에 수집된 채팅과 동일한지 확인
        if last_collected_chats == chats:
            break

        # 채팅 메시지(content)와 playerMessageTime(채팅 시간)만 수집
        for chat in chats:
            chat_content = chat.get("content")  # 채팅 메시지 내용
            message_time = chat.get("playerMessageTime")  # 채팅 메시지 입력 시간

            # 순수 텍스트만 포함된 채팅 메시지 필터링
            if not re.search(r'{:[^}]*:}', chat_content):  # 이모티콘 형식의 메시지가 없을 때만 수집
                # 밀리초 시간을 "시간:분:초" 형식으로 변환
                hours, remainder = divmod(message_time // 1000, 3600)
                minutes, seconds = divmod(remainder, 60)

                if hours > 0:
                    formatted_time = f"{hours:02}:{minutes:02}:{seconds:02}"  # "HH:MM:SS" 형식
                else:
                    formatted_time = f"{minutes:02}:{seconds:02}"  # "MM:SS" 형식

                # 채팅 로그에 추가
                chat_logs.append(f"{formatted_time} - {chat_content}")

        # 마지막으로 수집한 채팅 메시지 업데이트
        last_collected_chats = chats

        # 채팅 데이터 개수 업데이트 및 출력
        total_collected_chats += len(chats)

        # 다음 요청을 위해 playerMessageTime 파라미터 업데이트
        next_time = data["content"].get("nextPlayerMessageTime")
        if next_time is None:
            break
        params["playerMessageTime"] = next_time

    # 결과 반환
    return "\n".join(chat_logs)


# 버튼을 눌렀을 때 채팅 크롤링 시작
if st.button("크롤링 시작"):
    if vod_url:
        chat_logs = crawl_chats(vod_url)
        st.text_area("채팅 로그", value=chat_logs, height=400)

        # 파일로 저장
        file_name = "chat_logs.txt"
        with open(file_name, "w") as file:
            file.write(chat_logs)

        # 다운로드 버튼 표시
        with open(file_name, "rb") as file:
            btn = st.download_button(
                label="채팅 로그 다운로드",
                data=file,
                file_name=file_name,
                mime="text/plain"
            )
    else:
        st.warning("URL을 입력하세요.")