app.py

import requests
from bs4 import BeautifulSoup
import fitz  # PyMuPDF
import os
import openai
import re
import gradio as gr

def download_paper(paper_url):
    """指定したURLから論文のPDFをダウンロードし、ローカルに一時ファイルとして保存する。"""
    response = requests.get(paper_url)
    temp_pdf_path = "temp_paper.pdf"
    with open(temp_pdf_path, 'wb') as f:
        f.write(response.content)
    return temp_pdf_path

def extract_text_from_pdf(pdf_path):
    """PDFファイルからテキストを抽出する。"""
    doc = fitz.open(pdf_path)
    text = ""
    for page in doc:
        text += page.get_text()
    return text

def summarize_paper(paper_id):
    """論文IDを基に論文の内容を日本語で要約する。"""
    paper_url = f"https://arxiv.org/pdf/{paper_id}.pdf"
    pdf_path = download_paper(paper_url)
    text = extract_text_from_pdf(pdf_path)
    summary = summarize_text_with_chat(text)
    os.remove(pdf_path)  # 一時ファイルを削除
    return summary

def fetch_paper_links(url):
    """指定したURLから特定の形式に完全にマッチするリンクを取得し、重複を排除する（順序保持）"""
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')
    # パターンの開始(^)と終了($)を指定して、完全一致を検出
    pattern = re.compile(r'^/papers/\d+\.\d+$')
    links = []
    for a in soup.find_all('a', href=True):
        href = a['href']
        if pattern.match(href) and href not in links:
            links.append(href)
    return links

def summarize_text_with_chat(text, max_length=10000):
    """テキストをOpenAIのChat APIを使用して要約する。"""
    openai.api_key = 'OPEN_AI_API_KEYS'

    # テキストを指定の最大長に制限
    trimmed_text = text[:max_length]

    response = openai.chat.completions.create(
        model="gpt-3.5-turbo",
        messages=[
            {"role": "system", "content": "次の文書を要約してください。必ず'## タイトル', '## 要約', '## 専門用語解説'を記載してください。"},
            {"role": "user", "content": trimmed_text}
        ],
        temperature=0.7,
        max_tokens=1000
    )

    summary_text = response.choices[0].message.content
    total_token = response.usage.total_tokens
    return summary_text, total_token

def gradio_interface():
    papers_url = 'https://huggingface.co/papers'  # デフォルトURL
    paper_links = fetch_paper_links(papers_url)
    paper_ids = set(link.split('/')[-1] for link in paper_links)

    total_tokens_used = 0
    summaries = []

    for paper_id in paper_ids:
        summary_info = f"Processing paper ID: {paper_id}\n"
        try:
            summary, tokens_used = summarize_paper(paper_id)
            total_tokens_used += tokens_used
            summary_info += f'論文ID: {paper_id} の要約:\n{summary}\n'
        except Exception as e:
            summary_info += f"Error processing paper ID {paper_id}: {e}\n"
        
        summaries.append(summary_info)

    summaries_markdown = "\n---\n".join(summaries)  # 要約を水平線で区切る
    return summaries_markdown + f"\n全ての要約で使用されたトータルトークン数: {total_tokens_used}"

# Gradioインターフェースの設定
iface = gr.Interface(
    fn=gradio_interface,
    inputs=[],  # 入力部分を削除
    outputs=gr.Markdown(),
    title="論文要約ツール",
    description="[Daily Papers](https://huggingface.co/papers)に掲載された本日の論文を取得し、それらを要約してMarkdown形式で表示します。"
)

if __name__ == "__main__":
    iface.launch()