ginipick commited on
Commit
4f42976
β€’
1 Parent(s): c920630

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +116 -28
app.py CHANGED
@@ -32,7 +32,7 @@ fashion_code = load_code('fashion.cod')
32
  uhdimage_code = load_code('uhdimage.cod')
33
  MixGEN_code = load_code('mgen.cod')
34
 
35
- # Parquet 파일 λ‘œλ“œ
36
  test_parquet_content = load_parquet('test.parquet')
37
 
38
  def respond(
@@ -42,11 +42,13 @@ def respond(
42
  max_tokens=1024, # κΈ°λ³Έκ°’ μΆ”κ°€
43
  temperature=0.7, # κΈ°λ³Έκ°’ μΆ”κ°€
44
  top_p=0.9, # κΈ°λ³Έκ°’ μΆ”κ°€
 
45
  ):
46
  global fashion_code, uhdimage_code, MixGEN_code, test_parquet_content
47
  system_message = system_message or ""
48
  system_prefix = """λ°˜λ“œμ‹œ ν•œκΈ€λ‘œ 닡변할것. λ„ˆλŠ” 주어진 μ†ŒμŠ€μ½”λ“œλ₯Ό 기반으둜 "μ„œλΉ„μŠ€ μ‚¬μš© μ„€λͺ… 및 μ•ˆλ‚΄, Q&Aλ₯Ό ν•˜λŠ” 역할이닀". μ•„μ£Ό μΉœμ ˆν•˜κ³  μžμ„Έν•˜κ²Œ 4000토큰 이상 Markdown ν˜•μ‹μœΌλ‘œ μž‘μ„±ν•˜λΌ. λ„ˆλŠ” μ½”λ“œλ₯Ό 기반으둜 μ‚¬μš© μ„€λͺ… 및 질의 응닡을 μ§„ν–‰ν•˜λ©°, μ΄μš©μžμ—κ²Œ 도움을 μ£Όμ–΄μ•Ό ν•œλ‹€. μ΄μš©μžκ°€ κΆκΈˆν•΄ ν•  λ§Œν•œ λ‚΄μš©μ— μΉœμ ˆν•˜κ²Œ μ•Œλ €μ£Όλ„λ‘ ν•˜λΌ. μ½”λ“œ 전체 λ‚΄μš©μ— λŒ€ν•΄μ„œλŠ” λ³΄μ•ˆμ„ μœ μ§€ν•˜κ³ , ν‚€ κ°’ 및 μ—”λ“œν¬μΈνŠΈμ™€ ꡬ체적인 λͺ¨λΈμ€ κ³΅κ°œν•˜μ§€ 마라."""
49
 
 
50
  if message.lower() == "νŒ¨μ…˜ μ½”λ“œ μ‹€ν–‰":
51
  system_message += f"\n\nνŒ¨μ…˜ μ½”λ“œ λ‚΄μš©:\n```python\n{fashion_code}\n```"
52
  message = "νŒ¨μ…˜ κ°€μƒν”ΌνŒ…μ— λŒ€ν•œ λ‚΄μš©μ„ ν•™μŠ΅ν•˜μ˜€κ³ , μ„€λͺ…ν•  μ€€λΉ„κ°€ λ˜μ–΄μžˆλ‹€κ³  μ•Œλ¦¬κ³  μ„œλΉ„μŠ€ URL(https://aiqcamp-fash.hf.space)을 톡해 ν…ŒμŠ€νŠΈ 해보라고 좜λ ₯ν•˜λΌ."
@@ -59,7 +61,10 @@ def respond(
59
  elif message.lower() == "test.parquet μ‹€ν–‰":
60
  system_message += f"\n\ntest.parquet 파일 λ‚΄μš©:\n```markdown\n{test_parquet_content}\n```"
61
  message = "test.parquet νŒŒμΌμ— λŒ€ν•œ λ‚΄μš©μ„ ν•™μŠ΅ν•˜μ˜€κ³ , κ΄€λ ¨ μ„€λͺ… 및 Q&Aλ₯Ό 진행할 μ€€λΉ„κ°€ λ˜μ–΄μžˆλ‹€. κΆκΈˆν•œ 점이 있으면 물어보라."
62
-
 
 
 
63
  messages = [{"role": "system", "content": f"{system_prefix} {system_message}"}]
64
  for val in history:
65
  if val[0]:
@@ -70,44 +75,127 @@ def respond(
70
 
71
  response = ""
72
  try:
73
- for message in hf_client.chat_completion(
74
  messages,
75
  max_tokens=max_tokens,
76
  stream=True,
77
  temperature=temperature,
78
  top_p=top_p,
79
  ):
80
- token = message.choices[0].delta.get('content', None)
81
  if token:
82
  response += token
83
  yield response
84
  except Exception as e:
85
  yield f"μΆ”λ‘  쀑 였λ₯˜κ°€ λ°œμƒν–ˆμŠ΅λ‹ˆλ‹€: {str(e)}"
86
 
87
- # Gradio μΈν„°νŽ˜μ΄μŠ€ μ„€μ • 뢀뢄도 μˆ˜μ •
88
- demo = gr.ChatInterface(
89
- respond,
90
- additional_inputs=[
91
- gr.Textbox(label="System Message", value=""),
92
- gr.Slider(minimum=1, maximum=8000, value=4000, label="Max Tokens"),
93
- gr.Slider(minimum=0, maximum=1, value=0.7, label="Temperature"),
94
- gr.Slider(minimum=0, maximum=1, value=0.9, label="Top P"),
95
- ],
96
- examples=[
97
- ["νŒ¨μ…˜ μ½”λ“œ μ‹€ν–‰"],
98
- ["UHD 이미지 μ½”λ“œ μ‹€ν–‰"],
99
- ["MixGEN μ½”λ“œ μ‹€ν–‰"],
100
- ["test.parquet μ‹€ν–‰"], # μƒˆλ‘œμš΄ 예제 μΆ”κ°€
101
- ["μƒμ„Έν•œ μ‚¬μš© 방법을 마치 화면을 λ³΄λ©΄μ„œ μ„€λͺ…ν•˜λ“―이 4000 토큰 이상 μžμ„Ένžˆ μ„€λͺ…ν•˜λΌ"],
102
- ["FAQ 20건을 μƒμ„Έν•˜κ²Œ μž‘μ„±ν•˜λΌ. 4000토큰 이상 μ‚¬μš©ν•˜λΌ."],
103
- ["μ‚¬μš© 방법과 차별점, νŠΉμ§•, 강점을 μ€‘μ‹¬μœΌλ‘œ 4000 토큰 이상 유튜브 μ˜μƒ 슀크립트 ν˜•νƒœλ‘œ μž‘μ„±ν•˜λΌ"],
104
- ["λ³Έ μ„œλΉ„μŠ€λ₯Ό SEO μ΅œμ ν™”ν•˜μ—¬ λΈ”λ‘œκ·Έ 포슀트(λ°°κ²½ 및 ν•„μš”μ„±, κΈ°μ‘΄ μœ μ‚¬ μ„œλΉ„μŠ€μ™€ λΉ„κ΅ν•˜μ—¬ 특μž₯점, ν™œμš©μ²˜, κ°€μΉ˜, κΈ°λŒ€νš¨κ³Ό, 결둠을 포함)둜 4000 토큰 이상 μž‘μ„±ν•˜λΌ"],
105
- ["νŠΉν—ˆ μΆœμ›μ— ν™œμš©ν•  기술 및 λΉ„μ¦ˆλ‹ˆμŠ€λͺ¨λΈ 츑면을 ν¬ν•¨ν•˜μ—¬ νŠΉν—ˆ μΆœμ›μ„œ ꡬ성에 맞게 ν˜μ‹ μ μΈ 창의 발λͺ… λ‚΄μš©μ„ μ€‘μ‹¬μœΌλ‘œ 4000 토큰 이상 μž‘μ„±ν•˜λΌ."],
106
- ["계속 μ΄μ–΄μ„œ λ‹΅λ³€ν•˜λΌ"],
107
- ],
108
- theme="Nymbo/Nymbo_Theme",
109
- cache_examples=False, # 캐싱 λΉ„ν™œμ„±ν™” μ„€μ •
110
- )
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
111
 
112
  if __name__ == "__main__":
113
  demo.launch()
 
32
  uhdimage_code = load_code('uhdimage.cod')
33
  MixGEN_code = load_code('mgen.cod')
34
 
35
+ # 초기 Parquet 파일 λ‘œλ“œ (κΈ°μ‘΄ test.parquet)
36
  test_parquet_content = load_parquet('test.parquet')
37
 
38
  def respond(
 
42
  max_tokens=1024, # κΈ°λ³Έκ°’ μΆ”κ°€
43
  temperature=0.7, # κΈ°λ³Έκ°’ μΆ”κ°€
44
  top_p=0.9, # κΈ°λ³Έκ°’ μΆ”κ°€
45
+ parquet_content="", # Parquet 파일 λ‚΄μš© μƒνƒœ
46
  ):
47
  global fashion_code, uhdimage_code, MixGEN_code, test_parquet_content
48
  system_message = system_message or ""
49
  system_prefix = """λ°˜λ“œμ‹œ ν•œκΈ€λ‘œ 닡변할것. λ„ˆλŠ” 주어진 μ†ŒμŠ€μ½”λ“œλ₯Ό 기반으둜 "μ„œλΉ„μŠ€ μ‚¬μš© μ„€λͺ… 및 μ•ˆλ‚΄, Q&Aλ₯Ό ν•˜λŠ” 역할이닀". μ•„μ£Ό μΉœμ ˆν•˜κ³  μžμ„Έν•˜κ²Œ 4000토큰 이상 Markdown ν˜•μ‹μœΌλ‘œ μž‘μ„±ν•˜λΌ. λ„ˆλŠ” μ½”λ“œλ₯Ό 기반으둜 μ‚¬μš© μ„€λͺ… 및 질의 응닡을 μ§„ν–‰ν•˜λ©°, μ΄μš©μžμ—κ²Œ 도움을 μ£Όμ–΄μ•Ό ν•œλ‹€. μ΄μš©μžκ°€ κΆκΈˆν•΄ ν•  λ§Œν•œ λ‚΄μš©μ— μΉœμ ˆν•˜κ²Œ μ•Œλ €μ£Όλ„λ‘ ν•˜λΌ. μ½”λ“œ 전체 λ‚΄μš©μ— λŒ€ν•΄μ„œλŠ” λ³΄μ•ˆμ„ μœ μ§€ν•˜κ³ , ν‚€ κ°’ 및 μ—”λ“œν¬μΈνŠΈμ™€ ꡬ체적인 λͺ¨λΈμ€ κ³΅κ°œν•˜μ§€ 마라."""
50
 
51
+ # λͺ…λ Ήμ–΄ 처리
52
  if message.lower() == "νŒ¨μ…˜ μ½”λ“œ μ‹€ν–‰":
53
  system_message += f"\n\nνŒ¨μ…˜ μ½”λ“œ λ‚΄μš©:\n```python\n{fashion_code}\n```"
54
  message = "νŒ¨μ…˜ κ°€μƒν”ΌνŒ…μ— λŒ€ν•œ λ‚΄μš©μ„ ν•™μŠ΅ν•˜μ˜€κ³ , μ„€λͺ…ν•  μ€€λΉ„κ°€ λ˜μ–΄μžˆλ‹€κ³  μ•Œλ¦¬κ³  μ„œλΉ„μŠ€ URL(https://aiqcamp-fash.hf.space)을 톡해 ν…ŒμŠ€νŠΈ 해보라고 좜λ ₯ν•˜λΌ."
 
61
  elif message.lower() == "test.parquet μ‹€ν–‰":
62
  system_message += f"\n\ntest.parquet 파일 λ‚΄μš©:\n```markdown\n{test_parquet_content}\n```"
63
  message = "test.parquet νŒŒμΌμ— λŒ€ν•œ λ‚΄μš©μ„ ν•™μŠ΅ν•˜μ˜€κ³ , κ΄€λ ¨ μ„€λͺ… 및 Q&Aλ₯Ό 진행할 μ€€λΉ„κ°€ λ˜μ–΄μžˆλ‹€. κΆκΈˆν•œ 점이 있으면 물어보라."
64
+ elif message.lower() == "csv μ—…λ‘œλ“œ":
65
+ message = "CSV νŒŒμΌμ„ μ—…λ‘œλ“œν•˜λ €λ©΄ μ•„λž˜μ˜ μ—…λ‘œλ“œ λ²„νŠΌμ„ μ‚¬μš©ν•˜μ„Έμš”."
66
+
67
+ # μ‹œμŠ€ν…œ λ©”μ‹œμ§€μ™€ μ‚¬μš©μž λ©”μ‹œμ§€ κ²°ν•©
68
  messages = [{"role": "system", "content": f"{system_prefix} {system_message}"}]
69
  for val in history:
70
  if val[0]:
 
75
 
76
  response = ""
77
  try:
78
+ for msg in hf_client.chat_completion(
79
  messages,
80
  max_tokens=max_tokens,
81
  stream=True,
82
  temperature=temperature,
83
  top_p=top_p,
84
  ):
85
+ token = msg.choices[0].delta.get('content', None)
86
  if token:
87
  response += token
88
  yield response
89
  except Exception as e:
90
  yield f"μΆ”λ‘  쀑 였λ₯˜κ°€ λ°œμƒν–ˆμŠ΅λ‹ˆλ‹€: {str(e)}"
91
 
92
+ def upload_csv(file):
93
+ try:
94
+ # CSV 파일 읽기
95
+ df = pd.read_csv(file.name)
96
+
97
+ # 데이터 ν΄λ Œμ§•
98
+ df.drop_duplicates(inplace=True)
99
+ df.fillna('', inplace=True)
100
+
101
+ # 데이터 μœ ν˜• μ΅œμ ν™”
102
+ df = df.astype({'id': 'int32', 'text': 'string', 'label': 'category', 'metadata': 'string'})
103
+
104
+ # Parquet 파일둜 λ³€ν™˜
105
+ parquet_filename = os.path.splitext(file.name)[0] + '.parquet'
106
+ df.to_parquet(parquet_filename, engine='pyarrow', compression='snappy')
107
+
108
+ # Parquet 파일 λ‘œλ“œ
109
+ parquet_content = load_parquet(parquet_filename)
110
+
111
+ return f"{parquet_filename} 파일이 μ„±κ³΅μ μœΌλ‘œ μ—…λ‘œλ“œλ˜κ³  λ³€ν™˜λ˜μ—ˆμŠ΅λ‹ˆλ‹€.", parquet_content
112
+ except Exception as e:
113
+ return f"CSV 파일 μ—…λ‘œλ“œ 및 λ³€ν™˜ 쀑 였λ₯˜κ°€ λ°œμƒν–ˆμŠ΅λ‹ˆλ‹€: {str(e)}", ""
114
+
115
+ # Gradio Blocks μΈν„°νŽ˜μ΄μŠ€ μ„€μ •
116
+ with gr.Blocks() as demo:
117
+ gr.Markdown("# LLM μ„œλΉ„μŠ€ μΈν„°νŽ˜μ΄μŠ€")
118
+
119
+ with gr.Row():
120
+ with gr.Column():
121
+ # CSV 파일 μ—…λ‘œλ“œ μ„Ήμ…˜
122
+ gr.Markdown("### CSV 파일 μ—…λ‘œλ“œ 및 Parquet λ³€ν™˜")
123
+ csv_file = gr.File(label="CSV 파일 μ—…λ‘œλ“œ", type="file")
124
+ upload_button = gr.Button("μ—…λ‘œλ“œ 및 λ³€ν™˜")
125
+ upload_status = gr.Textbox(label="μ—…λ‘œλ“œ μƒνƒœ", interactive=False)
126
+ parquet_preview = gr.Markdown(label="Parquet 파일 미리보기")
127
+
128
+ # μ—…λ‘œλ“œ λ²„νŠΌ 클릭 μ‹œ μ‹€ν–‰ν•  ν•¨μˆ˜
129
+ upload_button.click(
130
+ upload_csv,
131
+ inputs=csv_file,
132
+ outputs=[upload_status, parquet_preview]
133
+ )
134
+
135
+ gr.Markdown("### 기쑴 Parquet 파일")
136
+ gr.Markdown(f"**test.parquet 파일 λ‚΄μš©:**\n```markdown\n{test_parquet_content}\n```")
137
+
138
+ with gr.Column():
139
+ # Chat μΈν„°νŽ˜μ΄μŠ€ μ„Ήμ…˜
140
+ gr.Markdown("### LLMκ³Ό λŒ€ν™”ν•˜κΈ°")
141
+ chat_history = gr.State([]) # λŒ€ν™” νžˆμŠ€ν† λ¦¬ μ €μž₯
142
+ parquet_content_state = gr.State(test_parquet_content) # 초기 Parquet λ‚΄μš© μƒνƒœ
143
+
144
+ def chat_respond(
145
+ message,
146
+ history,
147
+ system_message,
148
+ max_tokens,
149
+ temperature,
150
+ top_p,
151
+ parquet_content
152
+ ):
153
+ # ν˜„μž¬ Parquet λ‚΄μš© μƒνƒœλ₯Ό μ—…λ°μ΄νŠΈ
154
+ response = respond(message, history, system_message, max_tokens, temperature, top_p, parquet_content)
155
+ return response
156
+
157
+ chat = gr.Chatbot()
158
+ system_message = gr.Textbox(label="System Message", value="")
159
+ max_tokens = gr.Slider(minimum=1, maximum=8000, value=4000, label="Max Tokens")
160
+ temperature = gr.Slider(minimum=0, maximum=1, value=0.7, label="Temperature")
161
+ top_p = gr.Slider(minimum=0, maximum=1, value=0.9, label="Top P")
162
+
163
+ with gr.Row():
164
+ user_message = gr.Textbox(label="λ©”μ‹œμ§€ μž…λ ₯")
165
+ send_button = gr.Button("보내기")
166
+
167
+ send_button.click(
168
+ chat_respond,
169
+ inputs=[user_message, chat_history, system_message, max_tokens, temperature, top_p, parquet_preview],
170
+ outputs=[chat, chat_history]
171
+ )
172
+
173
+ gr.Markdown("## μ‚¬μš© 예제")
174
+ gr.Examples(
175
+ examples=[
176
+ ["νŒ¨μ…˜ μ½”λ“œ μ‹€ν–‰"],
177
+ ["UHD 이미지 μ½”λ“œ μ‹€ν–‰"],
178
+ ["MixGEN μ½”λ“œ μ‹€ν–‰"],
179
+ ["test.parquet μ‹€ν–‰"], # μƒˆλ‘œμš΄ 예제 μΆ”κ°€
180
+ ["μƒμ„Έν•œ μ‚¬μš© 방법을 마치 화면을 λ³΄λ©΄μ„œ μ„€λͺ…ν•˜λ“―이 4000 토큰 이상 μžμ„Ένžˆ μ„€λͺ…ν•˜λΌ"],
181
+ ["FAQ 20건을 μƒμ„Έν•˜κ²Œ μž‘μ„±ν•˜λΌ. 4000토큰 이상 μ‚¬μš©ν•˜λΌ."],
182
+ ["μ‚¬μš© 방법과 차별점, νŠΉμ§•, 강점을 μ€‘μ‹¬μœΌλ‘œ 4000 토큰 이상 유튜브 μ˜μƒ 슀크립트 ν˜•νƒœλ‘œ μž‘μ„±ν•˜λΌ"],
183
+ ["λ³Έ μ„œλΉ„μŠ€λ₯Ό SEO μ΅œμ ν™”ν•˜μ—¬ λΈ”λ‘œκ·Έ 포슀트(λ°°κ²½ 및 ν•„μš”μ„±, κΈ°μ‘΄ μœ μ‚¬ μ„œλΉ„μŠ€μ™€ λΉ„κ΅ν•˜μ—¬ 특μž₯점, ν™œμš©μ²˜, κ°€μΉ˜, κΈ°λŒ€νš¨κ³Ό, 결둠을 포함)둜 4000 토큰 이상 μž‘μ„±ν•˜λΌ"],
184
+ ["νŠΉν—ˆ μΆœμ›μ— ν™œμš©ν•  기술 및 λΉ„μ¦ˆλ‹ˆμŠ€λͺ¨λΈ 츑면을 ν¬ν•¨ν•˜μ—¬ νŠΉν—ˆ μΆœμ›μ„œ ꡬ성에 맞게 ν˜μ‹ μ μΈ 창의 발λͺ… λ‚΄μš©μ„ μ€‘μ‹¬μœΌλ‘œ 4000 토큰 이상 μž‘μ„±ν•˜λΌ."],
185
+ ["계속 μ΄μ–΄μ„œ λ‹΅λ³€ν•˜λΌ"],
186
+ ],
187
+ inputs=user_message,
188
+ label="예제 선택",
189
+ )
190
+
191
+ gr.Markdown("## 주의 사항")
192
+ gr.Markdown("""
193
+ - **CSV μ—…λ‘œλ“œ**: CSV νŒŒμΌμ„ μ—…λ‘œλ“œν•˜λ©΄ μžλ™μœΌλ‘œ Parquet 파일둜 λ³€ν™˜λ©λ‹ˆλ‹€.
194
+ - **Parquet 미리보기**: μ—…λ‘œλ“œλœ Parquet 파일의 첫 10개 행이 미리보기둜 ν‘œμ‹œλ©λ‹ˆλ‹€.
195
+ - **LLM과의 λŒ€ν™”**: λ³€ν™˜λœ Parquet 파일 λ‚΄μš©μ„ 기반으둜 LLM이 응닡을 μƒμ„±ν•©λ‹ˆλ‹€.
196
+ """)
197
+
198
+ gr.Markdown("### Gradio μΈν„°νŽ˜μ΄μŠ€λ₯Ό μ‚¬μš©ν•˜μ—¬ LLM λͺ¨λΈκ³Ό μƒν˜Έμž‘μš©ν•˜μ„Έμš”!")
199
 
200
  if __name__ == "__main__":
201
  demo.launch()