aixsatoshi commited on
Commit
e34170b
1 Parent(s): 2b3184e

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +10 -18
app.py CHANGED
@@ -13,22 +13,17 @@ from huggingface_hub import hf_hub_download
13
 
14
  # モデルのダウンロード
15
  hf_hub_download(
16
- repo_id="team-hatakeyama-phase2/Tanuki-8x8B-dpo-v1.0-GGUF",
17
- filename="Tanuki-8x8B-dpo-v1.0-IQ4_NL.gguf",
18
  local_dir="./models"
19
  )
20
 
21
  hf_hub_download(
22
- repo_id="team-hatakeyama-phase2/Tanuki-8x8B-dpo-v1.0-GGUF",
23
- filename="Tanuki-8x8B-dpo-v1.0-Q6_K.gguf",
24
  local_dir="./models"
25
  )
26
 
27
- hf_hub_download(
28
- repo_id="team-hatakeyama-phase2/Tanuki-8x8B-dpo-v1.0-GGUF",
29
- filename="Tanuki-8x8B-dpo-v1.0-IQ3_M.gguf",
30
- local_dir="./models"
31
- )
32
 
33
 
34
 
@@ -121,11 +116,9 @@ def respond(
121
  yield outputs
122
 
123
  description = """<p align="center">★画面下のAdditional Inputから、使用したいモデルと、チャットテンプレートを選択してください。★</p>
124
- <p align="center">★使用時の注意:現在GGUF版は著明な性能低下が確認されていますので、本来の性能が発揮されていません。本来の性能は公式推奨の推論方法ご利用ください★</p>
125
  <p><center>
126
- <a href="https://huggingface.co/team-hatakeyama-phase2/Tanuki-8x8B-dpo-v1.0-GGUF/" target="_blank">Tanuki-8x8B-dpo-v1.0-IQ4_NL.gguf</a><br>
127
- <a href="https://huggingface.co/team-hatakeyama-phase2/Tanuki-8x8B-dpo-v1.0-GGUF/" target="_blank">Tanuki-8x8B-dpo-v1.0-Q6_K.gguf</a><br>
128
- <a href="https://huggingface.co/team-hatakeyama-phase2/Tanuki-8x8B-dpo-v1.0-GGUF/" target="_blank">Tanuki-8x8B-dpo-v1.0-IQ3_M.gguf</a><br>
129
  </center></p>
130
  """
131
 
@@ -139,16 +132,15 @@ demo = gr.ChatInterface(
139
  respond,
140
  additional_inputs=[
141
  gr.Dropdown([
142
- 'Tanuki-8x8B-dpo-v1.0-IQ4_NL.gguf',
143
- 'Tanuki-8x8B-dpo-v1.0-Q6_K.gguf',
144
- 'Tanuki-8x8B-dpo-v1.0-IQ3_M.gguf'
145
  ],
146
- value="Tanuki-8x8B-dpo-v1.0-IQ4_NL.gguf",
147
  label="Model"
148
  ),
149
  gr.Dropdown(
150
  choices=templates,
151
- value="ALPACA",
152
  label="Template"
153
  ),
154
  gr.Textbox(value="以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。", label="System message"),
 
13
 
14
  # モデルのダウンロード
15
  hf_hub_download(
16
+ repo_id="mmnga/c4ai-command-r-plus-08-2024-gguf",
17
+ filename="c4ai-command-r-plus-08-2024-IQ2_M.gguf",
18
  local_dir="./models"
19
  )
20
 
21
  hf_hub_download(
22
+ repo_id="mmnga/c4ai-command-r-plus-08-2024-gguf",
23
+ filename="c4ai-command-r-plus-08-2024-IQ1_M.gguf",
24
  local_dir="./models"
25
  )
26
 
 
 
 
 
 
27
 
28
 
29
 
 
116
  yield outputs
117
 
118
  description = """<p align="center">★画面下のAdditional Inputから、使用したいモデルと、チャットテンプレートを選択してください。★</p>
 
119
  <p><center>
120
+ <a href="https://huggingface.co/mmnga/c4ai-command-r-plus-08-2024-gguf/" target="_blank">c4ai-command-r-plus-08-2024-IQ2_M.gguf</a><br>
121
+ <a href="https://huggingface.co/mmnga/c4ai-command-r-plus-08-2024-gguf/" target="_blank">c4ai-command-r-plus-08-2024-IQ1_M.gguf</a><br>
 
122
  </center></p>
123
  """
124
 
 
132
  respond,
133
  additional_inputs=[
134
  gr.Dropdown([
135
+ 'c4ai-command-r-plus-08-2024-IQ2_M.gguf',
136
+ 'c4ai-command-r-plus-08-2024-IQ2_M.gguf'
 
137
  ],
138
+ value="c4ai-command-r-plus-08-2024-IQ2_M.gguf",
139
  label="Model"
140
  ),
141
  gr.Dropdown(
142
  choices=templates,
143
+ value="CHATML",
144
  label="Template"
145
  ),
146
  gr.Textbox(value="以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。", label="System message"),