Spaces:
Running
Running
Update app.py
Browse files
app.py
CHANGED
@@ -15,7 +15,7 @@ description = f"Chat with <a href=\"https://huggingface.co/{model_id}\">{model_n
|
|
15 |
|
16 |
print("loading model")
|
17 |
# Initialize the LLM
|
18 |
-
llm = Llama(model_path="
|
19 |
n_ctx=32768,
|
20 |
n_threads=2,
|
21 |
chat_format=chat_template)
|
@@ -53,4 +53,4 @@ gr.ChatInterface(
|
|
53 |
["Was ist 9+2-1?"],
|
54 |
["Schreibe Python code um die Fibonacci-Reihenfolge auszugeben."]
|
55 |
]
|
56 |
-
).queue().launch(
|
|
|
15 |
|
16 |
print("loading model")
|
17 |
# Initialize the LLM
|
18 |
+
llm = Llama(model_path="/tmp/hfcache/models--LSX-UniWue--LLaMmlein_1B_alternative_formats/snapshots/7d97b69ae6910b5f317be2dbd5b4820d848c66b4/LLaMmlein_1B_chat_selected.gguf",
|
19 |
n_ctx=32768,
|
20 |
n_threads=2,
|
21 |
chat_format=chat_template)
|
|
|
53 |
["Was ist 9+2-1?"],
|
54 |
["Schreibe Python code um die Fibonacci-Reihenfolge auszugeben."]
|
55 |
]
|
56 |
+
).queue().launch()
|