JanPf commited on
Commit
3506310
·
verified ·
1 Parent(s): 283f6f2

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +2 -2
app.py CHANGED
@@ -15,7 +15,7 @@ description = f"Chat with <a href=\"https://huggingface.co/{model_id}\">{model_n
15
 
16
  print("loading model")
17
  # Initialize the LLM
18
- llm = Llama(model_path="model.gguf",
19
  n_ctx=32768,
20
  n_threads=2,
21
  chat_format=chat_template)
@@ -53,4 +53,4 @@ gr.ChatInterface(
53
  ["Was ist 9+2-1?"],
54
  ["Schreibe Python code um die Fibonacci-Reihenfolge auszugeben."]
55
  ]
56
- ).queue().launch(server_name="0.0.0.0")
 
15
 
16
  print("loading model")
17
  # Initialize the LLM
18
+ llm = Llama(model_path="/tmp/hfcache/models--LSX-UniWue--LLaMmlein_1B_alternative_formats/snapshots/7d97b69ae6910b5f317be2dbd5b4820d848c66b4/LLaMmlein_1B_chat_selected.gguf",
19
  n_ctx=32768,
20
  n_threads=2,
21
  chat_format=chat_template)
 
53
  ["Was ist 9+2-1?"],
54
  ["Schreibe Python code um die Fibonacci-Reihenfolge auszugeben."]
55
  ]
56
+ ).queue().launch()