Spaces:
Paused
Paused
Update app.py
Browse files
app.py
CHANGED
@@ -32,14 +32,14 @@ base_model = "TheBloke/airoboros-65B-gpt4-1.3-GPTQ" #model_basename = "airoboro
|
|
32 |
|
33 |
####################################
|
34 |
#Model und Tokenzier laden
|
35 |
-
tokenizer,model,device = load_tokenizer_and_model(base_model,False)
|
36 |
|
37 |
################################
|
38 |
#Alternativ: Model und Tokenizer für GPT2
|
39 |
#tokenizer,model,device = load_tokenizer_and_model_gpt2(base_model,False)
|
40 |
|
41 |
#Alternativ bloke gpt3 und4 - only with GPU upgarde
|
42 |
-
|
43 |
|
44 |
#Alternativ Model und Tokenzier laden für Baize
|
45 |
#tokenizer,model,device = load_tokenizer_and_model_Baize(base_model,False)
|
|
|
32 |
|
33 |
####################################
|
34 |
#Model und Tokenzier laden
|
35 |
+
#tokenizer,model,device = load_tokenizer_and_model(base_model,False)
|
36 |
|
37 |
################################
|
38 |
#Alternativ: Model und Tokenizer für GPT2
|
39 |
#tokenizer,model,device = load_tokenizer_and_model_gpt2(base_model,False)
|
40 |
|
41 |
#Alternativ bloke gpt3 und4 - only with GPU upgarde
|
42 |
+
tokenizer,model,device = load_tokenizer_and_model_bloke_gpt(base_model, "airoboros-65b-gpt4-1.3-GPTQ-4bit--1g.act.order")
|
43 |
|
44 |
#Alternativ Model und Tokenzier laden für Baize
|
45 |
#tokenizer,model,device = load_tokenizer_and_model_Baize(base_model,False)
|