Malaysian Mistral 7B 32k Instructions v4 - GGUF

Pengenalan

Repo ini mengandungi model berformat GGUF, iaitu format kepada llama.cpp yang dibangunkan menggunakan C/C++ dimana aplikasi ini kurang kebergantungan dengan software/library lain menjadikan ia ringan berbanding rata-rata aplikasi python.

Prompt template: Mistral

<s>[INST] This is a system prompt.

This is the first user input. [/INST] This is the first assistant response.
</s>[INST] This is the second user input. [/INST]

Fail yang diberikan

Sila rujuk Files and versions

Penghargaan

Terima kasih kepada Husein Zolkepli dan keseluruhan team mesolotica!

Atas jasa mereka, kita dapat menggunakan atau mencuba AI peringkat tempatan.


Downloads last month
29
GGUF
Model size
7.24B params
Architecture
llama

2-bit

3-bit

4-bit

5-bit

6-bit

8-bit

32-bit

Inference Examples
Inference API (serverless) has been turned off for this model.

Model tree for prsyahmi/malaysian-mistral-7b-32k-instructions-v4-GGUF

Quantized
(1)
this model