Hugging Face's logo

s3nh
/
Llama2-Chinese-13b-Chat-GGML

Text Generation
Transformers
Chinese
Inference Endpoints
Model card Files Community
Llama2-Chinese-13b-Chat-GGML
File size: 2,174 Bytes 
4356cc4
 
 
ed9c1a9
4356cc4
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
ed9c1a9
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
 
---
license: openrail
language:
- zh
pipeline_tag: text-generation
library_name: transformers
---


## Original model card 

Buy me a coffee if you like this project ;)
<a href="https://www.buymeacoffee.com/s3nh"><img src="https://www.buymeacoffee.com/assets/img/guidelines/download-assets-sm-1.svg" alt=""></a>

#### Description 

GGML Format model files for [This project](https://huggingface.co/FlagAlpha/Llama2-Chinese-13b-Chat).


### inference 


```python

import ctransformers

from ctransformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained(output_dir, ggml_file,
gpu_layers=32, model_type="llama")

manual_input: str = "Tell me about your last dream, please."


llm(manual_input, 
      max_new_tokens=256, 
      temperature=0.9, 
      top_p= 0.7)

```



# Original model card
# Llama2中文社区

---
## Llama2中文微调参数
由于Llama2本身的中文对齐较弱，我们采用中文指令集，对meta-llama/Llama-2-13b-chat-hf进行LoRA微调，使其具备较强的中文对话能力。

🎯 **该版本为LoRA中文微调参数FlagAlpha/Llama2-Chinese-13b-Chat-LoRA和meta-llama/Llama-2-13b-chat-hf参数结合后的版本，可直接使用**

---


## 🚀 社区地址：

Github：[**Llama2-Chinese**](https://github.com/FlagAlpha/Llama2-Chinese)

在线体验链接：[**llama.family**](https://llama.family/)

## 🔥 社区介绍
欢迎来到Llama2中文社区！

我们是一个专注于Llama2模型在中文方面的优化和上层建设的高级技术社区。

**基于大规模中文数据，从预训练开始对Llama2模型进行中文能力的持续迭代升级**。

我们热忱欢迎对大模型LLM充满热情的开发者和研究者加入我们的行列。

## 🐼 社区资源
  - Llama2在线体验链接[**llama.family**](https://llama.family/)，同时包含Meta原版和中文微调版本！
  - Llama2 Chat模型的[中文问答能力评测](https://github.com/FlagAlpha/Llama2-Chinese/tree/main#-%E6%A8%A1%E5%9E%8B%E8%AF%84%E6%B5%8B)！
  - [社区飞书知识库](https://chinesellama.feishu.cn/wiki/space/7257824476874768388?ccm_open_type=lark_wiki_spaceLink)，欢迎大家一起共建！