File size: 4,320 Bytes
729d215 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 |
# MiniCPM
## 介绍 Introduction
- 与`Llama`的关系 The Relationship between `Llama`
`MiniCPM`与`Llama`均使用了仅解码器架构。代码实现上，`MiniCPM`基于`Llama`实现，增加了放缩机制。
`MiniCPM` uses Decoder-only Structure as well as `Llama`. The implementation of `MiniCPM` is based on `Llama` code, with scaling mechenism added.
## 软件依赖 Dependency
- `transformers >= 4.36.0`
- `accelerate`
## 使用 Usage
我们推荐使用`AutoModelForCausalLM`与`AutoTokenizer`载入`MiniCPM`，并使用`torch.bfloat16`作为计算精度。我们推荐在GPU上进行推理。
We recommend using `AutoModelForCausalLM` and `AutoTokenizer` to load `MiniCPM`, and use `torch.bfloat16` as the calculation precision. GPU reference is recommended.
以下是一个使用`MiniCPM`生成的例子。
An example is provided below for using `MiniCPM` to generate tokens.
```python
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
path = '/data/miniCPM_opensource/miniCPM-bf16' # TODO
tokenizer = AutoTokenizer.from_pretrained(path)
model = AutoModelForCausalLM.from_pretrained(path, torch_dtype=torch.bfloat16, device_map='auto', trust_remote_code=True)
dialog = [{'role': 'user', 'content': '请问中国哪几个城市最适合旅游？'}]
input = tokenizer.apply_chat_template(dialog, tokenize=False, add_generation_prompt=False)
enc = tokenizer(input, return_tensors='pt').to('cuda')
output = model.generate(**enc, max_length=1024)
print(tokenizer.decode(output[0]))
```
期望的输出 Expected Output:
```
<s> <用户>请问中国哪几个城市最适合旅游？<AI> 中国是一个拥有丰富旅游资源的国家，每个城市都有其独特的魅力。以下是一些建议的中国城市，它们都适合旅游：
1. 北京：作为中国的首都，北京拥有丰富的历史和文化资源，如故宫、天安门广场、颐和园、长城等。此外，北京还有许多现代化的景点，如鸟巢、水立方、798艺术区等。
2. 上海：作为中国的经济中心，上海拥有许多现代化的建筑和景点，如外滩、东方明珠、豫园等。此外，上海还有许多世界级的博物馆和艺术馆，如上海博物馆、上海科技馆等。
3. 西安：作为古都，西安拥有丰富的历史和文化资源，如兵马俑、大雁塔、华清池等。此外，西安还有许多现代化的景点，如钟楼、鼓楼、回民街等。
4. 成都：作为美食之都，成都拥有许多著名的美食，如火锅、串串香、麻辣烫等。此外，成都还有许多现代化的景点，如春熙路、武侯祠、大熊猫繁育研究基地等。
5. 杭州：作为美丽的西湖所在地，杭州拥有许多著名的景点，如西湖、灵隐寺、宋城等。此外，杭州还有许多现代化的景点，如钱江新城、滨江公园、杭州大剧院等。
6. 广州：作为南方城市，广州拥有许多现代化的景点，如珠江夜游、白云山、广州塔等。此外，广州还有许多著名的美食，如广式早茶、肠粉、烧腊等。
7. 南京：作为六朝古都，南京拥有丰富的历史和文化资源，如中山陵、夫子庙、明孝陵等。此外，南京还有许多现代化的景点，如南京博物院、南京大报恩寺、南京奥体中心等。
8. 武汉：作为江城，武汉拥有许多著名的景点，如黄鹤楼、东湖、户部巷等。此外，武汉还有许多现代化的景点，如武汉长江大桥、武汉科技馆、武汉国际会展中心等。
9. 深圳：作为经济特区，深圳拥有许多现代化的景点，如深圳湾公园、华侨城、世界之窗等。此外，深圳还有许多著名的美食，如深圳海鲜、深圳火锅等。
10. 青岛：作为海滨城市，青岛拥有美丽的海滩和风景，如青岛奥帆中心、栈桥、崂山等。此外，青岛还有许多现代化的景点，如青岛啤酒博物馆、青岛海洋博物馆、青岛国际啤酒城等。
以上是一些建议的中国城市，它们都适合旅游。当然，中国还有很多其他美丽的地方，如桂林、黄山、丽江、张家界等，每个地方都有其独特的魅力。在选择旅游目的地时，可以根据自己的兴趣和喜好来决定。</s>
```
## 引用 Reference |