# MiniCPM

## 介绍 Introduction


- 与`Llama`的关系 The Relationship between `Llama`

    `MiniCPM`与`Llama`均使用了仅解码器架构。代码实现上，`MiniCPM`基于`Llama`实现，增加了放缩机制。

    `MiniCPM` uses Decoder-only Structure as well as `Llama`. The implementation of `MiniCPM` is based on `Llama` code, with scaling mechenism added.

## 软件依赖 Dependency

- `transformers >= 4.36.0`
- `accelerate`

## 使用 Usage

我们推荐使用`AutoModelForCausalLM`与`AutoTokenizer`载入`MiniCPM`，并使用`torch.bfloat16`作为计算精度。我们推荐在GPU上进行推理。

We recommend using `AutoModelForCausalLM` and `AutoTokenizer` to load `MiniCPM`, and use `torch.bfloat16` as the calculation precision. GPU reference is recommended.

以下是一个使用`MiniCPM`生成的例子。

An example is provided below for using `MiniCPM` to generate tokens.

```python
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

path = '/data/miniCPM_opensource/miniCPM-bf16' # TODO

tokenizer = AutoTokenizer.from_pretrained(path)
model = AutoModelForCausalLM.from_pretrained(path, torch_dtype=torch.bfloat16, device_map='auto', trust_remote_code=True)

dialog = [{'role': 'user', 'content': '请问中国哪几个城市最适合旅游？'}]

input = tokenizer.apply_chat_template(dialog, tokenize=False, add_generation_prompt=False)
enc = tokenizer(input, return_tensors='pt').to('cuda')

output = model.generate(**enc, max_length=1024)
print(tokenizer.decode(output[0]))
```

期望的输出 Expected Output:
```
<s> <用户>请问中国哪几个城市最适合旅游？<AI> 中国是一个拥有丰富旅游资源的国家，每个城市都有其独特的魅力。以下是一些建议的中国城市，它们都适合旅游：

1. 北京：作为中国的首都，北京拥有丰富的历史和文化资源，如故宫、天安门广场、颐和园、长城等。此外，北京还有许多现代化的景点，如鸟巢、水立方、798艺术区等。

2. 上海：作为中国的经济中心，上海拥有许多现代化的建筑和景点，如外滩、东方明珠、豫园等。此外，上海还有许多世界级的博物馆和艺术馆，如上海博物馆、上海科技馆等。

3. 西安：作为古都，西安拥有丰富的历史和文化资源，如兵马俑、大雁塔、华清池等。此外，西安还有许多现代化的景点，如钟楼、鼓楼、回民街等。

4. 成都：作为美食之都，成都拥有许多著名的美食，如火锅、串串香、麻辣烫等。此外，成都还有许多现代化的景点，如春熙路、武侯祠、大熊猫繁育研究基地等。

5. 杭州：作为美丽的西湖所在地，杭州拥有许多著名的景点，如西湖、灵隐寺、宋城等。此外，杭州还有许多现代化的景点，如钱江新城、滨江公园、杭州大剧院等。

6. 广州：作为南方城市，广州拥有许多现代化的景点，如珠江夜游、白云山、广州塔等。此外，广州还有许多著名的美食，如广式早茶、肠粉、烧腊等。

7. 南京：作为六朝古都，南京拥有丰富的历史和文化资源，如中山陵、夫子庙、明孝陵等。此外，南京还有许多现代化的景点，如南京博物院、南京大报恩寺、南京奥体中心等。

8. 武汉：作为江城，武汉拥有许多著名的景点，如黄鹤楼、东湖、户部巷等。此外，武汉还有许多现代化的景点，如武汉长江大桥、武汉科技馆、武汉国际会展中心等。

9. 深圳：作为经济特区，深圳拥有许多现代化的景点，如深圳湾公园、华侨城、世界之窗等。此外，深圳还有许多著名的美食，如深圳海鲜、深圳火锅等。

10. 青岛：作为海滨城市，青岛拥有美丽的海滩和风景，如青岛奥帆中心、栈桥、崂山等。此外，青岛还有许多现代化的景点，如青岛啤酒博物馆、青岛海洋博物馆、青岛国际啤酒城等。

以上是一些建议的中国城市，它们都适合旅游。当然，中国还有很多其他美丽的地方，如桂林、黄山、丽江、张家界等，每个地方都有其独特的魅力。在选择旅游目的地时，可以根据自己的兴趣和喜好来决定。</s>
```

## 引用 Reference