Update docs/vllm_deployment_guide_cn.md
Browse files- docs/vllm_deployment_guide_cn.md +10 -18
docs/vllm_deployment_guide_cn.md
CHANGED
@@ -44,12 +44,13 @@ git clone https://huggingface.co/MiniMaxAI/MiniMax-M1-80k
|
|
44 |
为确保部署环境的一致性和稳定性,我们推荐使用 Docker 进行部署。
|
45 |
|
46 |
⚠️ **版本要求**:
|
47 |
-
- 基础要求:vLLM 版本必须 ≥ 0.
|
48 |
-
-
|
49 |
-
-
|
50 |
-
- 将 `config['architectures'] = ["MiniMaxM1ForCausalLM"]` 修改为 `config['architectures'] = ["MiniMaxText01ForCausalLM"]`
|
51 |
|
52 |
1. 获取容器镜像:
|
|
|
|
|
53 |
```bash
|
54 |
docker pull vllm/vllm-openai:v0.8.3
|
55 |
```
|
@@ -72,21 +73,12 @@ sudo docker run -it \
|
|
72 |
--name $NAME \
|
73 |
$DOCKER_RUN_CMD \
|
74 |
$IMAGE /bin/bash
|
75 |
-
```
|
76 |
-
|
77 |
-
|
78 |
-
### 方案二:直接安装 vLLM
|
79 |
-
|
80 |
-
如果您的环境满足以下要求:
|
81 |
-
|
82 |
-
- CUDA 12.1
|
83 |
-
- PyTorch 2.1
|
84 |
|
85 |
-
|
86 |
-
|
87 |
-
|
88 |
-
|
89 |
-
pip install
|
90 |
```
|
91 |
|
92 |
💡 如果您使用其他环境配置,请参考 [vLLM 安装指南](https://docs.vllm.ai/en/latest/getting_started/installation.html)
|
|
|
44 |
为确保部署环境的一致性和稳定性,我们推荐使用 Docker 进行部署。
|
45 |
|
46 |
⚠️ **版本要求**:
|
47 |
+
- 基础要求:vLLM 版本必须 ≥ 0.9.2,以确保对 MiniMax-M1 模型的完整支持
|
48 |
+
- 特殊说明:如果使用低于 0.9.2 的 vLLM 版本,会遇见无法支持该模型或者精度不正确的情况:
|
49 |
+
- 详情见:[Fix minimax model cache & lm_head precision #19592](https://github.com/vllm-project/vllm/pull/19592)
|
|
|
50 |
|
51 |
1. 获取容器镜像:
|
52 |
+
|
53 |
+
目前 vLLM 官方还未推出v0.9.2版本 docker,我们以 v0.8.3 为例子进行手动编译 vLLM:
|
54 |
```bash
|
55 |
docker pull vllm/vllm-openai:v0.8.3
|
56 |
```
|
|
|
73 |
--name $NAME \
|
74 |
$DOCKER_RUN_CMD \
|
75 |
$IMAGE /bin/bash
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
76 |
|
77 |
+
# 编译 vLLM
|
78 |
+
cd $CODE_DIR
|
79 |
+
git clone https://github.com/vllm-project/vllm.git
|
80 |
+
cd vllm
|
81 |
+
pip install -e .
|
82 |
```
|
83 |
|
84 |
💡 如果您使用其他环境配置,请参考 [vLLM 安装指南](https://docs.vllm.ai/en/latest/getting_started/installation.html)
|