QscQ commited on
Commit
fa9d550
·
verified ·
1 Parent(s): df92e6f

Update docs/vllm_deployment_guide_cn.md

Browse files
Files changed (1) hide show
  1. docs/vllm_deployment_guide_cn.md +10 -18
docs/vllm_deployment_guide_cn.md CHANGED
@@ -44,12 +44,13 @@ git clone https://huggingface.co/MiniMaxAI/MiniMax-M1-80k
44
  为确保部署环境的一致性和稳定性,我们推荐使用 Docker 进行部署。
45
 
46
  ⚠️ **版本要求**:
47
- - 基础要求:vLLM 版本必须 ≥ 0.8.3,以确保对 MiniMax-M1 模型的完整支持
48
- - 特殊说明:如果使用 vLLM 0.8.3 至 0.9.2 之间的版本,需要修改模型配置文件:
49
- - 打开 `config.json`
50
- - 将 `config['architectures'] = ["MiniMaxM1ForCausalLM"]` 修改为 `config['architectures'] = ["MiniMaxText01ForCausalLM"]`
51
 
52
  1. 获取容器镜像:
 
 
53
  ```bash
54
  docker pull vllm/vllm-openai:v0.8.3
55
  ```
@@ -72,21 +73,12 @@ sudo docker run -it \
72
  --name $NAME \
73
  $DOCKER_RUN_CMD \
74
  $IMAGE /bin/bash
75
- ```
76
-
77
-
78
- ### 方案二:直接安装 vLLM
79
-
80
- 如果您的环境满足以下要求:
81
-
82
- - CUDA 12.1
83
- - PyTorch 2.1
84
 
85
- 可以直接安装 vLLM
86
-
87
- 安装命令:
88
- ```bash
89
- pip install vllm
90
  ```
91
 
92
  💡 如果您使用其他环境配置,请参考 [vLLM 安装指南](https://docs.vllm.ai/en/latest/getting_started/installation.html)
 
44
  为确保部署环境的一致性和稳定性,我们推荐使用 Docker 进行部署。
45
 
46
  ⚠️ **版本要求**:
47
+ - 基础要求:vLLM 版本必须 ≥ 0.9.2,以确保对 MiniMax-M1 模型的完整支持
48
+ - 特殊说明:如果使用低于 0.9.2 的 vLLM 版本,会遇见无法支持该模型或者精度不正确的情况:
49
+ - 详情见:[Fix minimax model cache & lm_head precision #19592](https://github.com/vllm-project/vllm/pull/19592)
 
50
 
51
  1. 获取容器镜像:
52
+
53
+ 目前 vLLM 官方还未推出v0.9.2版本 docker,我们以 v0.8.3 为例子进行手动编译 vLLM:
54
  ```bash
55
  docker pull vllm/vllm-openai:v0.8.3
56
  ```
 
73
  --name $NAME \
74
  $DOCKER_RUN_CMD \
75
  $IMAGE /bin/bash
 
 
 
 
 
 
 
 
 
76
 
77
+ # 编译 vLLM
78
+ cd $CODE_DIR
79
+ git clone https://github.com/vllm-project/vllm.git
80
+ cd vllm
81
+ pip install -e .
82
  ```
83
 
84
  💡 如果您使用其他环境配置,请参考 [vLLM 安装指南](https://docs.vllm.ai/en/latest/getting_started/installation.html)