Update README.md
Browse files
README.md
CHANGED
|
@@ -43,7 +43,7 @@ pipeline_tag: text-generation
|
|
| 43 |
| 模型量化类型 | 载入显存 | 推理显存(ctx约600) | 推理显存(ctx约1800) |
|
| 44 |
|:-------:|:-------:|:-------:|:-------:|
|
| 45 |
| 全量 | 超出游戏显卡显存范围 | - | - |
|
| 46 |
-
| 8bit | 17G |
|
| 47 |
| 4bit | 11.3G | 14.9G | 17.4G |
|
| 48 |
| 3bit | 9.7G | 13.7G | 15.5G |
|
| 49 |
|
|
|
|
| 43 |
| 模型量化类型 | 载入显存 | 推理显存(ctx约600) | 推理显存(ctx约1800) |
|
| 44 |
|:-------:|:-------:|:-------:|:-------:|
|
| 45 |
| 全量 | 超出游戏显卡显存范围 | - | - |
|
| 46 |
+
| 8bit | 17G | 21.1G | 23.4G |
|
| 47 |
| 4bit | 11.3G | 14.9G | 17.4G |
|
| 48 |
| 3bit | 9.7G | 13.7G | 15.5G |
|
| 49 |
|