README.md

metadata

license: apache-2.0

SecGPT 网络安全大模型

项目

• GitHub
• 原版Pytorch模型

简介

• 随着大语言模型的崛起，网安大模型也掀起了一股热潮本人在逛 GitHub 时偶然发现了云起无垠开源的 SecGPT，但官方调用脚本中使用了 Cuda，且没有提供 GGUF 版本，故使用了 llama.cpp 的 convert 脚本进行转换

测试设备

• MacBook Pro 16 寸
• M3 Max
• 48 GB

Usage

• 分为 secgpt.gguf 与 secgpt-mini.gguf 两个版本
  • secgpt.gguf 需 26.5 G 显存
  • secgpt-mini.gguf 需 1.6 G 显存
• 使用方法
  • 将 GGUF 导入 LM Studio，并使用 secgpt-all.json 作为参数配置