玩本地大模型的小伙伴应该都有同感：主流的 Transformers、vLLM 部署要么速度慢、吞吐低，要么显存占用高、小显卡跑不动，批量推理、流式输出的体验更是参差不齐。
今天给大家安利一款当下超火的高效大模型推理框架 ——SGLang，主打低显存占用、高推理速度、原生支持批量并发、流式响应，适配绝大多数主流开源大模型（Qwen、Llama、GLM、Phi 等）。
本篇博文手把手带大家完成SGLang 本地模型完整部署流程，从环境搭建、模型下载、服务启动，到接口调用、性能优化、问题排错，零基础也能一键复刻，轻松搭建属于自己的本地高速大模型服务。
一、为什么选 SGLang 部署本地模型？
先简单说下 SGLang 的核心优势，也是我弃用传统部署方案的核心原因，对比 vLLM、原生 Transformers 优势非常明显：
- 极致显存优化：依托 RadixAttention 注意力机制，复用推理缓存，大幅降低显存占用，16G 显卡可流畅运行 7B、13B 量化模型，低配设备也能跑通大模型
- 超高吞吐并发：原生支持批量推理、多请求并发处理，相比原生 Transformers 速度提升 3-10 倍，远超常规部署方案
- 开箱即用兼容：完美适配 Hugging Face 全系模型，支持 FP16、AWQ、GPTQ、FP8 等多种量化格式，无需复杂改代码
- 标准化接口：兼容 OpenAI API 格式，部署后可直接用 OpenAI 客户端、curl、Python 请求调用，无缝对接各类 AI 应用
- 全场景适配：支持 GPU 高速部署、CPU 轻量化运行，兼顾推理性能与设备兼容性
二、部署前置准备
1. 硬件要求
- 最低配置：CPU 可运行（仅适合轻量测试），推荐 NVIDIA 独显（支持 CUDA）
- 显存参考：7B 模型（AWQ-INT4 量化）≥ 8G 显存，13B 模型 ≥ 16G 显存，34B 模型 ≥ 24G 显存
2. 软件环境
三、一步步安装 SGLang 环境
推荐使用虚拟环境安装，避免依赖冲突，全程终端执行命令即可。
1. 创建虚拟环境
bash
运行
# 创建并激活 python 虚拟环境
conda create -n sglang python=3.12 -y
conda activate sglang
2. 安装 SGLang 核心依赖
官方推荐使用 pip 安装，自动适配当前 CUDA 环境：
bash
运行
# 升级 pip
pip install --upgrade pip
# 安装稳定版 SGLang（自动匹配 CUDA 环境）
pip install sglang[all]
说明：
sglang[all]会一并安装 FlashInfer 等加速后端，获得最佳推理性能。
3. 验证安装成功
bash
运行
python -c "import sglang; print('SGLang安装成功，版本：', sglang.__version__)"
输出版本号即代表环境搭建完成，无报错可进入下一步。
四、下载本地开源大模型
为避免在线加载模型时网络波动，建议提前将模型下载到本地，以常用的 Qwen2-7B-Instruct 为例，通用所有 HF 格式模型。
1. 安装模型下载工具
bash
运行
pip install huggingface-hub
2. 下载模型到本地
bash
运行
# 创建模型存放目录
mkdir -p ~/models/qwen2-7b-instruct
# 下载 Qwen2-7B-Instruct 模型到本地目录
huggingface-cli download Qwen/Qwen2-7B-Instruct \
--local-dir ~/models/qwen2-7b-instruct \
--local-dir-use-symlinks False
大家可按需替换模型地址，支持 Llama3、GLM4、Phi3、Mistral 等所有主流开源模型。显存紧张的用户建议直接下载 AWQ-INT4 量化版模型，如 Qwen/Qwen2-7B-Instruct-AWQ，下载速度更快、显存占用更低。
五、启动 SGLang 本地模型服务
核心步骤！SGLang 的官方启动入口是 sglang.launch_server 模块，一条命令即可启动高性能推理服务，兼容 OpenAI 接口格式。
1. 基础启动命令（通用推荐）
bash
运行
python -m sglang.launch_server \
--model-path ~/models/qwen2-7b-instruct \
--port 30000 \
--host 0.0.0.0
SGLang 默认端口为 30000，启动后访问
http://localhost:30000。
2. 显存优化启动命令（低配设备必加）
针对显存不足的场景，推荐使用 AWQ 量化模型并配合显存参数优化：
bash
运行
# 低配显卡优化启动命令（AWQ 量化模型 + 显存控制）
python -m sglang.launch_server \
--model-path ~/models/qwen2-7b-instruct-awq \
--port 30000 \
--host 0.0.0.0 \
--quantization awq \
--mem-fraction-static 0.85 \
--max-running-requests 8
如果使用的是原生 FP16 模型，想开启 INT8 权重量化，可以使用
--torchao-config int8wo参数（基于 torchao 实现）。
3. 关键参数说明
--model-path：本地模型绝对路径，替换为自己的模型存放目录--port：服务端口，默认 30000，可自定义修改--quantization：量化格式，支持awq/gptq/fp8/marlin/bitsandbytes/gguf等，需与模型文件格式匹配--mem-fraction-static：静态显存分配比例（默认 0.85），显存紧张可调小--max-running-requests：最大并发请求数，低配设备建议设为 4-8--host 0.0.0.0：允许局域网内其他设备访问服务
看到 Uvicorn running on http://0.0.0.0:30000 日志即代表部署成功。
六、本地模型接口调用测试
部署完成后，支持 curl 命令、Python OpenAI 客户端、流式输出 三种常用调用方式，完全兼容 OpenAI 接口。
1. curl 快速测试（终端验证）
bash
运行
curl http://localhost:30000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "default",
"messages": [{"role": "user", "content": "用一句话介绍SGLang框架"}],
"temperature": 0.7
}'
2. Python OpenAI 客户端调用（开发常用）
先安装依赖：pip install openai，执行以下代码：
python
运行
from openai import OpenAI
# 连接本地 SGLang 服务
client = OpenAI(
base_url="http://localhost:30000/v1",
api_key="dummy_key" # 本地部署无需真实密钥，占位即可
)
# 对话调用
response = client.chat.completions.create(
model="default",
messages=[{"role": "user", "content": "写一段简短的Python排序代码"}],
temperature=0.7,
stream=False
)
print(response.choices[0].message.content)
3. 流式输出调用（实时打字效果）
只需开启 stream=True，适配聊天机器人实时响应场景：
python
运行
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:30000/v1",
api_key="dummy_key"
)
# 流式输出
stream = client.chat.completions.create(
model="default",
messages=[{"role": "user", "content": "介绍本地大模型部署的优势"}],
stream=True
)
# 逐段打印响应
for chunk in stream:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")
七、CPU 模式运行说明
SGLang 核心定位是 GPU 高速推理引擎，没有专门的纯 CPU 部署环境变量。如果没有 NVIDIA 显卡，可以直接运行服务，框架会自动 fallback 到 CPU 推理：
bash
运行
# 直接启动，无 CUDA 环境自动走 CPU 路径
python -m sglang.launch_server \
--model-path ~/models/qwen2-7b-instruct \
--port 30000 \
--host 0.0.0.0
注意：CPU 推理速度较慢，仅适合功能验证和极小模型测试，不适合高并发场景。生产环境强烈建议使用 NVIDIA GPU。
八、常见问题与排错方案
- 显存溢出报错（OOM）：使用 AWQ/GPTQ 量化模型，降低
--mem-fraction-static数值，减少--max-running-requests并发数 - 模型加载失败：检查模型路径是否为绝对路径，确认模型文件完整，量化参数与模型格式是否匹配
- 端口占用：修改
--port端口号，或关闭占用端口的进程 - CUDA 版本不匹配：确保 PyTorch 与系统 CUDA 版本一致，可通过
pip install torch --upgrade重新安装对应版本 - 并发卡顿：适当降低
--max-running-requests，开启量化推理，关闭不必要的后台进程 - 量化参数报错：
--quantization后的值必须与模型格式对应（AWQ 模型用awq，GPTQ 模型用gptq），不能混用
九、总结
SGLang 作为新一代大模型推理框架，完美解决了本地部署慢、卡、显存高的痛点，部署简单、性能强悍、接口通用，不管是个人本地测试、小众模型微调验证，还是小型项目私有化部署，都是最优选择之一。
本篇教程从环境安装、模型下载、服务启动、接口测试到排错优化，覆盖了完整本地部署链路，替换任意开源模型均可直接复用这套流程，轻松搭建专属本地 AI 服务。
后续拓展：可基于该服务对接 LangChain、知识库 RAG、本地聊天 UI，打造全流程私有化 AI 应用。
