SGLang 原本以大语言模型高性能推理引擎为人熟知，自 2025 年 11 月正式推出 SGLang Diffusion 模块后，已成为扩散模型部署领域的重要方案。官方基准测试显示，在 H100/H200 显卡上可实现 1.2x ~ 5.9x 的推理加速，原生支持 Diffusers 格式的图像与视频生成模型，提供与 OpenAI 兼容的 API 接口，开箱即用。
本文将从环境搭建、基础部署到高级优化，完整介绍如何用 SGLang 部署 Diffusers 格式的扩散模型。
一、环境与硬件要求
硬件最低配置
- GPU：NVIDIA 显卡，显存 8GB 以上（推荐 24GB 及以上，如 RTX 4090）
- CUDA：12.1 及以上版本
- 系统内存：16GB 以上
- 操作系统：Linux 为主，Windows 可通过 WSL2 运行
生产环境推荐配置
- GPU：NVIDIA A100 / H100 80GB 或 RTX 4090 24GB
- 多卡支持：支持张量并行（TP）与序列并行（USP）
- 系统内存：32GB 及以上
- Python：3.10 ~ 3.12
二、安装 SGLang Diffusion
SGLang 提供两种安装方式，推荐使用 uv 以获得更快的安装速度。
方式一：pip /uv 安装（推荐）
bash
运行
# 创建虚拟环境
python -m venv sglang-env
source sglang-env/bin/activate
# 使用 pip 安装
pip install 'sglang[diffusion]' --prerelease=allow
# 或使用 uv 安装（速度更快）
uv pip install 'sglang[diffusion]' --prerelease=allow
方式二：源码安装
适合需要自定义修改或使用最新特性的场景：
bash
运行
git clone https://github.com/sgl-project/sglang.git
cd sglang
uv pip install -e "python[diffusion]" --prerelease=allow
安装完成后，可通过 sglang --version 验证安装是否成功。
三、快速上手：两种运行模式
SGLang 提供两种运行模式：一次性生成（generate）和服务化部署（serve）。
3.1 命令行单次生成
适合快速测试模型效果，无需启动常驻服务：
bash
运行
sglang generate \
--model-path black-forest-labs/FLUX.1-dev \
--prompt "A beautiful sunset over snow-capped mountains, cinematic lighting" \
--num-inference-steps 20 \
--guidance-scale 3.5 \
--save-output
执行后会在当前目录生成图片文件，--model-path 支持 HuggingFace 模型 ID 或本地模型路径。
3.2 服务化部署（HTTP API）
生产环境推荐使用 serve 模式启动常驻服务，支持批量请求与并发调度：
bash
运行
sglang serve \
--model-path black-forest-labs/FLUX.1-dev \
--host 0.0.0.0 \
--port 30000 \
--num-gpus 1
服务启动后，默认提供 OpenAI 兼容的 Images API，可直接使用 OpenAI SDK 或 curl 调用。
四、API 调用方式
4.1 curl 调用示例
bash
运行
curl http://127.0.0.1:30000/v1/images/generations \
-H "Content-Type: application/json" \
-d '{
"model": "black-forest-labs/FLUX.1-dev",
"prompt": "A cyberpunk city street at night, neon lights, rain",
"size": "1024x1024",
"num_inference_steps": 20,
"guidance_scale": 3.5,
"seed": 42,
"n": 1
}' \
-o response.json
返回结果中 data[0].b64_json 为 base64 编码的图片数据，可自行解码保存。
4.2 Python OpenAI SDK 调用
python
运行
import base64
from openai import OpenAI
client = OpenAI(
api_key="sk-placeholder",
base_url="http://127.0.0.1:30000/v1"
)
response = client.images.generate(
model="black-forest-labs/FLUX.1-dev",
prompt="A serene Japanese garden in autumn",
size="1024x1024",
num_inference_steps=20,
guidance_scale=3.5,
seed=42,
response_format="b64_json"
)
# 保存图片
img_data = base64.b64decode(response.data[0].b64_json)
with open("output.png", "wb") as f:
f.write(img_data)
五、核心部署参数详解
5.1 基础运行参数
表格
| 参数 | 说明 |
|---|---|
--model-path |
模型路径，支持 HuggingFace ID / 本地路径 / ModelScope ID |
--host |
服务监听地址，默认 127.0.0.1 |
--port |
服务端口，默认 30000 |
--num-gpus |
使用的 GPU 数量 |
--base-gpu-id |
起始 GPU 设备 ID |
--backend |
推理后端：auto / sglang / diffusers |
关于
--backend：默认auto会优先使用 SGLang 原生优化内核；若模型暂无原生支持，可指定diffusers回退到原生 Diffusers 管线，保证兼容性。
5.2 生成质量参数
--num-inference-steps：推理步数，步数越高质量越好但速度越慢--guidance-scale：提示词引导强度--height/--width：生成图像尺寸--seed：随机种子，用于复现结果--negative-prompt：负面提示词
5.3 组件级替换
SGLang 支持单独替换管线中的某个组件（如 VAE、Text Encoder），无需修改整个模型：
bash
运行
sglang serve \
--model-path black-forest-labs/FLUX.2-dev \
--vae-path fal/FLUX.2-Tiny-AutoEncoder \
--port 30000
组件名称必须与模型 model_index.json 中的键对应，路径可以是 HuggingFace 仓库 ID 或本地目录。
六、量化与显存优化
对于大参数量模型（如 FLUX.1 [schnell/dev]、Wan 系列），显存是主要瓶颈。SGLang 支持多种量化方案。
6.1 Nunchaku 量化（INT4 / FP4）
Nunchaku 是 SGLang 支持的离线量化方案，适合 NVIDIA Ampere 及以上架构：
bash
运行
sglang generate \
--model-path Qwen/Qwen-Image \
--enable-svdquant \
--quantization-precision int4 \
--quantization-rank 128 \
--prompt "a beautiful sunset" \
--save-output
int4：显存占用最低，适合 24GB 消费级显卡nvfp4：精度损失更小，推荐画质优先场景
6.2 MXFP8 在线量化
加载时自动量化，无需提前处理权重，适合昇腾 NPU 与部分 NVIDIA 新架构：
bash
运行
sglang generate \
--model-path Wan-AI/Wan2.2-T2V-A14B-Diffusers \
--quantization mxfp8 \
--prompt "a fox walking through neon rain" \
--save-output
七、多 GPU 并行部署
SGLang Diffusion 支持多种并行策略，用于大模型多卡部署。
7.1 基础多卡启动
bash
运行
sglang serve \
--model-path Wan-AI/Wan2.1-T2V-1.3B-Diffusers \
--num-gpus 4 \
--ulysses-degree 2 \
--ring-degree 2 \
--port 30010
--ulysses-degree：Ulysses 序列并行度--ring-degree：Ring 注意力并行度- 两者乘积通常等于 GPU 总数
7.2 解耦式部署（Disaggregated Pipeline）
高级部署模式，将编码器、去噪器、解码器拆分到不同 GPU 甚至不同节点上运行，适合超大模型与弹性扩缩容场景SGLang：
bash
运行
# 终端1：Encoder 节点
sglang serve --model-path Wan-AI/Wan2.1-T2V-1.3B-Diffusers \
--disagg-role encoder --disagg-listen-port 19000
# 终端2：Denoiser 节点
sglang serve --model-path Wan-AI/Wan2.1-T2V-1.3B-Diffusers \
--disagg-role denoiser --disagg-listen-port 19001
# 终端3：Decoder 节点
sglang serve --model-path Wan-AI/Wan2.1-T2V-1.3B-Diffusers \
--disagg-role decoder --disagg-listen-port 19002
# 终端4：主服务节点（接收 HTTP 请求）
sglang serve --model-path Wan-AI/Wan2.1-T2V-1.3B-Diffusers \
--disagg-role server \
--encoder-urls "tcp://127.0.0.1:19000" \
--denoiser-urls "tcp://127.0.0.1:19001" \
--decoder-urls "tcp://127.0.0.1:19002" \
--host 0.0.0.0 --port 22000
八、LoRA 动态加载
SGLang 支持运行时动态加载、切换、卸载 LoRA 权重，无需重启服务，权重缓存在内存中，切换开销极低Localize T…。
加载 LoRA
bash
运行
curl http://127.0.0.1:30000/v1/lora \
-H "Content-Type: application/json" \
-d '{
"action": "set",
"lora_name": "my_lora",
"lora_path": "/path/to/lora.safetensors",
"scale": 0.8
}'
卸载 LoRA
bash
运行
curl http://127.0.0.1:30000/v1/lora \
-H "Content-Type: application/json" \
-d '{"action": "unmerge_lora_weights"}'
九、支持的 Diffusers 模型
SGLang 原生支持主流 Diffusers 格式模型，涵盖图像与视频生成：
- 图像模型：FLUX 系列、SD3 / SD3.5、Qwen-Image、SANA、Hunyuan 等
- 视频模型：Wan 系列、FastWan、HunyuanVideo 等
完整兼容列表可参考官方 Compatibility Matrix。若模型暂无原生优化，可加 --backend diffusers 参数以兼容模式运行。
十、部署优化建议
- 显存不足优先量化：24GB 显卡跑 FLUX-dev 建议开启 INT4 量化
- 批量请求提升吞吐：SGLang 内置调度器会自动合并请求，高并发场景吞吐优势更明显
- 使用 TinyVAE：对于支持的模型，替换为轻量 VAE 可显著提速
- 模型本地缓存：将模型下载到本地磁盘，避免每次启动重复下载
- 设置合理的推理步数：如 FLUX schnell 推荐 4~8 步，dev 版本推荐 20~30 步
十一、常见问题排查
服务启动失败，提示 CUDA 错误
- 确认 CUDA 版本 ≥ 12.1
- 检查 PyTorch 与 CUDA 版本匹配
- 执行
nvidia-smi确认显卡驱动正常
显存不足（OOM）
- 开启量化：
--enable-svdquant --quantization-precision int4 - 降低生成分辨率
- 使用 VAE 切片或分块解码
- 多卡部署分摊显存
模型下载慢
- 设置国内镜像源：
export HF_ENDPOINT=https://hf-mirror.com - 或使用 ModelScope：
export SGLANG_USE_MODELSCOPE=1
SGLang Diffusion 仍在快速迭代中，其核心优势在于将大语言模型领域成熟的调度与优化技术迁移到扩散模型推理，在高并发生产场景下相比原生 Diffusers 有显著的吞吐提升。对于需要将文生图 / 文生视频能力产品化的团队，这是一套值得投入的部署方案。
