SGLang Diffusion 兼容性矩阵全解析:模型生态、优化特性与组件支持指南

16次阅读
没有评论

AI 生成内容领域,扩散模型的推理性能直接决定了生产效率与落地成本。SGLang Diffusion 作为主打高吞吐、低延迟的扩散模型推理框架,凭借丰富的优化技术与广泛的模型适配能力,成为越来越多开发者的部署选择。

为了帮助开发者快速匹配业务场景、选型合适的模型与优化方案,SGLang 官方发布了完整的兼容性矩阵,覆盖图像、视频、实时世界模型三大模态,同时梳理了优化技术、组件替换、LoRA 生态等全维度的支持情况。本文基于官方最新兼容性文档,系统拆解 SGLang Diffusion 的能力边界与使用要点。

一、全模态模型支持清单

SGLang Diffusion 支持直接通过 Hugging Face 模型 ID 加载模型,无论是sglang generate命令行生成、sglang serve服务部署,还是 Python API 调用,都可以直接传入对应 ID 使用。未列出的检查点别名也并非不支持,运行时注册器可自动识别同模型家族的本地目录与检测器别名。

目前支持的模型覆盖三大类场景:

1. 图像生成模型

图像生成是 SGLang Diffusion 最成熟的支持场景,覆盖当前主流的开源与商用图像模型家族:

  • FLUX 全系列:包含 FLUX.1-dev、FLUX.2-dev、FLUX.2-klein 4B/9B 等全版本,原生支持 NVFP4 量化版本
  • 通义 Z-Image 系列:Z-Image 基础版、Z-Image-Turbo 加速版
  • Qwen-Image 系列:覆盖基础文生图、图像编辑、分层生成等多个方向,包含 2509、2511、2512 等迭代版本
  • SD3/SD3.5 系列:Stability AI 官方的 medium、large 版本,完全兼容 diffusers 格式
  • SANA 高效系列:600M、1.6B、4.8B 等不同参数量的轻量模型,支持 512px、1024px 多种分辨率
  • 其他兼容模型:FireRed-Image 编辑模型、JoyAI-Image、GLM-Image、Hunyuan3D-2、ERNIE-Image、Ideogram 4 等

2. 视频生成模型

视频生成是 SGLang Diffusion 的核心优化场景,覆盖当前主流开源视频模型,支持文生图(T2V)、图生视频(I2V)、文图生视频(TI2V)等多种生成模式:

  • Wan 系列:包含 Wan2.1(1.3B/14B 参数量,支持 T2V/I2V 模式)、Wan2.2(5B TI2V、14B T2V/I2V)全系列,适配 480p、720p 分辨率
  • 速度优化衍生系列:主打轻量推理的 FastWan 系列、适配稀疏线性注意力的 TurboWan 系列,以及 FastHunyuan 加速版
  • 混元视频系列:官方 HunyuanVideo 与 FastHunyuan 优化版,支持 720×1280、544×960 竖屏分辨率
  • 特色视频模型:支持音视频同步生成的 MOVA 模型、Helios 系列 720p 模型、LTX-2/LTX-2.3 多阶段高清模型、NVIDIA Cosmos3 多模态模型,以及 Wan2.1 Fun 修复版等衍生模型

3. 实时世界模型

针对实时交互与世界模拟场景,支持两类专用世界模型管线:

  • LingBotWorld:带因果状态与控制 token 的实时世界模型
  • SANA-WM:提供双向与流式两个检查点的世界模型管线

二、视频模型优化兼容性详解

SGLang Diffusion 为视频模型提供了十余种定向推理优化技术,不同模型家族的适配情况差异较大。核心优化技术缩写说明如下:

  • Tea = TeaCache 推理缓存优化
  • Tile = Sliding Tile Attention 滑动分块注意力
  • Sage = Sage Attention 注意力优化
  • VSA = Video Sparse Attention 视频稀疏注意力
  • SLA = Sparse Linear Attention 稀疏线性注意力
  • SageSLA = Sage Sparse Linear Attention(需额外安装依赖)
  • SVG2 = Sparse Video Gen 2 稀疏优化
  • LA = Laser Attention 激光注意力
  • BSA = Block Sparse Attention 块稀疏注意力
  • RF = Rain Fusion Attention 融合优化

主流模型优化支持情况

  1. Wan2.1 全系列(1.3B/14B,T2V/I2V) 是目前优化支持最全面的模型家族,完整兼容 TeaCache、滑动分块注意力、Sage Attention、SVG2、Laser Attention、BSA、Rain Fusion 全部 7 项核心优化,480p 与 720p 分辨率均适配,是追求极致推理性能的首选。
  2. Wan2.2 全系列 5B TI2V 版本与 14B T2V/I2V 版本均支持 Sage、Laser、BSA、Rain Fusion 四项优化,但暂不兼容 TeaCache 与滑动分块注意力。 注意:Wan2.2 TI2V 5B 用于 I2V 生成时存在已知质量问题,官方正在推进修复。
  3. HunyuanVideo / FastHunyuan 支持滑动分块注意力、Sage Attention、SVG2 三项优化,适配竖屏短视频生成场景。
  4. FastWan 系列 仅支持 VSA 视频稀疏注意力优化,主打轻量快速推理场景。
  5. TurboWan 系列 适配 TeaCache、SLA、SageSLA 优化,是稀疏线性注意力路线的代表模型,不兼容滑动分块与其他注意力优化。
  6. 其他模型 Helios、LTX-2/2.3、Cosmos3 系列目前暂无专属优化支持,以基础原生推理能力为主。

硬件限制提示

滑动分块注意力(Sliding Tile Attention)目前仅支持 Hopper 架构 GPU(如 H100),其他架构显卡无法启用该优化。

三、可定制化的组件替换体系

SGLang Diffusion 支持单独替换管线中的各个组件,无需更换整个模型即可实现定制化优化。支持通过 CLI 参数或配置文件两种方式指定组件路径,既可以传入 Hugging Face 仓库 ID,也可以使用本地组件目录。

支持替换的组件类型

表格

组件类型 支持的参数键 说明
VAE vaevideo_vaeaudio_vae 图像生成常用vae替换,视频 / 音频模型对应专属 VAE
Transformer/DiT transformervideo_ditaudio_dit 主降噪模型的替换入口,量化模型也可通过此路径加载
文本编码器与预处理 text_encodertext_encoder_2tokenizerprocessorimage_processor 替换编码器时需同步匹配对应的预处理资源
辅助组件 schedulerspatial_upsamplervocoderconnectors 仅对应包含该组件的管线生效,如两阶段 LTX 管线的空间上采样器

已验证的组件示例

目前官方已验证可正常使用的替换组件包括:

  • FLUX.2-dev 可替换为 black-forest-labs/FLUX.2-small-decoder 轻量解码器 VAE
  • FLUX.2-dev 可替换为 fal/FLUX.2-Tiny-AutoEncoder 自定义 VAE

四、已验证的 LoRA 生态

SGLang Diffusion 兼容绝大多数遵循 Diffusers 规范的 LoRA 模型,官方也针对主流基础模型验证了一批开箱可用的 LoRA,覆盖风格、加速、功能增强等多个方向:

  • Wan2.2:蒸馏加速 LoRA、角色风格 LoRA
  • Wan2.1:官方蒸馏加速 LoRA
  • Z-Image-Turbo:像素艺术风格 LoRA、去 JPEG 压缩失真 LoRA
  • Qwen-Image 系列:闪电加速 LoRA、写实风格、头像生成、创意风格等多类 LoRA
  • Qwen-Image-Edit:修复填充 LoRA、编辑加速 LoRA
  • FLUX 系列:简约插画、写实风格等常用 LoRA

未在列表中的 LoRA 并非不兼容,多数标准 Diffusers 格式的 LoRA 均可正常运行,官方列表仅代表经过手动验证的稳定版本。

五、关键使用注意事项

  1. SageSLA 依赖安装 使用 SageSLA 优化前,需要先手动安装 SpargeAttn 依赖: bash运行pip install git+https://github.com/thu-ml/SpargeAttn.git --no-build-isolation
  2. LTX 系列管线选择 LTX 模型支持多种生成管线,需通过参数指定:
    • 单阶段生成:--pipeline-class-name LTX2Pipeline
    • 两阶段生成:--pipeline-class-name LTX2TwoStagePipeline
    • 两阶段 HQ 高清模式:--pipeline-class-name LTX2TwoStageHQPipeline 两阶段模式支持originalresident两种设备模式,高显存 GPU 默认启用resident模式以获得最佳延迟与吞吐表现。
  3. Cosmos3 多模态复用 Cosmos3 的 Nano(8B)与 Super(32B)版本共用同一管线,单个检查点即可支持 T2V、I2V、T2I 三种生成模式,通过--num-frames 1即可实现文生图。
  4. 组件替换有效性规则 组件替换仅在目标管线本身包含该组件时生效,替换键需要与管线model_index.json中的组件名称完全匹配。

总结

SGLang Diffusion 已经构建了覆盖图像、视频、实时世界模型的全模态扩散模型生态,同时针对主流视频模型提供了多维度的推理优化能力,配合灵活的组件替换机制与广泛的 LoRA 兼容性,能够满足从个人创作者到企业级部署的多样推理需求。

完整的兼容性矩阵与最新更新可参考官方文档:SGLang Diffusion Compatibility Matrix

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 0
评论(没有评论)
验证码