SGLang Diffusion 支持模型与优化兼容矩阵

21次阅读
没有评论

本文目录

  • 支持模型清单
  • 优化方案兼容对照表
  • 支持组件说明
  • 通用调用语法
  • 已验证组件仓库
    • VAE
    • Transformer / DiT 去噪模块
    • 文本编码器与预处理工具
    • 辅助组件
  • 补充说明
  • 实测可用 LoRA 示例
    • 各基座模型适配 LoRA 清单
  • 特殊使用要求
  • 滑动分块注意力(Sliding Tile Attention)

SGLang Diffusion

支持模型与优化兼容说明

本页面记录 SGLang Diffusion 支持的模型系列及其配套优化方案兼容情况,同时涵盖暂无专属实操教程的小众长尾模型。

如需查看对应模型的完整使用示例教程,请前往「扩散模型实操手册(Diffusion Cookbook)」。手册页面会提供主流模型完整调用案例;本页面仅精简罗列支持清单与兼容关系。

一、支持模型清单

执行 sglang generate / sglang serve 命令时,可将 Hugging Face 模型 ID 传入 --model-path 参数;Python API 调用时,加载模型的工具函数同样支持传入该 ID。

清单中未收录的模型别名,不代表该模型系列不支持。运行时的模型识别注册器,也可通过内置检测器识别本地模型文件夹,只要架构同属一个系列即可兼容。

图像生成模型

表格

模型系列 模型 Hugging Face ID
FLUX black-forest-labs/FLUX.1-devblack-forest-labs/FLUX.2-devblack-forest-labs/FLUX.2-dev-NVFP4black-forest-labs/FLUX.2-klein-4Bblack-forest-labs/FLUX.2-klein-9Bblack-forest-labs/FLUX.2-klein-base-4Bblack-forest-labs/FLUX.2-klein-base-9B
Z-Image Tongyi-MAI/Z-ImageTongyi-MAI/Z-Image-Turbo
Qwen-Image Qwen/Qwen-ImageQwen/Qwen-Image-2512Qwen/Qwen-Image-EditQwen/Qwen-Image-Edit-2509Qwen/Qwen-Image-Edit-2511Qwen/Qwen-Image-Layered
SD3 / SD3.5 stabilityai/stable-diffusion-3-mediumstabilityai/stable-diffusion-3-medium-diffusersstabilityai/stable-diffusion-3.5-mediumstabilityai/stable-diffusion-3.5-medium-diffusersstabilityai/stable-diffusion-3.5-largestabilityai/stable-diffusion-3.5-large-diffusers
SANA Efficient-Large-Model/SANA1.5_1.6B_1024px_diffusersEfficient-Large-Model/SANA1.5_4.8B_1024px_diffusersEfficient-Large-Model/Sana_1600M_1024px_diffusersEfficient-Large-Model/Sana_600M_1024px_diffusersEfficient-Large-Model/Sana_1600M_512px_diffusersEfficient-Large-Model/Sana_600M_512px_diffusers
FireRed-Image FireRedTeam/FireRed-Image-Edit-1.0FireRedTeam/FireRed-Image-Edit-1.1
JoyAI-Image jdopensource/JoyAI-Image-Edit-Diffusers
其他图像流水线 zai-org/GLM-Imagetencent/Hunyuan3D-2baidu/ERNIE-Imagebaidu/ERNIE-Image-Turboideogram-ai/ideogram-4-fp8ideogram-ai/ideogram-4-nf4Comfy-Org/Ideogram-4

视频生成模型

表格

模型系列 模型 ID 分辨率 / 生成模式 支持优化方案
FastWan FastVideo/FastWan2.1-T2V-1.3B-DiffusersFastVideo/FastWan2.2-TI2V-5B-FullAttn-DiffusersFastVideo/FastWan2.2-TI2V-5B-Diffusers 480p / 720p VSA 视频稀疏注意力
Wan2.2 Wan-AI/Wan2.2-TI2V-5B-DiffusersWan-AI/Wan2.2-T2V-A14B-Diffusersnvidia/Wan2.2-T2V-A14B-Diffusers-NVFP4Wan-AI/Wan2.2-I2V-A14B-Diffusers 文生视频 T2V / 图生视频 I2V / 图文混合 TI2V,480p / 720p Sage、Laser、BSA、Rain Fusion
HunyuanVideo 混元视频 hunyuanvideo-community/HunyuanVideoFastVideo/FastHunyuan-diffusers 720×1280 / 544×960 Tile、Sage、SVG2
Wan2.1 Wan-AI/Wan2.1-T2V-1.3B-DiffusersWan-AI/Wan2.1-T2V-14B-DiffusersWan-AI/Wan2.1-I2V-14B-480P-DiffusersWan-AI/Wan2.1-I2V-14B-720P-Diffusers T2V / I2V,480p / 720p TeaCache、Tile、Sage、SVG2、Laser、BSA、Rain Fusion
TurboWan IPostYellow/TurboWan2.1-T2V-1.3B-DiffusersIPostYellow/TurboWan2.1-T2V-14B-DiffusersIPostYellow/TurboWan2.1-T2V-14B-720P-DiffusersIPostYellow/TurboWan2.2-I2V-A14B-Diffusers 480p / 720p TeaCache、SLA、SageSLA
MOVA OpenMOSS-Team/MOVA-360pOpenMOSS-Team/MOVA-720p 视频 + 音频,360p / 720p;同时支持本地 MOVA 检测器别名 无专属优化方案
Wan2.1 Fun weizhou03/Wan2.1-Fun-1.3B-InP-Diffusers 480p 视频修复(Inpainting) TeaCache、Tile、Sage、SVG2
Helios BestWishYsh/Helios-BaseBestWishYsh/Helios-MidBestWishYsh/Helios-Distilled 720p 无专属优化方案
LTX-2 Lightricks/LTX-2Lightricks/LTX-2.3 单阶段、双阶段、图文混合 TI2V、高清 HQ 模式 无专属优化方案
Cosmos3 nvidia/Cosmos3-Nanonvidia/Cosmos3-Supernvidia/Cosmos3-Super-Text2Imagenvidia/Cosmos3-Super-Image2Video 文生视频 / 图生视频 / 文生图 无专属优化方案

实时世界生成模型

表格

模型系列 模型 ID / 检测器标识 备注
LingBotWorld robbyant/lingbot-world-fast-diffusers 实时世界生成模型,支持因果状态与控制标记
SANA-WM Efficient-Large-Model/SANA-WM_bidirectionalEfficient-Large-Model/SANA-WM_streaming 世界生成流水线,提供双向版本与流式推理权重

备注:Wan2.2 TI2V 5B 模型在执行图生视频(I2V)时存在画质缺陷,团队正在修复该问题。

二、优化方案兼容对照表

视频模型详细兼容表使用以下标识:

✅ = 完全兼容

❌ = 不兼容

⭕ = 该优化方案不适用于此模型

优化方案缩写说明

  • Tea = TeaCache 时序缓存加速
  • Tile = Sliding Tile Attention 滑动分块注意力
  • Sage = Sage Attention 稀疏注意力
  • VSA = Video Sparse Attention 视频稀疏注意力
  • SLA = Sparse Linear Attention 稀疏线性注意力
  • SageSLA = Sage 稀疏线性注意力融合
  • SVG2 = Sparse Video Gen 2 第二代视频稀疏生成
  • LA = Laser Attention 激光注意力
  • BSA = Block Sparse Attention 分块稀疏注意力
  • RF = Rain Fusion Attention 融合注意力

视频模型完整兼容矩阵

表格

模型名称 Hugging Face 模型 ID 输出分辨率 Tea Tile Sage VSA SLA SageSLA SVG2 LA BSA RF
FastWan2.1 T2V 1.3B FastVideo/FastWan2.1-T2V-1.3B-Diffusers 480p
FastWan2.2 TI2V 5B FastVideo/FastWan2.2-TI2V-5B-FullAttn-DiffusersFastVideo/FastWan2.2-TI2V-5B-Diffusers 720p
Wan2.2 TI2V 5B Wan-AI/Wan2.2-TI2V-5B-Diffusers 720p
Wan2.2 T2V A14B Wan-AI/Wan2.2-T2V-A14B-Diffusersnvidia/Wan2.2-T2V-A14B-Diffusers-NVFP4 480p / 720p
Wan2.2 I2V A14B Wan-AI/Wan2.2-I2V-A14B-Diffusers 480p / 720p
HunyuanVideo 混元视频 hunyuanvideo-community/HunyuanVideo 720×1280 / 544×960
FastHunyuan FastVideo/FastHunyuan-diffusers 720×1280 / 544×960
Wan2.1 T2V 1.3B Wan-AI/Wan2.1-T2V-1.3B-Diffusers 480p
Wan2.1 T2V 14B Wan-AI/Wan2.1-T2V-14B-Diffusers 480p / 720p
Wan2.1 I2V 480P Wan-AI/Wan2.1-I2V-14B-480P-Diffusers 480p
Wan2.1 I2V 720P Wan-AI/Wan2.1-I2V-14B-720P-Diffusers 720p
TurboWan2.1 T2V 1.3B IPostYellow/TurboWan2.1-T2V-1.3B-Diffusers 480p
TurboWan2.1 T2V 14B IPostYellow/TurboWan2.1-T2V-14B-Diffusers 480p
TurboWan2.1 T2V 14B 720P IPostYellow/TurboWan2.1-T2V-14B-720P-Diffusers 720p
TurboWan2.2 I2V A14B IPostYellow/TurboWan2.2-I2V-A14B-Diffusers 720p
Wan2.1 Fun 1.3B InP weizhou03/Wan2.1-Fun-1.3B-InP-Diffusers 480p
Helios Base BestWishYsh/Helios-Base 720p
Helios Mid BestWishYsh/Helios-Mid 720p
Helios Distilled BestWishYsh/Helios-Distilled 720p
LTX-2 Lightricks/LTX-2 768×512 / 1536×1024
LTX-2.3 Lightricks/LTX-2.3 768×512 / 1536×1024 / 1920×1088(高清默认)
Cosmos3-Nano nvidia/Cosmos3-Nano 720p / 480p;文生图 1024×1024
Cosmos3-Super nvidia/Cosmos3-Supernvidia/Cosmos3-Super-Text2Imagenvidia/Cosmos3-Super-Image2Video 720p / 480p;文生图 1024×1024

补充技术说明

  1. SageSLA 依赖 SpargeAttn 库,安装命令:

bash

运行

pip install git+https://github.com/thu-ml/SpargeAttn.git --no-build-isolation
  1. LTX 流水线调用方式:
  • 单阶段:--pipeline-class-name LTX2Pipeline
  • 双阶段:--pipeline-class-name LTX2TwoStagePipeline
  • 双阶段高清 HQ:--pipeline-class-name LTX2TwoStageHQPipeline(默认分辨率 1920×1088,可通过--width/--height自定义尺寸)
  1. LTX-2 / LTX-2.3 单 / 双阶段流水线(含高清版)均支持文生视频、图文混合图生视频(传参--image-path)。
  2. 空间上采样器与蒸馏 LoRA 会从模型快照自动加载,也可手动指定路径:--spatial-upsampler-path--distilled-lora-path
  3. LTX 系列分辨率列代表输出视频宽 × 高,与命令行--width --height参数逻辑完全对应。
  4. LTX 双阶段支持设备模式参数:--ltx2-two-stage-device-mode {original,resident}
    • original:保留官方原生双阶段逻辑,不预合并第二阶段 Transformer 路径
    • resident:延迟、吞吐性能最优,但显存占用更高
    • 默认自动策略:H200 等高显存英伟达卡自动启用 resident,其余显卡使用 original
    • 废弃别名:snapshot等价于original,两个版本周期后会移除
  5. Cosmos3 分两个规格:nvidia/Cosmos3-Nano(8B)、nvidia/Cosmos3-Super(32B);两者共用一套流水线,仅 Transformer 深度与宽度不同,加载时自动读取transformer/config.json区分。单权重同时支持文生视频、图生视频(--image-path)、文生图(--num-frames 1)。

三、支持组件说明

SGLang Diffusion 支持单独替换流水线内任意组件,参数格式 --组件名-path,参数值可填 Hugging Face 仓库 ID 或本地组件文件夹。

配置文件中对应写法:component_paths.组件名

通用调用语法

命令行示例

bash

运行

sglang generate \
  --model-path black-forest-labs/FLUX.2-dev \
  --vae-path black-forest-labs/FLUX.2-small-decoder \
  --transformer-path /models/flux2/transformer

配置文件示例

yaml

model_path: black-forest-labs/FLUX.2-dev
component_paths:
  vae: black-forest-labs/FLUX.2-small-decoder
  transformer: /models/flux2/transformer

组件类型与可用参数标识

表格

组件类型 支持参数键名 备注
VAE 解码器 vaevideo_vaeaudio_vae vae为图像生成通用替换参数
Transformer / DiT 去噪主干 transformervideo_ditaudio_dit transformer是主去噪模块标准替换参数
文本编码器 / 预处理工具 text_encodertext_encoder_2tokenizerprocessorimage_processor 替换编码器时,需配套对应预处理资源
辅助组件 schedulerspatial_upsamplervocoderconnectorsdual_tower_bridgeimage_encodervision_language_encoder 仅流水线原生包含该组件时生效

四、已验证组件仓库

下表收录文档与测试用例中经过验证的组件仓库,并非全部兼容组件完整清单。

表格

基座模型 替换参数键 示例仓库地址 说明
black-forest-labs/FLUX.2-dev vae black-forest-labs/FLUX.2-small-decoder FLUX.2 专用仅解码器 VAE
black-forest-labs/FLUX.2-dev vae fal/FLUX.2-Tiny-AutoEncoder 官方测试通过的自定义 VAE

VAE 解码器

  • --vae-path:图像生成通用替换参数
  • --video-vae-path / --audio-vae-path:仅独立视频 / 音频 VAE 流水线可用

Transformer / DiT 去噪主干

  • --transformer-path:主去噪 Transformer 标准替换参数
  • 量化模型优先使用--transformer-path / --transformer-weights-path,详见量化文档quantization.md
  • --video-dit-path / --audio-dit-path:仅音视频分离去噪器流水线可用

文本编码器与预处理工具

  • --text-encoder-path / --text-encoder-2-path:替换主、次级文本编码器
  • --tokenizer-path / --processor-path / --image-processor-path:更换编码器时配套替换预处理资源

辅助组件

  • --scheduler-path:仅流水线自带调度器时可用
  • --spatial-upsampler-path:主要用于 LTX2TwoStagePipeline 等双阶段模型
  • --vocoder-path--connectors-path--dual-tower-bridge-path--image-encoder-path--vision-language-encoder-path:仅原生包含对应模块的流水线支持

组件替换通用注意事项

组件替换参数仅在目标流水线原生包含该组件时生效;替换参数键名必须与流水线model_index.json、原生 Diffusers 注册模块名称完全一致。

五、实测可用 LoRA 示例

本章节列出 SGLang 团队人工验证、可稳定运行的 LoRA 权重。

未收录的 LoRA 不代表不兼容:绝大多数遵循标准 Diffusers、SD 规范的 LoRA 均可正常加载,下表仅为官方验证过的配置。

各基座模型适配 LoRA 清单

表格

基座模型 实测可用 LoRA 仓库
Wan2.2 lightx2v/Wan2.2-Distill-LorasCseti/wan2.2-14B-Arcane_Jinx-lora-v1
Wan2.1 lightx2v/Wan2.1-Distill-Loras
Z-Image-Turbo tarn59/pixel_art_style_lora_z_image_turbowcde/Z-Image-Turbo-DeJPEG-Lora
Qwen-Image lightx2v/Qwen-Image-Lightningflymy-ai/qwen-image-realism-loraprithivMLmods/Qwen-Image-HeadshotXstarsfriday/Qwen-Image-EVA-LoRA
Qwen-Image-Edit ostris/qwen_image_edit_inpaintinglightx2v/Qwen-Image-Edit-2511-Lightning
Flux dvyio/flux-lora-simple-illustrationXLabs-AI/flux-furry-loraXLabs-AI/flux-RealismLora

六、特殊使用要求

滑动分块注意力(Sliding Tile Attention)

当前仅支持 Hopper 架构 GPU(H100 系列)。

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 0
评论(没有评论)
验证码