本文目录
- 支持模型清单
- 优化方案兼容对照表
- 支持组件说明
- 通用调用语法
- 已验证组件仓库
- VAE
- Transformer / DiT 去噪模块
- 文本编码器与预处理工具
- 辅助组件
- 补充说明
- 实测可用 LoRA 示例
- 各基座模型适配 LoRA 清单
- 特殊使用要求
- 滑动分块注意力(Sliding Tile Attention)
SGLang Diffusion
支持模型与优化兼容说明
本页面记录 SGLang Diffusion 支持的模型系列及其配套优化方案兼容情况,同时涵盖暂无专属实操教程的小众长尾模型。
如需查看对应模型的完整使用示例教程,请前往「扩散模型实操手册(Diffusion Cookbook)」。手册页面会提供主流模型完整调用案例;本页面仅精简罗列支持清单与兼容关系。
一、支持模型清单
执行 sglang generate / sglang serve 命令时,可将 Hugging Face 模型 ID 传入 --model-path 参数;Python API 调用时,加载模型的工具函数同样支持传入该 ID。
清单中未收录的模型别名,不代表该模型系列不支持。运行时的模型识别注册器,也可通过内置检测器识别本地模型文件夹,只要架构同属一个系列即可兼容。
图像生成模型
表格
| 模型系列 | 模型 Hugging Face ID |
|---|---|
| FLUX | black-forest-labs/FLUX.1-devblack-forest-labs/FLUX.2-devblack-forest-labs/FLUX.2-dev-NVFP4black-forest-labs/FLUX.2-klein-4Bblack-forest-labs/FLUX.2-klein-9Bblack-forest-labs/FLUX.2-klein-base-4Bblack-forest-labs/FLUX.2-klein-base-9B |
| Z-Image | Tongyi-MAI/Z-ImageTongyi-MAI/Z-Image-Turbo |
| Qwen-Image | Qwen/Qwen-ImageQwen/Qwen-Image-2512Qwen/Qwen-Image-EditQwen/Qwen-Image-Edit-2509Qwen/Qwen-Image-Edit-2511Qwen/Qwen-Image-Layered |
| SD3 / SD3.5 | stabilityai/stable-diffusion-3-mediumstabilityai/stable-diffusion-3-medium-diffusersstabilityai/stable-diffusion-3.5-mediumstabilityai/stable-diffusion-3.5-medium-diffusersstabilityai/stable-diffusion-3.5-largestabilityai/stable-diffusion-3.5-large-diffusers |
| SANA | Efficient-Large-Model/SANA1.5_1.6B_1024px_diffusersEfficient-Large-Model/SANA1.5_4.8B_1024px_diffusersEfficient-Large-Model/Sana_1600M_1024px_diffusersEfficient-Large-Model/Sana_600M_1024px_diffusersEfficient-Large-Model/Sana_1600M_512px_diffusersEfficient-Large-Model/Sana_600M_512px_diffusers |
| FireRed-Image | FireRedTeam/FireRed-Image-Edit-1.0FireRedTeam/FireRed-Image-Edit-1.1 |
| JoyAI-Image | jdopensource/JoyAI-Image-Edit-Diffusers |
| 其他图像流水线 | zai-org/GLM-Imagetencent/Hunyuan3D-2baidu/ERNIE-Imagebaidu/ERNIE-Image-Turboideogram-ai/ideogram-4-fp8ideogram-ai/ideogram-4-nf4Comfy-Org/Ideogram-4 |
视频生成模型
表格
| 模型系列 | 模型 ID | 分辨率 / 生成模式 | 支持优化方案 |
|---|---|---|---|
| FastWan | FastVideo/FastWan2.1-T2V-1.3B-DiffusersFastVideo/FastWan2.2-TI2V-5B-FullAttn-DiffusersFastVideo/FastWan2.2-TI2V-5B-Diffusers |
480p / 720p | VSA 视频稀疏注意力 |
| Wan2.2 | Wan-AI/Wan2.2-TI2V-5B-DiffusersWan-AI/Wan2.2-T2V-A14B-Diffusersnvidia/Wan2.2-T2V-A14B-Diffusers-NVFP4Wan-AI/Wan2.2-I2V-A14B-Diffusers |
文生视频 T2V / 图生视频 I2V / 图文混合 TI2V,480p / 720p | Sage、Laser、BSA、Rain Fusion |
| HunyuanVideo 混元视频 | hunyuanvideo-community/HunyuanVideoFastVideo/FastHunyuan-diffusers |
720×1280 / 544×960 | Tile、Sage、SVG2 |
| Wan2.1 | Wan-AI/Wan2.1-T2V-1.3B-DiffusersWan-AI/Wan2.1-T2V-14B-DiffusersWan-AI/Wan2.1-I2V-14B-480P-DiffusersWan-AI/Wan2.1-I2V-14B-720P-Diffusers |
T2V / I2V,480p / 720p | TeaCache、Tile、Sage、SVG2、Laser、BSA、Rain Fusion |
| TurboWan | IPostYellow/TurboWan2.1-T2V-1.3B-DiffusersIPostYellow/TurboWan2.1-T2V-14B-DiffusersIPostYellow/TurboWan2.1-T2V-14B-720P-DiffusersIPostYellow/TurboWan2.2-I2V-A14B-Diffusers |
480p / 720p | TeaCache、SLA、SageSLA |
| MOVA | OpenMOSS-Team/MOVA-360pOpenMOSS-Team/MOVA-720p |
视频 + 音频,360p / 720p;同时支持本地 MOVA 检测器别名 | 无专属优化方案 |
| Wan2.1 Fun | weizhou03/Wan2.1-Fun-1.3B-InP-Diffusers |
480p 视频修复(Inpainting) | TeaCache、Tile、Sage、SVG2 |
| Helios | BestWishYsh/Helios-BaseBestWishYsh/Helios-MidBestWishYsh/Helios-Distilled |
720p | 无专属优化方案 |
| LTX-2 | Lightricks/LTX-2Lightricks/LTX-2.3 |
单阶段、双阶段、图文混合 TI2V、高清 HQ 模式 | 无专属优化方案 |
| Cosmos3 | nvidia/Cosmos3-Nanonvidia/Cosmos3-Supernvidia/Cosmos3-Super-Text2Imagenvidia/Cosmos3-Super-Image2Video |
文生视频 / 图生视频 / 文生图 | 无专属优化方案 |
实时世界生成模型
表格
| 模型系列 | 模型 ID / 检测器标识 | 备注 |
|---|---|---|
| LingBotWorld | robbyant/lingbot-world-fast-diffusers |
实时世界生成模型,支持因果状态与控制标记 |
| SANA-WM | Efficient-Large-Model/SANA-WM_bidirectionalEfficient-Large-Model/SANA-WM_streaming |
世界生成流水线,提供双向版本与流式推理权重 |
备注:Wan2.2 TI2V 5B 模型在执行图生视频(I2V)时存在画质缺陷,团队正在修复该问题。
二、优化方案兼容对照表
视频模型详细兼容表使用以下标识:
✅ = 完全兼容
❌ = 不兼容
⭕ = 该优化方案不适用于此模型
优化方案缩写说明
- Tea = TeaCache 时序缓存加速
- Tile = Sliding Tile Attention 滑动分块注意力
- Sage = Sage Attention 稀疏注意力
- VSA = Video Sparse Attention 视频稀疏注意力
- SLA = Sparse Linear Attention 稀疏线性注意力
- SageSLA = Sage 稀疏线性注意力融合
- SVG2 = Sparse Video Gen 2 第二代视频稀疏生成
- LA = Laser Attention 激光注意力
- BSA = Block Sparse Attention 分块稀疏注意力
- RF = Rain Fusion Attention 融合注意力
视频模型完整兼容矩阵
表格
| 模型名称 | Hugging Face 模型 ID | 输出分辨率 | Tea | Tile | Sage | VSA | SLA | SageSLA | SVG2 | LA | BSA | RF |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| FastWan2.1 T2V 1.3B | FastVideo/FastWan2.1-T2V-1.3B-Diffusers |
480p | ⭕ | ⭕ | ⭕ | ✅ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
| FastWan2.2 TI2V 5B | FastVideo/FastWan2.2-TI2V-5B-FullAttn-DiffusersFastVideo/FastWan2.2-TI2V-5B-Diffusers |
720p | ⭕ | ⭕ | ⭕ | ✅ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
| Wan2.2 TI2V 5B | Wan-AI/Wan2.2-TI2V-5B-Diffusers |
720p | ⭕ | ⭕ | ✅ | ⭕ | ❌ | ❌ | ❌ | ✅ | ✅ | ✅ |
| Wan2.2 T2V A14B | Wan-AI/Wan2.2-T2V-A14B-Diffusersnvidia/Wan2.2-T2V-A14B-Diffusers-NVFP4 |
480p / 720p | ❌ | ❌ | ✅ | ⭕ | ❌ | ❌ | ❌ | ✅ | ✅ | ✅ |
| Wan2.2 I2V A14B | Wan-AI/Wan2.2-I2V-A14B-Diffusers |
480p / 720p | ❌ | ❌ | ✅ | ⭕ | ❌ | ❌ | ❌ | ✅ | ✅ | ✅ |
| HunyuanVideo 混元视频 | hunyuanvideo-community/HunyuanVideo |
720×1280 / 544×960 | ❌ | ✅ | ✅ | ⭕ | ❌ | ❌ | ✅ | ❌ | ❌ | ❌ |
| FastHunyuan | FastVideo/FastHunyuan-diffusers |
720×1280 / 544×960 | ❌ | ✅ | ✅ | ⭕ | ❌ | ❌ | ✅ | ❌ | ❌ | ❌ |
| Wan2.1 T2V 1.3B | Wan-AI/Wan2.1-T2V-1.3B-Diffusers |
480p | ✅ | ✅ | ✅ | ⭕ | ❌ | ❌ | ✅ | ✅ | ✅ | ✅ |
| Wan2.1 T2V 14B | Wan-AI/Wan2.1-T2V-14B-Diffusers |
480p / 720p | ✅ | ✅ | ✅ | ⭕ | ❌ | ❌ | ✅ | ✅ | ✅ | ✅ |
| Wan2.1 I2V 480P | Wan-AI/Wan2.1-I2V-14B-480P-Diffusers |
480p | ✅ | ✅ | ✅ | ⭕ | ❌ | ❌ | ✅ | ✅ | ✅ | ✅ |
| Wan2.1 I2V 720P | Wan-AI/Wan2.1-I2V-14B-720P-Diffusers |
720p | ✅ | ✅ | ✅ | ⭕ | ❌ | ❌ | ✅ | ✅ | ✅ | ✅ |
| TurboWan2.1 T2V 1.3B | IPostYellow/TurboWan2.1-T2V-1.3B-Diffusers |
480p | ✅ | ❌ | ❌ | ❌ | ✅ | ✅ | ⭕ | ❌ | ❌ | ❌ |
| TurboWan2.1 T2V 14B | IPostYellow/TurboWan2.1-T2V-14B-Diffusers |
480p | ✅ | ❌ | ❌ | ❌ | ✅ | ✅ | ⭕ | ❌ | ❌ | ❌ |
| TurboWan2.1 T2V 14B 720P | IPostYellow/TurboWan2.1-T2V-14B-720P-Diffusers |
720p | ✅ | ❌ | ❌ | ❌ | ✅ | ✅ | ⭕ | ❌ | ❌ | ❌ |
| TurboWan2.2 I2V A14B | IPostYellow/TurboWan2.2-I2V-A14B-Diffusers |
720p | ✅ | ❌ | ❌ | ❌ | ✅ | ✅ | ⭕ | ❌ | ❌ | ❌ |
| Wan2.1 Fun 1.3B InP | weizhou03/Wan2.1-Fun-1.3B-InP-Diffusers |
480p | ✅ | ✅ | ✅ | ⭕ | ❌ | ❌ | ✅ | ❌ | ❌ | ❌ |
| Helios Base | BestWishYsh/Helios-Base |
720p | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
| Helios Mid | BestWishYsh/Helios-Mid |
720p | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
| Helios Distilled | BestWishYsh/Helios-Distilled |
720p | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
| LTX-2 | Lightricks/LTX-2 |
768×512 / 1536×1024 | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
| LTX-2.3 | Lightricks/LTX-2.3 |
768×512 / 1536×1024 / 1920×1088(高清默认) | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
| Cosmos3-Nano | nvidia/Cosmos3-Nano |
720p / 480p;文生图 1024×1024 | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
| Cosmos3-Super | nvidia/Cosmos3-Supernvidia/Cosmos3-Super-Text2Imagenvidia/Cosmos3-Super-Image2Video |
720p / 480p;文生图 1024×1024 | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
补充技术说明
- SageSLA 依赖 SpargeAttn 库,安装命令:
bash
运行
pip install git+https://github.com/thu-ml/SpargeAttn.git --no-build-isolation
- LTX 流水线调用方式:
- 单阶段:
--pipeline-class-name LTX2Pipeline - 双阶段:
--pipeline-class-name LTX2TwoStagePipeline - 双阶段高清 HQ:
--pipeline-class-name LTX2TwoStageHQPipeline(默认分辨率 1920×1088,可通过--width/--height自定义尺寸)
- LTX-2 / LTX-2.3 单 / 双阶段流水线(含高清版)均支持文生视频、图文混合图生视频(传参
--image-path)。 - 空间上采样器与蒸馏 LoRA 会从模型快照自动加载,也可手动指定路径:
--spatial-upsampler-path、--distilled-lora-path。 - LTX 系列分辨率列代表输出视频宽 × 高,与命令行
--width --height参数逻辑完全对应。 - LTX 双阶段支持设备模式参数:
--ltx2-two-stage-device-mode {original,resident}original:保留官方原生双阶段逻辑,不预合并第二阶段 Transformer 路径resident:延迟、吞吐性能最优,但显存占用更高- 默认自动策略:H200 等高显存英伟达卡自动启用 resident,其余显卡使用 original
- 废弃别名:
snapshot等价于original,两个版本周期后会移除
- Cosmos3 分两个规格:
nvidia/Cosmos3-Nano(8B)、nvidia/Cosmos3-Super(32B);两者共用一套流水线,仅 Transformer 深度与宽度不同,加载时自动读取transformer/config.json区分。单权重同时支持文生视频、图生视频(--image-path)、文生图(--num-frames 1)。
三、支持组件说明
SGLang Diffusion 支持单独替换流水线内任意组件,参数格式 --组件名-path,参数值可填 Hugging Face 仓库 ID 或本地组件文件夹。
配置文件中对应写法:component_paths.组件名。
通用调用语法
命令行示例
bash
运行
sglang generate \
--model-path black-forest-labs/FLUX.2-dev \
--vae-path black-forest-labs/FLUX.2-small-decoder \
--transformer-path /models/flux2/transformer
配置文件示例
yaml
model_path: black-forest-labs/FLUX.2-dev
component_paths:
vae: black-forest-labs/FLUX.2-small-decoder
transformer: /models/flux2/transformer
组件类型与可用参数标识
表格
| 组件类型 | 支持参数键名 | 备注 |
|---|---|---|
| VAE 解码器 | vae、video_vae、audio_vae |
vae为图像生成通用替换参数 |
| Transformer / DiT 去噪主干 | transformer、video_dit、audio_dit |
transformer是主去噪模块标准替换参数 |
| 文本编码器 / 预处理工具 | text_encoder、text_encoder_2、tokenizer、processor、image_processor |
替换编码器时,需配套对应预处理资源 |
| 辅助组件 | scheduler、spatial_upsampler、vocoder、connectors、dual_tower_bridge、image_encoder、vision_language_encoder |
仅流水线原生包含该组件时生效 |
四、已验证组件仓库
下表收录文档与测试用例中经过验证的组件仓库,并非全部兼容组件完整清单。
表格
| 基座模型 | 替换参数键 | 示例仓库地址 | 说明 |
|---|---|---|---|
black-forest-labs/FLUX.2-dev |
vae |
black-forest-labs/FLUX.2-small-decoder |
FLUX.2 专用仅解码器 VAE |
black-forest-labs/FLUX.2-dev |
vae |
fal/FLUX.2-Tiny-AutoEncoder |
官方测试通过的自定义 VAE |
VAE 解码器
--vae-path:图像生成通用替换参数--video-vae-path/--audio-vae-path:仅独立视频 / 音频 VAE 流水线可用
Transformer / DiT 去噪主干
--transformer-path:主去噪 Transformer 标准替换参数- 量化模型优先使用
--transformer-path/--transformer-weights-path,详见量化文档quantization.md --video-dit-path/--audio-dit-path:仅音视频分离去噪器流水线可用
文本编码器与预处理工具
--text-encoder-path/--text-encoder-2-path:替换主、次级文本编码器--tokenizer-path/--processor-path/--image-processor-path:更换编码器时配套替换预处理资源
辅助组件
--scheduler-path:仅流水线自带调度器时可用--spatial-upsampler-path:主要用于 LTX2TwoStagePipeline 等双阶段模型--vocoder-path、--connectors-path、--dual-tower-bridge-path、--image-encoder-path、--vision-language-encoder-path:仅原生包含对应模块的流水线支持
组件替换通用注意事项
组件替换参数仅在目标流水线原生包含该组件时生效;替换参数键名必须与流水线model_index.json、原生 Diffusers 注册模块名称完全一致。
五、实测可用 LoRA 示例
本章节列出 SGLang 团队人工验证、可稳定运行的 LoRA 权重。
未收录的 LoRA 不代表不兼容:绝大多数遵循标准 Diffusers、SD 规范的 LoRA 均可正常加载,下表仅为官方验证过的配置。
各基座模型适配 LoRA 清单
表格
| 基座模型 | 实测可用 LoRA 仓库 |
|---|---|
| Wan2.2 | lightx2v/Wan2.2-Distill-LorasCseti/wan2.2-14B-Arcane_Jinx-lora-v1 |
| Wan2.1 | lightx2v/Wan2.1-Distill-Loras |
| Z-Image-Turbo | tarn59/pixel_art_style_lora_z_image_turbowcde/Z-Image-Turbo-DeJPEG-Lora |
| Qwen-Image | lightx2v/Qwen-Image-Lightningflymy-ai/qwen-image-realism-loraprithivMLmods/Qwen-Image-HeadshotXstarsfriday/Qwen-Image-EVA-LoRA |
| Qwen-Image-Edit | ostris/qwen_image_edit_inpaintinglightx2v/Qwen-Image-Edit-2511-Lightning |
| Flux | dvyio/flux-lora-simple-illustrationXLabs-AI/flux-furry-loraXLabs-AI/flux-RealismLora |
六、特殊使用要求
滑动分块注意力(Sliding Tile Attention)
当前仅支持 Hopper 架构 GPU(H100 系列)。