一、原命令拆解说明
bash
运行
vllm serve /mnt/c/Users/AI-Space001/wan/unet \
--served-model-name Wan2.2-I2V-A14B-fp8 \
--quantization fp8 \
--omni \
--port 8000 \
--host 0.0.0.0 \
--tensor-parallel-size 2
参数释义:
/mnt/c/Users/AI-Space001/wan/unet:Windows WSL 挂载路径,模型存放目录--served-model-name:API 调用时使用的模型标识名--quantization fp8:开启 FP8 量化推理,降低显存占用--omni:启用 vLLM Omni 多模态视频 / 图像推理(适配 Wan I2V 图生视频)--port 8000:服务端口--host 0.0.0.0:允许局域网 / 外网访问--tensor-parallel-size 2:张量并行,拆分模型到 2 张 GPU
二、关键问题与适配优化(Windows WSL 运行 Wan2.2)
1. 路径兼容问题
/mnt/c/Users/xxx 是 WSL 默认挂载格式,若报错找不到模型:
- 检查 WSL 挂载是否正常:
ls /mnt/c/Users/AI-Space001/wan/unet - 纯 Windows CMD/PowerShell 运行 vllm 需改用 Windows 路径:
C:\Users\AI-Space001\wan\unet
2. FP8 + TP=2 显存硬性要求
Wan2.2-I2V A14B FP8 双卡张量并行,单卡建议 ≥24G 显存(3090/4090/A10G/A100);16G 显卡极易 OOM。
补充显存优化参数追加到命令末尾:
bash
运行
--gpu-memory-utilization 0.9 \
--max-num-batched-tokens 1024 \
--enforce-eager
3. Omni 视频模型专属必加参数
Wan I2V 属于多模态视频模型,原命令缺少图像 / 视频上下文窗口限制,极易爆内存,完整补全命令:
bash
运行
vllm serve /mnt/c/Users/AI-Space001/wan/unet \
--served-model-name Wan2.2-I2V-A14B-fp8 \
--quantization fp8 \
--omni \
--port 8000 \
--host 0.0.0.0 \
--tensor-parallel-size 2 \
--gpu-memory-utilization 0.9 \
--mm-processor-num-workers 2 \
--max-image-input-size 1280 \
--trust-remote-code
新增参数说明:
--trust-remote-code:Wan 自定义模型架构必须开启,否则加载失败--mm-processor-num-workers 2:多模态图像预处理并行--max-image-input-size 1280:限制输入图分辨率,防止显存溢出--gpu-memory-utilization 0.9:显存占用上限 90%,预留系统缓冲
三、多 GPU 环境指定显卡(可选)
双卡并行时,如需固定使用 0、1 号显卡,启动前设置环境变量(WSL/Linux):
bash
运行
export CUDA_VISIBLE_DEVICES=0,1
# 再执行启动命令
Windows PowerShell:
powershell
$env:CUDA_VISIBLE_DEVICES="0,1"
四、常见报错排查
- 找不到模型文件 确认目录下存在
config.json、model.safetensors,路径不要包含中文、空格 - FP8 不支持硬件 FP8 仅支持 Ada Lovelace (40 系)、Hopper (H100/A100);30 系及更早 GPU 删掉
--quantization fp8改用gptq/awq或 FP16 - TP=2 启动失败
- 两张显卡型号 / 显存尽量一致
- 关闭 Windows WSL 显存限制,或升级 CUDA 12.2+
- trust_remote_code 报错 必须添加
--trust-remote-code,Wan 模型依赖自定义建模代码
五、API 调用测试示例(curl)
服务启动后测试图生视频接口:
bash
运行
curl http://127.0.0.1:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "Wan2.2-I2V-A14B-fp8",
"messages": [
{
"role": "user",
"content": [
{"type": "image_url", "image_url": {"url": "file:///mnt/c/test.jpg"}},
{"type": "text", "text": "让图片里的人物缓慢行走,镜头轻微推拉,高清写实"}
]
}
],
"max_tokens": 1024
}'
正文完
可以使用微信扫码关注公众号(ID:xzluomor)