vLLM Wan2.2-I2V 启动命令解析与优化方案

32次阅读
没有评论

一、原命令拆解说明

bash

运行

vllm serve /mnt/c/Users/AI-Space001/wan/unet \
--served-model-name Wan2.2-I2V-A14B-fp8 \
--quantization fp8 \
--omni \
--port 8000 \
--host 0.0.0.0 \
--tensor-parallel-size 2

参数释义:

  1. /mnt/c/Users/AI-Space001/wan/unetWindows WSL 挂载路径,模型存放目录
  2. --served-model-name:API 调用时使用的模型标识名
  3. --quantization fp8:开启 FP8 量化推理,降低显存占用
  4. --omni:启用 vLLM Omni 多模态视频 / 图像推理(适配 Wan I2V 图生视频)
  5. --port 8000:服务端口
  6. --host 0.0.0.0:允许局域网 / 外网访问
  7. --tensor-parallel-size 2:张量并行,拆分模型到 2 张 GPU

二、关键问题与适配优化(Windows WSL 运行 Wan2.2)

1. 路径兼容问题

/mnt/c/Users/xxx 是 WSL 默认挂载格式,若报错找不到模型:

  • 检查 WSL 挂载是否正常:ls /mnt/c/Users/AI-Space001/wan/unet
  • 纯 Windows CMD/PowerShell 运行 vllm 需改用 Windows 路径:C:\Users\AI-Space001\wan\unet

2. FP8 + TP=2 显存硬性要求

Wan2.2-I2V A14B FP8 双卡张量并行,单卡建议 ≥24G 显存(3090/4090/A10G/A100);16G 显卡极易 OOM。

补充显存优化参数追加到命令末尾:

bash

运行

--gpu-memory-utilization 0.9 \
--max-num-batched-tokens 1024 \
--enforce-eager

3. Omni 视频模型专属必加参数

Wan I2V 属于多模态视频模型,原命令缺少图像 / 视频上下文窗口限制,极易爆内存,完整补全命令:

bash

运行

vllm serve /mnt/c/Users/AI-Space001/wan/unet \
--served-model-name Wan2.2-I2V-A14B-fp8 \
--quantization fp8 \
--omni \
--port 8000 \
--host 0.0.0.0 \
--tensor-parallel-size 2 \
--gpu-memory-utilization 0.9 \
--mm-processor-num-workers 2 \
--max-image-input-size 1280 \
--trust-remote-code

新增参数说明:

  • --trust-remote-code:Wan 自定义模型架构必须开启,否则加载失败
  • --mm-processor-num-workers 2:多模态图像预处理并行
  • --max-image-input-size 1280:限制输入图分辨率,防止显存溢出
  • --gpu-memory-utilization 0.9:显存占用上限 90%,预留系统缓冲

三、多 GPU 环境指定显卡(可选)

双卡并行时,如需固定使用 0、1 号显卡,启动前设置环境变量(WSL/Linux):

bash

运行

export CUDA_VISIBLE_DEVICES=0,1
# 再执行启动命令

Windows PowerShell:

powershell

$env:CUDA_VISIBLE_DEVICES="0,1"

四、常见报错排查

  1. 找不到模型文件 确认目录下存在 config.jsonmodel.safetensors,路径不要包含中文、空格
  2. FP8 不支持硬件 FP8 仅支持 Ada Lovelace (40 系)、Hopper (H100/A100);30 系及更早 GPU 删掉 --quantization fp8 改用 gptq/awq 或 FP16
  3. TP=2 启动失败
    • 两张显卡型号 / 显存尽量一致
    • 关闭 Windows WSL 显存限制,或升级 CUDA 12.2+
  4. trust_remote_code 报错 必须添加 --trust-remote-code,Wan 模型依赖自定义建模代码

五、API 调用测试示例(curl)

服务启动后测试图生视频接口:

bash

运行

curl http://127.0.0.1:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
  "model": "Wan2.2-I2V-A14B-fp8",
  "messages": [
    {
      "role": "user",
      "content": [
        {"type": "image_url", "image_url": {"url": "file:///mnt/c/test.jpg"}},
        {"type": "text", "text": "让图片里的人物缓慢行走,镜头轻微推拉,高清写实"}
      ]
    }
  ],
  "max_tokens": 1024
}'
正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 0
评论(没有评论)
验证码