Bernini-R + ComfyUI 完整部署使用指南

12次阅读
没有评论

一、基础介绍

Bernini-R 是字节跳动开源、基于 Wan2.2 DiT 架构大一统多模态视频生成 / 编辑模型ComfyUI 由官方 Comfy-Org 原生适配支持,主打指令式视频修改、人物身份锁定、画面运动一致性极强,支持文生视频、图生视频、视频改视频、参考图换脸 / 换装 / 换背景、音频驱动对口型说话视频(S2V)。

核心能力

  1. T2V 文生视频:纯提示词生成连贯短视频
  2. I2V 图生视频:单张图片一键动起来
  3. V2V 视频编辑:原视频保留镜头与动作,仅修改人物、服饰、背景、画风
  4. 参考身份锁定:多张参考图固定人物长相,全程不崩脸
  5. S2V 语音驱动:输入音频 + 人像,自动生成对口型说话头像视频

二、模型文件与显存需求

1. 模型结构(分两大主干)

Bernini 采用双阶段扩散

  • high_noise:粗构图、大动作、主体结构(高噪主干)
  • low_noise:细节细化、贴合原图画面(低噪主干)

2. 权重版本与显存占用

表格

精度版本 总大小 推荐显卡
FP16 原版 ~27GB 24G+ 显存(4090Ti/5090/A10G)
FP8 量化 ~14GB 16G 显存(4090/3090)
INT8 量化 ~13GB 12G 显存可勉强运行

必备全套模型(HuggingFace 官方仓库)

仓库地址:huggingface.co/Comfy-Org/Bernini-R

必须下载:

  1. high_noise 文件夹:高噪主干 UNet
  2. low_noise 文件夹:低噪主干 UNet
  3. wan_2.1_vae.safetensors 专属 VAE
  4. umt5_xxl_fp8_e4m3fn_scaled.safetensors 文本编码器 CLIP
  5. 可选:LightX2V LoRA 提升参考图人物贴合度

三、ComfyUI 安装配置步骤

步骤 1:安装自定义节点

方案 A(官方核心节点)

ComfyUI 管理器安装 ComfyUI-RH-Bernini,提供核心 BerniniConditioning 条件编码节点,是工作流核心组件。

方案 B(全套拓展)

  1. 安装 comfyui-deno-custom-nodes:一键生成指令式正负提示词模板
  2. S2V 语音对口版:安装 ComfyUI-WanBerniniS2V 音频驱动专用节点包

步骤 2:放置模型路径

plaintext

ComfyUI/models/
├── unet/bernini/high_noise/  # 放入高噪UNet权重
├── unet/bernini/low_noise/   # 放入低噪UNet权重
├── vae/                      # wan_2.1_vae.safetensors
├── clip/                     # umt5_xxl 大文本编码器
└── loras/                    # LightX2V LoRA

步骤 3:导入现成工作流

主流可直接导入即用的 JSON 工作流:

  1. RunComfy 完整版多模态编辑流(最常用,支持视频 + 多参考图 + 文编)标准编辑工作流

来源:RunComfy Bernini 官方工作流RunComfy

2. Floyo 极简一键工作流:轻量化 GGUF 量化版,适合低配显卡

3. Bernini-R-S2V 语音生视频流:音频输入自动唇形匹配

Bernini-R + ComfyUI 完整部署使用指南

S2V语音驱动工作流

四、常用使用场景写法(提示词模板)

1. 视频换装(保留动作镜头)

正向指令:将人物外套换成黑色皮衣,保持原视频镜头、光影、背景、人物姿势完全不变

负向:脸部变形、五官崩坏、画面闪烁、肢体穿模

2. 换背景

把背景替换成雨夜城市街道,人物和动作完全保留,光影随环境适配

3. 参考图固定人脸

上传 2~3 张正面人像参考图,指令:严格匹配参考图人物五官长相,全程面部不扭曲

五、常见问题优化

  1. 画面闪烁、帧间抖动 调高 low_noise 阶段步数,降低 CFG 值,LoRA 权重 0.4~0.6 之间
  2. 显存 OOM 爆显存 切换 FP8/INT8 量化权重,分辨率设置 720×480 以下,单次生成帧数≤48 帧
  3. 人物脸型跑偏 增大 ref_max_size 参数,多添加不同角度参考图,启用 LightX2V LoRA
  4. 导入工作流节点缺失 在 ComfyUI 管理器重装 Bernini 专属自定义节点,重启 UI

六、S2V 语音对口型分支(拓展)

基于 Bernini-R 魔改,接入 Wan2.2 语音驱动模块,导入人声音频即可生成人物说话口播视频,支持 FP8/INT8 压缩,12G 显存可跑,自带音频预处理节点,无需额外剪辑软件处理人声分离。

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 0
评论(没有评论)
验证码