AI专业者开发社区 1 号成员
  •  0 回帖  •  27 浏览  •  4 个月前
   

【奶奶看了都会】ComfyUI+SVD制作AI视频教程，附效果演示

AI 一天，人间一年

大家好啊，我是小卷，最近 AI 绘画又发展出一些新玩意了，小卷因为工作的关系有一个月没关注 AI 的发展了，都有点跟不上版本节奏了。。。

1.comfyui 的使用效果

今天给大家介绍下 AI 绘画新的工具：ComfyUI。和 Stable Diffusion Webui 类似的，支持文生图，图生图的基本操作，不同的是 comfyui 是工作流式的操作，这里没有了解 sd-webui 也不要紧，我们用 comfyui+SVD 进行 AI 绘画，以及生成动态视频

comfyui 的开源地址：ComfyUI

还是老规矩，先看视频效果：

  • 原始图片
  • 生成的视频效果图，这里用 GIF 图片查看

2. 云端部署步骤

本地部署会存在各种问题，这里教大家用云端服务器进行部署，只需要 3 分钟就能完成 comfyui 的搭建，很快就能用上哦 ~

平台推荐：揽睿星舟

注册地址：https://www.lanrui-ai.com/register?invitation_code=4104

通过上面地址注册会有 2 小时算力领取，完全够新手入门玩哦 ~

2.1 创建工作空间

和之前教大家部署 SD 不同，这次需要用到 4090 显卡。

在工作空间页面选择B4 区，实例选择4090 单卡，镜像选择应用镜像 /comfyui-journey/v1.0.3，挂载网盘，数据集选择sd-base，然后点击创建即可。如下图：

2.2 配置学术加速

实例创建完成后，在工作空间界面进入Jupyter 页面，如图：

然后新建一个终端，并执行以下命令：

  • 先使用学术加速
export http_proxy=http://192.101.1.254:10800 && export https_proxy=http://192.101.1.254:10800
  • 进入 Comfyui 目录
cd ComfyUI-master/

2.4 配置模型地址

我们在创建工作空间的时候已经选择sd-base的数据集，这里只需要改下 Comfyui 加在模型的 path 就行了，修改步骤往下看：

  • 在 ComfyUI 目录下，找到extra_model_paths.yaml.example文件，重命名为extra_model_paths.yaml
  • 修改文件内的base_path参数，修改为模型目录的绝对地址，这里因为我们已经选了 sd-base 的数据集，所以用/home/user/imported_datasets/sd-base，修改内容如下图：

2.5 启动 ComfyUI

到这步，准备工作都完成了，在 ComfyUI 目录下执行下面这条命令，启动 ComfyUI，并将服务映射到工作空间的 27777 端口

python3 main.py --port 27777 --listen 0.0.0.0

启动完成后，到工作空间复制调试地址，到浏览器打开，就能看着 ComfyUI 的使用界面了。

默认工作流可生成一张水瓶的图片，大家可以点击Queue Prompt试试

4. 安装 SVD 插件

Comfyui 操作界面上点击Manager，然后点击弹出菜单里的Install Custom Nodes，接着搜索svd

选择ComfyUI-SVD进行安装，操作过程如图：

等待几分钟安装完成后需要重启，点击界面上出现的Restart按钮重启即可

4.1 安装 svd 大模型

我们接着安装 svd 的大模型，点击Manager，然后点击Install Models，在弹出的窗口中搜索 svd，根据自己的显卡性能选择 14 帧或者 25 帧的模型，这里我们因为用的 4090 显卡，所以选 25 帧的安装，如图：

安装过程比较长，等待 10 分钟左右可安装完成

可以在终端查看模型下载进度：

4.2 导入图片转视频工作流

我们从 comfyui 官方 GIthub 上下载工作流文件进行导入，或者直接用拖拽的形式把图片拖到 ComfyUI 里就自动导入，如图操作：

Comfyui 地址：https://comfyanonymous.github.io/ComfyUI_examples/video/

5 图片转视频操作

我们选择一张图片上传，然后选中 svd_xt 的大模型，参数值默认就行，点击Queue Prompt执行，等待几秒钟就可以看到结果了，默认工作流生成的视频是 webp 格式，可以用在线网站进行转换为 Gif，然后再转 MP4

在线网站：https://webpconverter.com/zh/webp-to-gif

操作步骤如图：

最后把生成的多段视频用剪辑工具拼接起来，就得到文章开头的视频效果啦 ~

6. 总结

ComfyUI 是通过将 stable diffusion 的流程拆分成节点，实现了更加精准的工作流定制和完善的可复现性。但节点式的工作流也提高了一部分使用门槛。

最后，小卷想说的是工具的使用是提效的手段，不论用什么工具，最后生成的效果满意就行。就像做视频，手机、单反、运动相机都能拍，能不能拍出精彩的视频还是需要创作者的内功哦 ~