ConfyUI初见
得益于公司数据AI团队的努力,我(shen shou dang)不费吹灰之力可以坐享其成。
今天介绍一下ConfyUI。ConfyUI是一套UI,用知乎上的话来说就是目前功能最强大、使用最自由的扩散图形用户界面和后台。
使用ConfyUI可以方便的实现文生图,图生图,图生动图,图生视频等效果。
具体的使用方法,就是类似构建一个pipeline,定义好输入输出,安装好必要的模型,插件。然后拖拉拽把它们全部连起来。
那动手做做看吧。我们试试图生视频。
图片来自私有化的Stable Diffusion。通过简单的文字描述来生成图片。AI的发挥有波动,我们提供的咒语要尽可能丰富、精确。
得到图片后,在下图pipeline的起点Load进去,checkpoint模块选择合适的模型,比如svd(Stable Video Diffusion)或者svd_xt(区别在于生成视频的帧数多少),修改freeu的权重,然后点击添加到队列,等待生成就可以了。
在最终的输出方面,可以生成为webp,gif,也可以结合video combine生成几秒钟的视频。


