这两天,ControlNet把AIGC圈刷屏了.
ControlNet是由Style2Paints的作者,张吕敏提出的一个基于diffusion的神经网络架构.该网络首先对输入的图片进行线稿识别,然后再基于该线稿进行上色.相比于传统的AIGC,ControlNet能提供极其稳定的控制效果.
ControlNet很好的解决了文生图大模型的关键问题: 单纯的关键词的控制方式无法满足对细节控制的需要. 例如AIGC广为诟病的『手指』问题,可以通过线稿控制完美解决:
AIGC:我终于能画好手指了!
ControlNet 大大提升了AIGC的下限,解决了AIGC最大的一个难题:生成图片可控性问题. 在ControlNet的帮助下,AIGC在画面细节层面的处理能力得到了极大的增强,且输出结果极其稳定.
喜欢什么颜色都可以\~
对于游戏工业来说,ControlNet到来之前,AIGC产生的图可能只能停留在概念原型图阶段,但是ControlNet出现后,AIGC生成的图片直接用在游戏中也并非不可能!
笔者认为,ControlNet的出现使AIGC距离游戏工业化大规模使用又进了一大步.
ControlNet的作者把每一种不同类别的输入分别训练了模型, 目前共提供了8种模型,分别是: canny, depth, hed, mlsd, normal, openpose, scribble, seg. 以下分别进行介绍.
线稿画师福音! 通过从原始图片中边缘检测, 提取线稿, 来生成同样构图的画面.
妈妈再也不用担心我不会上色了!
作者由于版权原因未公开的一个模型效果
通过提取原始图片中的深度信息,可以生成具有同样深度结构的图。
Lora+ControlNet:任何人物,任何姿势都给你办到!
ControlNet不改变任何结构的图生图!
用简单的建模生成精美的游戏场景!
类似canny,但是边缘处理更细致. 相对于使用普通的 img2img ,边缘线提取的方式可以生成更加清晰完整的图,黑色描边也得到了很好的重绘。
自由度更大
人物动作pose检测, 用于人物动作生成. 对人物设计和动画十分有利 ,应该很快会看到在影视/游戏中的应用.(已经有人拿这个做mmd了)
图片来源: twitter.com/toyxyz3/sta…
图片来源:twitter.com/DiffusionPi…;
用于3d模型中法线贴图生成,可以得到normal图一致的模型.
线段识别,对直线识别较好,适用于建筑场景
用于对图像进行语义分割识别, ai能更好的理解每个部分是什么, 适用于开放世界风景生成
ControlNet 是一种通过添加额外condition来控制扩散模型的神经网络结构.
它将神经网络块的权重复制一份副本, 并区分为“锁定”模块和“可训练”模块.
“可训练”的模块可以学习条件限制(condition), “锁定”的模块则会保留模型参数.
因此, 使用小型图像对数据集进行训练不会破坏原始的扩散模型.
在上图中,“零卷积”是 1×1 卷积, 权重和偏差(bias)都初始化为零.
在训练之前, 所有零卷积输出零, ControlNet 不会造成任何任何改动,每一层都是基于fine-tuning进行训练
这允许在小规模甚至个人设备上进行培训, 同时对于模型/权重/块/层的合并/替换/偏移也很友好.
在Stable Diffusion中, ControlNet就是对训练网络进行了14次同样的操作.
更多技术细节请参阅原论文
值得一提的是,国内最大的图片分享网站,花瓣网,也在2月18日上线了一款基于ControlNet的应用:『稿定AI』,帮助设计师更好的完成"再画一版"的需求. 该应用选用了ControlNet的3大模型: canny, scribble和openpose. Base model应该是用的anything系列. 有兴趣的小伙伴可以体验一番:www.gaoding.com/ai
ControlNet大大加强了Stable diffusion生成图片的稳定性,使其生成图能更好的满足美术的要求,进而在产业中落地.
从2022年8月Stable diffusion开源以来,AIGC始终在快速演进中,每个月都会有翻天覆地的新技术出现,同时技术迭代越来越快.AI的能力也在肉眼可见的变强.从最开能一眼识别ai作图,到现在的真假难分.
作为一名游戏从业者,笔者相信,AIGC很快就会为游戏行业带来革新,也期待未来有更加优秀的技术出现.
ControlNet项目地址:github.com/lllyasviel/…
ControlNet 的 WebUI 扩展: github.com/Mikubill/sd…
模型下载(5G)huggingface.co/lllyasviel/…
模型下载(700mb)huggingface.co/webui/Contr…