ControlNet 大更新,帮你实现「套图」自由!插图

AI 绘画从火爆出圈至今,相信很多小伙伴或多或少都接触过了,从云端部署 SD,到 Discord 上的 MJ,以及各种插件,各种利用 RPA 工具实现的自动化骚操作……

不得不说今年的 AI 绘画,迭代快、功能多,格外得耐玩,火爆的原因我还记得,是今年 2 月份的 AI 三级跳👉这下,AI 涩图彻底炸了

前有 Chilloutmix 真人模型带头冲锋,在 C 站 1 个月斩获 11 万的下载量;

 ControlNet 大更新,帮你实现「套图」自由!插图1还有人记得这张图嘛

后有 Lora 大行其道,稍加训练就能得到专属的 AI 模型;

最后 ControlNet 炸场,给原本只能抽盲盒的 AI 绘画,带来了一丝控制的可能。

3 个月后再看这三位功臣,Chilloutmix 被作者捐给了 C 站,数据量已上涨至 45 万;Lora 成了制作同人作品、迁移图片风格的基操;ControlNet 更是成了 AI 绘画进阶的重要一环。

本来说今天这篇是想给大家总结一下,现阶段网上分享的 ChatGPT 以及 AI 绘画的优质图文教程,但昨天晚上刷 B 站的时候,我又发现了个好玩意——

ControlNet 更新了一个名为「reference_only」的预处理器,可以在不调用 Lora 的基础上,仅仅凭借一张图,用文本提示词,在保持图像主体特征的前提下,修改细节。

这是 GitHub 上作者给出的示例,一张静立的小狗,配上奔跑的提示词,在 ControlNet 的帮助下,就能跑出这样的效果:

 ControlNet 大更新,帮你实现「套图」自由!插图2

在二次元领域就更厉害了,仅仅一个 1 girl,就能复现出原图的效果:

 ControlNet 大更新,帮你实现「套图」自由!插图3

好家伙,这岂不是能实现所谓定制的效果了?是骡子是马咱得牵出来溜溜看。

Reference Only

想使用 Reference Only 这个「仅供参考」的预处理器,需要把 ControlNet 插件升级到 1.1.153 版本及以上。

然后就能在文生图、图生图的界面找到 ControlNet 的插件了。

 ControlNet 大更新,帮你实现「套图」自由!插图4

正常来说,不是要选个预处理器,再挑选能提取线稿,提取骨骼图之类的模型,但今天这个 Reference Only,并未借助其他模型。

 ControlNet 大更新,帮你实现「套图」自由!插图5

究其根本,是这个预处理器可以把 SD 的注意力层直接连接到上传的参考图片,并在提示词的引导下再去生图。

所以选中「reference_only」预处理器后,不用更多的操作,如果说有什么需要注意的——

1、「Pixel Perfect」这个参数建议勾选。

2、「Style Fidelity」这个参数视情况而定,如果提示词描绘的内容,以及尺寸,与参考的图片差不多,可以直接拉满。

 ControlNet 大更新,帮你实现「套图」自由!插图6

除此之外,在参数那里,正向提示词可以加上类似「best quality, 8K」之类关于质量的内容;如果想尽可能的保持与原图的相似程度,可以适当调低提示词相关度 CFG。

测试结果

先给大家打个预防针,用这个预处理器生成图片,是肯定做不到 100% 还原,这和 AI 绘画生成图片的原理有关,随机性是肯定会存在的。

但生成原图也非本意,AI 绘画抽盲盒也是乐趣之一,当然也不妨碍用这个处理器搞一些花活,我在测试了一天后,得到了以下场景。

进行风格迁移

我从网上找来了一张简笔画,画风如下:

 ControlNet 大更新,帮你实现「套图」自由!插图7

提示词只用到了最简单的「1girl,crying」,这样的简笔画风格就被迁移到了新生成的图片中,而且根据提示词的引导,新生成的卡通图片中的小女孩是正在哭的。

 ControlNet 大更新,帮你实现「套图」自由!插图8

只要把提示词换成「1boy」,就能立刻得到一张同样风格的图片:

 ControlNet 大更新,帮你实现「套图」自由!插图9

过去想拿 AI 绘画生成一对风格相近的头像,还需要找跟风格有关的各种 Lora 去排列组合,现在只要有一张参考图,相似风格的内容立刻就搞定了。

同理,由左边的猫,生成右边的狗也是 OK 的。

 ControlNet 大更新,帮你实现「套图」自由!插图10

快速确定方向

有下面这样一张图,是我从 C 站上找来的,作者生成原图时用了很多提示词和 Lora,复杂度直接拉满。

 ControlNet 大更新,帮你实现「套图」自由!插图11

但我用这个预处理器,只是在提示词里更改了发色或姿势,文生图就搞定了,比无脑抽盲盒要快得多。

 ControlNet 大更新,帮你实现「套图」自由!插图12

同理,像图片里不合理的地方(用手接球),也能通过这种方式更改,还不用像局部重绘那般麻烦。

 ControlNet 大更新,帮你实现「套图」自由!插图13

而且 ControlNet 是可以用多个预处理器/模型组合使用的,就比如上面这个踢球的图,我用一张坐着的图片引导了一下人物姿势,原本踢球的小姐姐就立刻呈坐姿了。

 ControlNet 大更新,帮你实现「套图」自由!插图14

B 站上,我还看到更厉害的多重 ControlNet 组合使用的应用案例,只需要保留一张人物头像的图。

 ControlNet 大更新,帮你实现「套图」自由!插图15

再用一张服饰的图。

 ControlNet 大更新,帮你实现「套图」自由!插图16

分别用「reference_only」预处理器处理,并在提示词里分别描绘人像和服饰,最后用 Openpose 确定姿势,两张图就被拼到了一起,用这个方式「拼图」,再训练一个自己的 Lora,套图什么的,那不是手拿把掐嘛。 

 ControlNet 大更新,帮你实现「套图」自由!插图17

具体的视频是下面这个,感兴趣的小伙伴可以了解一下:

https://www.bilibili.com/video/BV1Cc411P7iZ

为什么这篇我没有展示真人图片,还是那句话,这个预处理器不是换脸,单纯的文生图,模型带来的影响比 ControlNet 更强。

比如我用三上老师的照片跑了下,第一张是参考图,后面两张是 AI 生成的,提示词用了「1girl, long hair, gray sweater, room, best quality」。

虽然主体特征有迁移,但总觉得差点三上老师的灵动。。。

 ControlNet 大更新,帮你实现「套图」自由!插图18

所以在 GitHub 上,真人这里更多的是用这个预处理器,去迁移背景以及服饰,比如这样作为参考图:

 ControlNet 大更新,帮你实现「套图」自由!插图19

迁移后生成的效果是这样的:

 ControlNet 大更新,帮你实现「套图」自由!插图20

这个流程规范化后,感觉我的 RPA 工具又有新作用了。 ControlNet 大更新,帮你实现「套图」自由!插图21

其他

ControlNet 这个预处理器刚出来没几天,肯定还有更多的玩法等着我们去开发,热乎得很,感兴趣的小伙伴可以去试试。

不过就像前面说的,用这个处理器需要对 ControlNet 进行一下升级,这里也给没用过 ControlNet 的小伙伴简单说说安装方法。

可以在「扩展-可用」里搜,也可以直接去「扩展-从网址安装」下载:

 ControlNet 大更新,帮你实现「套图」自由!插图22

ControlNet 插件地址如下:https://github.com/Mikubill/sd-webui-controlnet

 ControlNet 大更新,帮你实现「套图」自由!插图23

曾经下载过的,就需要去整合包或者在 WebUI 上手动更新了:

 ControlNet 大更新,帮你实现「套图」自由!插图24

至于多重 ControlNet 的应用,就需要我们在设置里更改数量了。

 ControlNet 大更新,帮你实现「套图」自由!插图25

结语

虽然 Reference Only 这个预处理器能在一定程度上和 Lora 的功能相接近,去控制 AI 绘画的不确定性,但也没说 ControlNet 不能和 Lora 结合起来用啊。

如果你在 Lora 的基础上使用这个预处理器,效果杠杠的好,再配合上星期分享的换脸工具,套图是真的可以有。

好了,这一篇到这里就没啥说的了,有大胆想法的小伙伴,还等什么,快去试试吧。

还没接触过 AI 绘画的小伙伴也不用急,后面我会出一篇优质教程合集,如果你对这个有需要,别犹豫,点赞就是最好的催更。

PS:常规宣传一下咱们的星球,像这种新鲜东西,量大管饱,欢迎每一个喜欢折腾的小伙伴加入。

 ControlNet 大更新,帮你实现「套图」自由!插图26

 ControlNet 大更新,帮你实现「套图」自由!插图27

电报群:wldxhdzq  QQ 群:729224889  网站:wldxh.com