AI 绘画从火爆出圈至今,相信很多小伙伴或多或少都接触过了,从云端部署 SD,到 Discord 上的 MJ,以及各种插件,各种利用 RPA 工具实现的自动化骚操作……
不得不说今年的 AI 绘画,迭代快、功能多,格外得耐玩,火爆的原因我还记得,是今年 2 月份的 AI 三级跳👉这下,AI 涩图彻底炸了
前有 Chilloutmix 真人模型带头冲锋,在 C 站 1 个月斩获 11 万的下载量;
还有人记得这张图嘛
后有 Lora 大行其道,稍加训练就能得到专属的 AI 模型;
最后 ControlNet 炸场,给原本只能抽盲盒的 AI 绘画,带来了一丝控制的可能。
3 个月后再看这三位功臣,Chilloutmix 被作者捐给了 C 站,数据量已上涨至 45 万;Lora 成了制作同人作品、迁移图片风格的基操;ControlNet 更是成了 AI 绘画进阶的重要一环。
本来说今天这篇是想给大家总结一下,现阶段网上分享的 ChatGPT 以及 AI 绘画的优质图文教程,但昨天晚上刷 B 站的时候,我又发现了个好玩意——
ControlNet 更新了一个名为「reference_only」的预处理器,可以在不调用 Lora 的基础上,仅仅凭借一张图,用文本提示词,在保持图像主体特征的前提下,修改细节。
这是 GitHub 上作者给出的示例,一张静立的小狗,配上奔跑的提示词,在 ControlNet 的帮助下,就能跑出这样的效果:
在二次元领域就更厉害了,仅仅一个 1 girl,就能复现出原图的效果:
好家伙,这岂不是能实现所谓定制的效果了?是骡子是马咱得牵出来溜溜看。
Reference Only
想使用 Reference Only 这个「仅供参考」的预处理器,需要把 ControlNet 插件升级到 1.1.153 版本及以上。
然后就能在文生图、图生图的界面找到 ControlNet 的插件了。
正常来说,不是要选个预处理器,再挑选能提取线稿,提取骨骼图之类的模型,但今天这个 Reference Only,并未借助其他模型。
究其根本,是这个预处理器可以把 SD 的注意力层直接连接到上传的参考图片,并在提示词的引导下再去生图。
所以选中「reference_only」预处理器后,不用更多的操作,如果说有什么需要注意的——
1、「Pixel Perfect」这个参数建议勾选。
2、「Style Fidelity」这个参数视情况而定,如果提示词描绘的内容,以及尺寸,与参考的图片差不多,可以直接拉满。
除此之外,在参数那里,正向提示词可以加上类似「best quality, 8K」之类关于质量的内容;如果想尽可能的保持与原图的相似程度,可以适当调低提示词相关度 CFG。
测试结果
先给大家打个预防针,用这个预处理器生成图片,是肯定做不到 100% 还原,这和 AI 绘画生成图片的原理有关,随机性是肯定会存在的。
但生成原图也非本意,AI 绘画抽盲盒也是乐趣之一,当然也不妨碍用这个处理器搞一些花活,我在测试了一天后,得到了以下场景。
进行风格迁移
我从网上找来了一张简笔画,画风如下:
提示词只用到了最简单的「1girl,crying」,这样的简笔画风格就被迁移到了新生成的图片中,而且根据提示词的引导,新生成的卡通图片中的小女孩是正在哭的。
只要把提示词换成「1boy」,就能立刻得到一张同样风格的图片:
过去想拿 AI 绘画生成一对风格相近的头像,还需要找跟风格有关的各种 Lora 去排列组合,现在只要有一张参考图,相似风格的内容立刻就搞定了。
同理,由左边的猫,生成右边的狗也是 OK 的。
快速确定方向
有下面这样一张图,是我从 C 站上找来的,作者生成原图时用了很多提示词和 Lora,复杂度直接拉满。
但我用这个预处理器,只是在提示词里更改了发色或姿势,文生图就搞定了,比无脑抽盲盒要快得多。
同理,像图片里不合理的地方(用手接球),也能通过这种方式更改,还不用像局部重绘那般麻烦。
而且 ControlNet 是可以用多个预处理器/模型组合使用的,就比如上面这个踢球的图,我用一张坐着的图片引导了一下人物姿势,原本踢球的小姐姐就立刻呈坐姿了。
B 站上,我还看到更厉害的多重 ControlNet 组合使用的应用案例,只需要保留一张人物头像的图。
再用一张服饰的图。
分别用「reference_only」预处理器处理,并在提示词里分别描绘人像和服饰,最后用 Openpose 确定姿势,两张图就被拼到了一起,用这个方式「拼图」,再训练一个自己的 Lora,套图什么的,那不是手拿把掐嘛。
具体的视频是下面这个,感兴趣的小伙伴可以了解一下:
https://www.bilibili.com/video/BV1Cc411P7iZ
为什么这篇我没有展示真人图片,还是那句话,这个预处理器不是换脸,单纯的文生图,模型带来的影响比 ControlNet 更强。
比如我用三上老师的照片跑了下,第一张是参考图,后面两张是 AI 生成的,提示词用了「1girl, long hair, gray sweater, room, best quality」。
虽然主体特征有迁移,但总觉得差点三上老师的灵动。。。
所以在 GitHub 上,真人这里更多的是用这个预处理器,去迁移背景以及服饰,比如这样作为参考图:
迁移后生成的效果是这样的:
这个流程规范化后,感觉我的 RPA 工具又有新作用了。
其他
ControlNet 这个预处理器刚出来没几天,肯定还有更多的玩法等着我们去开发,热乎得很,感兴趣的小伙伴可以去试试。
不过就像前面说的,用这个处理器需要对 ControlNet 进行一下升级,这里也给没用过 ControlNet 的小伙伴简单说说安装方法。
可以在「扩展-可用」里搜,也可以直接去「扩展-从网址安装」下载:
ControlNet 插件地址如下:https://github.com/Mikubill/sd-webui-controlnet
曾经下载过的,就需要去整合包或者在 WebUI 上手动更新了:
至于多重 ControlNet 的应用,就需要我们在设置里更改数量了。
结语
虽然 Reference Only 这个预处理器能在一定程度上和 Lora 的功能相接近,去控制 AI 绘画的不确定性,但也没说 ControlNet 不能和 Lora 结合起来用啊。
如果你在 Lora 的基础上使用这个预处理器,效果杠杠的好,再配合上星期分享的换脸工具,套图是真的可以有。
好了,这一篇到这里就没啥说的了,有大胆想法的小伙伴,还等什么,快去试试吧。
还没接触过 AI 绘画的小伙伴也不用急,后面我会出一篇优质教程合集,如果你对这个有需要,别犹豫,点赞就是最好的催更。
PS:常规宣传一下咱们的星球,像这种新鲜东西,量大管饱,欢迎每一个喜欢折腾的小伙伴加入。
电报群:wldxhdzq QQ 群:729224889 网站:wldxh.com