史诗级干货AI美术融合工作流实战案例总结

作者是我的朋友，由于其本人的期望，就不在这里署名了。
他分享给我了一些履历，都是非常有代价的思考，以是也分享给大家。

1. 取法乎上得个中，让 AI 临摹的工具一定要选大师。
墨心的数据集选的是明清两代的绝顶大师，包括：吴昌硕、郑板桥、任伯年等人。
墨心能有一定的效果，实在是 AI 机器学习大师的笔意得来的。

2. 在数据集标注上一定要花功夫负责去描述，在自动天生的根本上，我是用 ChatGPT 帮我翻译成英文更换进去的。

上图是墨心作者供应的数据集案例，一共利用了 209 张图，对付每一张图都进行了领域内详细的标注，每张图演习了 100 次。
数据集大多都是山水草木鸟，但 AI 学习了个中技法后将其 apply 到了肖像绘画中，这真是神奇之处。

按照墨心作者的办法，我用 70 多张上海美影厂早期作品的截图，以 Deliberate 模型作为底模，通过 LoRA 的微调办法做了一个上海美影厂的 LoRA，并且用其天生了一些迪士尼的公主和王子。
效果还不错。

在这件事上，我还感想熏染到墨心作者对付国画本身深厚的理解，我想这是让他能够演习出这个模型的紧张缘故原由。
我想起前不久去北京看敦煌的壁画展。

这次最大的震荡不是在于壁画自然氧化后留存下来颜色的美感，而是敦煌壁画的叙事办法：他会把一个故事不同韶光点的事宜放在一张图里。

比如《九色鹿》是从画面两端双线叙事，到画面中点处双线汇合后迎来大结局。
而《舍身饲虎图》则是因果和循环都放在了同一张图里。

这让我想起了特德姜的小说《你生平的故事》，我预测敦煌期间人们的天下不雅观会不会也是：“我生活在人生的所有时候。
”

目前的算法模型的产出很符合我们现在看待天下的线性的办法，呈现的是“此刻” 或者“某个状态”。
现在已经有很多很好的绘画产品能够仿制出敦煌的风格。

但是 AI 知道文殊菩萨骑狮子、普贤菩萨骑大象吗？如果我们真的有所谓 legacy 可以留给后代或者 AI，不应当只是色彩或构图，还有故事和我们看待天下的办法。

如果我将这种 “异时同图” 的叙事逻辑作为标注给到 AI，让他学会这种叙事办法，把故事不同时候不同状态，在同一张画里显现，是否有可能教会 AI 一种新的叙事？

探索角色模型的缘故原由，紧张是受了堪云工造老师 [2] 赛博 Coser 系列的启示。

据堪云老师本人描述，这是在基于 ChilloutMix 模型的根本上，用二次元角色的立绘提取角色特色演习 LoRA，进行天生后得到的。

基于他的思路，我在紧张是画女生模型的 ChilloutMix 上，通过喂紧张为二次元男性角色的立绘，对模型的角色特色进行纠正，做出了画男生的 LoRA 模型。

↓ 角色 LoRA + 贴纸模型 waves-chibi-style [3]

↓ 角色 LoRA + 大头娃娃模型 bigheaddoll_v1 [4]

↓ 角色 LoRA + 古风模型 moxin1.0 [1]

↓ 角色 LoRA + 吉卜力模型 StudioGhibliStyle

角色特色、风格特色可以利用 LoRA 来成为可独立管理的资产，在须要时通过 AI 来进行领悟创作。

同期，一项新的技能进入了我们的视线。
ControlNet 授予了创作者在与 AI 协同事情的过程中更大的掌握力，AI 可以根据你供应的线稿、深度图、姿势图等，进行完备遵照你个人创作思路的天生。
逗砂的"大众号文章做了非常详细的先容：《游戏要结束了：ControlNet 正在补完 AIGC 工业化的末了一块拼图》

在探索 ControlNet 期间，我也做了一个从线稿转成图的效果考试测验，以及图像在不同参数下天生效果的变革。

这个测试结果也得到了 ControlNet 开拓者本人的转发和认可。

这件事情我还蛮愉快的，知道自己不仅受益于开源社区，成果还能反过来勉励到开拓者，或者我的分享对付开源社区是有益的，这对我来说是很主要的事情。

ControlNet 还可以多层掌握：比如人物姿势和背景线条分开掌握，人物姿势和深度图分开掌握等。

有了这项技能的加持后，我开始利用自己做的角色 LoRA 将《恋与制作人》的卡牌角色周棋洛，进行了真人复活。

以下图片左边是卡牌原图，右边是结合 LoRA+ControlNet Canny 模式，进行的赛博 coser 卡牌天生。

这个系列在小红书上也得到了很多用户的喜好。
我因此也有一个体会：如果要拿 AI 做内容的话，得是真的对这个内容有理解/感兴趣/喜好的人来做。

在更新了一段韶光的赛博 Coser 往后，我对 LoRA 演习、ControlNet 利用都比较熟习了。
于是我开始想是否有机会用 AI 的流程，来出一些游戏美宣质量的图。

这个时候另一款我在玩的游戏，永劫无间，出了一个叫做胡为的新角色。
我去测试服玩了一下后决定做这个角色的二创美宣图试试。

我前辈入测试服游戏界面，截了一系列这个角色各个角度的图片，然后演习了这个角色特色为主的 LoRA. 个中底模的选择很主要，由于游戏风格的缘故原由，我选择稠浊了古风和写实真人的模型作为底模。

LoRA 模型演习好后，即可在结合 ControlNet 的根本上天生指定姿势的写实风格的人像。
末了再用 Midjourney 天生了虎纹和背景火焰的元素充足画面，在 Photoshop 里叠加了一些布料做旧和火花的殊效。

虽然在装备的质量和细节上还有许多须要提升的地方，但目前大体的效果至少我个人是非常满意和喜好的，这张图从模型演习到终极的合成渲染，一共花了 2 天韶光。

末了再和大家分享一个运用考试测验。
写到这里我舒了一口气，终于要写完了 如何让 AI 学习指定风格的服装，然后让赛博模特来穿出效果图，是最近 AIGC 圈子里在关注的一个子方向。

我和我的朋友 Momo 桑做了一个以 y2k 风格为主的服装搭配 LoRA 模型，并以 AI 作为“模特”，以此 LoRA 模型作为“造型师”，考试测验做了一个虚拟时尚杂志。

我们在演习 LoRA 的过程中喂了许多 y2k 风格的单品样图，在模型天生的时候，通过描述词尽可能精准地去贴单品的版式和特色。
对付常见的格局来说是有效的，对付花纹比较繁复的还是随意马虎翻车。
（不过我们逐渐在单品掌握上效果越来越好，如果对本项目感兴趣也可以关注我们的项目小红书@AI Bubbles泡泡）

Reference

[1] 墨心：civitai.com/models/12597/moxin

[2] 堪云工造：afdian.net/a/kanyon

[3] 贴纸：civitai.com/models/4379/toru8p-waven-chibi-style

[4] 大头娃娃：civitai.com/models/16643/big-head-doll

[5] 吉卜力：civitai.com/models/6526/studio-ghibli-style-lora

游戏葡萄招聘内容编辑，

点击「阅读原文」可理解详情

行业招聘季 | AI狂潮 | 二次元UGC

可第一韶光收到推送和完全封面！