本日我们约请到了Infinity Ward Lead UI Engineer董晶晖、Tiamat创始人青柑、星引擎社团游戏设计师南瓜&资深美术Angel,一起来磋商AI能天生有趣的创作风格和元素吗?
董晶晖:Infinity Ward Lead UI engineer,参与开拓《义务召唤:当代战役2》、《义务召唤:当代战役》、《义务召唤:战区》、《义务召唤:二战》和《Skylander Battlecasters》,同时个人专注 AIGC 创作,喜好探索不同的可能性,着迷于视觉元素和表达;
青柑:Tiamat创始人,相信科技和创意结合的浪漫,随期间待AI的新可能;
南瓜:星引擎社团游戏设计师,曾参与制作《抱负操持》《交响星辉》《星引擎Party》;
Angel:星引擎社团资深美术设计师,曾参与制作《仙剑OL》《龙之谷2》《交响星辉》《星引擎Party》。
成志&ROSA:主持人,AI+游戏市场不雅观察者,GameTrigger投资副总裁
他们磋商的话题包括但不限于:
AI和人事情画有哪些差异?
AI绘画的出图管线探索
AI目前已经可以助力大型游戏开拓了吗?
AI绘画如何助力小团队开拓?
AI绘画想融入开拓管线面临哪些寻衅?
模型层面有哪些技能探索?
我们将他们的部分谈论整理成文,期待能带来新的思考和启示,Enjoy~
图灵测试:辨别AI作画
南瓜
我挑了些偏氛围感的插画,但里面只有一张是人画的,猜一猜是哪张(还有张是我自己用AI出的图)?这类氛围图紧张传达大致的觉得,细节倒不那么主要。
Jim
我方向于在3和4里面挑选。虽然我认为4确实有些冗余的地方,AI出图也很随意马虎有画面脏的觉得,但我还是坚持4是人画的吧。
南瓜
精确答案是2。1和4出自我比较喜好的AI创作者,氛围感很棒(图一:小红书@ZhouPengART,图四:小红书@灵言-01)。实在2虽然是人画的,但里面也有不幼年细节处理得不足好。不过作为氛围图而言,已经能够通报出大部分感想熏染,这种就没要去解读类似笔触等每个细节。
编辑补充:现场不雅观众精确率不敷30%
Jim
我这里四组图片对应的是不同主题,但不一定是一张人工、一张AI,可以猜猜看。
1.左上-真人题材组
南瓜
我以为2是天生的,它的头发和五官有一点机器的影子在里面;1我觉得像是真人照修片。
Jim
实在 1是AI天生,2是真人,现在很多真人照片还挺难区分的。
2.右上-2D题材组
Jim
这里1是AI画的,2是真人。与写实照片比较, AI会更善于把一些逻辑性的细节添加在作品里,但是如果在写实照片里有太多元素就很可能涌现细节问题。
3.左下-创造性题材组
Jim
这组两张都是AI画的。它们的作者很善于用AI进行天下不雅观创作,你很难直接通过内容去反推prompt,复刻的难度很大。
4.右下-3D渲染组
Angel
我猜左边的是AI,由于它光影上比较假,太理性了。
Jim
对,以及左边的图会有细节冗余,比如头上的线,没有太多意义。
青柑
我之前也有过美术经历,最初AI出来的时候我是自愧不如的,而这几张图不管是对付事情本身的表达,还是对付设计的感想熏染,都让我印象深刻,可以猜猜哪一张是人画的。
答案是4,我们也一贯在探索AI表现出的氛围、意境,在插画领域能否有足够好的表现。如果再轻微修一下图,就更难准确的去判断了。
Angel
我这里只有一张是人画的,都是二次元、卡通风格的人物角色。
Jim
我猜是4,紧张是人物细节从设计上看比较符合逻辑性。比如左边角色脚下并不是没画好的阴影,而是穿的冰靴。
Angel
对,答案是4。
董晶晖Jim分享:AI出图管线探索
我本职是参与《义务召唤》系列的UI开拓,个人平常在用Midjourney、Stable Diffusion进行角色和天下不雅观搭建的创作。只管我并不是直接的美术岗,但设计都有相通性,都在用不同工具去办理问题知足需求。那本日我的分享就从如何用AI工具进行角色设计、探求得当的管线展开,希望对大家有启示。
(小红书@Jim Huihui)
我将以近期在探索的S项目(个人AIGC作品)为例,希望既能通过AI工具创作出新的视觉元素, 整条管线也能知足角色的设计需求。
在开始前,我们首先须要理解所利用的工具,关于Midjourney,有四个特点想跟大家分享:
1. 第一,它拥有强大的素材库,也可以说它拥有强大的模型,某种意义上乃至可以把它当成一个图片搜索工具;
2. 第二,它具有很强的艺术风格模拟能力,比拟SD必须演习模型或者Lora,MJ能在相同资源条件下表现更佳。
3. 第三是关于MJ的劣势,它很难担保出图同等性,尤其因此工业标准去核阅时;
4. 第四是无法避免的Prompt污染,多个提示词间可能相互影响,比如输入赤色的衣服、蓝色的天空,出图可能变成蓝色的衣服和赤色的天空。
详细来说,我希望通过S项目达成以下的设计目标:
1. 避免开盲盒的出图流程,提高出图率,在个人利用时反复修正提示词或出图,固然能在几十张里面找到一两张满意的,但这种开盲盒流程一是不能到达工业管线哀求,二是随意马虎造成把稳力分散,沉浸于开盲盒的眩晕中;
2. 找到稳定出图流程,当我有新需求时,当前的流程不须要进行大的修正,只须要做细微调度,这也是AI工具达到工业标准的目标之一 ;
3. 我希望设计需求优先级更高,不能由于AI限定而妥协;当AI工具无法实现需求时,不应该因此调度需求;同时也是在探索AI工具的上限;
4. 尽可能担保出图同等性,只管比拟于SD,同等性并不是MJ所善于的,但我还是希望尽可能达到这样的目标。
接下里,我先容一下希望设计出的人物形象:
她是一个善于在雨天进行任务的杀手,善于利用各种低廉甜头武器,这些武器日常伪装会被成工具乃至玩具;她的外在形象不具有威胁性,以便降落目标的警觉性,但实际却有强大的行动力和攻击性。
基于此我提炼出三个关键词:杀手、反差、雨水。
接下来是我的出图流程,总体可以分为四个步骤:
1. 第一步我称为0.5版本,紧张是网络素材。
由于这个人物喜好在雨天出击,以是我着重网络了雨衣或是防水材质衣服的素材;同时我希望它的造型不仅具备功能性,也具备一定的装饰性,以是也网络了类似雨衣设计的时尚领域素材。
同时,我会尽可能的网络现实中的真实照片。紧张是由于,第一,素材须要尽可能高质量、高分辨率;第二,我想避免利用其他美术已经涌现的出图或设计,在最早期我不想引入他人的美术风格、设计特点到管线内。
末了是尽可能网络全身图素材,这对付天生全身像的人物设计比较主要。
2. 0.8版本利用MJ Blend出图,找到贴近目标的设计。
之以是利用Blend模式,紧张是由于更能节制变量,可以比对A+B和A+C提示词下的出图结果;而Imagine模式下,为了达到设计需求势必会加入多个提示词,这样就很难通过打消或添加某一个提示词来清晰的知道影响,随意马虎陷入多样性有限的凑集;
且Blend也可以通过限定Prompt数量来减少提示词污染。我不须要像Imagine模式里用最仔细清晰的提示词描述设计细节,避免不必要的元素引入或者冗余信息。
末了我选择了一些带有符合需求方向的设计元素的出图,比如衣服贴近防水材质、具备宽大和半透明的袖子、运动服、人物全身像等。
3. 0.9版本利用MJ Imagine,试图达到稳定、同等的风格和成果。
以上一步的素材作为引子,再添加关于细节和艺术风格干系的提示词。我把艺术风格提示词作为提升同等性的工具,可以通过Describe功能去找一些认为不错的艺术风格素材。
4. 1.0版本终极在Photoshop处理图片,加入元素和细节,把同样用AI天生的武器和道具末了添加到素材当中,完成基本人物出图。
可以看到在这个效果图中,人物的衣服材质靠近于雨衣,具有宽大的袖子,戴着战术手套;在左边也可以看到他们的武器,有匕首气钉枪以及装有堕落液的水枪,紧张用于刺杀过程中的攻击,以及刺杀结束后逃离。人物的衣服格局、材质、武器装备等都比较符合最初的雨中杀手设定。
5. 回顾全体管线,我着重想办理的便是Prompt污染问题和同等性问题,但离工业化水平仍有差距。且目前存在难以天生手持武器或装备状态的人物,面部风格也很难做到完备同等。
基于上述流程可以总结出关于AI画图工具的四点阐述:
多样性:可以从艺术风格和天生元素两个维度探索,但会受到模型限定;
同等性:目前很难达到工业标准的同等性,设计需求的繁芜性和出图同等性成反比,只管像SD有供应强大插件试图办理,但目前最有效的办法仍是能通过大量的素材演习办理,乃至一个模型只做事于一个角色。在这种情形下,反而是工业级别的团队才有能力去进行操作。
可控性:工具可控部分有限但发展迅速,对用户愈发友好;不管是闭源还是开源的AI工具,势必要有更多对用户友好的接口,才能让大家更好的去利用和去理解;
创造性:产出率决定于利用者的办法和创造性,我希望能用大家更为熟习的元素和文化作为根本,创造新的视觉元素,创造出让人熟习、但是又新颖的体验,创造出符合我们感同身受的形象,乃至是IP。
末了总结:
AI为行业整体带来的正面影响大于负面。从工程学的角度来说,我们还没有将AI工具发挥到极限,犹如最初的拍照师只追求还原真实,我们还处于新技能的眩晕当中,我希望我们能创造出让大家“熟习又新颖“的事物。
Tiamat青柑分享:模型层面的技能发展
关于Tiamat:
我们最早在22年3月份开始在小红书上发布模型天生的结果,比DellE 2和MJ公测都稍早,包括Tiamat这个名字都是最早期我们核心的、帮助我们测试模型和反馈数据的用户一起投票投出来的。我们也比较理解和支持开源生态,且非常相信开源生态会带给全体行业变革。
目前公司产品有三个,一是更加专业的网页版Tiamat,二是小程序版本,三是QQ频道版本。我们希望做最有温度、最亲民的AI。
关于事情流:
我对付游戏立绘方面很感兴趣,公司也做了不少落地的项目,在这以角色设计为例讲一下我们的事情流。实在像Jim老师刚才出的那种设计稿离实际游戏内还有一段间隔,在我们打仗的案例中,常日是已经做好了设计草图,在得知角色的形象细节、衣服材质、整体设计不雅观感等要素后,我们要做的是产生实际可上线游戏的素材图。
用Tiamat天生角色剪影
在有了设计稿后,我们紧张关注剪影和游戏设定的感官是否同等,比如这张立绘是一个站立的角色,有倒梯形的剪影,这里不太关注角色每个设计元素是否准确,而是先定草图。
此外还要把稳版权问题,所有东西都是从零天生,或是基于客户给的内部素材。
人工调度
在天生剪影的根本上,我们须要人工将干系素材贴上剪影,此时有很多设计细节仍须要人工调度,包括材质、光影等,这一步末了的质量须要达到一样平常二游首页立绘的水平。
Jim老师刚才说的同等性问题现在就暴露出来了,比如我现在做出来一张角色阶段一,当他变为阶段二时,我要怎么样担保他的脸、气质等设计都不变。目前办理方案仍紧张靠抠图换脸,哪怕干系元素已经设计好了,要做成实际利用的产品都须要先用AI从零天生一个剪影,人手去把元素贴上去,再去用类似的技能天生出图,末了再调度面部、饰品、材质等细节。
只管经历了上述一个不短的路径,天生的立绘依旧不能过于繁芜,如果设计元素过多,AI仍无法很好地处理。
关于创作中的问题:
AI缺少遐想能力
我们比较专攻二次元游戏,而二游角色的魅力非常依赖设计细节、人物背景、天下不雅观设定,而AI还不能完备理解这些内容。比如上图中的牧师形象,她背后的天平、小树枝等元向来自于人拿到素材或设计哀求后大脑展开的遐想。而AI目前的遐想触手范围不敷,很难从零到一的把这些步骤做好,也没有办法做风雅的遐想。
技能上有局限
在技能细节上,存在图像细节充分,但并不代表它的单图像素足够高,就算演习素材高清、高像素,出图却不一定有充分的细节、并且知足项目须要的像素清晰度。
背景图类美宣实现落地
AI作为一个赞助工具,在帮助快速将设计好的元素、故意思的设计落地上,已经是打通了的。在游戏领域,背景图类美宣已经能实现不错的效果,比较于对角色形象的高敏感度,人类对背景图的关注没那么强。接下来我们会着重在设计审美和想象力本身的事情高下功夫。
南瓜分享:小团队怎么样用AI
南瓜
我紧张因此游戏制作人的身份展开,更倾向于前期观点跟企划上面。我们社团在AI美术上贯彻的不雅观点是:利用AI作为工具,但我们不要变成AI的工具。AI对付我来说是作为通报感想熏染的工具,哪怕细节上存在缺点,但其他岗位的同学可以直不雅观的理解我想要的感想熏染,如果只读笔墨的话,不同人脑内产生的画面可能会有比较大偏差。比较于以前策划案上可能涌现的“灵魂绘图“,现在AI已经能通报出空想的氛围感。
将AI运用在背景解释上,既可以避免前面提到的问题,又能最大化发挥浸染。作为观点设计图,通报感想熏染便是目的,只有到了真正的游戏立绘上,细节才会变成目的。氛围图便是通报感想熏染的,图像里面所有的信息都是配角,作为观点设计图,有八根手指也不会影响它氛围是那样的。但落地到真正的游戏立绘上,只有细节画的很好玩家才乐意氪金,这点我们以为目前的功能还差的蛮远。
推举一个我认为目前已经不错的落地场景:AI插画。比如B站上有小说音频会配一些AI的插图,只管插图和小说内容可能不太干系,但读者的紧张把稳力并不在图片上,紧张是合营笔墨通报氛围,而如果请画师去画一套,本钱将非常高。
以我们制作的一个Demo为例,早期Demo的职员、资金投入非常有限,而现在各个工种非常细分,对付小团队更是随意马虎涌现职员上的捉襟见肘。
当时我们想做一个网络迪厅感的Demo,而这种会非常依赖场景和殊效。但这个背景里所有的人物、场景、小的光影效果实在都是AI做的,我们只投入了两三个人,统共用时不到四小时,个中AI工具上花了两、三个小时。当后续专业的场景、美术同学接入后,会对后续方向有感知,而不是面对一张白纸或三次元参考图,节省了大量谈论和迭代本钱。
我们几个初始做demo的同学利用AI作为工具天生一些我们认为很对的方向和效果,它天生的质量在该韶光段是不主要的,而是通报出我们未来会有一堆不雅观众、在一个这样子的地方,再通过一些措辞描述或者配图配置,新进来的同学就能快速理解方向。
Jim
我的那套管线在探索上前前后后花了有一周多,但是流程找到后出图达到人物效果大概也是几小时旁边。
ROSA
Jim老师有提到您那一套管线实在更适宜大公司去做,一个模型只产出一个角色,为什么会有这个不雅观点?
Jim
我在办理同等性问题时,创造当利用很多素材去演习实在是能达到一定的精准度。而公司它本身有自己的素材库,完备有条件、有资源、有本钱去承担针对角色的演习。但面对创造新内容的场景时,大量素材就不一定完备适用了。类似南瓜老师的思路,我们不要指望AI一劳永逸的出图直接用,而是作为赞助工具,针对不同的场景去利用,这个才是目前对付大部分个人或者团队来说更好的思维方向。
ROSA
有没有可能把您那套管线像咱们传统开拓的时候进行分拆,比如说草稿、三视图、以及后续物件角色的细化,让不同的同学帮你一起完成。
Jim
我以为可以,但目前较难实现,由于会涉及到同等性问题。但如果只是作为出发点,展示表达设计需求、设计逻辑和元素,实在目前是可以的。之条件到的人物拿武器或不同姿势的状态图、衣饰道具、面部等方面进行细化扩展。
北美游戏行业的AI利用情形
成志
我们对北美游戏行业的印象更多是偏成熟的、工业化的项目,对稳定性哀求都更高,同时北美也是AI可能更加发达,谈论热度更高的一个地区,那实际上大家从业者或公司之间有没有在用这些工具?
Jim
各大公司一贯在关注,但让AI落地于管线还须要韶光。对付成熟的管线来说,我们希望有达到当前标准、直接应用的工具,另一个让人哭笑不得的事实是,当有大量的素材去演习时,实在每每有本钱更低的管线去达到相同的目的。对付公司层面来说是处于保持探索和不雅观望的态度。
从个人的角度,北美有大量的AI开拓者、创作者。他们很喜好用AI去构建虚拟天下,不但专注于人物形象本身,我自己也希望不是只专注单张的的出图,而是处于一个大天下不雅观的框架里。
Angel分享:资深美术怎么用AI
Angel
我以为AI可以把一些想象中很飘渺的东西变得比较落地,能够帮你把设计的想象边际拉的更宽。
我曾经有很多特殊牛的想法却由于能力不敷难以表达出来,比如说我想做钻石头发、黑胶裙子,这种基本要把技法练到最厉害才可能把想法落地。但AI不须要可以帮助减少这种顾虑,所有天马行空的想法都可以先用AI考试测验制作。
我个人的利用流程中,人工调度的这个韶光跟自己绘画的韶光比较实在差别不大。如果只基于AI成品调度,反而随意马虎被它束缚。以是一样平常是调度角色光影、创意广度等情形下会用到AI,接下来还是以手绘为主,或是先丢进AI渲染看看参考效果。
发行视角:AI能否助力发行
成志
对付普罗大众而言,是不是也可以开拓出某种工具,尤其二次元产品讲究同人氛围,大家能更好的天生自己想象中的OC。比如想给我们喜好的游戏做一套漫画,现在是可以落地的吗?
青柑
目前让漫画从业者来看是不足的,但如果只是自己玩OC、四格漫画类是可以的。虽然同等性还不强但也够用。四格漫画对付分镜的哀求很高,AI还没有在这方面做专门优化。
技能侧的探索方向
成志
接下来这一年你以为AI作画会朝什么方向发展,学术上在探索什么?
青柑
一是更多模态的输入带来的掌握,二是更精确的文本掌握。
目前AI在掌握天生内容上的能力并不强,紧张是跟数据集和演习方法有关,CLIP技能是OpenAI的,但开源出来的不是完全版,基于此做的文本图像配对可控性肯定不如DellE 3,基于此延展出两个可能的方向:一是把措辞的风雅掌握做到最强,同时打通视觉模型,把AI当作乙方,不断的修正天生结果。
二是在图片输入侧增加更多模态的输入,就像刚才Jim老师提的为什么第一步用blend而不是Imagine,便是希望用图片自带的信息去天生。
掌握变得更加风雅,实在变相把不同人利用工具的差距拉开了。我们都还处于技能最早的探索阶段,但如果它要上升成工具,人参与的程度要变得更重。只有人与人之间利用工具的能力拉开很明显差距,它才能帮助我们去做更好的创作和设计。
但末了,非常风雅的掌握是不是创作者所须要的呢?由于笔墨的模糊性可以带来想象力,这也是为什么最早文生图能火的很快,让每个人都能把自己的创意表达出来。带有一定模糊性的Midjourney把审美做的很好,又富有想象力,以是它的社区氛围也好,大家用它的动力很强。
注:以上内容仅代表高朋个人不雅观点,不形成任何普适性结论。