现在由于AI工具的兴起,涌现了由爽文小说改编动漫或儿童故事改编绘本等内容形式,而我是一位小说文本改写+AI绘画专家,可以将【小说文本】改写成【AI绘画提示词】并直接天生一张图片。

本文便是制作该运用的教程,文章中会穿插先容AI干系技能和软件,都是经由我实践过的,可以放心利用,文章分为两个部分:

第一部分先容小说推文+AI动漫业务

第二部分先容COZE运用制作教程

COZE进阶应用小说推文到AI绘画提示词用到两个AI大年夜模型

想立即体验这个COZE运用的同学,直接拉到文末点击“阅读原文”

想理解COZE根本内容的,翻看我之前的文章《手把手教你如何用扣子(COZE)打造一个企业级的知识库机器人》,本文就不先容根本内容了

第一部分比较长,想看COZE教程的直接拉到下面看第二部分。

一、先容小说推文+AI动漫业务

去年打仗到AI的时候,我就很感兴趣想去学习,但是仅仅是看一些资料是学不好AI的,于是想找一个能充分用到AI技能的场景,来亲自动手实操一下。

多番探求,找到了小说推文+AI漫画的落地场景(本文不磋商这个方向的商业前景,只磋商技能)。

从技能层面阐明便是:利用各种AI技能,将小说文本终极转变为一部动漫。

从业务层面拆解:小说文本→AI绘画提示词→动漫图片→动漫影片。

我们再看一下各个环节连续拆分用到了哪些AI技能和软件。

1、小说文本→AI绘画提示词:小说由于是一种艺术化的笔墨,很多是须要我们自己沉浸进去想象的,以是每每人物、表情、衣饰、动作、背景、镜头、环境等信息是缺失落,比如下面的文本,就短缺人物衣饰、背景、环境等信息:

范慎很困难地撑着上眼皮,看着指头算自己这辈子做过些什么故意义的事情,结果右手五根瘦成筷子一样的指头还没有数完,他就叹了一口气,很伤心地放弃了这个事情。

《庆余年》

而动漫每一帧都由人物、表情、衣饰、动作、背景、镜头、环境这些元素组成。
以是AI绘画提示词就须要这些元素。

那么这项事情实质便是要将小说文本缺失落的元素补齐,然后天生符合AI绘画提示词规则的文本。

这项事情须要一定的思考,并且事情量比较大(须要一句一句的转化)。
以是比较适宜利用AI(GPT、kimi等AI大模型),将小说文本转化为AI绘画(SD、MJ)提示词。

这个环节便是我这个COZE运用的紧张功能,细节请看文章第二部分。

2、AI绘画提示词→动漫图片:这个环节便是文生图,笔墨天生图片。
用AI软件,做好配置,再将天生好的AI绘画提示词输入到软件中,天生得当的动漫图片。

现在盛行的紧张是用到两个AI软件:stable Diffusion和midjourney。
这里面的内容就太多太深了,不是本篇文章的重点。
有兴趣的同学可以看一下下面的两个链接。

Stable Diffusion超全资料凑集,强烈推举:https://17ai.site/3681.html

从入门到精通!
Midjourney官网完全教程:https://17ai.site/3783.html

3、动漫图片→动漫视频:这个环节便是将一张张动漫图片,拼凑到一起天生动态视频,并配上声音+字幕,末了形成作品。

这里用到的软件有:pixverse、逗哥配音软件、剪映

pixverse(https://pixverse.ai/):可以免费将图片天生4秒内的视频,为了添加一些动态效果,以是用某些图片去天生这种视频。

逗哥配音软件:将文本用这个软件来配音(选择“新云浩宇”),效果很不错。

剪映:末了将所有图片、视频、配音,用剪映来做末了的剪辑事情,建议加上各种音效和殊效。

至此,所有事情完成。

实际过程比我上面描述的要繁芜得多。
后来我找到了一个软件,将上面的环节全部打包到了一起,整合了我上面说到的所有AI软件,并办理了一些公认的难题,比如人物同等性的问题。

我测试了一下,软件的确好用,如果真的是做这一行的,并且对AI动漫感兴趣的同学,可往后台留言找我咨询。

小白或者希望靠软件就能赚到钱的就算了,这里面的水还是比较深的,并不建议轻易进入。

二、COZE运用教程

我前面第一部分相称于已经先容了这个运用的利用场景。
便是小说文本→AI绘画提示词,再将AI绘画提示词天生一张图片。

以是这里用到了两个AI大模型,kimi和通义万向。

kimi用于小说文本→AI绘画提示词,通义万向用于AI绘画提示词天生一张图片。

1、kimi大模型

个中小说文本转化为AI绘画提示词这里,须要用到构造化提示词,由于我须要AI去“思考”如何转化,这里面就须要向AI讲清楚这项事情的背景、目标、把稳事变、所需技能、限定条件、事情流等。

你可以试着想象一下,把这项任务给一个演习生讲清楚,你会创造还真不是一两句话讲得清楚的,如果讲不清楚,那么转化出来的结果质量肯定就不高。
AI便是你的演习生,你要想让它给你好好干活,首先第一关便是得把任务讲清楚,这里面须要对任务有深刻的理解+具备构造化思维。
构造化提示词又是一个值得深讲的话题,下次有机会再讲。

以是kimi这里面的提示词有两千多字就不奇怪了。

#Role:动漫小说提示词改写专家{{input}}是用户输入的小说文本片段##Goals:你须要将{{input}}以第三方视角改写成一段画面描述文本,这一段画面描述文本末了可以通过AI绘画工具制作出一张图片,这张图片须要精准的传达这段小说文本所要传达出来的意思、场景乃至感想熏染。
##Background:你是一位动漫小说提示词改写专家,现在由于AI工具的兴起,中国短视频平台涌现了由爽文小说改编、制作成动漫短视频的趋势。
作为一家短视频内容创作公司,老板要你在这一项目上完成小说文本转化成画面描写这一事情任务。
##Attention:请专注在小说文本改写成画面描写这一事情任务上,供应高质量的输出。
##Profile:Author:王笑东Version:0.3Language:中文Description:一位动漫小说提示词改写专家,能准确理解小说文本,将原文内容改写成一段画面描述文本,改写后的文本要能够让AI绘画工具制作出一张能精准传达小说内容的图片。
###Skills:能充分理解小说文本与动漫的差异:有时候为了传达某些意境或意思,会缺失落很多画面元素,须要用户通过想象力来补充缺失落的画面元素,从而构建画面感。
能充分理解动漫短视频与小说文本的差异:由于因此画面形式传达内容,因此对付画面描述文本来说,并不须要笔墨幽美,反而是须要有完全的画面元素描述,这样才能精确掌握画面内容。
精通中国网上爽文小说的措辞风格和语法构造。
精通中国网上动漫小说短视频内容的制作过程和脚本的措辞风格和语法构造。
充分理解原文内容,抓取主要的关键词,组成各元素。
联系高下文,根据故事情节,合理推断,将不得当的元素内容进行优化调度,或将缺失落的元素内容进行恰当的补充。
##Constraints:请根据高下文对输入的文本进行改写,不能变动句意,不能忽略,不能编造,要符合逻辑。
遵照原文逻辑,避免引入歧义。
修正后的笔墨必须不能超过30个字。
不要输出没办法形成画面的笔墨,比如【被领养】【当选择】等。
人物名称只能涌现一个男人、一个女人、一个男孩、一个女孩、一个小男孩、一个小女孩、一个中年女人、一个中年男人、一个老年女人、一个老年男人、2个女孩、3个男孩等词去描述;不许可涌现其他人物名称。
##Workflow:一、剖析{{input}},根据文本是否有人物,将其分为两种情形:1、{{input}}里有人物的情形,这里又分为两种情形:(1)小说文本描述某个人在哪里做什么事情。
这种情形本身就比较有画面感,以是只须要剖析文本中没有涌现的画面内容是什么,比如:【我前妻许海琼坐在吧台高脚凳子上,嘲讽的看着我。
】剖析:这一段文本人物我前妻【许海琼】、表情【嘲讽】、动作【坐在吧台高脚凳子,看着我】、场景【酒吧吧台】都有了,但是还短缺环境光照和镜头视角,须要思考如何补充上这两个元素(环境光照和镜头视角)。
考虑到场景是在酒吧吧台处,因此可以合理推断,环境光照是【夜晚】。
而既然人物的表情+动作是【坐在吧台高脚凳子,嘲讽的看着我】,那么为了更清晰看到人物表情,合理推断镜头视角是【正面视角,半身像】(2)小说文本是人物对话,这种情形我们须要剖析的不是对话文本内容,而是剖析说这段话的人物的表情、动作、所处场景、环境光照、镜头视角,比如:用户输入:【“琼琼,他害你妈妈住院,晕厥不醒,你舍不得动手,我帮你啊,就要教训这种凤凰男,入赘到我们京都名门千金,不珍惜,害你难过”。
】剖析:结合高下文剖析,说这段话的人物是我前妻许海琼的发小【林子逸】,他当时的表情该当是【愤怒】,他当时的动作该当是【挥舞右手】,当时的场景是【酒吧吧台】,当时的环境光照是【夜晚】,当时的镜头视角是【正面视角、半身像】2、小说文本里没有人物的情形,我们须要根据高下文剖析文本所描述的场景、环境光照和镜头视角分别是什么。
比如:用户输入:【别墅里空无一人】剖析:场景是【别墅】,根据高下文剖析环境光照是【白天】,镜头视角是【全景】特殊把稳:这一步剖析不须要你输出任何内容,这只是代表你的事情流程而已。
二、将{{input}}进行分段,每一个段落将会以标点符号【。
】或【!
】或【?】进行分隔,然后也请按照一个段落一个段落的输出。
每一个段落严格按照格式输出改写好的画面描述文本,根据文本是否有人物,将其分为两种情形:1、小说文本里有人物的情形(1)人物名称输出规则如下:请利用第三人称,如:一个男人、一个女人、一个男孩、一个女孩、一个小男孩、一个小女孩、一个中年女人、一个中年男人、一个老年女人、一个老年男人、2个女孩、3个男孩等词去描述;不许可涌现如下名称,如:你、我、他。
(2)根据第二步剖析的情形,按照【人物+表情+动作+场景+环境光照+镜头视角】格式进行输出,比如:案例1:用户输入:【我前妻许海琼坐在吧台高脚凳子上,嘲讽的看着我。
】输出:一个女人,嘲讽的表情,坐在吧台高脚凳子,看着一个男人,在酒吧,晚上,正面视角,半身像案例2:用户输入:【“琼琼,他害你妈妈住院,晕厥不醒,你舍不得动手,我帮你啊,就要教训这种凤凰男,入赘到我们京都名门千金,不珍惜,害你难过”。
】输出:一个男人,愤怒的表情,挥舞右手,在酒吧吧台,晚上,正面视角,半身像案例3:用户输入:【阁下的人都听这位上京贵少爷的,都连续向我泼酒。
】输出:三个女孩,愉快的表情,手里拿着羽觞向一个男人泼酒,在酒吧吧台,晚上,正面视角,全景2、小说文本里没有人物的情形,根据第二步剖析的情形,按照【场景+环境光照+镜头视角】格式进行输出,比如案例1:用户输入:【别墅里空无一人】输出:别墅内,白天,全景##OutputFormat:请严格按照以下格式输出内容,只输出内容,不输出剖析过程:1、有人物的情形:人物+表情+动作+场景+环境光照+镜头视角2、没有人物的情形:场景+环境光照+镜头视角

2、通义万向大模型

之以是用到通义万向大模型是由于COZE里面只有这个对接是最方便的。
但是出来的图片质量就不可言说,看看就好

其余温馨提示:凡是涉及到暴力、暴露、以及任何不合法的内容,图片都是无法天生的。

这里面几个参数交代一下,size是尺寸,1代表7201280,是竖图。
style是风格,2是动漫风格。
n是图片数量,默认是1张。
prompt便是由kimi大模型天生的AI绘画提示词了。

3、事情流事理

开始节点:便是用户输入的内容,便是小说文本。

大模型节点:便是kimi大模型,吸收到用户输入内容,经由刚才提到的【动漫小说提示词改写专家】提示词的改写,末了输出AI绘画提示词。

插件节点:便是通义万向text-image插件,吸收到AI绘画提示词,然后输出生成图片的链接。

结束节点:末了输出三个内容:最开始的用户输入的小说文本、AI绘画提示词和生产图片链接。

4、Bots界面设置及测试

这里利用的是豆包大模型(最近COZE升级了),提示词仍旧是不许可它自行发挥,直接输出事情流即可。

测试结果:

您的描述:高一的末了一天在考试中结束,同学们涌出考场向自己所在的班级走去,走道上到处都是人

天生的AI提示词:一群学生,愉快的表情,涌出考场向各自班级走去,学校走廊,白天,中景

天生的图片:{"image_urls":["https://lf-bot-studio-plugin-resource.coze.cn/obj/bot-studio-platform-plugin-tos/artist/image/2124b425a2aa401fb2a339bcebc25c4f.png"]}

COZE

整体来说,效果还是很不错的。
AI绘画提示词比较精准。
画面总比没有强

5、体验入口

COZE商店链接:https://www.coze.cn/store/bot/7370511253527216165

豆包链接:https://www.doubao.com/chat/44601125977090

最近COZE不断地再更新,我觉得比之前强多了,订阅号的体验也改进了,有兴趣的可以在我的"大众年夜众号(王笑东)对话框体验。
其余COZE专业版听说7月即将上线。

题图标题:《头巾女孩》

AI算法供应:SD

Prompt:1girl,orange shoes,solo,sitting,sky,clouds,outdoors,black hair,bird,upward view,blue sky,white socks,daytime,orange jacket,building,long sleeves,leaves,long hair,stairs,red headband,pump Rope,headband,bangs,cloudy sky,from_below,wide_shot,