本日我们要分享的内容视频版如下，视频已添加进度条及配音，想要原视频以及模型的鹿友后台撩我获取：
视频版稍后单独发送
以下是图文版内容：
正文共：3267字 45图
估量阅读韶光：9分钟
本日要分享的内容是最近很火的这种笔墨融入图片效果：
这个效果当时看到群里发出来的时候，我正在川西旅游，本想着回来之后试试写一下，结果回来之后创造网上已经有教程了：
后来又一贯很忙，一贯拖到现在快一个月了，还是写一下吧，算是个了却。
我这里总结了三种方法，前两种方法网上已经有很多教程了，末了一种方法是我自己研究的，不太好，也算是一种思路吧！
好了，废话不多说，让我们看看如何制作这种笔墨融入图片的效果吧！
01
序言及准备事情
虽说是三种方法，实在大体思路都差不多，都须要借助SD的Controlnet，只不过用到的模型不一样。
前两种方法文生图和图生图都可以，末了一种只能用图生图，我这里就统一用图生图来演示吧。
首先我用文生图天生了这样三张夜景图：
然后再用Ps制作了这样三张黑底白色的笔墨图，这里有两点提醒大家一下，首先笔墨可以适当高斯模糊一样，这样边缘不会太锐利。
其次笔墨的构图最好要参考一下你要融入的图片，特殊是人物图，否则可能须要频抽卡才能得到比较满意的效果。
我这里是夜景图，就大略的把笔墨做了一下透视：
打开SD，在图片信息里载入夜景图获取它的提示词信息，然后直接发送到图生图：
大模型我用的是Realistic Vision，这是C站下载量最高的一款写实类模型，也是我最常用的一款，目前已经更新到V5.1版本了：
做这种效果有一定的随机性，不要忘却保持随机种子为-1，方便抽卡：
02
利用Tile模型制作
第一种办法是利用Controlnet Tile模型制作，这个是Controlnet 1.1新增的一个模型。
模型以及预处理器在上一篇Controlnet通用参数的文章中已经分享给大家了，各位鹿友可以自行去获取：
这个模型最大的特点是它会根据你在Controlnet中输入的图片信息在原图中绘制新的细节。
因此它常日用于放大图像，后面的文章我也会给大家分享我在事情中常用的两种批量放大图片的方法：
回到SD中，先把笔墨图拖进Controlnet里，勾选启用和完美像素：
掌握类型选择Tile，这个模型有三种预处理，分别是颜色覆盖、颜色覆盖加锐化，重采样。
前面两种我测试过，由于我们输入的笔墨图是黑底的，利用颜色覆盖天生的图像会很暗。
因此我们就选择重采样这种办法就好，爆炸图标点不点都没紧要：
先直接天生一张图看看，你会创造笔墨过于清楚，画面变黑了：
这是由于Tile的影响太大了，我们可以适当的调度权重以及开始和结束掌握的参与步数。
这三个参数的数值不是固定的，和你的原图有关，大家实际操作中可以自行测试：
当我们适当调度参数往后，效果就好多了：
不过你可能会创造天生的图和原图差别比较大，这是由于我们图生图的重绘幅度过高导致的：
如果你希望天生的图像只管即便和原图相似，可以适当的降落重绘幅度：
但须要把稳的是降落重绘幅度也会降落Tile对天生图的影响，我们前面也提到了，Tile会绘制新的细节，重绘幅度降落了当然影响就弱了。
因此如果希望天生图和原图保持同等，就须要低重绘幅度高权重，反之同理，我这里将权重提高到了0.8，觉得是我想要的效果：
Tile还有一个降落采样率的参数，这个数值越高，重绘的细节越少：
末了放大图看看效果吧：
03
利用第三方模型制作
第二种方法是利用两种第三方演习的Controlnet模型。
第一款在C站上的名字叫Lighting based picture control controlnet，在抱脸网上的名字叫illumination：
第二款在C站的名字叫Brightness：
这两个名字很相似，Illumination是照明，Brightness是通亮度，两个模型可以单独利用。
比较于Tile模型，这两款模型更倾向于制作光影的效果，下面是chatgpt对它们的差异阐明：
这两款模型可能是同一个团队演习的，文后我也会把这两款模型分享给大家：
利用的思路方面是Tile模型是一样的，首先是Lighting based picture这个模型。
载入笔墨图片，预处理器这里选择无，模型选择Lighting based picture：
把稳，我现在的重绘幅度是默认的0.75，直接点击天生看一下，同样画面变得很暗，笔墨过于清晰：
因此同样调度参数，权重0.35，开始和结束掌握的参与步数分别是0.2和0.9，效果就好多了：
同样的如果你希望画面只管即便保持不变，就须要降落重绘幅度，然落后步Controlnet的权重：
放大图片看看效果吧：
至于Brightness模型也是一样，无非便是测试这三个关键参数，预处理器选择无就行：
这个是Brightness放大后的效果：
04
利用Depth+轮廓类模型制作
这是我自己研究的方法，只能用于图生图，并且可控性不高，随机性很大，大家仅做理解吧！
首先通过图片信息功能，在提示词栏位输入和天生图相同的题词：
在文生图输入栏位把原图更换为笔墨图：
再在Controlnet中载入夜景图，模型选择深度图，预处理器用最精准的depth leres++，爆炸一下：
默认重绘幅度0.75，点击天生你会创造图片变暗了，笔墨识别也不太准确。
图片变暗是由于图生图识别的是输入图的颜色信息，图片大部分是玄色，以是会变暗。
而笔墨识别不太准确是由于虽然图生图能读取颜色信息，但0.75的重绘幅度足以让天生图与原图产生较大的差异，并且设置中没有能固定笔墨的设置：
因此我们须要再加入一个能固定笔墨形态的掌握，比如在第二个Controlnet中加入一个SoftEdge软化边缘的模型，预处理器我这里选择的是SoftEdge hed：
权重可以适当降落一点，然后就开始抽卡，你会创造图片很暗并且笔墨过于清晰。
这是是由于重绘幅度还不足导致的，由于这次我们是直接在图生图中输入的是笔墨图：
这种方法的思路是在Controlnet1.1之前，险些没有模型能够识别图片的颜色信息。
因此我们可以借助图生图识别图片颜色信息的功能见告SD什么地方是亮的，同时用Depth模型掌握深度关系，末了再用轮廓类的模型来进一步限定笔墨的形状。
我们可以再次提高重绘幅度，然后抽卡得到一个觉得还不错的效果：
不过这种方法最大的问题是可控性比较差，你可能须要多次抽卡才能得到一张比较满意的图，并且由于重绘幅度高，以是天生图与原图的差异也比较大。
末了图片放大看看效果吧：
以上便是本日想要分享的所有内容。
如果以为对自己有所帮助，请不要吝啬自己的一键三连，你们的支持对我很主要，感激！
更多内容欢迎关注公众年夜众号：
本文由“野鹿志”发布
转载前请联系马鹿野郎