LayerDiffusion 是 ControlNet 作者Lvmin Zhang提出的新项目，它使得大规模预演习的Stable Diffusion能够天生单个透明图像或多个透明层，且支持前后景的图片领悟和图层拆分——LayerDiffusion 不是抠图，是天生！
效果图
02、算法背景
LayerDiffusion的核心，是一种叫做潜在透明度（latent transparency）的方法。大略来说，它可以许可在不毁坏预演习潜在扩散模型（如Stable Diffusion）的潜在分布的条件下，为模型添加透明度。
03、与传统抠图的差异
原生天生VS后处理
LayerDiffusion：是一种原生的透明图像天生方法，它直接在天生过程中考虑并编码透明度信息。这意味着模型在天生图像的同时就创建了透明度通道（alpha channel），从而产生了具有透明度的图像。传统的抠图方法：常日涉及师长西席成或获取一个图像，然后通过图像编辑技能（如色键、边缘检测、用户指定的遮罩等）来分离前景和背景。这种方法常日须要额外的步骤来处理透明度，并且可能在繁芜背景或边缘处产生不自然的过渡。单层天生效果
潜在空间操作 vs. 像素空间操作
LayerDiffusion：在潜在空间（latent space）中进行操作，这是一个中间表示，它许可模型学习并天生更繁芜的图像特色。通过在潜在空间中编码透明度，模型可以在天生过程中自然地处理透明度，而不须要在像素级别上进行繁芜的打算。传统的抠图技能：常日在像素空间中进行，这可能涉及到对原始图像的直接编辑，如颜色更换、边缘平滑等。这些方法可能在处理半透明效果（如火焰、烟雾）或繁芜边缘时碰着困难。多层天生效果
灵巧性和掌握
LayerDiffusion：供应了更高的灵巧性和掌握能力，由于它许可用户通过文本提示（text prompts）来辅导图像的天生，并且可以天生多个图层，这些图层可以被稠浊和组合以创建繁芜的场景。传统的抠图方法：可能在掌握方面更为有限，尤其是在处理繁芜的图像内容和透明度时。利用地址？现在 LayerDiffusion 已经支持在WebUI Forge和 ComfyUI 中利用了，SD WebUI 暂不支持。
01、WebUI Forge
Forge 是 WebUI 的一个分支，其操作逻辑和交互与 Web UI 完备相同，只是在底层进行了一些修正以提高天生速率。插件在运行时会自动下载所需模型。LayerDiffusion 项目现在已经成功整合到 Forge 的扩展中，这一功能可以直接天生具有透明背景的图片。
插件地址：https://github.com/layerdiffusion/sd-forge-layerdiffusion
02、ComfyUI
ComfyUI的LayerDiffusion透明图层天生插件也已经发布了，目前还只支持天生。
通过 Git URL 安装选择，输入以下地址，点击确定安装就可以了：
https://github.com/huchenlei/ComfyUI-layerdiffuse
感兴趣的小伙伴们可以去试试哦～