绣成安向春园里，引得黄莺下柳条。作为非物质文化遗产的主要代表，我国的刺绣艺术历史悠久、技艺博识，工匠通过不同的针脚、各色的丝线，将主题丰富的图案活灵巧现地展示于一方绣布之上。过去，刺绣工艺繁芜、门槛极高，须要有专业知识与实践履历的工匠才能完成。近年来，卷积神经网络 (CNN) 在图像分类、目标检测、图像天生和风格迁移等任务上展现出强大能力，研究职员也开始探索利用 CNN 在图像中合成刺绣特色。
然而由于刺绣具有繁芜的针法、纹理和立体感，并且包含着眇小的细节和不规则的图案，以是 CNN 在合成刺绣特色的运用中存在局限性，例如无法预测不同的缝线类型，使得它难以有效地提取缝线特色，从而无法有效天生连贯且自然的刺绣图案。因此还须要设计师手动选择和调度缝线类型和其对应的颜色，这一过程每每须要耗费大量的韶光，才能达到空想的效果。
针对付此，武汉纺织大学打算机与人工智能学院可视打算与数字纺织团队提出了一种多缝线刺绣天生对抗网络模型 MSEmbGAN。MSEmbGAN 提高了刺绣中纹理真实度和色彩保真度等关键方面的精度，成为首个基于 CNN 成功完成刺绣预测特色的天生对抗网络模型。
干系研究以「MSEmbGAN: Multi-Stitch Embroidery Synthesis via Region-Aware Texture Generation」为题，被 IEEE Transactions on Visualization and Computer Graphics (TVCG) 任命，上海交通大学打算机科学与工程学院盛斌教授为通讯作者。TVCG 是打算机可视化领域的顶级期刊，被中国打算机学会 (CCF) 列为 A 类期刊。
研究亮点：
MSEmbGAN 是第一个成功合成包含多种缝线纹理和色彩的多针刺绣图像的基于学习的模型
提出了两个相互协作的子网络：一个是区域感知纹理天生网络，以确保刺绣纹理的多样性，以及缝线特色的准确性；而另一个是着色网络，以确保输入和输出图像之间颜色的同等性
建立了当前最大的多针刺绣数据集，同时它也是第一个通过单针和多针标签详细标注的刺绣数据集
论文地址：https://csai.wtu.edu.cn/TVCG01/index.html
数据集下载地址：https://go.hyper.ai/Jmj9k
开源项目「awesome-ai4s」搜集了百余篇 AI4S 论文解读，并供应海量数据集与工具：
https://github.com/hyperai/awesome-ai4s
数据集：包含 30K + 图像，为目前已知的最大刺绣数据集研究职员通过专业的刺绣软件 (Wilcom 9.0) 制作了超过 3 万的图像，包括刺绣图像和相应的内容图像。并且所有图像都被调度为 256 × 256 的分辨率。多针刺绣数据集将开源，贡献给本研究领域的其他研究者。
值得一提的是，多针刺绣数据集中的图像标注有 4 种标签，分别对应 3 种单针类型和 1 种多针类型 (Multiple Stitch，指 3 种单针类型的稠浊)。个中 3 种单针类型分别指缎面 (Satin Stitch)、榻榻米 (Tatami Stitch) 和平针 (Flat Stitch)。
这是第一个通过单针和多针标签详细标注的刺绣数据集，包括 1.3 万多张已对齐内容刺绣图像和 1.7 万多张未对齐图像，是目前已知的最大刺绣数据集。
多针刺绣数据集图像示意图
制作多针法刺绣数据集的步骤如下：
绘制内容图像：在制作绣版前，刺绣师必须绘制包含刺绣色彩信息的内容图像作为模板。大多数内容图像色彩大略，形状清晰，可加快网络衔接。
缝线设计：对付不同形状的内容图像，必须选择缝线来添补每个区域。刺绣设计师会根据每个区域的形状匹合营适的缝线类型。此外，还必须合理设置每个缝线的干系参数（如间距和方向），以便进行后续的刺绣渲染任务。
创建刺绣数据集：刺绣设计师利用专业刺绣软件 (Wilcom 9.0) 设计和制作刺绣图案，并渲染相应的刺绣图像。
多针法刺绣数据集中不同标签的数据分布情形
模型架构：包含区域感知纹理天生网络与着色网络两个子网络MSEmbGAN 模型首先识别输入图像区域内的缝线类型，根据识别的缝线类型天生相应的刺绣纹理，末了优化结果的整体颜色。
为了实现上述功能，研究职员提出了两个子网络，即区域感知纹理天生网络 (Region-aware Texture Generation Network, 见下图橙色方框) 和着色网络 (Colorization Network, 见下图黄色方框)。
MSEmbGAN 模型架构
区域感知纹理天生网络由缝线分类器模块 (Stitch Classifier, 见上图蓝色框) 和缝线潜码天生器模块 (Stitch Latent Code Generator, 见上图绿色框) 组成。区域感知纹理天生网络检测输入图像 C 的多个颜色区域，并根据每个局部颜色区域的形状特色，天生灰度单针刺绣图像。着色网络子网络则进一步细化整体图像，确保天生的多针织布图像的颜色与输入图像的颜色保持同等。
由于区域感知纹理天生网络的繁芜性，研究职员对其进行了两步演习。第一步师长西席成刺绣纹理，利用重构网络来保留尽可能多的原始图像特色；第二步是重修颜色信息，利用先验高斯分布在没有数据集的情形下天生刺绣图像。
区域感知纹理天生网络的两个演习步骤
研究结果：MSEmbGAN 优于目前最前辈的刺绣合成和风格转换方法为了评估 MSEmbGAN 模型的性能，研究职员通过定量和定性、用户反馈调查以及溶解实验 4 个方面进行评估。
定量评估在定量评估中，研究职员基于构建的多针刺绣数据集，比拟了 Pix2Pix、CycleGAN、MUNIT、DRIT++ 等风格迁移方法。如下表所示，研究职员比拟较结果进行了量化，并打算了 Learned Perceptual Image Patch Similarity (LPIPS) 和 Fréchet Inception Distance (FID)。4种比较方法、2种溶解模型和MSEmbGAN模型在全体测试数据集上均匀LPIPS和FID间隔
结果显示，与其他方法比较， MSEmbGAN 具有较低的 LPIPS 间隔，这意味着 MSEmbGAN 天生的刺绣图像在感知上更靠近真实的刺绣图像。此外，研究职员还利用 FID 来丈量天生的刺绣图像和真实图像的特色分布，并对 FID 分数进行了评估，结果表明 MSEmbGAN 天生的刺绣图像最靠近 ground truth。
定性评估在定性评估中，研究职员利用区域感知的纹理天生网络来保持刺绣纹理的真实性和色彩保真度，使 MSEmbGAN 天生的结果具有高度多样化的刺绣纹理。结果显示，MSEmbGAN 在纹理和颜色方面都优于现有的方法，即利用 MSEmbGAN 天生的纹理更靠近真实的刺绣纹理，颜色更靠近输入图像的纹理。
MSEmbGAN 和其他四种风格转移方法天生的刺绣图片比较
用户反馈调查
为得到用户的主不雅观反馈，研究职员准备了 14 幅图像，每幅图像都利用 MSEmbGAN 模型和其余 4 种方法进行处理，约请 25 位候选人根据以下标准为天生的每张图片打 1-5 分：
刺绣质量 (Embroidery quality)：天生的图像是否具有与刺绣干系的特色和生动的纹理
色彩质量 (Color quality)：输入图像与天生图像的色彩相似度
图像质量 (Image quality)：纹理失落真、色彩偏移、高频噪声和其他伪影的程度
研究职员网络了 5,250 项评分，并打算了各项标准的均匀值和标准偏差。分数越高意味着天生的刺绣图像质量越好，详细如下表所示。
结果表明，MSEmbGAN 在所有 3 个标准上都更胜一筹，综合性能相较于其他方法更加稳定。
溶解实验此外，研究职员还进行了 2 个溶解实验：首先验证缝线分类器和缝线潜码天生器的浸染，然后验证着色网络和颜色同等性约束的浸染。
如下图所示，(a) 表示输入图像；(b) 表示去掉针脚分类器 C(reg) 和隐码天生器 G(slc) 天生的刺绣图像；(c) 表示去掉着色网络 (CN) 以及颜色同等性约束(CC) 天生的刺绣图像；(d) 表示利用完全 MSEmbGAN 天生的刺绣图像。
溶解实验结果
溶解实验量化结果
溶解结果显示，在没有缝线分类器和缝线隐码天生器的情形下，网络合成的刺绣图像纹理样式单一，没有保留多针样式特色。其次，一个纹理天生过程不稳定且非常的。
同样，如果去掉着色网络和颜色同等性约束，通过 MSEmbGAN 合成的刺绣结果不能保持颜色特色，从而导致明显的颜色偏移。也便是说，天生的图像与输入图像之间的颜色分布存在巨大的差异。
坚持将打算机技能与纺织服装家当深度领悟，多领域成果显著武汉纺织大学打算机与人工智能学院可视打算与数字纺织团队长期致力于打算机视觉、虚拟现实、多模态学习和智能打算等领域的研究，坚持将打算机干系技能与纺织服装家当相结合，在智能可穿着、智能时尚设计与推举、织物数字孪生与智能打算、虚拟试衣等方面取得了一系列成果。在 TVCG、IOT、TCE、KBS、WWW 等高水平期刊和 CCF 推举的国际会议上揭橥学术论文百余篇。近年来团队部分研究成果如下：
针对现有虚拟试衣方法未能考虑人体与服装之间的相互关系而导致试穿服装纹理失落真，团队提出了高度逼真的 3D 虚拟试穿网络 H3DVT+。该网络建立了人与服装的全局关系，可以将服装变形为自然试穿状态下的空间分布，更准确地推断服装 3D 形状的先验信息，创建风雅的着装 3D 人体模型。
论文地址：https://ieeexplore.ieee.org/document/9716786https://ieeexplore.ieee.org/document/10609455
针对现有智能服装感知人体生理旗子暗记的干系研究中，团队提出了一种基于柔性感知设备的全天候人体呼吸旗子暗记检测方法，并将提取的呼吸旗子暗记用于实时检测哮喘病，为聪慧医疗的运用供应了理论支撑。论文地址：https://ieeexplore.ieee.org/abstract/document/10040599
同时，学院团队构建了一种由多种传感器构建的聪慧服装系统，将人体状态信息与人体三维模型实时映射，实实际际天下中的人体状态与虚拟三维空间中人体模型状态同步显示。
论文地址：https://ieeexplore.ieee.org/document/9964338/
团队一贯与国内外高水平高校和研究机构进行互助。详细而言，可视打算与数字纺织团队长期与上海交通大学盛斌教授团队在聪慧纺织，大康健方面进行了多个项目互助，揭橥了 10 余篇高水平论文。哄传授近 5 年以 (共同) 第一/通讯揭橥 Nature Medicine、Nature Communications、Science Bulletin、IJCV、IEEE TPAMI 等 SCI 论文 69 篇。
此外，团队与喷鼻香港理工大学、澳大利亚伍伦贡大学、新加坡科技局、中国公民大学等高校和研究机构在自然措辞处理、智能时尚推举、多模态学习和大模型领域研究展开深入互助。