本日给大家先容一个AI模型，能够在天生的图片中添加笔墨！
这个AI项目叫做AnyText
AnyText是一种基于扩散模型的多措辞视觉文本天生和编辑模型，能够在图片上天生和编辑任何措辞的笔墨，而且，效果非常逼真和自然。AnyText的作者们开源了代码和数据集，供大家学习和利用。官方还供应了在线体验地址，详细见文末。
下面是一些详细效果。
AnyText是如何事情的？
该模型通过扩散管道实现，包括两个紧张元素：赞助潜在模块和文本嵌入模块。
前者利用文本字形、位置和遮罩图像等输入天生用于文本天生或编辑的潜在特色。后者采取OCR模型将笔画数据编码为嵌入，与来自分词器的图像标题嵌入稠浊，天生与背景无缝领悟的文本。
AnyText可以用多种措辞写字符，据我们所知，这是第一篇涉及多措辞视觉文本天生的论文。值得一提的是，AnyText可以插入社区现有的扩散模型，以准确地渲染或编辑文本。
AnyText有什么上风？
AnyText的最大上风是，它能够写出多种措辞的笔墨，包括中文、英文、日文、韩文、阿拉伯文等。据作者所知，这是第一个能够处理多措辞文本天生的事情。而且，AnyText还能够编辑图片中的笔墨，比如，改变笔墨的内容、颜色、大小、位置等。这些功能，都是很多其他的文本天生模型所不具备的。
AnyText的另一个上风是，它能够很随意马虎地和其他的扩散模型结合起来，来提高文本天生的效果。比如，作者们将AnyText和Text-to-Image模型结合，就能够天生更加清晰和自然的文本图像。这解释，AnyText是一种很通用和灵巧的模型，能够适应不同的任务和场景。
总之，AnyText是一种非常有趣和有用的模型，能够为我们供应一种全新的办法，来天生和编辑多措辞文本图像。
在线体验地址：
https://modelscope.cn/studios/damo/studio_anytext/summary
代码地址：
https://github.com/tyxsspa/AnyText
论文地址：
https://arxiv.org/pdf/2311.03054.pdf