在人工智能领域,从单张2D图像天生高保真3D网格是一项极具寻衅性的问题,至今还没有大型科技公司能够办理。困难在于缺少足够的开源数据集来充分演习AI模型。
只管文本到音乐和文本到视频的技能已经随着Udio工具的发布以及Sora和Kling的宣告而取得进展,但文本到3D或图像到3D仍旧是一个难以占领的领域。
本日一种名为Unique3D的新方法承诺只需单视图图像作为输入即可天生高质量的3D网格。AI现在足够智能,能够预测主题从不同角度看起来会是什么样子。
在本文中,我们将磋商这个新工具的事情事理,并自己天生3D模型。让我们开始吧。
Unique3D是由清华大学研究职员开拓的全新图像到3D框架。这个工具旨在从单张2D图像高效、精确地天生高保真3D网格。
Unique3D之以是独特,是由于它战胜了以往方法面临的范例寻衅,例如永劫光的优化、较差的几何构造和不一致性。
看看这些例子:
这些是真实的结果
与以往的方法比较,Unique3D的独特之处在于它结合了多视图扩散模型和一种创新的网格重修算法,称为ISOMER。
这种方法许可Unique3D在短短30秒内天生具有多个视图的同等图像,并重修繁芜的几何细节和纹理。
它如何事情Unique3D的过程包括几个繁芜的步骤,以确保天生高质量和高效的3D网格:
多视图图像天生:它首先利用多视图扩散模型从单张输入图像天生四张正交多视图图像。这个模型利用了Stable Diffusion的架构,创建了逐渐放大的低分辨率多视图图像。法线贴图预测:为了捕捉详细的表面几何,Unique3D利用法线扩散模型天生与多视图图像相对应的法线贴图。这些贴图有助于更准确地重修3D几何。多级放大过程:天生的多视图图像和法线贴图经由多级放大过程,逐步提高它们的分辨率。这一步确保终极图像是高分辨率的,并在视图之间保持同等性。利用ISOMER进行网格重修:Unique3D效率的核心在于其即时且同等的网格重修算法,ISOMER。这个算法从高分辨率图像和法线贴图中重修3D网格,整合颜色和几何细节,产生高质量的3D模型。如何访问Unique3D?
目前有四种办法可以免费访问Unique3D:
HuggingFace — 它供应了一个用户友好的界面,无需本地设置即可考试测验该工具。你可以在这里访问Hugging Face的Unique3D页面。Gradio — 对付那些喜好交互式、基于Web的界面的人,Unique3D可以通过Gradio访问。Aiuni.ai — Unique3D的官方网站Aiuni.ai,供应了关于该工具的全面信息,包括其特性、用例和更新。GitHub仓库 — 代码和文档可在GitHub上得到,只管目前仍在培植中。这个仓库很快将供应该工具的开源访问,许可开拓者本地设置并将其集成到他们的事情流程中。示例让我们看一些示例,看看Unique3D的实际运用。以下是一些由Unique3D处理的图片,展示了从单视图图像天生的高保真3D模型:
对付这个示例,我将利用Gradio工具。
在前视图部分上传你的图片。点击网格模型部分的“天生3D”按钮。AI将在几秒钟内天生3D模型。
这是终极结果:
它并不完美,但已经迈出了一大步。
更多的交互示例可以在官网页面找到。
#人工智能##头条创作寻衅赛#