只需2张图片,无需丈量任何额外数据——一个完全的3D小熊就有了:

DUSt3R的官网入口

官方项目主页:https://dust3r.europe.naverlabs.com/c

GitHub代码库:https://github.com/naver/dust3re

arXiv研究论文:https://arxiv.org/abs/2312.14132区

DUSt3R从随便率性图像集合中重建3D场景的框架

DUSt3R的紧张功能快速3D重修:DUSt3R能够在极短的韶光内(不到2秒钟)从输入图片中重修出3D模型,对付实时运用或快速原型制作非常有用。
无需相机校准:与传统的3D重修技能不同,DUSt3R不须要任何相机校准或视点姿势的先验信息。
这意味着用户无需进行繁芜的设置,只需供应图片即可。
多视图立体重修(MVS):DUSt3R能够处理多视图立体重修任务,纵然在供应超过两张输入图像的情形下,也能有效地将所有成对的点图表示为一个共同的参考框架。
单目和双目重修:DUSt3R统一了单目和双目重修的情形,即可以利用单个图像或成对的图像来进行3D重修。
天生多种类型的3D视觉图:除了3D重修,DUSt3R还能天生深度图,可以理场景中物体的相对位置和间隔。
此外,DUSt3R还能输出置信度图,用于评估重修结果的准确性,以及用于3D建模和可视化的点云图。
DUSt3R的技能事理点图(Pointmaps):DUSt3R利用点图作为其核心表示,这是一种密集的2D场,个中包含了3D点的信息。
点图为每个像素供应了一个与之对应的3D点,从而在图像像素和3D场景点之间建立了直接的对应关系。
Transformer网络架构:DUSt3R基于标准的Transformer编码器和解码器构建其网络架构。
该架构许可模型利用强大的预演习模型,从而在没有显式几何约束的情形下,从输入图像中学习到丰富的几何和外不雅观信息。
端到端演习:DUSt3R通过端到真个办法进行演习,可以直接从图像对中学习到点图,而不须要进行繁芜的多步骤处理,如特色匹配、三角丈量等。
全局对齐策略:当处理多于两张图像时,DUSt3R提出了一种全局对齐策略,该策略能够将所有成对点图表达在共同的参考框架中,能够处理多个图像对,这对付多视图3D重修尤为主要。

多任务学习:DUSt3R能够在演习过程中同时学习多个干系任务,如深度估计、相机参数估计、像素对应关系等。
这种多任务学习策略使得模型能够更全面地理解场景的几何构造。