在"大众年夜众号「打算机视觉工坊」后台，回答「原论文」可获取论文pdf和代码链接
添加微信：dddvisiona，备注：三维重修，拉你入群。文末附行业细分群
本文展示了一种具有动态疏松服装的虚拟角色模型，并提出了神经迭代最近点（N-ICP）算法用于跟踪服装形状。通过将输入的RGB-D图像重新映射到纹理对齐的特色，并输入到可预测的虚拟角色模型，能够虔诚地重构服装的外不雅观细节。通过与其他方法的比较和对N-ICP算法的剖析，证明了本文的方法在不同环境下具有普适性，并能够产生高保真度和虔诚的服装动态和外不雅观。
读者理解：
这篇文章是一篇关于利用深度学习和图形学技能来创建一个能够仿照真实人物的外不雅观、动作和服装的虚拟化身的研究论文。
这篇文章展示了一种创新的技能，可以从稀疏的RGB-D输入中天生一个具有动态服装细节的可驾驶的化身。这种技能可以让用户在元宇宙中拥有一个虔诚的全身遥感，增强了虚拟交互的真实感和沉浸感。
这篇文章的优点是不须要扫描特定于主题的模板，也不须要繁芜的服装捕捉设备，只须要一台普通的RGB-D相机，就可以为各种类型的服装自动构建可动画的人类化身。这种技能降落了创建虚拟化身的本钱和难度，提高了用户的便利性和自由度。
本文提出了一种逼真的全身虚拟角色模型，包括动态服装，在虔诚重新合成主体外面和几何原始状态方面表现出色。本文引入了一种神经迭代最近点算法，通过学习迭代地更新变形模型，高效地跟踪输入点云。通过将虚拟角色的驱动旗子暗记扩展为稀疏的RGB-D输入，能够更好地处理宽松服装，并实现更高的质量和泛化能力。这里也推举「3D视觉工坊」新课程《基于深度学习的三维重修MVSNet系列 [论文+源码+运用+科研]》。
本文针对干系领域的研究事情进行了磋商，分为逼真的着装虚拟人物、基于感应的远程交互和基于图像条件的新视图合成与学习优化非刚性跟踪三个方面。在逼真的着装虚拟人物方面，研究方法紧张根据外不雅观模型分为领悟粗糙人体几何的延迟神经渲染方法、将人类先验融着迷经辐射场的方法和基于网格和动态纹理的方法。在基于感应的远程交互方面，研究方法紧张利用感应输入进行表面重修，并利用神经渲染来补偿重修几何中的伪影。在基于图像条件的新视图合成方面，研究方法紧张利用稀疏输入图像进行场景重修，并结合人体先验知识实现更好的效果。在学习优化非刚性跟踪方面，研究方法紧张将深度神经网络与优化求解器相结合进行非刚性跟踪和重修。
本文供应了一种从稀疏的RGB-D图像中天生主体照片级真实渲染的方法。它包含两个紧张模块：神经迭代最近点模块和面元对齐衣归天身模块。在神经迭代最近点模块中，通过利用变形图模型，该方法能够对宽松服装表面进行粗略跟踪。然后，通过将稀疏的驱动RGB-D图像转换为面元对齐特色，并将其输入到面元为条件的着装化身中，该方法能够推断出详细的几何和视角干系的纹理。末了，通过光栅化，天生终极的输出图像。该方法在演习过程中利用了密集摄像系统捕获的主体图像。整体而言，该方法为实现主体照片级真实渲染供应了一个有用的方法。
本文利用了多视图捕获系统，通过采集多个RGB相机的图像来获取演习数据。作者利用多视图立体重修（Multi-View Stereo，MVS）来重修几何信息，并将其转化为深度图作为驱动虚拟人物的输入。此外，作者还在不同背景和照明条件下的新环境中捕获了利用相同服装的主体，以展示本文的方法在远程传输中的运用。
作者针对N-ICP算法进行了评估，并利用了通过非刚性ICP进行离线配准的地面真值。在评估中，利用了与完全方法相同的输入：领悟了来自三个驱动视图深度图的点云。作者利用了平方点到三角形间隔的评估指标，从预测到地面真值和从地面真值到预测的两个方向上进行评估。作者将N-ICP与传统优化求解器（包括L-BFGS和非线性共轭梯度）以及Levenberg-Marquart进行了比较。作者的方法收敛速率比基线方法更快。
在完全方法评估中，作者利用了密集的多视图捕获系统得到的高质量数据。作者在具有寻衅性的疏松T恤和长裙序列上与其他方法进行了比较。还与利用NeRF方法建模的方法进行了比较，并与基于传感器的基准方法进行了比较。其余，作者还进行了溶解研究和与基于姿势驱动模型进行了比较。
在新环境中的结果测试显示，本文的方法能够直接适应新环境并保持外不雅观风格，并且进行细调后，模型的输出质量进一步提高。这里也推举「3D视觉工坊」新课程《基于深度学习的三维重修MVSNet系列 [论文+源码+运用+科研]》。
本研究提出了一个框架，用于构建能够通过稀疏的RGB-D输入驱动并虔诚地再现疏松服装动作的逼真全身虚拟人物。作者的方法可以准确重修主体具有寻衅性的服装外不雅观，从而办理了现有姿势驱动虚拟人物的一个紧张缺陷。然而，作者的模型仍旧是针对详细人物和服装的，并且无法处理阔别形变图模型的形变空间的服装运动，例如拓扑变革。有趣的未来研究方向是将作者的方法扩展到多身份的设置，并开拓一种能够处理更通用服装种别（如隐含表示）的表达形式。