EchoScene: Indoor Scene Generation via Information Echo over Scene Graph Diffusion

论文链接：

https://arxiv.org/pdf/2405.00915

代码链接：

ECCV 2024 EchoScene经由进程场景图扩散生成3D室内场景

https://github.com/ymxlzgy/echoscene

项目主页：

https://sites.google.com/view/echoscene

本文前期事情 - CommonScenes：

https://arxiv.org/pdf/2305.16283

一、方法Information Echo Scheme
针对场景图中节点数量和边的语义组合多变这一繁芜构造特性, 本文提出为每一个节点都设置一个扩散去噪过程, 所有去噪过程的denoiser参数共享, 这样也避免引入过多参数。
在去噪中的每一步, 所有节点都将当前去噪数据发送到一个信息交互单元 (Information exchange unit), 该单元经由图卷积过程, 依据边的信息在所有节点间进行信息通报和特色领悟使得每个节点都能捕获到图中其他节点的信息, 领悟后的信息被各自节点的去噪过程吸收用于辅导天生。
这种信息的一次发送和一次接管称为一个信息反应。
该机制担保了整体场景理解并使得末了天生结果具有全局同等性。
EchoScene

EchoScene 先利用基于三元组图卷积 (triplet-GCN)的编码器和操作器将场景图编码至隐式空间 (图1A), 然后 将节点所含信息发送到两个分支-layout分支(图1B。
1)和shape分支(图1B。
2)。
在layout分支中, 待去噪信息为场景布局, 即所有物体的包围框, 信息反应也因此具象化为布局反应(layout echo, 图2A)。
每一个扩散去噪过程都与其他过程利用布局反应进行交互, 这使得末了天生的场景布局与场景图描述同等。

相似地, 在shape分支中, 信息反应转化为形状反应(shape echo, 图2B), 每一个过程也都与其他过程通过形状反应进行信息交互。
与CommonScenes[1] 的形状分支比拟, 这使得末了天生的物体形状更加同等, 并更符合场景图中的描述。
二、结果

本文与当前SoTA方法进行了比较, 一些定性结果如下图所示:

很明显可以看到, EchoScene天生的场景整体更加规整, 例如Bedroom中, 所有物体包围盒都更加规整。
并且, 由于shape echo可以充分利用场景图中边的信息并且挖掘每个物体形状之间的联系, 物体天生的会更加合理且风格更加同等, 例如Living room中, 其他方法均不能保持天生同等,而EchoScene可以保持全局风格同等。

以场景天生真实性作为评价指标, 部分定量结果如下所示:

可以看到EchoScene在大多数指标上明显优先于前作CommonScenes[1] 以及同期方法DiffuScene[2]。
更多指标请参考原文。

三、下贱任务

EchoScene的缺陷之一是其目前只能天生无纹理场景, 而这一缺陷可由串接一个纹理天生器进行避免。
本文利用了可以即插即用的SceneTex[3] 作为纹理天生器, 展示了一些不同装修风格的带有纹理的室内场景, 如下图所示:

这使得EchoScene的下贱任务更加广泛, 例如用于VR/AR, 3D游戏的场景设计。

Reference

[1] Zhai G, Örnek E P, Wu S C, et al. Commonscenes: Generating commonsense 3d indoor scenes with scene graph diffusion. NeurIPS 2023.

[2] Tang J, Nie Y, Markhasin L, et al. Diffuscene: Denoising diffusion models for generative indoor scene synthesis. CVPR 2024.

[3] Chen D Z, Li H, Lee H Y, et al. Scenetex: High-quality texture synthesis for indoor scenes via diffusion priors. CVPR 2024.

作者：翟光耀

来源："大众年夜众号【Cver】

llustration From IconScout By IcouScout Store
-The End-

扫码不雅观看！

本周上新！

“AI技能流”原创投稿操持

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。
社区上线500+期talk视频，3000+篇技能干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上互换活动，不定期举办技能人线下聚会互换活动。
我们正在努力成为AI人才喜好的高质量、知识型互换平台，希望为AI人才打造更专业的做事和体验，加速并陪伴其发展。

投稿内容

// 最新技能解读/系统性知识分享 //

// 前沿资讯讲授/心得经历讲述 //

投稿须知

稿件须要为原创文章，并标明作者信息。

我们会选择部分在深度技能解析及科研心得方向，对用户启示更大的文章，做原创性内容褒奖

投稿办法

发送邮件到

chenhongyuan@thejiangmen.com

或添加事情职员微信（chemn493）投稿，沟通投稿详情；还可以关注“将门创投”公众年夜众号，后台回答“投稿”二字，得到投稿解释。

关于我“门”
将门是一家以专注于数智核心科技领域的新型创投契构，也是北京市标杆型孵化器。
公司致力于通过连接技能与商业，发掘和造就具有环球影响力的科技创新企业，推动企业创新发展与家当升级。
将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技能型创业公司。
如果您是技能领域的初创企业，不仅想得到投资，还希望得到一系列持续性、有代价的投后做事，欢迎发送或者推举项目给我“门”: