我们的关键思考是在天生过程中,把房间布局和房间纹理分成两个阶段：
在房间布局天生阶段：我们把房间整体布局用holistic scene code参数化,然后演习了一个文本驱动的扩散模型来学习房间的整体布局。
在纹理天生阶段,我们以布局天生阶段得到的纹理作为条件,微调一个预演习的controlnet模型来天生一张高保真的全景图,来表示房间的纹理。
通过这种方法,我们可以得到一个既符合常理的房间布局,又有高保真的纹理的3D房间模型.更主要的是,得益于scene code参数化办法,我们可以很方便的编辑房间中的某个物体,然后在全景图上利用本文提出的mask-guided editing方法实现编辑操作。
GitHub:https://fangchuan.github.io/ctrl-room.github.io/
#AI开源项目推举##github##AI技能##文本天生3D设计