机器之心编辑部
随着天生式 AI 的浪潮席卷而来,科技公司都在冲击 AIGC 的下一个打破口 —— 3D 天生。
目前,文生 3D 在学术界取得了许多新打破。在家当界,无论是像英伟达这样的行业巨子,还是像 Stability AI 这样的中坚力量,都推出了自己的文生 3D 工具。虽然 3D 天生领域一贯「卷」到飞起,但是彷佛一贯没有涌现一款效果足够惊艳,天生速率足够快的代表性产品。
如今,一贯致力于 3D 内容生产的 Luma AI 向这一领域发起了寻衅。就在昨天,Luma AI 发布了一个文生 3D 模型的项目 —— Genie 1.0。只须要输入一句笔墨提示,Genie 1.0 就能在 10 秒内天生四个高保真的 3D 模型。用户可以从中选择,并在三维网格界面内对模型的纹理进行编辑。
这些 AI 天生的 3D 模型可以在屏幕上预览,也可以导出到 Blender、 Unity 等工具中进一步利用,直接加入动画、游戏、VR 等事情流中。
Genie 1.0 不仅有网页版,在 discord 平台和手机端都可以试玩。一经发布,慕名而来的网友们就把 Genie 1.0 冲上了 App Store 下载榜前列。
试用地址:https://lumalabs.ai/genie?view=create
效果有多惊艳,一起来看看。
大略输入提示「flower cat」,再等待几秒,四独身只身上带有不同花纹图案的猫咪就涌现了。想要什么手办,AI 直接送上精美的盲盒版本,一次输入,能抽四次,怎么算都很赚。
泡泡玛特风格这么可爱的手办,也能安排。想要什么隐蔽款,AI 版本实现量产。
文生 3D 中的难题,毛发和物体表面的花纹,Genie 1.0 也有令人惊艳的表现。它天生的熊猫能看得到毛茸茸的质感,衣服上的纹样也没有涌现明显的失落真。
推特 @lintworld
如果《星球大战》出 3D 动画版本,直策应用这只 Genie 1.0 天生的「尤达大师」彷佛也没什么问题。
推特 @blizaine
和其他 3D 模型比拟,Luma AI 的表现在立体度和真实感方面,也能拔得头筹。
推特 @taziku_co
除了天生效果惊艳,Genie 1.0 还有编辑功能。拆掉了原来的专业门槛,告别贴素材,修正 3D 模型的材质可以像用手机 P 图一样大略。
Genie 1.0 供应了「原始」、「光滑」和「反光」三种质感,点击页面右侧的圆形按钮即可切换。还可以按照须要导出不同清晰度和格式的模型,与其他 3D 编辑软件无缝对接。
以往,批量设计 3D 模型每每须要花费数天,虽然目前市情上已经有很多 AIGC 工具把 3D 设计的韶光缩短到只需几小时乃至更短。但 Genie 1.0 已经把人们加工的韶光压缩到了 2 分钟。
已经有 3D 设计师表示把 Genie 1.0 天生的模型导入 3D 动画软件 Maya,由于 AI 天生的模型质量很高,纹理坐标(UVs)很得当,只有几个小块有重叠,花 2 分钟小调一下,就直接可用,体验一流。
在动画软件中加上几个动作锚点,3D 动画就这么制作好了。
推特 @taziku_co
在此根本上稍加编辑,静态的模型模型瞬间大秀机器舞,带来十几秒的连贯演出。
推特 @paradoxrenders
转化成游戏动画,也进化成了速通版本,只须要打字就能天生游戏角色动画可能也不再是梦。
个中的模型根本由 Genie 天生,源自 YouTube@OlliHuttunen78
虽然 Genie 1.0 还未完备战胜 AI 天生的 3D 模型每每比较模糊这个问题的「末了一公里」。但在引入 Magnific ai 来提升分辨率之后,卡车轮胎上的花纹、排气管的褶皱,连接零件的电线都被勾勒出了清晰的细节,和真实天下中的卡车摆件没什么分别。
推特 @MartinNebelong
Genie 1.0 能做到的恰好直击了 3D 设计的痛点,传统的 3D 建模过程常日较为繁琐,每每须要大量专业职员的手工操作,这不仅导致制作周期延长,同时也增加了整体本钱。进入动画、游戏、VR 等进一步设计流程后,建模还需进一步调整和修正,设计本钱又将成倍上升。
大概正如 Luma AI 创始人 Amit Jain 所说:「借助 Genie,利用 AI 大规模制作 3D 物品或许将不再只是抱负。」
在 Genie 的加持下,纵然不会 3D 建模和绘画设计,但有一个涉及 3D 图形或 3D 场景的想法,你都可以让它像精灵一样实现你任何的想法。
目前,Genie 既有免费版,也有付费 API。付费界面每次须要花费 1 美元。该公司指出,这比依赖人类设计师更便宜、更快捷。
Luma AI 公司先容
推出 Genie1.0 的 Luma AI 是一家天生式人工智能初创公司,该公司一贯致力于 3D 内容方案,紧张产品和功能包括图片转 3D、视频转 3D、文本转 3D 等。
这家公司成立于 2021 年,首席实行官 Amit Jain 曾是苹果公司的打算机视觉系统工程师,首席技能官 Alex Yu 曾是加州大学伯克利分校的研究生(放弃博士学业创办了 Luma AI )。二人在 3D 视觉、机器学习、实时图形学等领域都有所建树。
这家公司已经经历了数轮融资,个中在由 Amplify Partners、Nventures(Nvidia 投资部门)和 General Catalyst 领投的 A 轮融资中筹集了 2000 万美元,在由硅谷顶级风投公司 Andreessen Horowitz、英伟达领投的 B 轮融资中筹集了 4300 万美元。截至目前,公司共融资 7000 多万美元,估值在 2 亿到 3 亿美元之间。
就其产品而言,不同于文本转图像模型所产出的数字艺术平面位图,Luma AI 利用 AI 从照片、视频或笔墨描述中创建物体的 3D 模型,这些模型可以根据须要被下载、操作、编辑和渲染。
去年 11 月,Luma AI 在 Discord 做事器上推出了文生 3D 模型 Genie。这次的 1.0 版本,把出图韶光从 20 多秒提升到了 10 秒之内。
Luma AI 的核心技能是神经辐射场(NeRF)算法。Luma AI 基于 NeRF 做了很多改进和优化。在场景图像获取、数据预处理、模型演习、模型渲染及其他模型文件的天生等方面,Luma AI 均做了很多优化事情。在此根本上,技能更高超的人类艺术家可以高效地制作更好的模型。此外,Genie 的输出或许也能知足一些人的特定生产需求。
同日,Luma AI 还官宣了三位新成员,个中首席科学家宋佳铭(Jiaming Song)将领导根本模型研究团队。他本科毕业于清华大学,硕博毕业于斯坦福大学。在加入 Luma AI 之前,他曾担当英伟达学习和感知(Learning and Perception)研究团队和深度想象(Deep Imagination)研究团队的研究科学家。
其余,加州大学伯克利分校博士 Matthew Tancik 将领导运用研究团队,来自苹果设计事情室的 Tuhin Kumar 领导界面、交互和产品设计团队。
参考链接:
https://techcrunch.com/2024/01/09/luma-raises-43m-to-build-ai-that-crafts-3d-models/
https://twitter.com/LumaLabsAI/status/1744778363330535860
https://www.theregister.com/2024/01/10/textto3d_image_startup_luma/