OpenAI 总裁兼联合创始人格雷格・布罗克曼(Greg Brockman)随后发布了上手演示,让两台运行 GPT-4o 的设备进行语音或视频交互。
布罗克曼在演示开始之前,表达了自己的期望:让两台 AI 谈天机器人互相交流。布罗克曼向个中 A 谈天机器人讲述了他的期望,并让 B 谈天机器人可以调用摄像头不雅观察周围天下。
B 谈天机器人会调用前置摄像头,并清晰地描述出用户的穿着和所处的环境。然后 A 谈天机器人可以与它对话并提出问题,包括移动摄像头和它所看到的内容。
对话中,新版本 ChatGPT 不仅能通过视觉 AI 能力理解摄像头中发生的事情,同时还能够将理解的内容通过语音交互,进行更加丰富有趣的互动,同时还支持中途打断和对话插入,且具备高下文影象能力。IT之家附上演示视频如下: