改进情境化和定制化一贯是用户体验的长期需求。例如，消费者希望终端能够自动利用来自智好手机数据和传感器的情境信息和自定义偏好，让体验更直不雅观和无缝，比如基于当前位置、时候和食品选择偏好推举餐厅用餐，创造愉悦体验。
只管天生式AI已展现出新兴的和变革性的能力，但其仍有很大改进空间。类似多模态天生式AI等这样的技能可应对天生式AI更加情境化和定制化的体验趋势。
多模态天生式AI模型输入和输出多种模态，以供应更佳相应和答案
多模态AI模型能够更好的理解天下
大措辞模型(LLM)为纯文本演习模型带来了惊艳的能力。如果模型能够支持包含更多知识的不同信息形式，能带来若何的提升呢？
人类能够通过措辞和阅读笔墨学到很多东西，但也须要通过各种感官和互动形成对天下的理解：
我们的眼睛让我们能够看到球在倾斜地面上滚动的场景，以及当球滚到沙发后面会如何消逝。
我们的耳朵可以识别语音中的感情或警报声来源的方向。
我们与天下的打仗和互动让我们知道如何用手握住泡沫塑料咖啡杯，以及如何在走路时避免跌倒。
类似的例子不胜列举。
只管措辞可以描述险些所有这些事情，但它可能不如其他模态做得那么好或那么高效。
正如人类须要利用各种感官学习，天生式AI除了利用文本之外还可以利用更多其他模态学习：这正是多模态天生式AI模型的浸染所在。
多模态天生式AI模型可基于一系列模态进行演习，包括文本、图像、语音、音频、视频、3D、激光雷达(LIDAR)、射频(RF)、以及险些任何传感器数据。
通过利用所有这些传感器，领悟数据，并更全面地理解天下，多模态天生式AI模型可以供应更佳答案。AI研究职员已经做到了这一点，他们利用不同模态的一系列数据在云端演习多模态大模型(LMM)，让模型更“智能”。OpenAIGPT-4V和谷歌Gemini便是这类LMM。
这能给用户带来什么？举例来说，LMM可以充当通用助手，吸收任何模态的输入，为更广泛的问题类型供应大幅改进的答案。比如基于繁芜的停车标志回答用户可否停车，或基于振动噪音回答用户该如何修理洗碗机故障。
下一步，支配LMM进行推理：只管天生式AI推理可在云端运行，但在边缘终端侧运行有着诸多好处，比如隐私、可靠性、本钱效益和即时性。
例如，传感器和相应的传感器数据来源于边缘终端，因此在终端侧处理和保存数据更具本钱效益和可扩展性。
终端侧LLM现在具备视觉理解能力
高通AI研究近期演示了环球首个在Android手机上运行的多模态LLM。我们展示了一个超过70亿参数的大措辞和视觉助理大模型(LLaVA)，其可接管包括文本和图像在内的多种类型的数据输入，并天生关于图像的多轮对话。通过全栈AI优化，LLaVA能够在搭载第三代骁龙8移动平台的参考设计上以实时相应的速率在终端侧天生token。
具有措辞理解和视觉理解能力的LMM能够赋能诸多用例，例如识别和谈论繁芜的视觉图案、物体和场景。
例如，视觉AI助手可以帮助视力障碍者更好地理解周围环境并与之互动，从而提高生活质量。
终端侧LLM现在具备听觉理解能力
在搭载骁龙XElite的WindowsPC上，高通近期还展示了环球首个在终端侧运行的超70亿参数的LMM，可接管文本和环境音频输入（如音乐、交通环境音频等），并基于音频内容天生多轮对话。
音频供应的更多情境信息可以帮助LMM针对用户的提示给出更佳答案。我们很高兴看到终端侧LMM现已支持视觉、语音和音频模态，并期待对更多模态的支持。
天生式AI时期刚刚开始，无限创新即将到来
更多终端侧天生式AI技能进步即将到来
打造能够更好理解情境信息的AI模型是得到更佳答案和体验提升的必要条件，多模态天生式AI正是即将运用于未来终真个最新变革性技能之一。欢迎阅读博客第二部分，我将深入先容LoRA，探究它将如何帮助应对现有寻衅，为消费者和企业规模化供应情境化、定制化和个性化体验。
(8706684)