无论是现在还是未来,Arm平台都是AI运行的基石。若要知足对AI技能和运用的兴旺需求,则必须在打算领域的方方面面实现无处不在的AI功能。从利用无数处理器演习大措辞模型(LLM)的大型数据中央,到环球数字消费者每天打仗边缘AI的电子设备,打算领域的方方面面都有AI的身影。
高效的AI打算
若要知足AI对高算力的需求,则少不了对高效打算性能的投入。天生式AI的发展推动了对AI算力和资源的需求空前增长。一名荷兰研究职员指出,如果一年内每次利用Google进行搜索都利用到AI,其所需的电力相称于爱尔兰全国一年的用电量。长远来看,考虑到地球上资源有限,这种方法是难以为继的。
Arm供应了打算性能和能效的卓越组合,推动了智好手机领域的技能改造,而同样的趋势也正发生在AI改造中。
数据中央中的AI
头部超大规模做事运营商正采取定制芯片计策,来进行数据中央转型,以欢迎AI时期。
软银公司正在与NVIDIA互助,培植环球首座采取基于Arm架构的Grace Hopper超级芯片的5GAI 数据中央。这一打破性的AI加速CPU专为超大规模AI和高性能打算运用而设计。Grace Hopper 基于72颗Arm Neoverse V2 核心打造,在AI的高负荷任务中实现了10倍的性能飞跃,同时大幅提高了每瓦性能。微软则在此前发布了其首款专为云打算打造的定制芯片Azure Cobalt 100 处理器,该处理器基于Arm Neoverse CSS N2打造。此外,基于Arm Neoverse平台的AWS Graviton3可以使AI推理(利用演习后的模型对新的真实数据进行预测的过程)的本钱节约50%。
在数据中央中约有85%的AI事情负载用于运行推理,其驱动了各种用例、行业和设备的AI运用,因此企业有巨大的动力来降落干系的能源花费和本钱。
边缘AI
除了数据中央和云做事,许多AI事情负载还须要在设备上进行处理,以便更有效地分布AI事情负载。
在设备上处理AI事情负载已经成为现实,无论是智好手机、智能家居设备还是智能汽车,这一趋势将连续增长,特殊是随着大措辞模型(LLM)变得更加高效,并针对特界说务、用例或设备而专门打造。直接在采集数据的设备上处理AI打算,可以带来更快、更安全的用户体验并减少延迟,这对付工业和汽车运用等对安全性哀求很高的用例来说至关主要。
开拓者正在编写更精简的AI模型,以在小型微处理器乃至更小的微掌握器上运行,从而节省能源、韶光和本钱。例如,Plumerai供应的软件办理方案可在基于Arm Cortex-A和Cortex-M的系统级芯片(SoC)上加速神经网络,并在基于Arm架构的微掌握器上运行略高于1MB的AI代码,其可实行面部检测和识别等功能。
基于处理器技能的AI
无论是由CPU处理全部AI事情负载,还是由GPU或NPU等协处理器供应支持,AI处理始于CPU。
过去十年间,Arm的CPU和GPU的AI处理能力每两年就实现翻番,目前70%的第三方运用中的AI都基于Arm CPU 运行,在关键技能市场中推动了边缘AI的显著发展。
基于Armv9 CPU和GPU技能打造的高性能AI手机现已问世,个中包括搭载MediaTek天玑9300的vivo X100和X100 Pro智好手机,以及Google Pixel 8,这是首款专为Google的AI模型Gemini Nano进行工程研发的智好手机,可在边缘实行一系列AI的任务。与此同时,超过200亿个基于Arm架构的SoC能够运行各种物联网设备上广泛的ML事情负载,包括基于Cortex-M处理器、Arm Ethos-U NPU 和Cortex-A CPU打造的设备。而在汽车领域,如今的车用芯片可实现基本的AI功能,如障碍物检测、3D视图和大略的传感器领悟,这些功能都在Arm CPU上运行。下一代基于AI的汽车功能,如前辈驾驶赞助系统(ADAS)和自动驾驶功能,也基于Arm CPU而构建。
环球最大的开拓者社区
Arm持续的软件投入正建立起环球最大的AI开拓者社区。
Arm致力于以最常见的办法让开发者能够更大略、更快速、更安全地进行编码,携手实现无处不在的AI。如今,超过一亿用户可以利用Arm NN软件开拓工具包,在Arm CPU和GPU上优化ML事情负载。对付环球1500万Arm架构设备开拓者来说,这使他们能够运行繁芜的AI和ML事情负载,确保将运用更快地推向市场。
Arm在其业界领先的生态系统中开展了一系列互助,以使其对开拓者的AI承诺付诸实践。此外,Arm还通过开源框架和库,为基于Arm架构的硬件供应强大的ML功能,为开拓者供应全方位支持,包括TensorFlow、PyTorch、Caffe2、OpenVINO和TVM,从而为开源社区打造AI创新根本。
写在末了
AI为下一个技能创新奠定了根本,引领社会进入一个潜力非凡的新时期。而实现这统统的条件正是让AI无处不在。这不仅意味着要在云端、数据中央和超级打算机中实现AI,还要确保繁芜的AI事情负载能够在更小、更受限的边缘技能和设备上运行。能效与性能对付推动边缘AI的发展同等主要。
Arm正在匆匆成这一目标。Arm供应了运用广泛的通用打算平台,赋能边缘设备和其他领域的各种可能性。无论是CPU、GPU、ISP还是NPU,Arm在每一代产品中都增加了更多AI性能、效率功能及安全特性,同时还为互助伙伴供应了多样的灵巧性,使它们能够集成和开拓自己的创新办理方案。而在软件、工具和生态系统方面,IP与开源软件和工具乃至广泛的行业领师长西席态系统相结合,让环球上千万开拓者都可以利用Arm打算平台作为AI创新的根本。从传感器、智好手机,到工业级物联网、汽车和数据中央,基于Arm平台的AI无处不在。
(8992449)