编译 | 心缘
编辑 | 漠影
5月25日，覆盖轻量级神经网络模型设计、模型压缩、AI推理引擎、AI芯片架构创新等主题的GTIC 2021嵌入式AI创新峰会将在北京举行。届时，嵌入式AI家当链10+位技能大牛及业界专家齐聚，磋商物联网与AI领悟赛道的核心议题。
峰会前夕，我们与多位高朋进行系列深度访谈，提前一睹他们对家当的真知灼见。本期访谈高朋为恩智浦半导体IoT办理方案高等经理秦建峰，他将带来主题为《如何设计高效率MCU AI工具链》的演讲。
秦建峰拥有中国科学技能大学硕士学位，卖力AI/ML技能在恩智浦的MCU及MPU上的运用开拓，曾带领团队独立研发并发布了环球第一款基于MCU RT106F的低功耗、低本钱的人脸识别方案，基于双目活体算法的方案广泛运用于门锁及门禁等产品。他带领团队独立研发的Nano.AI工具链，能快速准确地将客户的算法模型从MPU平台支配到MCU平台，达到降功耗和降本钱的目的。
就MCU支配AI运用的痛点、现有AI开源工具链的局限性、恩智浦打磨软件工具的履历与解法等话题，我们与秦建峰进行了深入互换。
一、AI跑在MCU上，存在哪些技能寻衅和痛点？
在物联网与AI交汇之处，技能创新的火苗正逾燃逾旺，从芯片大厂到创业公司都在积极涌入嵌入式AI新浪潮，恩智浦正是个中的代表玩家之一。
在理解物联网客户需求方面，很少有公司能有像恩智浦这样的深度和广度。一方面，它是MCU（微掌握单元）、运用场置器领域的资深玩家；另一方面，它的物联网布局还覆盖到各种无线连接产品、安全功能芯片、超宽带（UWB）芯片及相应软件和方案。
从与客户的互换中，秦建锋创造恩智浦的物联网客户有一些共性需求，除了关注本钱外，也越来越看重MCU的算力、丰富的AI功能，以及寻求产品的差异化。
MCU在低功耗、低本钱的物联网运用中落地广泛，比如智能门锁、基于电池的手持端设备，它们不像安防监控设备须要高分辨率、快相应速率，更在乎是否足够便宜、耐用性好。
比较初创公司，恩智浦手中握着沉甸甸的数十年MCU产品履历，这是它独占的技能财富。除了持续加固自身技能壁垒外，恩智浦也在思考着怎么办理客户最棘手的问题。
不过，当AI运用逐渐遍及MCU领域，新的寻衅开始涌现。
第一道难关即是硬件算力的受限和运行内存空间大小的寻衅。
囿于低功耗、低本钱，有些中低端MCU不支持外扩SDRAM，仅支持内部几百KB的SRAM和受限到几十兆空间的Flash。
大部分厂商的AP处理器采取基于Arm Cortex-A系列的多核、高主频CPU，对付浮点数跟定点数的处理能力都非常强，功耗和本钱也相对偏高。
功耗和本钱较低的MCU则每每是单核的，主频几百MHz，恩智浦目前主流的是600MHz，1GHz刚刚推出，即便这样，Arm Cortex-M MCU处理器面向低功耗设计，对付浮点数的处理能力较弱。
这些MCU须要设计轻量化的模型，并进行一些量化、裁剪、领悟等优化操作。
这就带来第二个难关——目前MCU转化及量化缺少成熟且统一的标准。如果厂商可以针对MCU的特点开拓一些好工具链，就能在MCU上得到相应非常好的性能。
而关键的难题在于，只管各开源大厂对自身的演习框架、引擎级模型支持较好，但对付一些相对繁芜或分外的模型，大概率无法成功地转化，或者是看似成功，实际上精度丢失比较严重。
有些推理引擎为了实现跨平台和兼容性，一定程度上捐躯了性能；有些开源推理引擎因追求大而全，致使体量过于弘大，内存空间摧残浪费蹂躏严重。
如果客户并未深度节制AI机器学习技能，一旦工具链出问题，就无法连续在MCU上支配AI模型。因此，开源工具链是一种选择，但存在很大的技能风险和不愿定性。
这也是恩智浦嗅到机会的地方——针对AI在MCU上的支配，客户须要依赖一些商用工具的支持。
二、AI工具链已打磨三年，降落MCU支配AI门槛
从2018年底启动研发至今，恩智浦的Nano.AI工具链已经打磨了将近三年，目前已到试用阶段。
传统AI机器学习模型如果直接在MCU上运行，运行效率非常低，可能与优化后的性能大概相差10倍以上。因此这些模型须要通过开源工具链或是厂商自己开拓的工具链来做转换。
借助AI工具链，客户无需在原始AI模型转换方面做过多投入，即便缺少运用履历，也能比较省力地将其原始算法模型转换成在MCU上能直策应用的算法库。
在MPU领域，开源标准已经发展的相对成熟，支持范围较广，涌现问题的可能性较低。但在MCU领域，还没涌现一款足够成熟好用的AI工具链。
创造这一空缺后，恩智浦决定综合各种方案的优缺陷，打造一个适用于MCU的AI工具链，起名为Nano.AI工具链，并基于自研工具开拓出一些完全办理方案，交予客户商用。
恩智浦Nano.AI工具链系统框架设计
恩智浦的AI工具链紧张包含两部分，一部分是将原始算法模型转换成MCU上能够快速运行的数据和库，另一部分包含一个轻量级推理引擎，能做出一个能跑在MCU上、只需几兆Flash乃至几兆SDRAM的方案。
同时，恩智浦也可以将详细的优化方法反馈给客户，包括从算法、算法、模型本身和源头上如何做优化从而实现一个更适宜在MCU上跑的算法模型。这须要一个相互支持的互助模式。
要做出这样一套AI工具链，首先MCU技能团队需对自家产品的架构上风等各方面有深入理解。
比如，恩智浦之以是能在MCU上实现很多视觉与语音AI运用，是由于恩智浦对自身在总线架构设计上的上风有信心，像大尺寸cache、大TCM内存，天然就能在MCU上得到很好的AI性能。
其余，一些终端方案的大厂会推出自家的工具链、算法，但它们紧张是做事于自身，同时在对MCU的理解深度方面常日不如芯片厂商。
相对而言，恩智浦不是AI软件公司，而是一家芯片供应商，天然就有帮助客户办理技能壁垒的意愿，会通过互助帮助客户办理基于MCU的AI方案的各类技能壁垒。
三、恩智浦IoT半导体的竞争力：深入客户、车规标准、供货稳定、交钥匙方案
AI工具链只是恩智浦强化其IoT半导体业务实力的一个能力分支。在互换过程中，秦建峰总结了恩智浦IoT半导体方案的4项竞争力。
第一，恩智浦有几十年的微掌握器和运用场置器的产品履历，在芯片架构积累了一些独到的能力，并对客户运用有深入理解，能从广泛的客户群中挖掘出很多共性的需求。
第二，作为一个领先的汽车芯片供应商，恩智浦在非汽车芯片的很多设计也遵照车规的哀求，因此产品质量本身过硬。
第三，恩智浦坚持长期供货，在芯片设计界有优秀口碑，能帮客户降落很多风险。
第四，恩智浦长期大量投入软件和方案，像秦建峰所在的办理方案部门一贯帮助客户基于恩智浦的芯片、算法及工具链做交钥匙方案，进而降落方案开拓门槛、减少研发投入，并能及时支持一些定制化需求，使客户的方案快速投入到市场。
例如，恩智浦近两年已成功推出基于MCU的亚马逊Alexa方案，个中包含多类算法。如果没有像恩智浦这样厂商去牵头去做，普通客户很难得到亚马逊的认证。恩智浦把全体交钥匙方案做好之后，客户就能快速出产品。
四、下一代MCU将集成更丰富的AI特性
在秦建峰看来，要衡量一个IoT芯片产品的利害，首先要找到整体本钱和性能表现的一个最佳平衡点，除此以外，还有几点还须要综合考虑：
一是整体的功耗和方案的可扩展性，二是否引入了太多的第三方，导致开拓进度、灵巧度受到限定，三是有没有一个长期路线图，能确保方案设计存在延续性，可以持续地迭代更新。
目前，恩智浦正在方案的下一代MCU和AP平台，将集成更丰富的AI功能和无线连接特性，并基于这些芯片路线图推出更多交钥匙办理方案，进一步覆盖语音和视觉AI的一些高性价比运用方案。
谈及后续操持，他透露说，恩智浦会在边缘设备的AI方面持续投入，包括带有神经网络加速器的全系列微掌握器和运用场置器、完全的机器学习工具链，以及基于机器的视觉、听觉和康健运动数据剖析处理等各种AI办理方案。
在MCU上运行视觉AI方面，恩智浦已推出基于MCU的语音及人脸识别的一系列完全方案，后续还将推出更多的姿态识别、手势识别等方案。
结语：AIoT的核心寻衅：找到AI杀手级运用
长期来看，如果谷歌、Arm等各大软硬件厂商持续互助，该当能逐步形成一些基于MCU的标准，并随着韶光的积淀而做得越来越完备。“很多客户仍需依赖终极的芯片厂商，来得到一个最优化的MCU支配AI的工具链支持。”秦建峰说。
在他看来，AIoT芯片领域仍将面临的寻衅是真正找到AI机器学习的杀手级运用，光有技能是不足的，终极要跟客户需求相匹配，找到一些共性的运用来持续推动技能提高。
在5月25日（下周二）举办的GTIC 2021嵌入式AI创新峰会上，秦建峰将带来环绕MCU支配AI运用的紧张痛点、如何提升MCU边缘端AI运算性能和精度等方面的分享，并对恩智浦Nano.AI工具链系统框架设计做更详细地解读。