当前剪辑产品功能多样、素材丰富，但是开拓周期较长、门槛较高。为了让剪辑软件更加智能、大略易用，提升开拓者的效率，HMS Core 6为开拓者供应视频编辑做事（Video Editor Kit），供应视频导入、编辑、渲染、导出、媒资管理等一站式视频处理能力。除了支持完全的传统视频编辑功能，视频编辑做事还供应了诸如专属滤镜、人物追踪、一键染发等丰富的AI处理能力赞助视频创作，为用户带来更加畅快的创作灵感，打造更加智能的剪辑体验。
图1. 基于AI能力的专属滤镜、人物追踪、一键染发效果展示
多样化的智能视频处理能力是由一个个神经网络模型实现的，由于演习好的模型文件较大（单个模型大小一样平常为十几乃至几十兆），而手机等设备ROM和RAM空间大小有限，如何以更少的终端设备空间占用为开拓者供应更丰富的智能化视频处理能力，成为移动运用视频编辑面临的一大寻衅。
为办理以上寻衅，HMS Core视频编辑做事选择利用华为自研AI框架MindSpore Lite进行神经网络模型推理。MindSpore Lite是一款全场景AI推理引擎，通过统一API接口支持在端、边、云的不同环境快速支配，支持HarmonyOS、Android、iOS、Windows等多种操作系统，支持Ascend、GPU、CPU（x86、arm……）等多种硬件实行。除支持MindSpore演习出的模型格式，MindSpore Lite还支持TensorFlow，TensorFlow Lite、Caffe、ONNX等第三方模型格式的转换及推理。
图2. MindSpore Lite架构图
MindSpore Lite为AI模型推理供应高性能和超轻量的办理方案：通过高效的内核算法和汇编级优化，以及CPU、GPU、NPU的异构调度，可以充分发挥硬件算力，实现最小化推理时延和功耗；供应模型量化压缩技能，采取演习后量化（Post-Training Quantization, PTQ），无需数据集即可直接将权重数据从浮点型映射到低比特的定点数据，有效降落模型大小，助力AI模型在资源受限环境下的支配实行。
图3. 量化技能事理先容
针对权重数据的量化支持固定比特量化和稠浊比特量化两种形式。固定比特量化采取Bit-Packing的办法，支持1-16任意比特的权重量化，知足用户在不同压缩场景下的哀求，同时针对模型量化后的数据分布情形，自动选择得当的编码策略进行压缩编码，从而达到最优的压缩效果。
图4. 固定比特量化压缩
稠浊比特量化根据神经网络不同层对量化丢失的敏感度不同的特点，采取均方偏差作为优化目标，自动搜索出最适宜当前层的比特位，在担保精度的同时实现更大的压缩率。同时针对量化后的模型，采取有限状态熵(Finite State Entropy, FSE)对量化后的权重数据进行熵编码进一步压缩，实现对模型的高效压缩，提升模型传输速率和减少模型存储空间。
图5. 稠浊比特量化压缩
除此之外，量化时还会采取Bias Correction的办法，最小化其量化偏差。Bias Correction会根据权重数据固有的统计学特性，反量化时对其进行校准，使权重值量化前后具有相同的期望和方差，能够大幅度提高模型精度。
视频编辑做事中的AI模型采取MindSpore Lite供应的稠浊比特量化办法，终极在担保精度的同时达到了均匀5x+的模型压缩效果，例如一键染发的模型从原来的20.86M压缩到3.76M，有效办理了模型过多、文件过大导致的支配困难问题。
图6. 视频编辑模型量化效果（来源于MindSpore Lite实测数据）
通过对AI模型的量化压缩，在ROM空间占用不变的条件下，保障剪辑产品可以支配更多的AI模型，充分发挥AI能力来供应更多的殊效运用处景，使得剪辑功能更加强大、更加智能。华为官方剪辑软件花瓣剪辑在接入视频编辑做事能力后，用户可通过利用专属滤镜、人物追踪等AI视频剪辑功能（部分特性随花瓣剪辑App升级陆续开放），让视频剪辑更便捷和更富有意见意义性。
MindSpore Lite致力于打造高性能、超轻量级的全场景 AI引擎，除高性能内核算法及硬件异构调度、量化压缩之外，还供应端云协同的一站式演习和推理能力。HMS Core视频编辑做事基于MindSpore Lite，助力开拓者打造更加易用且智能的剪辑工具。
欲理解更多信息，欢迎访问官网：
华为开拓者同盟>华为终端云做事_移动终端开拓_生态根本开放能力-华为开拓者同盟
MindSpore官网
MindSpore开源社区MindSpore: Open Source deep learning training/inference framework that could be used for mobile, edge and cloud scenarios.