文章图片

背景虚化 + 面部识别 + 姿态识别 + 手势 ， 多种神经网络的效果现在已经可以同时在手机端实时完成了 。
人脸上的细节也很重要 。 高通 Spectra 首次全面取代了构成摄影基础的传统算法 ， 让 AI 彻底接手了拍摄任务， 其可识别人脸特征 ， 确定拍摄对象的眼睛是否睁开 ， 甚至是否在微笑 。 全新的人脸特征引擎可以检测 300 个特征点 ， 而且还针对更多人脸特征进行了训练 ， 包括眉毛、嘴唇、下颌线等 。
除了对焦和特效 ， AI 引擎和相机引擎可以协同工作 ， 每秒处理 32 亿像素 ， 实现更强的变焦能力 。 去年搭载于骁龙 888 上的「夜间模式」将大约六帧照片组合在一起形成合成图像 。 而骁龙 8 的相机多帧大引擎将结合大约 30 帧 ， 提供「五倍的夜间模式」 。 因为在暗光条件下有更多的像素被追踪到 ， 相机可以智能过滤掉因手抖引起的模糊 ， 进而获得更清晰的图像 。 同时 ， 人工智能还可以消除广角镜头的画面扭曲 。
随后是虚拟现实技术 ， 高通展示了 AI 变革购物体验的新方向 。 通过 AR 技术 ， 人们可以在家中布置虚拟家具、虚拟试穿运动鞋 ， 实现更多个性化的购物体验 。 这些应用都是通过高通 AI 引擎优化实现的 。
在骁龙 8 移动平台上 ， 高通还将 AI 技术融入到调制解调器和射频系统中 ， 带来了全球首个 AI 天线调谐技术 ， 检测用户握持终端时手部的位置并切换接收信号的天线 ， 旨在实现更快数据传输、更佳网络覆盖和更久电池续航 。
第 7 代 AI Engine ， 性能能效都翻倍
这些都是如何做到的？我们知道 ， 要想跑得起 AI 模型就需要强大的算力 。 在骁龙 8 移动平台的 AI 引擎上 ， 高通实现了迄今为止最大的一次 AI 算力进步 。
具体来说 ， 第 7 代 AI 引擎包含多个低功耗的 AI 子系统 ， 由下一代 Adreno GPU、Hexagon 处理器、Kryo CPU 和第 3 代高通传感器中枢（Sensing Hub）组成 ， 它们分别处理不同的计算需求 。 整个 SoC 的多个计算单元实现了 6TOPS 的异构算力 。
在应用广泛的一些 AI 模型上 ， 如 inceptionv3、mobilenet_v2、Resnet50、VDSR 等 ， 推理速度比前代 AI 引擎快 4 倍 ， 同时 AI 运算能效比前代提升了 1.7 倍 。
第 7 代 AI 引擎能够实现如此量级的提升 ， 很大程度上得益于新一代的 AI 软件：除了 Hexagon 处理器张量计算性能翻倍 ， 共享内存翻倍以外 ， 其 AI 软件性能也提升了 2 倍 ， 现在支持了 INT8 + INT16 的混合精度计算 。

文章图片

更大的内存意味着芯片可以运行更大、更深的神经网络 ， 而更高的精度则可以让算法推理的结果更加准确 。 开发工具上 ， 新的神经网络处理 SDK 更新了算子支持 ， Qualcomm AI Engine Direct 可直接接入移动端深度学习框架 TensorFlow Lite 和 Android NN API ， 方便开发者将自己的 AI 模型更快地应用在移动端 。
用手机完成台式机的任务
新的 AI 技术层出不穷 ， 要如何把机器学习模型塞进手机呢？对于工程师们来说这是一个非常有挑战性的工作 ， 使用 AI 技术自动来完成是一个很有前景的方向 。 高通和谷歌合作 ， 将神经网络架构搜索（NAS）引入了骁龙平台 ， 并已集成进第 7 代高通 AI 引擎 。
正如 AutoML 的思路 ， 高通提供的 NAS 工具 Neual Processing SDK 可以将硬件配置、工作需求（如帧数、准确度）作为参数输入 ， 由 AI 算法帮助工程师快速实现深度学习模型的最优设计 。