2021年12月14日-15日 ， 第三届OPPO未来科技大会（OPPOINNO DAY 2021）在深圳举办 ， 大会主题为“致善·前行” 。 此次大会上 ， OPPO首个影像专用NPU芯片-马里亚纳? MariSilicon X正式发布 。

文章图片

NPU是什么
或许你知道CPU、GPU是什么 ， 但什么是NPU？NPU是neural-network processing units的缩写 ， 意即“嵌入式神经网络处理器” ， 可以理解为是专为处理海量视频、图像类多媒体数据所用的处理器 。 形象地说 ， 如果传统的摄像头可以看作是“眼睛”的话 ， 那么配备了NPU的摄像头就是“带着大脑的眼睛” 。
NPU最初只能配备给监控摄像头使用 ， 但随着半导体技术的进步和制程小型化 ， 已经有越来越多的摄像头可以通过NPU来实现更强大的功能 。 而此次OPPO发布的NPU芯片MariSilicon X ， 则是芯片新黄金架构时代基于DSA架构和6nm先进工艺制程下 ， OPPO的首款影像专用NPU 。 它具备强大算力、能效比和计算速度 ， 让AI算法的运行速度达到空前水平 。 同时整合和进化了视频流趋势下影像处理的能力 ， 将计算影像推向了4K+20bit RAW+AI+Ultra HDR的新极限 。

文章图片

MariSiliconX作为影像专用NPU ， 与SoC 一起构成了手机核心运算的左右大脑 ， 开启一机双芯时代 。
“马里亚纳”下的两个分层
马里亚纳 MariSilicon X这个名字 ， 很明显来自“马里亚纳海沟” 。 这条位于菲律宾东北、马里亚纳群岛附近太平洋底的海沟 ， 是人类已知的海洋最深处 。 在手机影像行业 ， 多年来难以跨越的屏障是影像链路的垂直整合 ， 而OPPO通过一块NPU芯片在行业内将逾越这个“天堑” 。

文章图片

在Ultra HDR方面 ， 马里亚纳 MariSilicon X最高支持20bit位宽的计算 ， 这是旗舰芯片的水准25万:1 vs 100万：1 。 OPPO为了马里亚纳MariSilicon X专门集成了独立带宽 ， 百万兆级AI专用带宽和千兆级影像带宽 ， 在芯片行业中堪称奢侈 。
在OPPO的马里亚纳 X 的深处 ， 我们看到了两个分层 ， 这是OPPO在两个问题上的努力和探索：第一个问题是 ， 计算影像的发展方向是什么？第二个问题是 ， 中国科技企业应当如何对待底层硬件研发？
NPU AI计算方式 ， 才是计算影像的未来
“计算影像”这一概念对于传统的摄影摄像来说 ， 是颠覆性的 。 计算影像涉及的方向包括增强现实、光场建构、三维重建、数字孪生等等 ， 是以强大的计算机能力来完善、弥补光学影像中的不足 ， 而进一步的概念 ， 则是运用AI、大数据算法来对海量的图像进行归类整合 ， 让其具备学习能力和自我成长能力 。
而传统计算影像的“计算”部分 ， 是通过手机的CPU/GPU来完成的 。 在基础应用方面 ， 这种做法固然可以满足部分影像需求 ， 但随着图像精度越来越高 ， 视频数量越来越多 ， 配备专用芯片进行影像计算 ， 已经成为一种行业趋势 。
但为了影像这一个功能而专门研发制造一个芯片 ， 实现“专芯专用” ， 从当下来看始终是一种比较奢侈的做法 。 有一种比较折中的办法 ， 是专门设计一块TPU（Tensor Processing Unit） ， 专门负责AI处理的工作 ， 而它也可以处理图像方面的AI功能 。 而如今OPPO设计专用NPU的做法 ， 可以说是吃了行业的“螃蟹” ， 用核心技术解决了关键问题 。
中国科技企业的底层硬件开发之路