2021年12月14日 ， OPPO正式发布首款自研NPU芯片——马里亚纳MariSilicon X 。 这款芯片被称作“OPPO未来十年影像的开篇之作” ， 其问世“标志着OPPO在计算影像领域首次实现了全链路垂直整合……未来 ， 马里亚纳MariSilicon X将和通用平台一起构成了手机核心运算的左右大脑 ， 正式开启‘一机双芯’时代 。 ”

文章图片

【OPPO为何要自研影像NPU芯片？采访OPPO芯片产品高级总监姜波先生】马里亚纳MariSilicon X芯片将专门应用于影像计算 ， 并具备四大前沿技术 。
1.马里亚纳MariSilicon X集成了自研的MariNeuro AI计算单元 ， 提供高达18TOPS的最大有效算力 ， 以及业界领先的11.6TOPS/W的能效表现 ， 面向OPPO自研AI算法 ， 实现最高效的计算加速和功耗优化 。 例如在运行OPPO自研的AI降噪算法时 ， 马里亚纳MariSilicon X能够以4K的规格 ， 实现40fps的处理速度 ， 相比于此前Find X3 Pro通用NPU支持的2fps速度 ， 实现了20倍的性能跃升 ， 同时功耗降低超过50% ， 体现了越专用越高效的显著优势 。

文章图片

2.该芯片的MariLumi影像处理单元支持最高20bit的处理位宽 ， 并支持惊人的20bit Ultra HDR ， 是目前旗舰平台HDR能力的4倍 。 在即时呈现出的画面中 ， 最亮与最暗之处的亮度对比极值达到100万比1 ， 几乎与人眼真实的感受无异 。
3.它将复杂的AI算法以及20bit HDR融合全部前置到RAW域进行 ， 让AI计算不再受限于信息量的损耗 ， 为整个影像链路输出高质量的图像数据 。 与传统后端计算相比 ， 它的实时RAW计算能够带来8dB的图像信噪比提升 。
4.通过双通路设计 ， 马里亚纳MariSilicon X首次实现了对RGB和W像素的分隔处理 ， 最大化利用每一种像素特性 ， 释放出RGBW阵列的全部潜力 。 马里亚纳MariSilicon X的RGBW Pro模式带来了8.6dB的信噪比提升 ， 以及1.7倍的解析力提升 ， 在传感器尺寸规格都没有变化的前提下实现大幅的影像效果增强 。
总结来说就是 ， 在四项前沿技术突破的加持下 ， 马里亚纳MariSilicon X以同时支持4K+20bit RAW计算+AI+Ultra HDR的全新规格 ， OPPO官方宣称它将“为计算影像树立了全新标准 ， 让安卓AI视频首次拥有4K表现 ， 也让4K视频 ， 第一次拥有AI能力” 。

文章图片

那么OPPO为何要自研影像NPU芯片？马里亚纳MariSilicon X研发背后又有哪些故事？带着这些疑问 ， 我们特地采访了OPPO芯片产品高级总监姜波先生 。
问：能否介绍一下立项之前 ， OPPO对于NPU芯片有着怎样的思考与规划？
姜波：NPU不像CPU和GPU ， CPU可能大家都是在用ARM架构 ， 但是NPU每家都不太一样 。 我从事半导体行业很多年了 ， (我认为)NPU在整个行业里面临两个问题：一是NPU应该用来做什么 ， 第二个问题是NPU应该怎么做？我们的马里亚纳MariSilicon X给出了答案 。
第一 ， 在手机上 ， 计算影像其实是在各种应用下对算力要求最高的一部分 ， 所以专芯专用或者优化的方向应该是这个方向 。 这也是我们提出来的重要观点 。 马里亚纳MariSilicon X它本身是影像专用NPU ， 从相机传感器进来的最原始数据 ， 通过它去做处理 ， 在处理完之后 ， 再把更好的处理过的数据送给SoC 。 以前的HDR也好、降噪方法也好 ， 其实这些我们不需要交由SoC主芯片去做了 。 从整个影像的链路来讲 ， 从传感器到马里亚纳 X ， 再到后端通用平台 ， 整体的影像质量提升才是我们的目的 。