官宣NPU芯片:OPPO马里亚纳首秀 | 赛道Hyper( 三 )


数据120dB又是何意?
通俗来说 , 带有HDR的图片 , 达到这个数值 , 在暗光环境下(比如夜景或高亮光源附近) , 能高度还原拍摄对象(如人物面部或服饰颜色)各种细节 , 而不至于用算法(如多帧合成)补偿导致图片失真 。 同时 , 暗光拍摄的噪点控制更好 , 噪点更少 , 照片成像质量更高 。
因此 , OPPO应用自研IP“MariLumi” , 能提高图片输出精度 , 在暗光背景下 , 图片细节还原度高 , 噪点少 , 分辨率高 , 同时占据的带宽更少 。 这个IP主要支撑“4K+20bit +Ultra HDR”技术能力 。
【官宣NPU芯片:OPPO马里亚纳首秀 | 赛道Hyper】姜波对华尔街见闻说 , “跟目前芯片商旗舰通用SoC相比 , (应用MariLumi后)图片动态范围(HDR)是其4倍 。 20bit-120dB动态范围 , 意味着对于一张图片而言 , 最暗和最亮部分相差100万倍 , 是目前业界顶级SoC成像质量的25万倍 。 ”
新突破:补充SoC成像性能
MariSilicon X带有HDR AI降噪能力令人惊讶 , 但更重要的是 , 其所有复杂算法和运算都放在RAW域上 , 做的是实时RAW域(real time RAW processing)降噪处理 。 一般公共NPU做不到这一点 , 因为这样做需要极高的算力 。
所谓图像降噪(Image Denoising) , 是指减少数字图像中噪声的过程 , 有时又称为图像去噪 , 目的是提高输出图像的成像质量 。
图像从Sensor输出一个RAW信息 , 经过图像处理器转换成RGB , 再转成YUV , 每一步转换都有信息损耗 , 图像噪声更复杂 , 更难以处理 , 所以在图像处理器前端做去噪处理更合适 。
比如OPPO Find X3 Pro的AI降噪算法放在了YUV上(大部分华为产品也是如此) , 但算力不够 , 因此只能做到18bit的HDR , 同时AI成像有明显时延 。
由于RAW的线性度和色彩更好 , 保留了更原始的丰富无损耗信息 , 因此MariSilicon X将AI算法前置到RAW域 。 但在RAW域做实时降噪处理 , 算法复杂度更高 , 硬件投入也相应更大 。
这样的投入是否值得?姜波说 , “OPPO在做投入时 , 唯一的考量是评估对消费者是否有价值 。 若有 , 则值得 。 ”
这么做 , 对于消费者而言 , 有何体验上的提升?也就是用户价值是什么?
姜波说 , “配备MariSilicon X方案 , 至少有8dB信噪比的增强 , 相当于有2.6倍的提升 。 同时 , 在4k场景下 , 图像亮部和暗部的增益不一样:亮部是8dB , 暗部达到12dB , 也就是说图像暗部的信噪比可以达到4倍的有效提升 。 ”
有必要做个小结 , RAW域处理是面向传感器输出最原始的数据 , 针对其加大算力 。 “通过对最原始数据做处理 , 才能达到最好的成像效果 。 ”
因此 , 成像信号的传输路径 , 先是摄像头传感器(Sensor) , 再是MariSilicon X , 最后是Soc环节 。
这里涉及到MariSilicon X和SoC芯片的关系 。
MariSilicon X是一颗独立芯片 , 解决了一些用SoC芯片解决不了的问题 。 通过跟SoC主芯片相互配合及对SoC成像能力的补充 , 最终达到了1+1>2的体验效果 。
之所以能成为SoC芯片图形性能的增益独立单元 , MariSilicon X的工艺制程才需要用台积电的EUV 6nm制程 。
姜波说 , “如果做完后发现还不如5nm SoC成像的整体效果 , 那加一颗芯片没有意义 。 同时 , iPhone本身也是一个标杆 , 做出来远远不如他们 , 那也没有意义 , 这就丧失了我们做一颗芯片的初心和原点了 。 ”
应当说 , OPPO在提升成像质量道路上 , 不遗余力 。 那么OPPO追求的智能手机成像效果的标杆是什么?
通过自研独立计算影像NPU , OPPO希望最终能无限接近单反相机的成像质量 。

特别声明:本站内容均来自网友提供或互联网,仅供参考,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。