文章图片

火山引擎智能处理的完整流程 。
智能超分
作为一项非常重要的视频处理技术 ， 超分辨率通过硬件或软件的方法提高原有图像的分辨率 ， 目的是根据一系列低分辨率的图像重建一幅高分辨率的图像 。 基于深度学习的超分辨率算法已经是近年来研究的热点 ， 主流的方法一般分为单帧超分和多帧超分 。
单帧超分即输入一张图片 ， 输出其高分辨率图片 。 单帧超分辨率典型结构有预定义上采样（predefined upsampling）、单一上采样（single upsampling）等；多帧超分则考虑视频前后关系 ， 重建更多细节 。 但这些超分辨率方法存在一些瓶颈 ， 当上采率比较高时 ， 例如 16 倍 ， 很多算法不能很好地重构出对应的高清图像 。
火山引擎的智能超分算法基于深度学习方法 ， 根据已有的图像、视频信息重构出缺失的细节 。 特别对于视频任务 ， 使用前后帧信息并对其进行时域建模恢复出额外的细节 。 在老片修复任务中 ， 针对画面普遍存在的清晰度差、模糊和分辨率低等问题 ， 智能超分可以显著提升清晰度和分辨率 。 相较于其他超分辨率算法 ， 智能超分算法具有两大优势 。
一方面 ， 针对老片场景的模糊退化专门进行建模 ， 从而优化清晰度效果 。 效果是这样的 ， 720P 的源动画经过超分辨率重建和去模糊后 ， 达到了 4K 分辨率的超高画质 。

文章图片

另一方面 ， 对内容进行自适应处理 ， 根据不同区域分片处理 ， 保持原有画风 。 我们以动画片《葫芦兄弟》为例 ， 该片为水墨和剪纸的组合 。 在修复时 ， 既要保证人物锐利 ， 又要兼顾水墨背景的艺术效果 。 这对技术能力要求非常高 ， 需要机器能够准确地识别好前景和背景 。
从如下动效图来看 ， 修复后（右边）的水墨画区域保持了朦胧感 ， 剪纸区域提升了清晰度 ， 彰显了智能超分的强大超分处理能力：

文章图片

智能插帧
视频帧数是影响观影体验的重要因素之一 ， 通常来说 ， 单位时间内人眼看到的连续帧越多 ， 人们对于影片会产生更真实更自然的主观感受 。 也就是 ， 帧数越大 ， 视频就越流畅 。 插帧技术可以实现低帧率视频向高帧率视频的转换 。
国内外也出现了很多插帧技术 ， 如基于 SVP（Smooth Video Project）的插帧渲染可以将 24 帧 / 秒的视频转化为 48 或 60 帧 / 秒、英伟达的神经网络脑补大法 Super SloMo 将帧率为 30 帧的视频补到 60 帧、240 帧甚至更高、上海交大开源的插帧算法 DAIN 更是可以将 30 帧的视频插帧到 480 帧 。
在老片修复中 ， 老动画片受限于制作成本 ， 绘画帧数较少 ， 一般为 15 帧以下 ， 导致画面流畅度差 ， 有卡顿感 ， 更需要插帧算法的参与 。
因此 ， 火山引擎采用的智能插帧算法通过分析前后帧的运动和内容 ， 对中间帧进行生成 ， 将原先不足 15 的帧率 ， 提升至 60 以上 ， 大幅提升流畅度 。 此外 ， 由于动画纹理较少 ， 常规倍帧方案难以判断前后帧对应的运动块 ， 火山引擎使用块光流进行优化 ， 实现了更精准的插帧结果 。
动画《哪吒传奇》中画面的前一帧、插帧和后一帧示意图如下：

文章图片

色彩增强
色彩失真是老片存在的又一大问题 ， 这主要是由以下两个原因造成的 。