第一个GAN驱动的图像编辑框架！多伦多大学华人博士提出EditGAN _信息快讯

文章插图

新智元报道
编辑：LRS
【新智元导读】如何能随心所欲改变图像一向是一个有挑战性的问题！以往借助GAN模型的图像编辑有这样那样的问题，英伟达的一个华人博士提出了一个新模型EditGAN ，第一个GAN驱动的图像编辑框架，对out-of-domain图像的效果也很好！
图像编辑（image editing）是一个CV领域的一个重要研究问题，是指改变图像的过程，图像包括数码照片、传统的模拟照片和插图。
基于AI的照片和图像编辑也能够简化摄影师和内容创造者的工作流程，提升创意和数字艺术的水平。并且目前基于AI的图像编辑工具已经以照片编辑滤镜的形式添加到软件的功能中，并且深度学习研究界正在积极开发更多的技术。

文章插图

一个常用的研究模型是使用生成对抗网络（GAN）或者将图像嵌入到GAN的隐空间。对GAN的隐向量（latent embedding）进行仔细修改后可以将其转换为预期变化的输出，例如，可以肖像中的面部表情发生一致变化，改变汽车的视角或形状和纹理，或以语义上有意义的方式在不同图像之间插值。
大部分基于GAN的图像编辑方法可以分为几类。有些工作依赖于GAN对类标签或像素级语义分割的标注，不同的条件能够导致输出的变化，还有一些工作使用辅助属性分类器来引导合成和编辑图像。

文章插图

然而，训练这种有条件的GAN或外部分类器需要大量的标签数据。因此，这些方法目前仅限于具有大量标注数据的图像类型，例如肖像数据。
此外，即使标注可用，大多数技术也只提供有限的编辑控制，因为这些标注通常只包含高级别的全局属性或相对粗糙的像素级分隔。
另一条研究路线侧重于不同图像的混合和插值特征，因此需要参考图像作为编辑目标，通常也不能精细控制图像的生成。其他方法通过分析GAN的隐空间，找到适合编辑的未分类潜在变量，或控制GAN的网络参数，这些方法不允许详细编辑，而且速度很慢。
针对这些局限性，来自英伟达和多伦多大学的研究人员提出了一种新的基于GAN的图像编辑框架EditGAN ，该框架允许用户修改细节对象部分，从而实现高精度的语义图像编辑。 EditGan 的构建基于最近提出基于相同的隐向量联合建模两个图像及其语义分割的GAN模型，并且只需要16个标签示例就可以扩展到多个对象类和部分标签的选择。

文章插图

根据所需的编辑修改分割遮罩，优化隐向量，使其与新的分割保持一致，从而有效地改变了RGB图像。为了达到更高的效率，模型学习了在隐空间中编辑向量来实现图像编辑，并且可以直接应用于其他图像，而不需要任何额外的优化步骤。
因此，可以预先建立一个所需的编辑库，用户可以直接在交互式工具中使用。
文章的第一作者Huan Ling是多伦多大学的博士生， NVIDIA和Vector研究所的研究科学家。

文章插图

EditGAN 的图像生成组件是StyleGAN2 ，也目前是最先进的用于图像合成的GAN 。 StyleGAN2生成器从多元正态分布中提取的隐向量Z映射到真实图像中。首先利用非线性映射函数将隐向量转换成一个中间码，然后通过学习映射变换进一步转换成K+1向量。这些转换后的隐编码被输入到合成块中，合成块的输出是深度的特征映射。

特别声明：本站内容均来自网友提供或互联网，仅供参考，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系，我们将在24小时内删除。