深度学习可以捕获一个图像的内容并将其与另一个图像的风格相结合，这种技术称为神经风格迁移 。但是，神经风格迁移是如何运作的呢？在这篇文章中，我们将研究神经风格迁移（NST）的基本机制 。

文章插图
神经风格迁移概述
我们可以看到，生成的图像具有内容图像的内容和风格图像的风格 。可以看出，仅通过重叠图像不能获得上述结果 。我们是如何确保生成的图像具有内容图像的内容和风格图像的风格呢？
为了回答上述问题，让我们来看看卷积神经网络（CNN）究竟在学习什么 。
卷积神经网络捕获到了什么

文章插图
卷积神经网络的不同层
现在，在第1层使用32个filters，网络可以捕捉简单的模式，比如直线或水平线，这对我们可能没有意义，但对网络非常重要，慢慢地，当我们到第2层，它有64个filters，网络开始捕捉越来越复杂的特征，它可能是一张狗的脸或一辆车的轮子 。这种捕获不同的简单特征和复杂特征称为特征表示 。
这里需要注意的是，卷积神经网络（CNN）并不知道图像是什么，但他们学会了编码特定图像所代表的内容 。卷积神经网络的这种编码特性可以帮助我们实现神经风格迁移 。
卷积神经网络如何用于捕获图像的内容和风格VGG19网络用于神经风格迁移 。VGG-19是一个卷积神经网络，可以对ImageNet数据集中的一百多万个图像进行训练 。该网络深度为19层，并在数百万张图像上进行了训练 。因此，它能够检测图像中的高级特征 。
现在，CNN的这种“编码性质”是神经风格迁移的关键 。首先，我们初始化一个噪声图像，它将成为我们的输出图像（G） 。然后，我们计算该图像与网络中特定层（VGG网络）的内容和风格图像的相似程度 。由于我们希望输出图像（G）应该具有内容图像（C）的内容和风格图像（S）的风格，因此我们计算生成的图像（G）的损失，即到相应的内容（C）和风格（ S）图像的损失 。
有了上述直觉，让我们将内容损失和风格损失定义为随机生成的噪声图像 。

文章插图
NST模型
内容损失计算内容损失意味着随机生成的噪声图像(G)与内容图像(C)的相似性 。为了计算内容损失:
假设我们在一个预训练网络(VGG网络)中选择一个隐藏层(L)来计算损失 。因此，设P和F为原始图像和生成的图像 。其中，F[l]和P[l]分别为第l层图像的特征表示 。现在，内容损失定义如下:

文章插图
内容成本函数
风格损失在计算风格损失之前，让我们看看“ 图像风格 ”的含义或我们如何捕获图像风格 。

文章插图
层l中的不同通道或特征映射
这张图片显示了特定选定层的不同通道或特征映射或filters 。现在，为了捕捉图像的风格，我们将计算这些filters之间的“相关性”，也就是这些特征映射的相似性 。但是相关性是什么意思呢?
让我们借助一个例子来理解它：
上图中的前两个通道是红色和黄色 。假设红色通道捕获了一些简单的特征(比如垂直线)，如果这两个通道是相关的，那么当图像中有一条垂直线被红色通道检测到时，第二个通道就会产生黄色的效果 。
现在，让我们看看数学上是如何计算这些相关性的 。
为了计算不同filters或信道之间的相关性，我们计算两个filters激活向量之间的点积 。由此获得的矩阵称为Gram矩阵 。

• 最新孕妇血糖标准 孕妇血糖正常值标准
• 神经鞘磷脂从哪里提取 神经鞘磷脂是什么
• 大便的地方出血了怎么回事 大便时出血是什么原因
• 喉炎的症状是什么 喉炎的早期症状表现
• 风水金钟图片 风水里的金钟是什么
• 冰封之心是什么意思 冰冻之心
• 什么是生殖系统畸形 生殖道畸形是什么症状
• 容易做梦的人是什么原因 突然经常做梦是什么原因
• 淘宝直播卖货扣点吗？直播规则和注意事项是什么？
• 太空系列蛋糕 太空蛋糕是什么