nst医学上是什么意思 NST是什么意思( 二 )

内容损失函数的介绍到此结束。

文章插图

风格损失

在计算风格损失之前，来看看“图像风格”的含义或如何捕获图像风格。
如何捕捉图像的风格？

文章插图
层l中的不同通道或特征映射

此图像显示被选定的l层的不同通道或特征图或核。现在，为了捕捉图像的样式，我们将计算这些核彼此之间的“相关性”，这意味着这些特征图的相似程度。但是相关性又意味着什么？
借助一个例子来理解它：
令上图中的前两个通道为红色和黄色。假设红色通道捕获一些简单的特征（例如，垂直线），如果这两个通道相关，那么无论何时当图像中有红色通道检测到的垂直线时，第二个通道就会出现黄色效果。
现在，来看看如何计算这些相关性（数学上）。
为了计算不同核或通道之间的相关性，我们计算两个核的激活矩阵之间的点积。由此获得的矩阵称为Gram矩阵。
但我们怎么知道它们是否相关？
如果两个核的激活矩阵点积大，那么两个通道被认为是相关的，如果它很小，那么图像是不相关的。用数学方程表示：
风格图像的Gram矩阵（S）：
这里k和k\'代表层L的不同滤波器或通道。我们称之为Gkk\'[l] [S] 。

文章插图
风格图像的Gram矩阵

生成图像的Gram矩阵（G）：
这里k和k\'代表层L的不同滤波器或通道。我们称之为Gkk\'[l] [G] 。

文章插图
生成图像的Gram矩阵

现在，定义风格损失：
风格图像和生成图像之间的代价函数是风格图像的Gram矩阵与生成图像的Gram矩阵之间差异的平方。

文章插图
风格代价函数

现在，定义神经风格迁移的总损失。
总损失函数：
总损失函数是内容图像的代价和风格图像代价的总和。在数学上，它可以表示为：

文章插图
神经风格迁移的总损失函数

你可能已经注意到上述等式中的α和β 。它们分别用于衡量内容和风格的代价。通常，它们被定义为生成的输出图像各个代价的权重。
一旦计算出损失，就可以使用反向传播使损失最小化，反向传播又将我们随机生成的图像优化为有价值的艺术品。
以上总结了神经风格迁移的工作。

文章插图

留言点赞关注
我们一起分享AI学习与发展的干货
欢迎关注全平台AI垂类自媒体 “读芯术”

特别声明：本站内容均来自网友提供或互联网，仅供参考，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系，我们将在24小时内删除。