nst医学上是什么意思 NST是什么意思

文章插图

深度学习能够捕获到一个图像的内容并将其与另一张图像的风格融合起来。这种技术称为神经风格迁移。然而，神经风格迁移是如何运作的呢？如何将一副名不见经传的图像变成大师级的作品？在这篇文章中，我们将研究神经风格转移（NST）的基本机制。

文章插图

高级直观图

文章插图
神经风格迁移概述

可以看到，生成的图像具有内容图像的内容和风格图像的风格。并且，仅通过重叠图像不能获得上述结果。
现在，最有价值的问题在于，如何确保生成的图像具有内容图像的内容和风格图像的风格？还有如何捕获各个图像的内容和风格？为了回答上述问题，先来看看卷积神经网络（CNN）究竟在学习什么。

文章插图

卷积神经网络在捕获什么？

请看下面的图片。

文章插图
卷积神经网络的不同层次

现在，网络在第1层使用32个卷积核来捕获简单的图样，比如直线或水平线，这对我们来说可能没有意义，但对网络来说非常重要，而且随着向下移动到第2层的64个卷积核，网络开始捕获越来越复杂的功能，它可能是一只狗的脸或是一辆汽车的轮子。这种捕获不同的简单和复杂的特征称为特征表示。
重要的是CNN不知道图像是什么，但它们学会编码特定图像代表的内容。卷积神经网络的这种编码机制可以帮助我们进行神经风格迁移。下面让我们更深入地了解一下。

文章插图

卷积神经网络如何用于捕获图像的内容和风格？

VGG-19网络将用于神经风格迁移。VGG-19是一个卷积神经网络，可以使用ImageNet数据库中的一百多万个图像进行预训练。该网络深度为19层，并在数百万张图像上进行了训练。因此，它能够检测图像中的高级特征。
【nst医学上是什么意思 NST是什么意思】现在，CNN的这种“编码性质”是神经风格迁移的关键。首先，将一个噪声图像初始化，它即将成为我们的输出图像（G）。然后，计算该图像与内容和风格图像在网络（VGG网络）中特定层的特征图的相似程度。由于我们希望输出图像（G）应该具有内容图像（C）的内容和风格图像（S）的风格，因此需要计算生成的图像（G）到相应的内容（C）和风格（S）图像的损失。
有了上述感知，让我们定义内容的损失和风格的损失来随机生成的噪声图像。

文章插图
NST模型的工作

文章插图

内容损失

计算内容损失即估计随机生成的噪声图像（G）与内容图像（C）的相似程度。为了计算内容损失：
假设在预训练网络（VGG网络）中选择隐藏层（L）来计算损失。因此，让P和F为原始图像和生成的图像。并且，F[l]和P [l]是层L中各个图像的特征表示。现在，内容损失定义如下：

文章插图
内容代价方程

特别声明：本站内容均来自网友提供或互联网，仅供参考，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系，我们将在24小时内删除。