pytorch学习资源大全 pytorch 经典教材( 二 ) _早教

文章插图

Pytorch 实现论文「RepMLP: Re-parameterizing Convolutions into Fully-connected Layers for Image Recognition—arXiv 2020.05.05」
Pytorch 实现论文「MLP-Mixer: An all-MLP Architecture for Vision—arXiv 2020.05.17」
Pytorch 实现论文「ResMLP: Feedforward networks for image classification with data-efficient training—arXiv 2020.05.07」
Pytorch 实现论文「Pay Attention to MLPs—arXiv 2020.05.17」

ReP（Re-Parameter）系列中，包含 2 篇论文 Pytorch 实现方式，论文如下：

文章插图

Pytorch 实现论文「RepVGG: Making VGG-style ConvNets Great Again—CVPR2021」
Pytorch 实现论文「ACNet: Strengthening the Kernel Skeletons for Powerful CNN via Asymmetric Convolution Blocks—ICCV2019」

总结来说，该项目共用 Pytorch 实现了 17 篇注意力机制论文。每篇论文包括题目（可直接链接到论文）、网络架构、代码。示例如下：

论文：「Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks」。

网络框架：

文章插图
代码：

from attention.ExternalAttention *import* ExternalAttentionimport torchinput=torch.randn(50,49,512)ea = ExternalAttention(d_model=512,S=8)output=ea(input)print(output.shape)

特别声明：本站内容均来自网友提供或互联网，仅供参考，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系，我们将在24小时内删除。