将object context (spatial attention) 和卷积强强联合，分别捕捉全局和局部信息，并在多个数据集上取得很高的精度。

作者认为CNN中信息流被约束在 local neighborhood regions，限制了复杂场景的理解。因此提出了 point-wise spatial attention network (PSANet) 来缓和这种 local neighborhood constraint。通过 self-adaptively learned attention mask，将feature map 中的每个位置与其余位置联系起来。此外，还能够进行双向信息传播以进行 scene parsing。可以收集其他位置的信息以帮助预测当前位置，反之亦然，可以分发当前位置的信息以辅助预测其他位置。

non-local module 旨在捕获图像和视频中的long-range spatio-temporal dependencies。尽管表现出出色的性能，但它缺乏对 interactions between positions across channels 进行建模的机制，这对于识别细粒度的对象和动作至关重要。为了解决此限制，作者对 non-local module 进行了扩展，并考虑了任意两个 channels 的 positions 之间的相关性。此扩展利用泰勒扩展的 multiple kernel functions 的紧凑表示形式，从而使generalized non-local module 成为快速而低复杂度的计算流程。此外，作者在 channel groups 内实施 generalized non-local 方法以 ease the optimization。实验结果说明了 generalized non-local module 在细粒度目标识别和视频分类上的明显改进和实际适用性。

给定一个中间的 feature map, 可以从channel 和 spatial 2 个维度推理 attention maps，然后，这些 attention maps 通过相乘以自适应地进行特征增强。

计算机视觉领域关于自注意力机制的一篇重要文章。

Attention 机制在近几年来大火，在自然语言处理，信号处理，计算机视觉等领域取得了很大的进展。本文关注于计算机视觉领域，讲述 Attention 机制的原理，并以医学图像分析领域为依托，介绍了Attention机制的应用。

基于变量的数量进行分类：

• Univariate methods, variable ranking: consider the input variables (features, attributes) one by one.

• Multivariate methods, variable subset selection: consider whole groups of variables together.

基于在选择过程中使用的机器学习方法进行分类：

• 过滤式（filter）: selects a subset of variables independently of the model that shall subsequently use them.
• 包裹式（wrapper）: selects a subset of variables taking into account the model that shall use them.
• 嵌入式（embedded）: the feature selection method is built in the ML model (or rather its training algorithm) itself (e.g. decision trees).