深度残差收缩网络(4):注意力机制下的阈值设置

  • 时间:
  • 浏览:1
  • 来源:神彩排列三_彩神排列三官方

并且再看“逐通道不同阈值的淬硬层 残差收缩网络(Deep Residual Shrinkage Networks with Channel-wise Thresholds,简称DRSN-CW)”。与上述的DRSN-CS类似于于,在红色虚线框里的子网络,学习得到了一组阈值。以相同的土方法,确保了阈值有着共要 的取值范围。

时要注意的是,每个样本,都有买车人独特的一组权重。任意另三个样本,它们的什么权重,都有不同的。在SENet中,具体的网络形态学 如下图所示。学习权重的路径也不 ,全局池化→全连接层→ReLU→全连接层→Sigmoid。

(3)具体的阈值设置土方法

(1)阈值时要满足的条件

论文网址:

M. Zhao, S. Zhong, X. Fu, B. Tang, and M. Pecht, “Deep Residual Shrinkage Networks for Fault Diagnosis,” IEEE Transactions on Industrial Informatics, 2019, DOI: 10.1109/TII.2019.2943898

https://ieeexplore.ieee.org/document/88200096

淬硬层 残差收缩网络采用了另三个子网络来自动地设置阈值。这俩 子网络的形态学 ,就借鉴了上述的SENet。

注意力机制都也能从视觉的淬硬层 进行解释。人类也能通过快速扫描图像,发现目标物体,进而将更多的注意力集中在目标物体上,以捕获更多细节,一齐抑制并且 区域的无关信息。

更重要的是,每个样本,应该有不同的阈值。这是由于,并且 样本蕴含的噪声量突然是不同的。

转载网址:

淬硬层 残差收缩网络:(一)背景知识 https://www.cnblogs.com/yc-9527/p/11598844.html

淬硬层 残差收缩网络:(二)整体思路 https://www.cnblogs.com/yc-9527/p/112001322.html

淬硬层 残差收缩网络:(三)网络形态学 https://www.cnblogs.com/yc-9527/p/112003320.html

淬硬层 残差收缩网络:(四)注意力机制下的阈值设置 https://www.cnblogs.com/yc-9527/p/112004082.html

淬硬层 残差收缩网络:(五)实验验证 https://www.cnblogs.com/yc-9527/p/11620073.html

淬硬层 残差收缩网络:(六)代码实现 https://www.cnblogs.com/yc-9527/p/12091581.html

类似于于,样本A蕴含噪声较少,样本B蕴含噪声较多。那么 ,在降噪算法中间,样本A的阈值就应该大并且 ,样本B的阈值就应该小并且 。在淬硬层 学习算法里,由于什么形态学 那么 明确的物理意义,阈值的大小也无法得到解释。并且道理是相通的,即每个样本应该有不同的阈值。

在软阈值化中,阈值的取值有一定的要求:首先,阈值时也不 正数;其次,阈值那么过多,并且输出会完正为零

值得指出的是,通过这俩 土方法,不同的样本都有了不同的阈值。在一定程度上,也都也能理解为这俩 注意力机制:注意到不重要的形态学 ,将它们剔除掉;由于说,注意到重要的形态学 ,将它们保留下来。另外,真是跨层的恒等路径(Identity shortcut)将不重要的形态学 也传递到了高层形态学 中,并且通过也不 残差模块的堆叠,什么不重要的形态学 所占的比重那么 低,最终实现不重要形态学 的消除。

首先来看“通道之间共享阈值的淬硬层 残差收缩网络(Deep Residual Shrinkage Networks with Channel-shared Thresholds,简称DRSN-CS)”。亲戚亲戚朋友都也能看了,在红色虚线框里的子网络,学习得到了另三个阈值,应用在形态学 图的所有通道上。

(2)注意力机制

在这俩 子网络中,首先对输入形态学 图内的所有元素,取绝对值。并且经过全局均值池化(Global Average Pooling, GAP)和求平均(Average),就得到了另三个形态学 。为了方便描述,将这俩 形态学 记为A。在另二根路径中,全局均值池化以前的形态学 ,输入到另三个小型的全连接网络之中。这俩 全连接网络以另三个Sigmoid激活函数作为最后一步,其目的在于将输出调整到0和1之间,记为α。最终的阈值也不 α×A。从前语句,阈值也不 ,另三个0和1之间的数字×形态学 图的绝对值的平均值。通过这俩 土方法,保证了阈值不仅为正数,并且过多过多。

对于基于淬硬层 学习的分类算法,其关键不仅在于提取与标签相关的目标信息,剔除无关的信息也是非常重要的,也不 要在淬硬层 神经网络中引入软阈值化。阈值的自动设置,是淬硬层 残差收缩网络的核心贡献。时要注意的是,软阈值化中的阈值,时要满足一定的条件。这篇文章中的阈值设置,事实上,是在注意力机制下进行的。下面分别介绍阈值时要满足的条件、注意力机制以及具体的阈值设置土方法。

Squeeze-and-Excitation Network(SENet)是这俩 典型的蕴含注意力机制的淬硬层 学习土方法。对于不同的样本,不同通道上的形态学 ,在分类任务中的重要程度,突然是不同的。SENet都也能学习一组权重,自动地调整不同通道的形态学 的大小。这俩 过程,就共要 施加不同的注意力在各个通道的形态学 上(见下图)。