SwinTransformer 改进：小波+注意力模块（Wavelet-Guided Attention）
1.创新点分析
概述
本文将深入解析一个结合了Swin Transformer和Wavelet-Guided Attention Module(WGAM)的创新模型架构。该模型通过引入小波变换和注意力机制，增强了传统Transformer模型在视觉任务中的特征提取能力。
模型架构
1. 核心组件：WGAM模块
WGAM(Wavelet-Guided Attention Module)是整个模型的核心创新点，它结合了小波变换和注意力机制来增强特征表示。
class WGAM(nn.Module):def __init__(self, channels, reduction_ratio=16):super(WGAM, self).__init__()self.channels = channelsself.wavelet = 'haar'...主要功能组件：
-
小波分解：使用Haar小波将输