ICCV 2021 | FcaNet: Frequency Channel Attention Networks 中的频率分析

• 论文：https://arxiv.org/abs/2012.11879
• 代码：https://github.com/cfzd/FcaNet

文章是围绕 2D 的 DCT 进行展开的，本文针对具体的计算逻辑进行梳理和解析。

f ( u , v ) = α u α v H W ∑ i = 0 H − 1 ∑ j = 0 W − 1 f ( i , j ) cos ⁡ ( 2 i + 1 ) u π 2 H cos ⁡ ( 2 j + 1 ) v π 2 W = ∑ i = 0 H − 1 [ α u H cos ⁡ ( 2 i + 1 ) u π 2 H ] ∑ j = 0 W − 1 [ α v W cos ⁡ ( 2 j + 1 ) v π 2 W ] x ( i , j ) = ∑ i = 0 H − 1 A u i ∑ j = 0 W − 1 A v j x ( i , j ) = ∑ i = 0 H − 1 ∑ j = 0 W − 1 x ( i , j ) B u , v i , j ,   u ∈ { 0 , 1 , … , H − 1 } ,   v ∈ { 0 , 1 , … , W − 1 } α u = { 1 u = 0 2 u ≠ 0 , α v = { 1 v = 0 2 v ≠ 0 , x = ∑ u = 0 H − 1 ∑ v = 0 W − 1 f ( u , v ) B u , v i , j \begin{align} \\ f(u,v) &= \sqrt{\frac{\alpha_{u}\alpha_{v}}{HW }} \sum^{H-1}_{i=0} \sum^{W-1}_{j=0} f(i,j) \cos\frac{(2i+1)u\pi}{2H} \cos\frac{(2j+1)v\pi}{2W} \\ & = \sum^{H-1}_{i=0} \left[ \sqrt{ \frac{\alpha_{u}}{H} }\cos\frac{(2i+1)u\pi}{2H}\right] \sum^{W-1}_{j=0} \left[ \sqrt{ \frac{\alpha_{v}}{W} }\cos\frac{(2j+1)v\pi}{2W} \right] x(i,j) \\ & = \sum^{H-1}_{i=0} A^{i}_{u} \sum^{W-1}_{j=0} A^{j}_{v} x(i,j) \\ & = \sum^{H-1}_{i=0} \sum^{W-1}_{j=0} x(i,j) B^{i,j}_{u,v}, \, u \in \{0, 1, \dots, H-1\}, \, v \in \{0, 1, \dots, W-1\} \\ \alpha_{u} & = \left\{ \begin{matrix} 1 & u = 0 \\ 2 & u \ne 0, \end{matrix} \right. \quad \alpha_{v} = \left\{ \begin{matrix} 1 & v = 0 \\ 2 & v \ne 0, \end{matrix} \right. \\ x & = \sum^{H-1}_{u=0} \sum^{W-1}_{v=0} f(u,v) B^{i,j}_{u,v} \end{align} f(u,v)αu​x​=HWαu​αv​​ ​i=0∑H−1​j=0∑W−1​f(i,j)cos2H(2i+1)uπ​cos2W(2j+1)vπ​=i=0∑H−1​[Hαu​​ ​cos2H(2i+1)uπ​]j=0∑W−1​[Wαv​​ ​cos2W(2j+1)vπ​]x(i,j)=i=0∑H−1​Aui​j=0∑W−1​Avj​x(i,j)=i=0∑H−1​j=0∑W−1​x(i,j)Bu,vi,j​,u∈{0,1,…,H−1},v∈{0,1,…,W−1}={12​u=0u=0,​αv​={12​v=0v=0,​=u=0∑H−1​v=0∑W−1​f(u,v)Bu,vi,j​​​

实际上这里是将 2D 图像的空间索引 $i,j$ 看做了时域索引，而频域分量的空间位置则由 $h,w$ 索引。从上面的推导中可以看到，正反变换使用的系数是一样的。这就体现出了 DCT 的简洁性。

矩阵形式为：

$$\begin{array}{rl}f& \in {\mathbb{R}}^{H\times W}=A_H^{\top }x{A}_W=A^{\top }xAifH=W\\ A_H& =\left[\begin{array}{ccc}(i=0,u=0)& \dots & (i=0,u=H-1)\\ ⋮& ⋮& ⋮\\ (i=H-1,u=0)& \dots & (i=H-1,u=H-1)\end{array}\right]\in {\mathbb{R}}^{H\times H}\\ A_W& =\left[\begin{array}{ccc}(j=0,v=0)& \dots & (j=0,v=W-1)\\ ⋮& ⋮& ⋮\\ (j=W-1,v=0)& \dots & (j=W-1,v=W-1)\end{array}\right]\in {\mathbb{R}}^{W\times H}\\ x& =A_H^{\top }f{A}_W(H=W时，A_H与A_W在是正交的，H\ne W时不清楚)\end{array}$$

文中证明了 SEBlock 中的 GAP 操作就是 DCT 中的最低频率的组件。

$$\begin{array}{r}f(0,0)=\sum _{i=0}^{H-1}\sum _{j=0}^{W-1}x(i,j)B_{0,0}^{i,j}=\sum _{i=0}^{H-1}\sum _{j=0}^{W-1}x(i,j)=\text{GAP}(x)HW\end{array}$$

所以作者们在 GAP 的基础上进一步补充了其他的频率成分。考虑变换的公式，假定 $H=W=7$，则其中的基函数可以直接得出：

α u 7 cos ⁡ ( 2 i + 1 ) u π 14 = α u 7 cos ⁡ ( π u 7 ( i + 0.5 ) ) ,   u ∈ { 0 , 1 , … , 6 } \begin{align} \sqrt{ \frac{\alpha_{u}}{7} } \cos\frac{(2i+1)u\pi}{14} = \sqrt{ \frac{\alpha_{u}}{7} } \cos\left( \pi \frac{u}{7} (i+0.5) \right), \, u \in \{0, 1, \dots, 6\} \end{align} 7αu​​ ​cos14(2i+1)uπ​=7αu​​ ​cos(π7u​(i+0.5)),u∈{0,1,…,6}​​

对应于代码中的：

def build_filter(self, pos, freq, POS):
    result = math.cos(math.pi * freq * (pos + 0.5) / POS) / math.sqrt(POS) 
    if freq == 0:
        return result
    else:
        return result * math.sqrt(2)

这里的 freq 实际上对应的就是前式里的 $u$ 或 $v$。因此，对于 $7\times 7$ 的数据，实际上存在 49 个分量，作者们通过大量的实验对不同分量单独使用时的效果进行了汇总：

通过对得分由高到低排序得到 49 个 $(u,v)$ 对，在代码中直接按情况选择即可。

参考链接

• 《数字图像处理》图像表征：离散傅里叶变换（DFT）、离散余弦变换（DCT）、主成分分析（PCA）- zhiwei 的文章 - 知乎 https://zhuanlan.zhihu.com/p/563668048