面试积累 - FFN 层激活函数

在 FFN 层中，有几个常见的激活函数，这次我们尝试梳理它们。

GLU 变体公式

激活 {\begin{aligned} {FFN}_{GLU} (x, W, V, W_{2}) & = (σ (x W) \otimes x V) W_{2} \\ {FFN}_{Bilinear} (x, W, V, W_{2}) & = (x W \otimes x V) W_{2} \\ {FFN}_{ReGLU} (x, W, V, W_{2}) & = (max (0, x W) \otimes x V) W_{2} \\ {FFN}_{GEGLU} (x, W, V, W_{2}) & = (GELU (x W) \otimes x V) W_{2} \\ {FFN}_{SwiGLU} (x, W, V, W_{2}) & = ({Swish}_{1} (x W) \otimes x V) W_{2} \end{aligned}

公式 {\begin{aligned} ReGLU (x, W, V, b, c) & = max (0, x W + b) \otimes (x V + c) \\ GEGLU (x, W, V, b, c) & = GELU (x W + b) \otimes (x V + c) \\ SwiGLU (x, W, V, b, c, β) & = {Swish}_{β} (x W + b) \otimes (x V + c) \end{aligned}

基础 {\begin{aligned} ReLU (x) & = max (x, 0) \\ GeLU (x) & = 0.5 x \otimes [1 + \erf (\frac{x}{\sqrt{2}})] \\ sigmoid (x) & = \frac{1}{1 + e^{- x}} \\ \tanh (x) & = \frac{e^{x} - e^{- x}}{e^{x} + e^{- x}} \\ \erf (x) & = \frac{2}{\sqrt{π}} \int_{0}^{x} e^{- t^{2}} d t \\ Swish (x) & = x \otimes sigmoid (x) \\ SwiGLU (x_{1}, x_{2}) & = x_{2} \otimes Swish (x_{1}) \\ GeGLU (x_{1}, x_{2}) & = x_{2} \otimes GeLU (x_{1}) \end{aligned}

图片来源：论文 GLU Variants Improve Transformer

说明： $\otimes$ 表示逐元素相乘； $σ$ 为 sigmoid 激活；基础组中的 $x$ 、 $0$ 为向量（故加粗）。

为什么需要激活函数

在神经网络中，我们对神经元进行线性变换 $z = W x + b$ 后，通过激活函数 $a = f (z)$ 作为下一层函数的输入，反映该函数是否被激活。

激活函数赋予了神经网络非线性，如果没有激活函数，神经网络就是多个线性换堆叠，对于一个两层的网络 $z_{2} = W_{2} (W_{1} x + b_{1}) + b_{2}$ 来说

其可以写成 $z_{2} = W_{1} W_{2} x + W_{2} b_{1} + b_{2} = W x + b$ 这仍然是一个线性变换。

什么函数可以作为激活函数

在解答这个问题之前，我们看看激活函数参与了什么过程：

1.它参与了神经网络的非线性变换
2.它参与了反向传播

因此，它必须是一个非线性函数（条件 1 ），他必须可导（或者仅在有限点不可导）。

此外，它最好计算的效率高，梯度性质较好，输出范围适当，且足够平滑。

很遗憾，下面的条件很难一起满足。

在接下来的内容中，我们根据是否存在 $\otimes$ 来区分门控函数与非门控函数，因为门控函数定义为

y = z \otimes g (a)

其中：

$a$ ：用来计算“门”的那一路输入；
$g (a)$ ：门控信号；
$z$ ：真正要通过的信息；
$\otimes$ ：逐元素相乘。

非门控函数

RELU

最简单的函数，其输出范围 $[0, + \infty]$ ，当 $x = 0$ 时，函数不可导，需要定义其导数为 $0$ 或者 $1$

当输入长期小于 $0$ ,该函数可能不再激活，称为 Dead ReLU 问题

函数如图所示

LeakyReLU

为了解决ReLU在负半轴导数为0的情况，我们对其在负半轴做一下修改

LeakyReLU (x) = {\begin{cases} x & if x > 0 \\ α x & if x \leq 0 \end{cases}

其中 $α$ 是一个极小的正数（例如 $0.01$ ）

图就不放了。

sigmoid

其易于求导，设 sigmoid 函数为 $σ (x)$ 则导数为 $σ^{'} (x) = σ (x) (1 - σ (x))$

当 $x$ 很大或者很小时，函数导数 $σ^{'} (x)$ 接近 $0$ ,此时 $x$ 无论变化多少，函数变化不大，反向传播时参数更新极小甚至不更新，发生梯度饱和。

函数范围变成 $(0, 1)$

tanh

其导数为 $\tanh^{'} (x) = 1 - \tanh^{2} (x)$ ,输出范围变成了 $(- 1, 1)$ 但是计算量高于 ReLU 函数。

门控函数

GeLU

GeLU 输入和门控都取决于 $x$ ，所以也可以认为不是门控函数。

$\otimes$ 表示逐元素相乘， erf函数定义如下

\erf (z) = \frac{2}{\sqrt{π}} \int_{0}^{z} e^{- t^{2}} d t

其与正态分布损失函数有关

0.5 [1 + \erf (\frac{x}{\sqrt{2}})] = Φ (x) = P (Z \leq x)

其中 $Z \sim N (0, 1)$ ，因此GeLU 还可以写作 $GeLU (x) = x \otimes Φ (x)$ ，其函数图像如图所示。

Swish与SiLU

Swish 与 SiLU 输入和门控都取决于 $x$ ，所以也可以认为不是门控函数。

Swish (x) = x \otimes sigmoid (β x)

当 $β = 1$ 时，称为 SiLU ，更通常地，如果说明 Swish 但没有指明 $β$ ，则可以默认指的是 $β = 1$ 的情况

GeGLU 与 SwiGLU

将 GeLU 右边的门控函数套娃成 GeLU，即得到 GeGLU

将 GeLU 右边的门控函数套娃成 Swish，即得到 SwiGLU

由于就是直接将 GeLU 套娃，对函数本身没有什么好说的，我们回到 FFN 层来区别三者

GeLU,GeGLU,SwiGLU in FFN

在 FFN 层中，三者公式如下，其中 GeGLU,SwiGLU 需要额外一个可学习的权重矩阵

GELU FFN：

{FFN}_{GELU} (x) = GELU (x W_{1}) W_{2}

GeGLU FFN：

{FFN}_{GeGLU} (x) = [(x W_{in}) \otimes GELU (x W_{gate})] W_{out}

SwiGLU FFN：

{FFN}_{SwiGLU} (x) = [(x W_{in}) \otimes Swish (x W_{gate})] W_{out}

顺带一说，对于一个长度为 len*d1 的输入，首先经过三个 d1*d1 的注意力矩阵，经过缩放，残差链接与 LN 后，进入FFN层，此时会先遇到一个维度为 d1*d2 的升维矩阵 $W_{1}$ ，如果需要引入非自身门控，则还需要一个维度与之相符的矩阵 $W_{2}$ ,接着需要一个降维矩阵 $W_{3}$

一般来说 $d_{2} = 4 d_{1}$ ,则不考虑门控的FFN层参数为注意力层的 $\frac{3}{8}$ ，如果考虑门控就变成 $4$ 倍了，为了保证和原来无门控的时候差不多，需要将维度 $d_{2}$ 变成原来 $\frac{2}{3}$ 倍。

!!! note 注意
主流的大模型几乎清一色使用SwiGLU，FFN层无门控模型已经实质上不存在了，因此 $d_{2} = 4 d_{1}$ 并需要让门控模型保持总参数不变这个基础也不存在了，且对于MoE 模型，该规则也不一定适用。

近似计算

以上函数可以近似计算，这里在面试中不太重要，因此先不更新。