1.1 多层感知机#

在 Transformer 的每个 encoder 层中，除了 Multi-Head Attention 之外，还有一个前馈神经网络（FFN, Feed-Forward Network）。它本质上就是一个两层的全连接网络（MLP）：

1
输入 → 线性层1 → 激活函数 → 线性层2 → 输出

两个细节：

1. 768 -> 3072 -> 768：这是 FFN 的维度变化规律：
   • h 是模型的隐藏层维度，在 BERT-base 模型中，h=768；
   • 第一层将维度扩大到 4 倍，即 768 -> 3072；
   • 第二层再压缩回原维度，即 3072 -> 768；

这样设计的好处是，先”膨胀”再”压缩”给了模型更大的表达能力：中间层有 4 倍的空间来学习更丰富的特征组合，然后再把学到的信息压缩回标准维度，方便和下一层对接。

2. GELU（Gaussian Error Linear Unit）是 FFN 使用的激活函数。相比早期的 ReLU，GELU 更平滑，在 Transformer/BERT 中效果更好。简单理解：它就是一个”升级版的 ReLU”。

1.2 Capacity & Memorization#

• Capacity：指模型的容量。FN 的参数量非常大（总参数为 $768\times 3072+3072\times 768\approx 4.7M$，注意这里只算了权重没有算 bias），占了 Transformer 总参数的大部分。这让模型有足够的”脑容量”去学习复杂模式。
• Memorization：研究表明，Transformer 中的 FFN 层主要负责存储事实性知识（比如”巴黎是法国的首都”这类世界知识），而 Attention 层负责从上下文中提取关系。可以粗略理解为：Attention 负责”推理”，FFN 负责”记忆”。

1.3 Layer Normalization & Skip Connections#

• Layer Normalization：层归一化。训练深层网络时，各层的输出数值分布可能越来越不稳定（梯度消失/爆炸）。Layer Normalization 对每个样本的特征维度做标准化，让数值保持稳定，训练更顺畅。
• Skip Connections：就是把输入直接”短路”加到输出上：输出 = 子层(x) + x. 这样做的好处是：即使子层（如 FFN 或 Attention）学得不好，梯度也能通过”短路路径”直接传回去，有效防止深层网络的梯度消失问题。

关于 LN 在整个模型拓扑结构中的位置，这里指的是 Post-LN 与 Pre-LN 的区别：

现代大多数模型（包括 GPT 系列）都采用 Pre-LN，因为训练更稳定。

3.1 ReLU#

ReLU (Rectified Linear Unit)，公式为：

含义非常简单：如果输入是正数，原样输出；如果是负数，直接输出 0.

• 优点：计算极快，没有复杂的指数运算；正区间梯度恒为 1，缓解了梯度消失。
• 缺点：负区间梯度为 0，导致某些神经元可能永远”死掉”（dead ReLU），再也无法激活。

3.2 LeakyRELU#

LeakyRELU 是 ReLU 的一个改进版本，公式为：

其中 $\alpha$ 是一个很小的常数，例如 0.01 或 0.1.

ReLU 对负数直接抹零，而 LeakyReLU 对负数留一条缝——负值不是变成 0，而是乘上一个很小的系数 $\alpha$ 后”漏”一点过去。所以，即使 $x$ 为负，它也依然有斜率。

LeakyRELU 主要是为了解决ReLU 的死神经元问题：一旦某个神经元输出的加权和始终为负，它的梯度恒为 0，这个神经元就永远无法更新了。

因此，LeakyReLU 的解决思路是：在负区间给一个极小的非零梯度 $\alpha$，这样即使神经元落到负区间，仍有微弱的梯度信号传回去，神经元就有机会”复活”。

3.3 GELU#

GELU (Gaussian Error Linear Unit)，公式为：

其中 $\mathbf{\Phi}(x)$ 是标准正态分布的累积分布函数：

ReLU 用硬性开关（正/负一刀切），而 GELU 用概率来决定要不要输出这个值：

• 输入的 $x$ 越大，越有可能被保留；

• $x$ 越小，越可能被抑制。

• 优点：处处可导、曲线平滑，对小负值不是直接抹零而是”打折”输出，保留了更多信息。在 Transformer/BERT 等大模型中效果明显优于 ReLU。

• 缺点：计算量比 ReLU 大（涉及 erf 误差函数或 tanh 近似），但在实际工程中用近似公式已经足够快。

1
x = np.arange(-5, 5, 0.01)
2
plt.plot(x, nn.ReLU()(torch.from_numpy(x)))
3
plt.plot(x, nn.LeakyReLU(negative_slope=0.1)(torch.from_numpy(x)))
4
plt.plot(x, nn.GELU()(torch.from_numpy(x)))
5
plt.legend(['ReLU', 'LeakyReLU', 'GELU'])
6
plt.show()

输出为：

1
class FeedForward(nn.Module):
2
    def __init__(self, config):
3
        super().__init__()
4
        self.linear1 = nn.Linear(config.hidden_size, config.intermediate_size)
5
        self.activation = nn.GELU()
6
        self.linear2 = nn.Linear(config.intermediate_size, config.hidden_size)
7
        self.dropout = nn.Dropout(config.hidden_dropout_prob)
8

9
    def forward(self, hidden_states):
10
        x = self.linear1(hidden_states)
11
        x = self.activation(x)
12
        x = self.linear2(x)
13
        x = self.dropout(x)
14
        return x

1
ffn = FeedForward(config)
2
ffn(attention_output).size() # torch.Size([1, 5, 768])

4.1 layer norm#

Layer Norm 的核心操作很简单，就是对一组数值做两件事：

• 减均值 $\mu$：让数据中心平移到 0（零均值）；
• 除以标准差 $\sigma$：让数据缩放成标准差为 1（单位方差）；

除此之外，还有一个可学习的缩放和偏移参数 $\gamma$ 和 $\beta$：$y_i=\gamma \hat{x}_i+\beta$，让模型自己决定要不要“还原”一些信息。

"layer_norm_eps": 1e-12 就是为了防止除以 0 而加的一个极小值，在之前的 config 中可以看到。

与 Batch Norm 的区别：layer norm 是”样本层面”的：

用一个例子来直观理解：

1
假设一个 batch 有 2 个句子，各 5 个 token，hidden_size=768
2
张量形状: [batch=2, seq=5, hidden=768]
3

4
Batch Norm:  对每个 hidden 维度，跨 batch×seq 求均值（跨样本）
5
Layer Norm:  对每个 token，跨 768 维求均值（样本内部）

所以，Layer Norm 是每个样本自己跟自己比，不依赖 batch 里其他样本。

对 NLP 问题的具体做法：

每一个 token 对应的 embedding（即 768 维的 hidden states）进行 0 均值 1 标准差的归一化

具体来说，对于形状为 [batch, seq_len, 768] 的张量：

• 归一化对象：每个 token 的 768 维向量
• 统计范围：这 768 个数（不是跨 token，也不是跨 batch）
• 结果：每个 token 的 768 维向量变成均值 0、标准差 1

1
Token "time" 的 768 维向量 → 均值 0, 标准差 1（独立归一化）
2
Token "flies" 的 768 维向量 → 均值 0, 标准差 1（独立归一化）
3
...

每个 token 独立归一化，互不影响。这天然适合 NLP——因为句子长度不固定，batch norm 很难处理变长序列。

Transformer 中使用 Layer Norm 的两处位置：

1
token → Embedding → Layer Norm → 进入 encoder

1
x → Attention → Skip Connection → Layer Norm → FFN → Skip Connection → Layer Norm → 输出