---
title: Transformer论文精读
tags:
  - module
  - research
  - deep-learning
  - transformer
  - paper-reading
  - joplin
type: module
source_type: reconstructed
created: 2026-04-23
updated: 2026-04-23
---

# Transformer论文精读

> [!abstract]
> 这一模块围绕 Transformer 论文建立复习框架。重点不是只记模块名，而是理解它为什么用注意力机制重构了序列建模范式。

## 模块结论

- [[Transformer]] 的关键突破是用 [[注意力机制]] 取代循环作为主导序列建模方式。
- 它解决的是长距离依赖、并行训练效率和表示能力之间的结构瓶颈。

## 一、它在解决什么问题

- RNN 类模型顺序计算，难并行，长依赖建模受限。
- 序列建模需要更高效地捕捉全局依赖关系。

## 二、核心结构

- 自注意力
- 多头注意力
- 前馈网络
- 位置编码
- 编码器-解码器结构

## 三、为什么它改变了后续主线

- 它把注意力从辅助部件推成主干机制。
- 后续 NLP、CV、多模态领域都能追溯到这一结构变革。

## 四、论文精读重点

- 注意力到底替代了什么。
- 并行化和长依赖建模为什么能同时改进。
- 实验结果如何证明结构变化不是偶然。

## 五、复习提问

- Transformer 为什么能摆脱 RNN 主导地位？
- 自注意力的核心价值是什么？
- 它与 ResNet 在历史位置上有什么相似之处？

## 来源

- [[raw/Joplin/研究生生涯/研究生论文精读/【P6】Transformer论文逐段精读【论文精读】.md]]

## 相关页面

- [[研究生论文精读]]
- [[Transformer]]
- [[注意力机制]]
- [[深度学习]]