title: Transformer论文精读 tags:

module
research
deep-learning
transformer
paper-reading
joplin type: module source_type: reconstructed created: 2026-04-23 updated: 2026-04-23 ---

Transformer论文精读

[!abstract] 这一模块围绕 Transformer 论文建立复习框架。重点不是只记模块名，而是理解它为什么用注意力机制重构了序列建模范式。

模块结论

[[Transformer]] 的关键突破是用 [[注意力机制]] 取代循环作为主导序列建模方式。
它解决的是长距离依赖、并行训练效率和表示能力之间的结构瓶颈。

一、它在解决什么问题

RNN 类模型顺序计算，难并行，长依赖建模受限。
序列建模需要更高效地捕捉全局依赖关系。

二、核心结构

自注意力
多头注意力
前馈网络
位置编码
编码器-解码器结构

三、为什么它改变了后续主线

它把注意力从辅助部件推成主干机制。
后续 NLP、CV、多模态领域都能追溯到这一结构变革。

四、论文精读重点

注意力到底替代了什么。
并行化和长依赖建模为什么能同时改进。
实验结果如何证明结构变化不是偶然。

五、复习提问

Transformer 为什么能摆脱 RNN 主导地位？
自注意力的核心价值是什么？
它与 ResNet 在历史位置上有什么相似之处？

来源

[[raw/Joplin/研究生生涯/研究生论文精读/【P6】Transformer论文逐段精读【论文精读】.md]]

相关页面

[[研究生论文精读]]
[[Transformer]]
[[注意力机制]]
[[深度学习]]