title: Transformer tags:

concept
research
deep-learning
transformer
joplin type: concept source_type: reconstructed created: 2026-04-23 updated: 2026-04-23 ---

Transformer

[!abstract] Transformer 是以自注意力机制为核心的序列建模架构，改变了现代 NLP 与多模态模型的主线设计方式。

核心内容

自注意力
多头注意力
位置编码

来源

[[raw/Joplin/研究生生涯/研究生论文精读/【P6】Transformer论文逐段精读【论文精读】.md]]

相关页面

[[Transformer论文精读]]
[[注意力机制]]
[[ResNet]]
[[深度学习]]