---
title: Transformer
tags:
  - concept
  - research
  - deep-learning
  - transformer
  - joplin
type: concept
source_type: reconstructed
created: 2026-04-23
updated: 2026-04-23
---

# Transformer

> [!abstract]
> Transformer 是以自注意力机制为核心的序列建模架构，改变了现代 NLP 与多模态模型的主线设计方式。

## 核心内容

- 自注意力
- 多头注意力
- 位置编码

## 来源

- [[raw/Joplin/研究生生涯/研究生论文精读/【P6】Transformer论文逐段精读【论文精读】.md]]

## 相关页面

- [[Transformer论文精读]]
- [[注意力机制]]
- [[ResNet]]
- [[深度学习]]