---
title: 统计学习方法导论
tags:
  - module
  - machine-learning
  - statistical-learning
  - introduction
  - joplin
type: module
source_type: reconstructed
created: 2026-04-22
updated: 2026-04-22
---

# 统计学习方法导论

> [!abstract]
> 这一模块负责建立统计学习方法的总框架。重点不是先下到某个算法，而是先理解模型、风险、假设空间和学习目标之间的关系。

## 模块结论

- 统计学习方法关注的是如何从数据中学习可泛化的预测规则。
- [[经验风险最小化]] 与 [[结构风险最小化]] 是理解学习目标的两个关键视角。
- [[生成模型与判别模型]] 是后续很多算法分类的总纲。

## 一、什么是统计学习方法

- 它研究从数据中归纳规律并进行预测的方法。
- 关键对象包括模型、策略、算法。
- 真正重要的是“如何学到能推广到新样本的规律”。

## 二、监督学习的基本框架

- 输入空间
- 输出空间
- 假设空间
- 损失函数
- 学习策略

### 理解重点

- 学习问题不是单独选择一个模型，而是在假设空间里寻找最优规则。

## 三、经验风险与结构风险

- [[经验风险最小化]] 强调拟合训练样本。
- [[结构风险最小化]] 进一步考虑模型复杂度与泛化边界。
- 这两者共同解释了为什么训练误差低不代表测试表现一定好。

## 四、生成模型与判别模型

- 生成模型关注联合分布或条件生成过程。
- 判别模型关注直接建立分类或预测边界。
- 这是一条非常高频的模型分类线索。

## 五、为什么导论模块很重要

- 因为后面的算法如果脱离总框架来看，就只剩零散技巧。
- 先把学习问题的结构看明白，后面的算法才有位置。

## 六、易错点

- 把统计学习方法导论看成纯定义章节。
- 只记住经验风险、结构风险的名字，不理解它们和泛化的关系。
- 不去区分模型在“建模什么”这一层上的差异。

## 七、复习提问

- 统计学习问题里模型、策略、算法各是什么？
- 为什么经验风险低不等于泛化能力强？
- 生成模型和判别模型的建模对象有什么不同？

## 来源

- [[raw/Joplin/机器学习/2、统计学习方法/统计学习方法--第01章--导论.md]]

## 相关页面

- [[统计学习方法]]
- [[统计学习判别与分类方法]]
- [[经验风险最小化]]
- [[结构风险最小化]]
- [[生成模型与判别模型]]