title: 统计学习方法导论 tags:

module
machine-learning
statistical-learning
introduction
joplin type: module source_type: reconstructed created: 2026-04-22 updated: 2026-04-22 ---

统计学习方法导论

[!abstract] 这一模块负责建立统计学习方法的总框架。重点不是先下到某个算法，而是先理解模型、风险、假设空间和学习目标之间的关系。

模块结论

统计学习方法关注的是如何从数据中学习可泛化的预测规则。
[[经验风险最小化]] 与 [[结构风险最小化]] 是理解学习目标的两个关键视角。
[[生成模型与判别模型]] 是后续很多算法分类的总纲。

一、什么是统计学习方法

它研究从数据中归纳规律并进行预测的方法。
关键对象包括模型、策略、算法。
真正重要的是“如何学到能推广到新样本的规律”。

二、监督学习的基本框架

输入空间
输出空间
假设空间
损失函数
学习策略

理解重点

学习问题不是单独选择一个模型，而是在假设空间里寻找最优规则。

三、经验风险与结构风险

[[经验风险最小化]] 强调拟合训练样本。
[[结构风险最小化]] 进一步考虑模型复杂度与泛化边界。
这两者共同解释了为什么训练误差低不代表测试表现一定好。

四、生成模型与判别模型

生成模型关注联合分布或条件生成过程。
判别模型关注直接建立分类或预测边界。
这是一条非常高频的模型分类线索。

五、为什么导论模块很重要

因为后面的算法如果脱离总框架来看，就只剩零散技巧。
先把学习问题的结构看明白，后面的算法才有位置。

六、易错点

把统计学习方法导论看成纯定义章节。
只记住经验风险、结构风险的名字，不理解它们和泛化的关系。
不去区分模型在“建模什么”这一层上的差异。

七、复习提问

统计学习问题里模型、策略、算法各是什么？
为什么经验风险低不等于泛化能力强？
生成模型和判别模型的建模对象有什么不同？

来源

[[raw/Joplin/机器学习/2、统计学习方法/统计学习方法--第01章--导论.md]]

相关页面

[[统计学习方法]]
[[统计学习判别与分类方法]]
[[经验风险最小化]]
[[结构风险最小化]]
[[生成模型与判别模型]]