title: 统计学习判别与分类方法 tags:

module
machine-learning
statistical-learning
classification
joplin type: module source_type: reconstructed created: 2026-04-22 updated: 2026-04-22 ---

统计学习判别与分类方法

[!abstract] 这一模块把统计学习方法里最核心的一批分类模型放在一起复习。重点不是逐章平铺，而是按“线性可分、距离度量、概率边界、最大间隔、集成提升”来理解。

模块结论

[[感知机]] 是理解线性分类器和误分类驱动更新的起点。
[[K近邻算法]] 体现的是基于样本相似性的局部判别思路。
[[逻辑回归]]、[[支持向量机]]、提升方法则分别代表概率边界、最大间隔和集成优化思路。

一、感知机

处理线性可分问题的基础模型。
通过误分类点驱动参数更新。
它的重要性不只在实用性，更在于它是很多线性分类思想的起点。

二、K 近邻

核心不在显式训练参数，而在距离度量与局部邻域结构。
它更像是一种基于样本记忆的判别方式。

三、决策树与提升方法

决策树通过特征划分空间。
提升方法通过组合弱学习器提升整体性能。
这一类方法更强调“如何逐步构造强模型”。

四、逻辑回归

本质上是分类模型，不是普通连续值回归。
输出常可解释为类别概率。
重点在于用线性结构建立非线性概率映射。

五、支持向量机

核心思想是最大间隔。
关键对象包括支持向量、间隔、核函数。
它是把几何视角引入分类问题的典型方法。

六、易错点

把所有分类模型都看成“换个公式而已”。
只比较效果，不理解每类模型的建模偏好。
仅凭章节顺序复习，忽略它们在思想上的并列关系。

七、复习提问

感知机和逻辑回归都能做分类，它们在思路上有什么不同？
K 近邻为什么更依赖特征尺度与距离定义？
支持向量机中的“最大间隔”在直觉上是什么意思？

来源

[[raw/Joplin/机器学习/2、统计学习方法/统计学习方法--第02章--感知机.md]]
[[raw/Joplin/机器学习/2、统计学习方法/统计学习方法--第03章--K近邻算法.md]]
[[raw/Joplin/机器学习/2、统计学习方法/统计学习方法--第05章--决策树.pdf.md]]
[[raw/Joplin/机器学习/2、统计学习方法/统计学习方法--第06章--逻辑回归.pdf.md]]
[[raw/Joplin/机器学习/2、统计学习方法/统计学习方法--第08章--支持向量机.pdf.md]]
[[raw/Joplin/机器学习/2、统计学习方法/统计学习方法--第09章--提升方法.pdf.md]]

相关页面

[[统计学习方法]]
[[统计学习方法导论]]
[[统计学习概率模型]]
[[感知机]]
[[K近邻算法]]
[[逻辑回归]]
[[支持向量机]]