---
title: 统计学习判别与分类方法
tags:
  - module
  - machine-learning
  - statistical-learning
  - classification
  - joplin
type: module
source_type: reconstructed
created: 2026-04-22
updated: 2026-04-22
---

# 统计学习判别与分类方法

> [!abstract]
> 这一模块把统计学习方法里最核心的一批分类模型放在一起复习。重点不是逐章平铺，而是按“线性可分、距离度量、概率边界、最大间隔、集成提升”来理解。

## 模块结论

- [[感知机]] 是理解线性分类器和误分类驱动更新的起点。
- [[K近邻算法]] 体现的是基于样本相似性的局部判别思路。
- [[逻辑回归]]、[[支持向量机]]、提升方法则分别代表概率边界、最大间隔和集成优化思路。

## 一、感知机

- 处理线性可分问题的基础模型。
- 通过误分类点驱动参数更新。
- 它的重要性不只在实用性，更在于它是很多线性分类思想的起点。

## 二、K 近邻

- 核心不在显式训练参数，而在距离度量与局部邻域结构。
- 它更像是一种基于样本记忆的判别方式。

## 三、决策树与提升方法

- 决策树通过特征划分空间。
- 提升方法通过组合弱学习器提升整体性能。
- 这一类方法更强调“如何逐步构造强模型”。

## 四、逻辑回归

- 本质上是分类模型，不是普通连续值回归。
- 输出常可解释为类别概率。
- 重点在于用线性结构建立非线性概率映射。

## 五、支持向量机

- 核心思想是最大间隔。
- 关键对象包括支持向量、间隔、核函数。
- 它是把几何视角引入分类问题的典型方法。

## 六、易错点

- 把所有分类模型都看成“换个公式而已”。
- 只比较效果，不理解每类模型的建模偏好。
- 仅凭章节顺序复习，忽略它们在思想上的并列关系。

## 七、复习提问

- 感知机和逻辑回归都能做分类，它们在思路上有什么不同？
- K 近邻为什么更依赖特征尺度与距离定义？
- 支持向量机中的“最大间隔”在直觉上是什么意思？

## 来源

- [[raw/Joplin/机器学习/2、统计学习方法/统计学习方法--第02章--感知机.md]]
- [[raw/Joplin/机器学习/2、统计学习方法/统计学习方法--第03章--K近邻算法.md]]
- [[raw/Joplin/机器学习/2、统计学习方法/统计学习方法--第05章--决策树.pdf.md]]
- [[raw/Joplin/机器学习/2、统计学习方法/统计学习方法--第06章--逻辑回归.pdf.md]]
- [[raw/Joplin/机器学习/2、统计学习方法/统计学习方法--第08章--支持向量机.pdf.md]]
- [[raw/Joplin/机器学习/2、统计学习方法/统计学习方法--第09章--提升方法.pdf.md]]

## 相关页面

- [[统计学习方法]]
- [[统计学习方法导论]]
- [[统计学习概率模型]]
- [[感知机]]
- [[K近邻算法]]
- [[逻辑回归]]
- [[支持向量机]]