---
title: 机器学习回归与聚类
tags:
  - module
  - machine-learning
  - regression
  - clustering
  - joplin
type: module
source_type: reconstructed
created: 2026-04-22
updated: 2026-04-22
---

# 机器学习回归与聚类

> [!abstract]
> 这一模块处理入门阶段另两条关键主线：连续值预测和无监督分组。重点是理解回归、聚类和模型拟合问题的关系，而不是只记公式。

## 模块结论

- [[回归问题]] 用于预测连续值，常见基础模型是线性回归与岭回归。
- [[聚类]] 用于无标签样本分组，核心是相似性结构而不是监督标签。
- [[过拟合与欠拟合]] 是理解模型能力边界的核心视角。

## 一、线性回归

- 假设特征和目标之间存在线性关系。
- 通过损失函数最小化来求参数。
- 正规方程适合理解闭式求解，梯度下降适合理解迭代优化。

## 二、欠拟合与过拟合

- 欠拟合表示模型太简单，无法学到数据规律。
- 过拟合表示模型把噪声也当规律学进去了。
- 这是模型复杂度和泛化能力之间的基本张力。

## 三、正则化与岭回归

- 正则化通过限制参数规模抑制过拟合。
- L1 偏向稀疏化，L2 偏向平滑约束。
- 岭回归是理解“在损失函数中加入约束”的典型入口。

## 四、逻辑回归与分类边界

- 虽然名字里有“回归”，但它常用于分类任务。
- 关键在于输出的是类别概率或分类边界，而不是连续值预测。

## 五、聚类问题

- 聚类不依赖预先标签。
- 重点是按样本相似性自动形成分组。
- 它更像是在发现数据内部结构，而不是验证既有答案。

## 六、易错点

- 把“回归”误解为任何函数拟合。
- 只把过拟合当成测试分数下降，不去理解其本质是学到了噪声。
- 把逻辑回归仅凭名称归到回归任务里。

## 七、复习提问

- 线性回归和逻辑回归最大的任务差别是什么？
- 为什么正则化能帮助缓解过拟合？
- 聚类和分类最本质的边界是什么？

## 来源

- [[raw/Joplin/机器学习/1、入门机器学习/4、回归和聚类算法体系.md]]

## 相关页面

- [[机器学习基础]]
- [[回归问题]]
- [[聚类]]
- [[过拟合与欠拟合]]
- [[统计学习方法]]