title: 机器学习回归与聚类 tags:

module
machine-learning
regression
clustering
joplin type: module source_type: reconstructed created: 2026-04-22 updated: 2026-04-22 ---

机器学习回归与聚类

[!abstract] 这一模块处理入门阶段另两条关键主线：连续值预测和无监督分组。重点是理解回归、聚类和模型拟合问题的关系，而不是只记公式。

模块结论

[[回归问题]] 用于预测连续值，常见基础模型是线性回归与岭回归。
[[聚类]] 用于无标签样本分组，核心是相似性结构而不是监督标签。
[[过拟合与欠拟合]] 是理解模型能力边界的核心视角。

一、线性回归

假设特征和目标之间存在线性关系。
通过损失函数最小化来求参数。
正规方程适合理解闭式求解，梯度下降适合理解迭代优化。

二、欠拟合与过拟合

欠拟合表示模型太简单，无法学到数据规律。
过拟合表示模型把噪声也当规律学进去了。
这是模型复杂度和泛化能力之间的基本张力。

三、正则化与岭回归

正则化通过限制参数规模抑制过拟合。
L1 偏向稀疏化，L2 偏向平滑约束。
岭回归是理解“在损失函数中加入约束”的典型入口。

四、逻辑回归与分类边界

虽然名字里有“回归”，但它常用于分类任务。
关键在于输出的是类别概率或分类边界，而不是连续值预测。

五、聚类问题

聚类不依赖预先标签。
重点是按样本相似性自动形成分组。
它更像是在发现数据内部结构，而不是验证既有答案。

六、易错点

把“回归”误解为任何函数拟合。
只把过拟合当成测试分数下降，不去理解其本质是学到了噪声。
把逻辑回归仅凭名称归到回归任务里。

七、复习提问

线性回归和逻辑回归最大的任务差别是什么？
为什么正则化能帮助缓解过拟合？
聚类和分类最本质的边界是什么？

来源

[[raw/Joplin/机器学习/1、入门机器学习/4、回归和聚类算法体系.md]]

相关页面

[[机器学习基础]]
[[回归问题]]
[[聚类]]
[[过拟合与欠拟合]]
[[统计学习方法]]