title: 统计学习概率模型 tags:

module
machine-learning
statistical-learning
probability
joplin type: module source_type: reconstructed created: 2026-04-22 updated: 2026-04-22 ---

统计学习概率模型

[!abstract] 这一模块处理统计学习中以概率建模为核心的一批方法。重点是理解模型是在估计什么，以及“条件独立”“最大熵”这类假设各自意味着什么。

模块结论

[[朴素贝叶斯]] 是最典型的生成模型入门例子之一。
最大熵模型体现的是在约束下保持分布尽量均匀的建模思想。
概率模型的关键不只是公式，而是你假设了什么、保留了什么信息。

一、朴素贝叶斯

基于贝叶斯公式建立分类模型。
关键假设是特征条件独立。
它的强项是简单高效，但效果高度依赖独立性假设是否近似成立。

二、最大熵模型

在满足约束条件下选择熵最大的分布。
它体现的是“只保留已知信息，不额外引入多余偏好”的思想。

三、概率视角的价值

能直接表达不确定性。
更自然地处理先验、后验和条件概率。
也更容易和序列模型、隐变量模型衔接。

四、易错点

把朴素贝叶斯理解成“只适合考试题”的老算法。
只记贝叶斯公式，不理解独立假设为什么关键。
只把最大熵当公式推导，不理解它的建模哲学。

五、复习提问

朴素贝叶斯的“朴素”到底体现在什么假设上？
最大熵模型为什么强调“约束下最均匀”？
概率模型相比纯判别边界模型，额外提供了什么视角？

来源

[[raw/Joplin/机器学习/2、统计学习方法/统计学习方法--第04章--朴素贝叶斯.md]]
[[raw/Joplin/机器学习/2、统计学习方法/统计学习方法--第07章--最大熵模型.pdf.md]]

相关页面

[[统计学习方法]]
[[统计学习方法导论]]
[[统计学习序列模型与迭代估计]]
[[朴素贝叶斯]]
[[生成模型与判别模型]]