---
title: 统计学习概率模型
tags:
  - module
  - machine-learning
  - statistical-learning
  - probability
  - joplin
type: module
source_type: reconstructed
created: 2026-04-22
updated: 2026-04-22
---

# 统计学习概率模型

> [!abstract]
> 这一模块处理统计学习中以概率建模为核心的一批方法。重点是理解模型是在估计什么，以及“条件独立”“最大熵”这类假设各自意味着什么。

## 模块结论

- [[朴素贝叶斯]] 是最典型的生成模型入门例子之一。
- 最大熵模型体现的是在约束下保持分布尽量均匀的建模思想。
- 概率模型的关键不只是公式，而是你假设了什么、保留了什么信息。

## 一、朴素贝叶斯

- 基于贝叶斯公式建立分类模型。
- 关键假设是特征条件独立。
- 它的强项是简单高效，但效果高度依赖独立性假设是否近似成立。

## 二、最大熵模型

- 在满足约束条件下选择熵最大的分布。
- 它体现的是“只保留已知信息，不额外引入多余偏好”的思想。

## 三、概率视角的价值

- 能直接表达不确定性。
- 更自然地处理先验、后验和条件概率。
- 也更容易和序列模型、隐变量模型衔接。

## 四、易错点

- 把朴素贝叶斯理解成“只适合考试题”的老算法。
- 只记贝叶斯公式，不理解独立假设为什么关键。
- 只把最大熵当公式推导，不理解它的建模哲学。

## 五、复习提问

- 朴素贝叶斯的“朴素”到底体现在什么假设上？
- 最大熵模型为什么强调“约束下最均匀”？
- 概率模型相比纯判别边界模型，额外提供了什么视角？

## 来源

- [[raw/Joplin/机器学习/2、统计学习方法/统计学习方法--第04章--朴素贝叶斯.md]]
- [[raw/Joplin/机器学习/2、统计学习方法/统计学习方法--第07章--最大熵模型.pdf.md]]

## 相关页面

- [[统计学习方法]]
- [[统计学习方法导论]]
- [[统计学习序列模型与迭代估计]]
- [[朴素贝叶斯]]
- [[生成模型与判别模型]]