---
title: 信息论重要模型
tags:
  - module
  - interdisciplinary
  - information-theory
  - joplin
type: module
source_type: reconstructed
created: 2026-04-25
updated: 2026-04-25
---

# 信息论重要模型

> [!abstract]
> 本模块用信息、信息熵、编码和不确定性解释沟通、压缩、信号与噪声。它与热力学中的熵共享形式直觉，但应用对象不同。

## 模块结论

- 信息用于减少不确定性。
- 信息熵衡量不确定性或可能消息的平均信息量。
- 编码的目标是在保留信息的同时降低传输成本。
- 信息论与 [[熵与热力学重要模型]]、[[语言表达重要模型]] 和 [[机器学习基础]] 可以交叉理解。

## 核心模型

- 香农信息熵：越难预测的信息，平均信息量越高。
- 信号与噪声：传输过程需要区分有效信息和干扰。
- 霍夫曼编码：高频内容用短编码，低频内容用长编码。
- 压缩与冗余：冗余增加稳健性，但也提高成本。

## 复习提问

- 这条信息减少了什么不确定性？
- 当前沟通问题是信息不足，还是噪声太多？
- 哪些内容可以压缩，哪些冗余必须保留？

## 来源

- [[raw/Joplin/学科工具箱/学科15：信息论重要模型_笔记/学科15：信息论重要模型_笔记.md]]

## 相关页面

- [[跨学科工具箱]]
- [[熵与热力学重要模型]]
- [[语言表达重要模型]]