title: 信息论重要模型 tags:

module
interdisciplinary
information-theory
joplin type: module source_type: reconstructed created: 2026-04-25 updated: 2026-04-25 ---

信息论重要模型

[!abstract] 本模块用信息、信息熵、编码和不确定性解释沟通、压缩、信号与噪声。它与热力学中的熵共享形式直觉，但应用对象不同。

模块结论

信息用于减少不确定性。
信息熵衡量不确定性或可能消息的平均信息量。
编码的目标是在保留信息的同时降低传输成本。
信息论与 [[熵与热力学重要模型]]、[[语言表达重要模型]] 和 [[机器学习基础]] 可以交叉理解。

核心模型

香农信息熵：越难预测的信息，平均信息量越高。
信号与噪声：传输过程需要区分有效信息和干扰。
霍夫曼编码：高频内容用短编码，低频内容用长编码。
压缩与冗余：冗余增加稳健性，但也提高成本。

复习提问

这条信息减少了什么不确定性？
当前沟通问题是信息不足，还是噪声太多？
哪些内容可以压缩，哪些冗余必须保留？

来源

[[raw/Joplin/学科工具箱/学科15：信息论重要模型_笔记/学科15：信息论重要模型_笔记.md]]

相关页面

[[跨学科工具箱]]
[[熵与热力学重要模型]]
[[语言表达重要模型]]