# 一、信息论00:00

# 1. 信息的概念 00:02

● 本质区别：信息是宇宙固有组成部分，与能量一同出现于宇宙大爆炸时刻，不同于人们常将其与信息产业或互联网行业混淆的概念。  
● 量化特性: 世界上几乎所有事物都可以用信息的方式量化，这是信息最基础的特征。

# 2. 三条重要的公式 00:20

# 1）物质能量公式 00:39

![](images/375de7bdd10ed070d1d2e11e115ad81215a351e35acb7c8596d9f342ed5e7fd1.jpg)

<details>
<summary>text_image</summary>

所长林超 bilibili
物质
E = mc²
能量 光速
最让人震撼的地方之一
更新唯一保障 V:LCDYYSC
</details>

公式表达: $E = mc^{2}$

● 核心意义：将物质与能量统一，证明两者可以相互转化，是科学思维最具革命性的发现之一。

● 历史地位: 比牛顿力学F = ma更著名，改变了人类对物质本质的认知。

# 2）香农信息熵公式

![](images/5de8a0a84314e3d467ad4332b4f31e0b479cc4b470b7db2f9506a4bf2d16e89e.jpg)

<details>
<summary>text_image</summary>

所长林超 bili bili
E = mc²
H = - ∑i=1N pi log(pi)
ΔxΔp ≥ h/4π
这里面第二条公式
更新唯一保障 V:LCDYYSC
</details>

公式表达: $H = -\sum p_i \log(p_i)$

● 学科地位: 信息论的核心公式，但知名度远低于质能方程。

● 实际意义: 提供了信息量化的数学方法，是本节课的重点内容。

# 3）测不准原理

![](images/886c8174efb6ab0c8df4c135c3364cbf5dcf07e191d6d0734239fa4f024d3255.jpg)

<details>
<summary>text_image</summary>

所长林超 bilibili
ΔxΔp ≥ h/4π
我们本来认为我们的仪器越来越好了
</details>

- 公式表达: $\Delta x \Delta p \geq \frac{h}{4\pi}$

● 科学边界: 表明观察行为本身会影响微观粒子的状态, 无法同时精确测量位置和动量。

\- 宏观对比：与观察车辆行驶不同，微观粒子的观察会改变其状态（如光子撞击改变粒子轨迹）。

● 哲学启示: 不存在绝对客观的观察，主观与客观相互影响。

# 3. 能量与信息的差别 02:55

![](images/3a4495e72ea1f17d05139bae5a90c9c9d23426c186cf85aefe8ebf247f24c8e2.jpg)

<details>
<summary>text_image</summary>

所长林超 bilibili
能量守恒
但信息不守恒
另一边能量就少了
更新唯一保障 V:LCDYYSC
</details>

守恒性差异:

○ 能量: 遵循守恒定律，只能转化或转移，总量不变。   
信息: 不守恒，可无限复制分享，接收者获得信息不会减少发送者的信息量。

● 社会价值: 知识分享创造纯粹增量，是信息独有的正向外部性特征。

# 4. 信息论的地位 03:30

● 跨学科影响：信息论不仅是信息产业的基础，还在统计物理、计算科学、投资学甚至哲学等多个学科中具有奠基性贡献，是当代科学的重要基石。  
- 学习门槛：信息论因其高度抽象性和需要统计学、概率论、微积分、线性代数、计算机科学、物理学等多学科基础而难以普及，即使是数学系学生也常感到晦涩难懂。

# 5. 信息的衡量 04:18

# 1）信息熵的概念

![](images/8d324bd86db58a073e0b5d67d8273f45cbd184c4147dc34b53af99fc2600d634.jpg)

<details>
<summary>text_image</summary>

所长林超 bilibili
信息熵
informationentropy
就把这个概念借用到信息的领域了
更新唯一保障 V:LCDYYSC
</details>

- 本质定义：信息熵是描述系统不确定程度的量，借用了热力学中"熵"的概念，代表信息的不确定性。  
● 生活案例：

○ 抽奖例子：盒子中唯一红球（确定性100%）时信息熵为0；万分之一中奖概率时信息熵极大  
☐ 盲盒例子：已知是皮卡丘（确定性高）信息量接近0；12款随机概率娃娃的信息熵显著更高

2）影响信息熵的因素

![](images/49432b1f1033ed8abdde645925ec812686b1a322fef1c72fab235f1318588ccf.jpg)

<details>
<summary>text_image</summary>

所长林超 bilibili
1. 可能出现的娃娃款式数量越多，信息熵就越大
2. 在娃娃款式数量不变的情况下，如果每一款出现的概率是一样的，这个时候信息熵最大
3. 如果其中某一个款式，出现概率很大，比如10次里面有9次都是他，那么就会大大降低信息熵
如果每一款娃娃出现的概率 更新唯一保障 V:LCDYYSC
</details>

● 数量因素：可能结果的数量越多（如彩票号码范围扩大），信息熵越大  
● 概率分布：

- 均匀分布时熵最大（如50%蓝/黄皮卡丘）  
○ 概率越不平均熵越小（如某款式出现概率达90%）

● 函数特征：信息熵函数呈抛物线形态，在概率均等时达到峰值

3）信息量与比特

● 定义关系：信息量是消除信息熵所需的信息，香农将其基本单位定义为比特  
● 现实意义：比特已成为国际通用量纲，与公斤、厘米等物理量单位并列  
- 决策启示：模棱两可的态度（如"随便"）创造最大信息熵，明确选择（如指定餐厅）能显著降低系统不确定性

4）系统有序性原理

![](images/5cdb133f622f1eeb16ad8a8d262e7f84d1dd7175c38923020e81e1fa773177de.jpg)

<details>
<summary>text_image</summary>

所长林超 bilibili
信息
↓
界
本来应该越来越趋向于
更新唯一保障 V:LCDYYSC
</details>

● 跨学科印证：信息论与热力学共同表明，不做选择会导致系统趋向无序  
● 实践指导：通过持续主动的决策（如资源分配），可以对抗系统的自然熵增趋势

# 6. 霍夫曼编码 08:08

![](images/d76781bffc3f0ea0e013c78c8828372c4a94308812966220e80c10de0cec4859.jpg)

<details>
<summary>text_image</summary>

所长林超 bilibili
霍夫曼编码
(Huffman Coding)
意思就是如果我们可以把 更新唯一保障 V:LCDYYSC
</details>

● 核心思想：将较短的编码分配给高频出现的词汇，较长的编码分配给低频出现的词汇，从而实现整体编码效率最优化  
● 应用场景：适用于需要高效编码表达语言的场景，如电报传输、数据压缩等

# 1）例题：旗语传递信息编码问题 08:26

![](images/1519181b6c5f6df634d441ebcda00f2dd2ecc12b10d6e07c87d39ad336fbfd3f.jpg)

<details>
<summary>text_image</summary>

所长林超 bilibili
Pdd
少钱多短动频
SHAOQIAIIN071
战场上最经常出现的三种行动方案
更新唯一保障 V:LCDYYSC
</details>

# 题目解析：

◦ 场景设定：古代战场传令兵只能用红旗和绿旗传递指令

# - 最优编码方案：

■ 单举红旗：代表全体进攻（高频指令）  
■ 单举绿旗：代表全体撤退（高频指令）  
■ 同时举旗：代表原地待命（高频指令）

# ○ 错误编码方案：

■ 将简单旗语组合用于"盾牌守原地"、"骑兵绕后"等低频复杂指令

\- 原理验证：验证了高频场景应分配简单编码的资源优化原则

# 2）摩尔斯电码应用实例

![](images/5ca2a92c54949cf57fb94d7eb39df11a6f17e026d4d894b590e5fd2fc3f4e716.jpg)

<details>
<summary>text_image</summary>

A ●—
B ●●●
C ●●●
D ●●
E ●
F ●●●
G ●●●
H ●●●
I ●●
J ●——— S ●●
K ●●—
L ●●●
M ●—
N ●—
O ●——— X ●●—
P ●●●
Q ●●●— Z ●—●
R ●—●
安排代码资源要合理得多
更新唯一保障 V:LCDYYSC
</details>

# 编码规则：

○ 高频字母使用简单代码：e（一个点）、s（三个点）  
○ 低频字母使用复杂代码：Ⅰ（两横加两点）

# - 对比分析:

- 按字母顺序分配代码（不合理）  
- 按使用频率分配代码（最优解）

● 系统优势：显著降低发报员工作量，提高信息传输效率

# 3）生活应用方法论

![](images/98b917dcde705973e286c6e61966baf410181fd9dcc9ffc6c73e8d9990861333.jpg)

<details>
<summary>text_image</summary>

所长林超 bilibili
为了提高效率
我们应该把生活中最重要的资源
分配给人生中最高频出现的场景
很高频出现的场景
更新唯一保障 V:LCDYYSC
</details>

● 核心原则：将最重要的资源分配给最高频出现的场景

# ● 家居案例：

- 将低频的电视区改造为高频使用的工作区  
- 传统出租屋设计缺陷：过度配置电视区，忽视工作区

# ● 资源配置启示：

避免"模棱两可、平均用力"的低效方式  
- 需要识别个人生活中的高频/低频场景

# 4）奥卡姆剃刀原理结合

![](images/4dc994eb477a7cc2e9a0a31e8ae208650627037df4d08bc206a8365392246ad7.jpg)

<details>
<summary>text_image</summary>

所长林超 bilibili
如无必要
勿增实体
意思是如无必要勿增实体 更新唯一保障 V:LCDYYSC
</details>

● 哲学原理："如无必要，勿增实体"（14世纪哲学思想）

● 实践方法：

○ 大刀阔斧做减法（减少低频场景资源投入）  
○ 关键领域饱和配置（集中资源于高频场景）

● 个人应用案例：

○ 饮食优化：采用"过午不食"（每日两餐），节省2小时/天  
- 电子设备：在手机/笔记本上投入最优资源（高频使用）  
- 服装消费：减少低频穿着衣物的资源投入

![](images/27e085806af5edfc9c8ddae0c64d091e94047f88b3d7c6a294082a7dc0bd1757.jpg)

<details>
<summary>text_image</summary>

所长林超 bilibili
Pdd
小钱多啦 店铺
SHAOQUENLI027H
吃饭 睡觉 运动 呼吸 工作 娱乐 排便
这些东西都是每天都要做 更新唯一保障 V:LCDYYSC
</details>

● 典型高频场景：吃饭、睡觉、运动、呼吸、工作、娱乐、排便

● 优化建议：

- 多数人凭本能处理这些高频需求  
- 通过刻意优化可发现大量改进空间  
例如饮食节律可参考古代"过午不食"传统

5）注意事项

● 个体差异：优化方案需考虑个人作息特点（如夜工作者需晚餐）

● 非工具性需求：服装等涉及美学表达的需求不适用纯效率原则

● 实施建议：需通过长期自我观察确定个人的高频场景

7. 帧间压缩算法 12:37

![](images/6762b7c1ed6beaefe70620c144418c78f6a8ce898a51b1f6f5a8a9d0073e0337.jpg)

<details>
<summary>text_image</summary>

所长林超 bilibili
Pdd
少钱多知店铺
04/09/4/00:27
影像动画最小单位的单幅静止画面更新唯一保障 V:LCDYYSC
</details>

\- 基本概念：帧是影像动画的最小单位，指单幅静止画面，连续播放形成运动画面。压缩必要性：未经压缩的两小时高清视频（1920×1080p，25帧/秒，RGB三原色）体积计算：

● 2小时 × 60分钟 × 60秒 × 25帧 × 1920 × 1080像素 × 3字节 / 像素 = 11,198GB  
● 压缩原理：通过关注信息增量而非存量提升效率，典型压缩比可达数千倍。

1）例题：阅读量一周十本书方法 14:12

核心策略：

- 不平均用力：基础理论书籍投入70%时间，应用类书籍仅用30%时间  
○ 增量阅读：已掌握知识快速略过，专注新知识（类比帧间压缩的差异处理）

\- 执行数据：

- 休息日每天阅读2-3本新书   
○ 周阅读量达10本（相当于普通人年阅读量）

\- 底层逻辑：

- 霍夫曼编码原理：高频基础知识配备更多资源  
认知框架构建：如掌握脑科学基础后，相关章节阅读速度提升50倍

8. 互信息 15:58

![](images/3ca0fbb8a224bdfd5f57916cf95a156e779a916c8827fa58518975f417331c9b.jpg)

<details>
<summary>text_image</summary>

所长林超 bilibili
信春哥 不挂科
H(X)
H(Y)
H(X ∩ Y)=H(X,Y)
一个叫信春哥
更新唯一保障 V:LCDYYSC
</details>

● 定义：两事件互信息量越大，相关性越强（用信息熵H(X)与H(Y)的交集表示）

\- 经典案例：

o "信春哥" (H(X)) 与"不挂科" (H(Y)) 的互信息  
- 抖音用户标签系统（通过行为相关性而非因果性分类）

\- 重要区分:

○ 相关性： $R(X,Y)=\ln(X,N)$ 可量化计算  
○ 因果性：需额外验证（如成功归因常混淆两者）

\- 应用价值：

○ 数据科学的核心方法论  
○ 解释30%企业家成功案例中的"高发展红利"因素

# 9. 信息等价 18:44

![](images/371533b414b4a01c19c878e6bb108073bc3344066dd7ed42e8995050166e06ff.jpg)

<details>
<summary>text_image</summary>

所长林超 bilibili
信息等价
就等同知道事件B发生的信息 更新唯一保障 V:LCDYYSC
Pdd
少糖多糖 店铺
SH:001430027M
</details>

- 极端情况：高护信息的极端情况就是信息等价，即知道事件A发生的信息等同于知道事件B发生的信息  
● 典型例子：盒子外印有内部物品的清晰图像（如皮卡丘形象），但二维动画照片与真实三维物品仍存在不完全等价性  
- 语言实例：日常对话中的"说废话"现象，本质是前后语句提供等价信息（互信息很高）

![](images/a20908fcee8700775b4daae5f085e7f60ea35b8e3c5950ae7ae1b7a7df9f1cc2.jpg)

<details>
<summary>text_image</summary>

所长林超 bilibili
今天天气真好
蓝天白云
风和日丽
阳光明媚
就会让听众觉得是废话连篇 更新唯一保障 V:LCDYYSC
</details>

● 天气案例：

- "天气真好"与"阳光明媚"互信息极高（几乎等价）  
- "阳光明媚"与"风和日丽"互信息极高（几乎等价）  
- "蓝天白云"提供额外信息量，界定了天气的细分情况

10. 冗余度 19:47

1）冗余度的定义与直观理解 19:48

![](images/c5ddf4c13e6913b2e16fd926dd2a554427b1e71581ee2226d28958fc347b780c.jpg)

<details>
<summary>text_image</summary>

所长林超 bilibili
冗余度
(Redundancy)
这个概念不只是在信息论里面出现更新唯一保障 V:LCDYYSC
</details>

基本概念：信息中重复或非必要的部分，直观表现为"说废话"  
● 双重属性：表面看似负面，实际在不同领域具有重要价值  
● 语言表现：标点符号（如逗号、句号）信息量小但不可或缺

2）冗余度在计算机科学中的应用 20:00

![](images/9300c99631e9ef68e875f7dadf0e1a7255458918d513cbbb4061358b7cbe9157.jpg)

<details>
<summary>text_image</summary>

所长林超 bilibili
资源的重复度
来保证系统更加安全可靠工作 更新唯一保障 V:LCDYYSC
</details>

● 核心作用：通过资源重复保证系统安全可靠

● 实施方式：

- 多余设备（如备用服务器）  
○ 数据备份（如区块链的不可篡改设计）  
- 应急设施（备用电源等）

3）生活中的冗余度实例 20:22

![](images/b19d4ee82746b560d69b38ad27c4394a7a215e2d09f017ca7eed5951319fe434.jpg)

<details>
<summary>text_image</summary>

所长林超 bilibili
越野汽车的备用轮胎
大厦的防火安全通道
大商场安装的额外发电机
飞机上的双引擎设计
或者飞机上的双引擎设计
更新唯一保障 V:LCDYYSC
</details>

交通工具：越野车备用轮胎、飞机双引擎设计  
● 建筑安全：大厦防火通道、商场备用发电机  
● 极端案例：区块链将冗余做到极致以保证数据安全

4）信息传达中冗余度的必要性 20:37

● 生理基础：人脑需要呼吸和走神，无法持续接收高密度信息  
● 认知对比：

○ 小说比论文易读（冗余度高）  
- 故事比理论易懂（提供更多上下文）

● 标点符号：虽信息量小但极大提升人类阅读体验

5）冗余度过高与过低的影响 21:30

● 过高问题：

◦ 年轻群体易感内容注水（如10分钟视频仅1-2个观点）  
- 信息效率低下

\- 过低问题:

○ 增加理解难度（需反复回读）  
○ 造成认知痛苦

代际差异：

◦ 年长者能接受更高冗余（如阿姨爱听背景知识）  
○ 数字原生代前额叶更发达，适应高信息密度

6）冗余度概念的启发与应用 22:16

![](images/78c12a042b256c91b134f09f87df75a7a0e2d7f4459208547ae36a6125517550.jpg)

<details>
<summary>text_image</summary>

所长林超 bilibili
冗余并不一定是坏东西
Pdd
少钱多短 活输
SHAOQIA MUN216
在工程领域
它可以保证系统运作安全
在表达上
它能更好的服务于人类的认知习惯
更新唯一保障 V:LCDYYSC
</details>

●

● 工程价值：保障系统安全运行（备份机制）  
● 表达价值：适配人类认知习惯（自然停顿需求）

● 时代趋势：

◦ 年轻一代创造高密度简写（如yyds/xswl）  
○ 需动态平衡冗余水平

7）去除冗余度的方法：画分析框架 22:36

![](images/a089c22f0170853725c97e696c039e6632ad29c6dee46e2669b713df0cd9de69.jpg)

<details>
<summary>text_image</summary>

所长林超 bilibili
少钱多知 V:LCDYYSC
Pdd
少钱多短 退赔
SHAOQIA##0274
先把关键概念零散的列出来
寻找概念卡片之间的关联
同时拿掉一些信息等价的卡片更新唯一保障 V:LCDYYSC
</details>

●

● 操作步骤：

○ 零散列举：无顺序记录关键概念卡片

○ 关联分类：建立概念联系，剔除信息等价项  
○ 模型套用：调用已有思维框架进行校正

# ● 实践效果：

- 将数十页研报简化为单张思维导图  
○ 形成"关键第一帧"加速后续信息处理  
◦ 重点关注增量信息提升学习效率

# 二、信息论基础

# 1. 核心概念

- 三条重要公式：课程中强调了信息论领域三个基础公式（具体公式需结合PPT图示）  
● 信息熵：描述信息不确定性的度量，计算公式为 $H(X) = -\sum p(x)\log p(x)$   
- 冗余度：指信息中不必要的重复部分，通过压缩算法可消除

# 2. 编码技术

● 霍夫曼编码：变长编码算法，将高频符号用短码表示  
● 资源分配原则：优先分配给高频使用场景  
● 效率提升：相比定长编码可提高20-30%的压缩率

# 3. 压缩算法

● 帧间压缩：利用视频帧之间的相关性进行压缩  
- 互信息：衡量两个变量之间的统计相关性  
● 应用场景：特别适合处理连续帧的视频压缩

# 4. 关键关系

- 熵与编码：信息熵决定编码效率的理论下限   
- 冗余与压缩：冗余度越高，压缩潜力越大  
- 互信息应用：用于优化帧间压缩的块匹配过程

# 三、知识小结

<table><tr><td>知识点</td><td>核心内容</td><td>关键公式/模型</td><td>应用场景</td><td>难度系数</td></tr><tr><td>信息论基础</td><td>信息是宇宙固有组成部分,与能量同等重要;信息可量化,但信息不守恒(可无限复制)</td><td>香农信息熵公式</td><td>理解信息本质、数据压缩</td><td><img src="images/651cd061552e3f5c60eb9d7cceb97e5c8fb30ead48accfde6ed7f239366758df.jpg"/></td></tr><tr><td>三条重要物理公式</td><td> $E=mc^{2}$ (质能等价)2.香农信息熵(信息量化)3.海森堡测不准原理(科学边界)</td><td>1.质能方程2.信息熵公式3.测不准原理</td><td>科学哲学、信息科学、量子力学</td><td><img src="images/810691acc400a6814b9120086a522e4fc07cdb6d36737aaa5b6dcf0d21efb969.jpg"/></td></tr><tr><td>信息熵(不确定性)</td><td>描述事件不确定性的量,如抽奖中奖概率、盲盒款式分布;可能性越均匀,信息熵越大</td><td> $H(X)=-\Sigma P(x)\log P(x)$ </td><td>概率预测、决策分析</td><td><img src="images/d439d199f1de1202d99ea2ad59ff74885fb55e16dd1325b4b8e224fd2790aa30.jpg"/></td></tr><tr><td>霍夫曼编码</td><td>高频资源分配最优:将短编码分配给高频事件(如摩尔斯电码高频字母简写)</td><td>编码长度 $\propto$ 出现频率倒数</td><td>数据压缩、效率优化(如家居布局)</td><td><img src="images/4ce3cf1cbe2737d01958a14188eb603fe61233ba06880b226694d033e17a3810.jpg"/></td></tr><tr><td>帧间压缩算法</td><td>关注增量信息:视频压缩中仅处理变化部分(如招手动作中的手部移动)</td><td>差分编码技术</td><td>视频存储、高效学习(增量阅读)</td><td><img src="images/5a73aabb94384bfee2c4f1d1a57d05c9939cec602c5901c614408c2c4e3a50b2.jpg"/></td></tr><tr><td>互信息与相关性</td><td>衡量两事件关联强度(如“信春哥”与“不挂科”),相关性≠因果性</td><td>I(X;Y)=H(X)+H(Y)-H(X,Y)</td><td>数据分析、推荐系统</td><td><img src="images/280b8f0048b24bcf49972dcca8fb4edc14bdf5c1c5824b90a2adc3ce7036170b.jpg"/></td></tr><tr><td>冗余度设计</td><td>必要重复:标点符号、备用服务器等提升系统容错性;但信息时代冗余容忍度降低</td><td>冗余度=重复信息量/总信息量</td><td>工程安全、表达优化</td><td>★★★</td></tr><tr><td>奥卡姆剃刀+霍夫曼编码</td><td>减法哲学+饱和配置:如一日两餐(高频场景优化)、电子设备高投入</td><td>无公式,方法论组合</td><td>生活效率、资源分配</td><td><img src="images/8f641ae333ec0cc92a2a35a83652680b0932b1a49021bab5fcee245cf6891ada.jpg"/></td></tr></table>