学科15：信息论重要模型_笔记.md 20 KB
一、信息论00:00
1. 信息的概念 00:02
● 本质区别：信息是宇宙固有组成部分，与能量一同出现于宇宙大爆炸时刻，不同于人们常将其与信息产业或互联网行业混淆的概念。
● 量化特性: 世界上几乎所有事物都可以用信息的方式量化，这是信息最基础的特征。
2. 三条重要的公式 00:20
1）物质能量公式 00:39
text_image
所长林超 bilibili 物质 E = mc² 能量 光速 最让人震撼的地方之一 更新唯一保障 V:LCDYYSC公式表达: $E = mc^{2}$
● 核心意义：将物质与能量统一，证明两者可以相互转化，是科学思维最具革命性的发现之一。
● 历史地位: 比牛顿力学F = ma更著名，改变了人类对物质本质的认知。
2）香农信息熵公式
text_image
所长林超 bili bili E = mc² H = - ∑i=1N pi log(pi) ΔxΔp ≥ h/4π 这里面第二条公式 更新唯一保障 V:LCDYYSC公式表达: $H = -\sum p_i \log(p_i)$
● 学科地位: 信息论的核心公式，但知名度远低于质能方程。
● 实际意义: 提供了信息量化的数学方法，是本节课的重点内容。
3）测不准原理
text_image
所长林超 bilibili ΔxΔp ≥ h/4π 我们本来认为我们的仪器越来越好了- 公式表达: $\Delta x \Delta p \geq \frac{h}{4\pi}$
● 科学边界: 表明观察行为本身会影响微观粒子的状态, 无法同时精确测量位置和动量。
- 宏观对比：与观察车辆行驶不同，微观粒子的观察会改变其状态（如光子撞击改变粒子轨迹）。
● 哲学启示: 不存在绝对客观的观察，主观与客观相互影响。
3. 能量与信息的差别 02:55
text_image
所长林超 bilibili 能量守恒 但信息不守恒 另一边能量就少了 更新唯一保障 V:LCDYYSC守恒性差异:
○ 能量: 遵循守恒定律，只能转化或转移，总量不变。
信息: 不守恒，可无限复制分享，接收者获得信息不会减少发送者的信息量。
● 社会价值: 知识分享创造纯粹增量，是信息独有的正向外部性特征。
4. 信息论的地位 03:30
● 跨学科影响：信息论不仅是信息产业的基础，还在统计物理、计算科学、投资学甚至哲学等多个学科中具有奠基性贡献，是当代科学的重要基石。
- 学习门槛：信息论因其高度抽象性和需要统计学、概率论、微积分、线性代数、计算机科学、物理学等多学科基础而难以普及，即使是数学系学生也常感到晦涩难懂。
5. 信息的衡量 04:18
1）信息熵的概念
text_image
所长林超 bilibili 信息熵 informationentropy 就把这个概念借用到信息的领域了 更新唯一保障 V:LCDYYSC- 本质定义：信息熵是描述系统不确定程度的量，借用了热力学中"熵"的概念，代表信息的不确定性。
● 生活案例：
○ 抽奖例子：盒子中唯一红球（确定性100%）时信息熵为0；万分之一中奖概率时信息熵极大
☐ 盲盒例子：已知是皮卡丘（确定性高）信息量接近0；12款随机概率娃娃的信息熵显著更高
2）影响信息熵的因素
text_image
所长林超 bilibili 1. 可能出现的娃娃款式数量越多，信息熵就越大 2. 在娃娃款式数量不变的情况下，如果每一款出现的概率是一样的，这个时候信息熵最大 3. 如果其中某一个款式，出现概率很大，比如10次里面有9次都是他，那么就会大大降低信息熵 如果每一款娃娃出现的概率 更新唯一保障 V:LCDYYSC● 数量因素：可能结果的数量越多（如彩票号码范围扩大），信息熵越大
● 概率分布：
- 均匀分布时熵最大（如50%蓝/黄皮卡丘）
○ 概率越不平均熵越小（如某款式出现概率达90%）
● 函数特征：信息熵函数呈抛物线形态，在概率均等时达到峰值
3）信息量与比特
● 定义关系：信息量是消除信息熵所需的信息，香农将其基本单位定义为比特
● 现实意义：比特已成为国际通用量纲，与公斤、厘米等物理量单位并列
- 决策启示：模棱两可的态度（如"随便"）创造最大信息熵，明确选择（如指定餐厅）能显著降低系统不确定性
4）系统有序性原理
text_image
所长林超 bilibili 信息 ↓ 界 本来应该越来越趋向于 更新唯一保障 V:LCDYYSC● 跨学科印证：信息论与热力学共同表明，不做选择会导致系统趋向无序
● 实践指导：通过持续主动的决策（如资源分配），可以对抗系统的自然熵增趋势
6. 霍夫曼编码 08:08
text_image
所长林超 bilibili 霍夫曼编码 (Huffman Coding) 意思就是如果我们可以把 更新唯一保障 V:LCDYYSC● 核心思想：将较短的编码分配给高频出现的词汇，较长的编码分配给低频出现的词汇，从而实现整体编码效率最优化
● 应用场景：适用于需要高效编码表达语言的场景，如电报传输、数据压缩等
1）例题：旗语传递信息编码问题 08:26
text_image
所长林超 bilibili Pdd 少钱多短动频 SHAOQIAIIN071 战场上最经常出现的三种行动方案 更新唯一保障 V:LCDYYSC题目解析：
◦ 场景设定：古代战场传令兵只能用红旗和绿旗传递指令
- 最优编码方案：
■ 单举红旗：代表全体进攻（高频指令）
■ 单举绿旗：代表全体撤退（高频指令）
■ 同时举旗：代表原地待命（高频指令）
○ 错误编码方案：
■ 将简单旗语组合用于"盾牌守原地"、"骑兵绕后"等低频复杂指令
- 原理验证：验证了高频场景应分配简单编码的资源优化原则
2）摩尔斯电码应用实例
text_image
A ●— B ●●● C ●●● D ●● E ● F ●●● G ●●● H ●●● I ●● J ●——— S ●● K ●●— L ●●● M ●— N ●— O ●——— X ●●— P ●●● Q ●●●— Z ●—● R ●—● 安排代码资源要合理得多 更新唯一保障 V:LCDYYSC编码规则：
○ 高频字母使用简单代码：e（一个点）、s（三个点）
○ 低频字母使用复杂代码：Ⅰ（两横加两点）
- 对比分析:
- 按字母顺序分配代码（不合理）
- 按使用频率分配代码（最优解）
● 系统优势：显著降低发报员工作量，提高信息传输效率
3）生活应用方法论
text_image
所长林超 bilibili 为了提高效率 我们应该把生活中最重要的资源 分配给人生中最高频出现的场景 很高频出现的场景 更新唯一保障 V:LCDYYSC● 核心原则：将最重要的资源分配给最高频出现的场景
● 家居案例：
- 将低频的电视区改造为高频使用的工作区
- 传统出租屋设计缺陷：过度配置电视区，忽视工作区
● 资源配置启示：
避免"模棱两可、平均用力"的低效方式
- 需要识别个人生活中的高频/低频场景
4）奥卡姆剃刀原理结合
text_image
所长林超 bilibili 如无必要 勿增实体 意思是如无必要勿增实体 更新唯一保障 V:LCDYYSC● 哲学原理："如无必要，勿增实体"（14世纪哲学思想）
● 实践方法：
○ 大刀阔斧做减法（减少低频场景资源投入）
○ 关键领域饱和配置（集中资源于高频场景）
● 个人应用案例：
○ 饮食优化：采用"过午不食"（每日两餐），节省2小时/天
- 电子设备：在手机/笔记本上投入最优资源（高频使用）
- 服装消费：减少低频穿着衣物的资源投入
text_image
所长林超 bilibili Pdd 小钱多啦 店铺 SHAOQUENLI027H 吃饭 睡觉 运动 呼吸 工作 娱乐 排便 这些东西都是每天都要做 更新唯一保障 V:LCDYYSC● 典型高频场景：吃饭、睡觉、运动、呼吸、工作、娱乐、排便
● 优化建议：
- 多数人凭本能处理这些高频需求
- 通过刻意优化可发现大量改进空间
例如饮食节律可参考古代"过午不食"传统
5）注意事项
● 个体差异：优化方案需考虑个人作息特点（如夜工作者需晚餐）
● 非工具性需求：服装等涉及美学表达的需求不适用纯效率原则
● 实施建议：需通过长期自我观察确定个人的高频场景
- 帧间压缩算法 12:37
text_image
所长林超 bilibili Pdd 少钱多知店铺 04/09/4/00:27 影像动画最小单位的单幅静止画面更新唯一保障 V:LCDYYSC- 基本概念：帧是影像动画的最小单位，指单幅静止画面，连续播放形成运动画面。压缩必要性：未经压缩的两小时高清视频（1920×1080p，25帧/秒，RGB三原色）体积计算：
● 2小时 × 60分钟 × 60秒 × 25帧 × 1920 × 1080像素 × 3字节 / 像素 = 11,198GB
● 压缩原理：通过关注信息增量而非存量提升效率，典型压缩比可达数千倍。
1）例题：阅读量一周十本书方法 14:12
核心策略：
- 不平均用力：基础理论书籍投入70%时间，应用类书籍仅用30%时间
○ 增量阅读：已掌握知识快速略过，专注新知识（类比帧间压缩的差异处理）
- 执行数据：
- 休息日每天阅读2-3本新书
○ 周阅读量达10本（相当于普通人年阅读量）
- 底层逻辑：
- 霍夫曼编码原理：高频基础知识配备更多资源
认知框架构建：如掌握脑科学基础后，相关章节阅读速度提升50倍
- 互信息 15:58
text_image
所长林超 bilibili 信春哥 不挂科 H(X) H(Y) H(X ∩ Y)=H(X,Y) 一个叫信春哥 更新唯一保障 V:LCDYYSC● 定义：两事件互信息量越大，相关性越强（用信息熵H(X)与H(Y)的交集表示）
- 经典案例：
o "信春哥" (H(X)) 与"不挂科" (H(Y)) 的互信息
- 抖音用户标签系统（通过行为相关性而非因果性分类）
- 重要区分:
○ 相关性： $R(X,Y)=\ln(X,N)$ 可量化计算
○ 因果性：需额外验证（如成功归因常混淆两者）
- 应用价值：
○ 数据科学的核心方法论
○ 解释30%企业家成功案例中的"高发展红利"因素
9. 信息等价 18:44
text_image
所长林超 bilibili 信息等价 就等同知道事件B发生的信息 更新唯一保障 V:LCDYYSC Pdd 少糖多糖 店铺 SH:001430027M- 极端情况：高护信息的极端情况就是信息等价，即知道事件A发生的信息等同于知道事件B发生的信息
● 典型例子：盒子外印有内部物品的清晰图像（如皮卡丘形象），但二维动画照片与真实三维物品仍存在不完全等价性 - 语言实例：日常对话中的"说废话"现象，本质是前后语句提供等价信息（互信息很高）
text_image
所长林超 bilibili 今天天气真好 蓝天白云 风和日丽 阳光明媚 就会让听众觉得是废话连篇 更新唯一保障 V:LCDYYSC● 天气案例：
- "天气真好"与"阳光明媚"互信息极高（几乎等价）
- "阳光明媚"与"风和日丽"互信息极高（几乎等价）
- "蓝天白云"提供额外信息量，界定了天气的细分情况
- 冗余度 19:47
1）冗余度的定义与直观理解 19:48
text_image
所长林超 bilibili 冗余度 (Redundancy) 这个概念不只是在信息论里面出现更新唯一保障 V:LCDYYSC基本概念：信息中重复或非必要的部分，直观表现为"说废话"
● 双重属性：表面看似负面，实际在不同领域具有重要价值
● 语言表现：标点符号（如逗号、句号）信息量小但不可或缺
2）冗余度在计算机科学中的应用 20:00
text_image
所长林超 bilibili 资源的重复度 来保证系统更加安全可靠工作 更新唯一保障 V:LCDYYSC● 核心作用：通过资源重复保证系统安全可靠
● 实施方式：
- 多余设备（如备用服务器）
○ 数据备份（如区块链的不可篡改设计） - 应急设施（备用电源等）
3）生活中的冗余度实例 20:22
text_image
所长林超 bilibili 越野汽车的备用轮胎 大厦的防火安全通道 大商场安装的额外发电机 飞机上的双引擎设计 或者飞机上的双引擎设计 更新唯一保障 V:LCDYYSC交通工具：越野车备用轮胎、飞机双引擎设计
● 建筑安全：大厦防火通道、商场备用发电机
● 极端案例：区块链将冗余做到极致以保证数据安全
4）信息传达中冗余度的必要性 20:37
● 生理基础：人脑需要呼吸和走神，无法持续接收高密度信息
● 认知对比：
○ 小说比论文易读（冗余度高）
- 故事比理论易懂（提供更多上下文）
● 标点符号：虽信息量小但极大提升人类阅读体验
5）冗余度过高与过低的影响 21:30
● 过高问题：
◦ 年轻群体易感内容注水（如10分钟视频仅1-2个观点）
- 信息效率低下
- 过低问题:
○ 增加理解难度（需反复回读）
○ 造成认知痛苦
代际差异：
◦ 年长者能接受更高冗余（如阿姨爱听背景知识）
○ 数字原生代前额叶更发达，适应高信息密度
6）冗余度概念的启发与应用 22:16
text_image
所长林超 bilibili 冗余并不一定是坏东西 Pdd 少钱多短 活输 SHAOQIA MUN216 在工程领域 它可以保证系统运作安全 在表达上 它能更好的服务于人类的认知习惯 更新唯一保障 V:LCDYYSC●
● 工程价值：保障系统安全运行（备份机制）
● 表达价值：适配人类认知习惯（自然停顿需求）
● 时代趋势：
◦ 年轻一代创造高密度简写（如yyds/xswl）
○ 需动态平衡冗余水平
7）去除冗余度的方法：画分析框架 22:36
text_image
所长林超 bilibili 少钱多知 V:LCDYYSC Pdd 少钱多短 退赔 SHAOQIA##0274 先把关键概念零散的列出来 寻找概念卡片之间的关联 同时拿掉一些信息等价的卡片更新唯一保障 V:LCDYYSC●
● 操作步骤：
○ 零散列举：无顺序记录关键概念卡片
○ 关联分类：建立概念联系，剔除信息等价项
○ 模型套用：调用已有思维框架进行校正
● 实践效果：
- 将数十页研报简化为单张思维导图
○ 形成"关键第一帧"加速后续信息处理
◦ 重点关注增量信息提升学习效率
二、信息论基础
1. 核心概念
- 三条重要公式：课程中强调了信息论领域三个基础公式（具体公式需结合PPT图示）
● 信息熵：描述信息不确定性的度量，计算公式为 $H(X) = -\sum p(x)\log p(x)$ - 冗余度：指信息中不必要的重复部分，通过压缩算法可消除
2. 编码技术
● 霍夫曼编码：变长编码算法，将高频符号用短码表示
● 资源分配原则：优先分配给高频使用场景
● 效率提升：相比定长编码可提高20-30%的压缩率
3. 压缩算法
● 帧间压缩：利用视频帧之间的相关性进行压缩
- 互信息：衡量两个变量之间的统计相关性
● 应用场景：特别适合处理连续帧的视频压缩
4. 关键关系
- 熵与编码：信息熵决定编码效率的理论下限
- 冗余与压缩：冗余度越高，压缩潜力越大
- 互信息应用：用于优化帧间压缩的块匹配过程
三、知识小结
| 知识点 | 核心内容 | 关键公式/模型 | 应用场景 | 难度系数 |
| 信息论基础 | 信息是宇宙固有组成部分,与能量同等重要;信息可量化,但信息不守恒(可无限复制) | 香农信息熵公式 | 理解信息本质、数据压缩 |  |
| 三条重要物理公式 | $E=mc^{2}$ (质能等价)2.香农信息熵(信息量化)3.海森堡测不准原理(科学边界) | 1.质能方程2.信息熵公式3.测不准原理 | 科学哲学、信息科学、量子力学 |  |
| 信息熵(不确定性) | 描述事件不确定性的量,如抽奖中奖概率、盲盒款式分布;可能性越均匀,信息熵越大 | $H(X)=-\Sigma P(x)\log P(x)$ | 概率预测、决策分析 |  |
| 霍夫曼编码 | 高频资源分配最优:将短编码分配给高频事件(如摩尔斯电码高频字母简写) | 编码长度 $\propto$ 出现频率倒数 | 数据压缩、效率优化(如家居布局) |  |
| 帧间压缩算法 | 关注增量信息:视频压缩中仅处理变化部分(如招手动作中的手部移动) | 差分编码技术 | 视频存储、高效学习(增量阅读) |  |
| 互信息与相关性 | 衡量两事件关联强度(如“信春哥”与“不挂科”),相关性≠因果性 | I(X;Y)=H(X)+H(Y)-H(X,Y) | 数据分析、推荐系统 |  |
| 冗余度设计 | 必要重复:标点符号、备用服务器等提升系统容错性;但信息时代冗余容忍度降低 | 冗余度=重复信息量/总信息量 | 工程安全、表达优化 | ★★★ |
| 奥卡姆剃刀+霍夫曼编码 | 减法哲学+饱和配置:如一日两餐(高频场景优化)、电子设备高投入 | 无公式,方法论组合 | 生活效率、资源分配 |  |