学科12：概率统计学重要模型_笔记.md 11 KB
一、概率统计学重要模型 00:00
1. 概率统计的重要性 00:04
● 发展历程：数据科学将人工智能从冷门学科发展为灸手可热的超级学科
● 应用领域：大数据、人工智能、医药研发、金融工具设计等领域都依赖概率统计
1）亨廷顿舞蹈症诊断案例 01:20
● 基础数据：
- 患病率：10万人中4-8例（0.004%-0.008%）
○ 检测准确率：99%（误诊率1%）
- 反直觉结论：
即使检测显示99%患病，实际患病概率仅约1%
○ 原因：极低的基础患病率（先验概率）影响最终判断
- 贝叶斯计算过程
text_image
所长林超 bilibili 100,000人 → 10人真有病 9 假设真实得病概率为为 1%误诊率 10/100,000↓ 有病 1009人被诊断有病 假设真实的得病概率就是十万分之十 讲课教传： 1561277539○ 计算步骤：
■ 假设10万人中10人患病（简化计算）
■ 真阳性：10×99%≈10人
■ 假阳性：99,990×1%≈999人
■ 总阳性：10+999=1009人
■ 实际患病概率：10/1009≈1%
○ 关键启示：
■ 罕见病诊断需同时考虑检测准确率和基础患病率
■ 小概率事件中，即使很小的误诊率也会显著影响结果
2）贝叶斯公式详解 05:15
text_image
所长林超 贝叶斯公式 P(Bi | A)=\frac{P(A|Bi)P(Bi)}{\sum_{i=1}^{n}P(A|Bi)P(Bi)} 不同模块的含义公式： $P(B{i}|A) = \frac{P(A|B{i})P(B{i})}{\sum{i = 1}^{n}P(A|B{i})P(B{i})}$
- 组成要素：
○ 先验概率 $P(B{i})$ ：基础发生率
○ 似然度 $P(A|B{i})$ ：检测准确率
○ 后验概率 $P(B_{i}|A)$ ：考虑新证据后的概率
● 药检案例 05:25
text_image
所长林超 bilibili P(B = 阳性 | A = 使用禁药) * P(A = 使用禁药) P(B = 阳性 | A = 使用禁药) * P(A = 使用禁药) + P(B = 阳性 | A = 清白) * P(A = 清白) 0.95 * 0.001 ≈ 0.009 0.95 * 0.001 + 0.1 * 0.999 0.95 * 0.009 ≈ 0.079 0.95 * 0.009 + 0.1 * 0.991 0.95 * 0.079 ≈ 0.45 0.95 * 0.079 + 0.1 * 0.921 一位叫王阿根的用户分享的案例基础数据：
■ 用药率：0.1%
■ 检测准确率：95%（误判率5%）
○ 计算结果:
■ 首次检测阳性后实际用药概率：0.9%
■ 三次检测均阳性后概率：45%
重要发现：
■ 新证据连续出现会指数级改变概率
■ 即使多次阳性检测，实际概率仍可能低于50%
3）基础概率原理 07:32
text_image
所长林超 bilibili 基础概率 (先验概率) 做很多事情 拼课费信： 1561277539核心观点：基础概率决定成败而非努力程度
● 量级概念：
○ 1,10,100,1000代表不同量级
○ 量级差异产生碾压性优势（10倍原理）
- 应用建议：
○ 选择高基础概率领域（城市/学校/行业/公司）
◦ 关注宏观趋势（如货币M2增速与房地产关系）
4）贝叶斯哲学意义 12:30
- 辩证思维：
既要重视基础概率
- 又要根据新证据及时调整判断
● 现实应用：
避免幸存者偏差（如"读书无用论"）
○ 连续出现反例时需要重新评估基础概率
2. 概率思维应用 10:36
1）日常决策案例
● 问题：如何判断小芳的微笑代表喜欢？
- 贝叶斯分析：
◦ 先验概率：小芳喜欢你的基础概率
○ 似然度：喜欢时微笑的概率
◦ 证据频率：平时对他人微笑的频率
● 关键启示:
○ 罕见行为（不常微笑）作为证据更有价值
○ 常见行为（经常微笑）作为证据价值较低
3. 均值和异常值 13:36
text_image
所长林超 bilibili 均值和异常值 因为我们在漫长的远古时代均值局限性：在正态分布中（如身高、体重）均值具有代表性，但在幂律分布中（如财富、GDP）均值会失真。中国人均GDP低于俄罗斯但经济实力更强，说明均值无法反映真实经济状况。
- 异常值决定性作用：以公司经营为例，月均 $8\%$ 收益率看似良好，但单次 $90\%$ 亏损异常值直接导致破产，说明系统稳定性取决于抗异常能力而非平均水平。
text_image
所长林超 bilibili 因为公司在经营的倒数第3个月人生启示：游戏圈高管案例显示，长期顺境中一次重大挫折（被辞退）产生的异常行为（投毒）可彻底改变人生轨迹，印证"黑天鹅"事件的颠覆性影响。
1）面对异常值的三种处理方式 15:52
1. 是把他们舍弃掉
2.是把他们跟其他数值一视同仁
3.是把他们单独作为一个特别的集合去研究
也就是最主流的观点就是最正确的
- 剔除处理：如比赛评分去掉最高/低分，假设世界是稳定连续的（基础概率不变），但可能忽略重大变革信号
● 等同处理：将异常值视作普通数据，适用于噪声干扰场景
● 专项研究：如国家叫停支付宝上市事件，最初被视为行业整顿个案（异常值），实为互联网监管时代开启的前兆，后续教育行业调整等验证其预示性 - 统计定义：异常值指与均值偏差超过 $2\sigma$ （两倍标准差）的数据，如图中横纵轴均偏离群体2倍以上的孤立点
text_image
所长林超 bilibili OUTLIERS 都两倍的高于整体的平均值4. 大数定律 17:39
text_image
所长林超 bili bili 0 1.0 概率 0.0 0 1.0 0.0 0 200 400 600 800 1000 丢硬币的次数 但是随着你抛的次数越来越多● 核心原理：实验次数 $n\to\infty$ 时，随机事件频率收敛于理论概率（如抛硬币正反面趋近50%），数学上由科尔莫戈罗夫强大数定律保证
● 小数据陷阱：早期职业阶段因样本量少（如仅2段工作经历）易得出偏颇结论，需保持耐心持续积累数据
● 实践启示：
- 健康基础：肉身是持续"实验"的载体，体力不支将中断概率验证过程
- 贝叶斯迭代：将经验作为先验概率P(A)，新证据P(B|A)输入后更新为后验概率P(A|B)，形成认知升级循环
5. 概率分布 20:09
line
| 人数 | 财富 | | ---- | ---- | | 20% | 80% | | 80% | 20% |- 幂律特征：80%财富集中于20%人群（帕累托法则），表现为马太效应、赢家通吃，要求个体在细分领域做到极致
● 正态分布：如身高集中在均值附近，两端极端值稀少，反映稳定系统的特征
1）方差、标准差、平均值 20:55
text_image
所长林超 bilibili 方差 标准差 平均值 variance = σ² = (Σ(xₜ - μ)²)/n standard deviation σ = √(Σ(xₜ - μ)²)/n μ = mean 也就是说方差其实放到了标准差的差异计算关系：
○ 方差 $\sigma^2 = \frac{\sum (x_i - \mu)^2}{n}$
○ 标准差 $\sigma = \sqrt{\sigma^2}$
● 现实案例：
江湖vs军队：相同平均武力下，江湖团体标准差大（含高手与弱者），军队标准差小（全员中等战力）
飞镖选手：低方差选手（如职业运动员）成绩集中，高方差选手（业余者）结果离散
text_image
所长林超 bilibili 坚定 不坚定 愚蠢 a b 聪明 c d 第2种人是不坚定的聪明人生策略：
- 早期应保持"不坚定的愚蠢"（开放心态收集证据）
- 中期过渡到"不坚定的聪明"（动态调整认知）
- 成熟期追求"坚定的聪明"（专注优势领域）
○ 警惕"坚定的愚蠢"（环境剧变时需重新循环）
二、知识小结
| 知识点 | 核心内容 | 考试重点/易混淆点 | 难度系数 | ||
| 贝叶斯公式 | 通过先验概率和新证据计算后验概率,公式为:P(A) | B) = [P(B | A) * P(A)] / P(B) | 基础概率的重要性(如罕见病误诊案例) | ★★★★ |
| 基础概率(先验概率) | 事件在真实世界中的固有发生概率(如亨廷顿舞蹈症患病率1/10000) | 忽略基础概率导致误判(如药检误诊案例) | ★★★ | ||
| 异常值处理 | 统计学中偏离平均值两倍标准差的数值,反映极端事件 | 异常值的三种处理方式(剔除/保留/单独研究) | ★★★★ | ||
| 大数定律 | 实验次数越多,随机事件概率趋近稳定值(如抛硬币收敛于50%) | 小样本偏差(早期经验易误导判断) | ★★ | ||
| 概率分布(正态分布 vs 幂律分布) | 正态分布:均值集中;幂律分布:极端集中(二八法则) | 方差与标准差(衡量数据离散度) | ★★★ | ||
| 方差与标准差 | 衡量数据波动性(如江湖人士 vs 正规军的武力值差异) | 低方差=稳定性(如飞镖选手案例) |  | ||
| 概率反直觉案例 | 亨廷顿舞蹈症误诊率99%但真实患病率仅1% | 误诊率与基础概率的相互作用 |  | ||
| 连续检测的贝叶斯更新 | 三次药检阳性后使用违禁药概率仅45% | 新证据对概率的非线性影响 |  | ||
| 商业与人生决策启示 | 基础概率>努力(如选行业/城市/学校) | “10倍压制原理”(量级差距难逆转) |  | ||
| 均值与异常值的现实意义 | 公司倒闭由异常亏损决定(非平均盈利) | “一次异常摧毁全局”(如高管投毒案例) |  |