# 一、概率统计学重要模型 00:00 # 1. 概率统计的重要性 00:04 ● 发展历程:数据科学将人工智能从冷门学科发展为灸手可热的超级学科 ● 应用领域:大数据、人工智能、医药研发、金融工具设计等领域都依赖概率统计 # 1)亨廷顿舞蹈症诊断案例 01:20 # ● 基础数据: - 患病率:10万人中4-8例(0.004%-0.008%) ○ 检测准确率:99%(误诊率1%) # - 反直觉结论: 即使检测显示99%患病,实际患病概率仅约1% ○ 原因:极低的基础患病率(先验概率)影响最终判断 # - 贝叶斯计算过程 ![](images/1655d3a686dfbde7e3cb9c63ff6c5a24344e3136006bc1b8a96711a5aaae4e45.jpg)
text_image 所长林超 bilibili 100,000人 → 10人真有病 9 假设真实得病概率为为 1%误诊率 10/100,000↓ 有病 1009人被诊断有病 假设真实的得病概率就是十万分之十 讲课教传: 1561277539
# ○ 计算步骤: ■ 假设10万人中10人患病(简化计算) ■ 真阳性:10×99%≈10人 ■ 假阳性:99,990×1%≈999人 ■ 总阳性:10+999=1009人 ■ 实际患病概率:10/1009≈1% # ○ 关键启示: ■ 罕见病诊断需同时考虑检测准确率和基础患病率 ■ 小概率事件中,即使很小的误诊率也会显著影响结果 # 2)贝叶斯公式详解 05:15 ![](images/01a5285bf7799bcdc47f7918b02425427c861f5989f988701a154cbc545e98fa.jpg)
text_image 所长林超 贝叶斯公式 P(Bi | A)=\frac{P(A|Bi)P(Bi)}{\sum_{i=1}^{n}P(A|Bi)P(Bi)} 不同模块的含义
公式: $P(B_{i}|A) = \frac{P(A|B_{i})P(B_{i})}{\sum_{i = 1}^{n}P(A|B_{i})P(B_{i})}$ # - 组成要素: ○ 先验概率 $P(B_{i})$ :基础发生率 ○ 似然度 $P(A|B_{i})$ :检测准确率 ○ 后验概率 $P(B_{i}|A)$ :考虑新证据后的概率 ● 药检案例 05:25 ![](images/f7b9ce60f3f1bdff54d60b13afa9d70fce6c9d3972d28b607a075dfee9a6807c.jpg)
text_image 所长林超 bilibili P(B = 阳性 | A = 使用禁药) * P(A = 使用禁药) P(B = 阳性 | A = 使用禁药) * P(A = 使用禁药) + P(B = 阳性 | A = 清白) * P(A = 清白) 0.95 * 0.001 ≈ 0.009 0.95 * 0.001 + 0.1 * 0.999 0.95 * 0.009 ≈ 0.079 0.95 * 0.009 + 0.1 * 0.991 0.95 * 0.079 ≈ 0.45 0.95 * 0.079 + 0.1 * 0.921 一位叫王阿根的用户分享的案例
基础数据: ■ 用药率:0.1% ■ 检测准确率:95%(误判率5%) # ○ 计算结果: ■ 首次检测阳性后实际用药概率:0.9% ■ 三次检测均阳性后概率:45% # 重要发现: ■ 新证据连续出现会指数级改变概率 ■ 即使多次阳性检测,实际概率仍可能低于50% 3)基础概率原理 07:32 ![](images/dbc45b8ee5dd33b09f199dd1281dbcab8c8c4475bc648139ceff432af2ca9a74.jpg)
text_image 所长林超 bilibili 基础概率 (先验概率) 做很多事情 拼课费信: 1561277539
核心观点:基础概率决定成败而非努力程度 # ● 量级概念: ○ 1,10,100,1000代表不同量级 ○ 量级差异产生碾压性优势(10倍原理) # - 应用建议: ○ 选择高基础概率领域(城市/学校/行业/公司) ◦ 关注宏观趋势(如货币M2增速与房地产关系) 4)贝叶斯哲学意义 12:30 # - 辩证思维: 既要重视基础概率 \- 又要根据新证据及时调整判断 # ● 现实应用: 避免幸存者偏差(如"读书无用论") ○ 连续出现反例时需要重新评估基础概率 # 2. 概率思维应用 10:36 # 1)日常决策案例 ● 问题:如何判断小芳的微笑代表喜欢? # - 贝叶斯分析: ◦ 先验概率:小芳喜欢你的基础概率 ○ 似然度:喜欢时微笑的概率 ◦ 证据频率:平时对他人微笑的频率 # ● 关键启示: ○ 罕见行为(不常微笑)作为证据更有价值 ○ 常见行为(经常微笑)作为证据价值较低 # 3. 均值和异常值 13:36 ![](images/fdd448508ad0671137768b674f69d34069336b3d3db510d52fe03d65fe428e51.jpg)
text_image 所长林超 bilibili 均值和异常值 因为我们在漫长的远古时代
均值局限性:在正态分布中(如身高、体重)均值具有代表性,但在幂律分布中(如财富、GDP)均值会失真。中国人均GDP低于俄罗斯但经济实力更强,说明均值无法反映真实经济状况。 - 异常值决定性作用:以公司经营为例,月均 $8\%$ 收益率看似良好,但单次 $90\%$ 亏损异常值直接导致破产,说明系统稳定性取决于抗异常能力而非平均水平。 ![](images/6e2b80ea27e82d1c98dba92838ee810846dd99d65103aa851602bf4ec2f77247.jpg)
text_image 所长林超 bilibili 因为公司在经营的倒数第3个月
人生启示:游戏圈高管案例显示,长期顺境中一次重大挫折(被辞退)产生的异常行为(投毒)可彻底改变人生轨迹,印证"黑天鹅"事件的颠覆性影响。 # 1)面对异常值的三种处理方式 15:52 # 1. 是把他们舍弃掉 # 2.是把他们跟其他数值一视同仁 # 3.是把他们单独作为一个特别的集合去研究 # 也就是最主流的观点就是最正确的 - 剔除处理:如比赛评分去掉最高/低分,假设世界是稳定连续的(基础概率不变),但可能忽略重大变革信号 ● 等同处理:将异常值视作普通数据,适用于噪声干扰场景 ● 专项研究:如国家叫停支付宝上市事件,最初被视为行业整顿个案(异常值),实为互联网监管时代开启的前兆,后续教育行业调整等验证其预示性 - 统计定义:异常值指与均值偏差超过 $2\sigma$ (两倍标准差)的数据,如图中横纵轴均偏离群体2倍以上的孤立点 ![](images/8258aa9263d5793bdbd56db1e0ca85a9743bd26e89e51419a2e334e55fefb0f8.jpg)
text_image 所长林超 bilibili OUTLIERS 都两倍的高于整体的平均值
# 4. 大数定律 17:39 ![](images/20945d61e34366a247de00341c19295e976a7fa9d5bb979aeccaff36455016b2.jpg)
text_image 所长林超 bili bili 0 1.0 概率 0.0 0 1.0 0.0 0 200 400 600 800 1000 丢硬币的次数 但是随着你抛的次数越来越多
● 核心原理:实验次数 $n\to\infty$ 时,随机事件频率收敛于理论概率(如抛硬币正反面趋近50%),数学上由科尔莫戈罗夫强大数定律保证 ● 小数据陷阱:早期职业阶段因样本量少(如仅2段工作经历)易得出偏颇结论,需保持耐心持续积累数据 ● 实践启示: - 健康基础:肉身是持续"实验"的载体,体力不支将中断概率验证过程 - 贝叶斯迭代:将经验作为先验概率P(A),新证据P(B|A)输入后更新为后验概率P(A|B),形成认知升级循环 # 5. 概率分布 20:09 ![](images/a4310eab1cdc1925d993ad0d6f947c7e2eb1e2691fa37d4ada6d34ef9ac1ca63.jpg)
line | 人数 | 财富 | | ---- | ---- | | 20% | 80% | | 80% | 20% |
- 幂律特征:80%财富集中于20%人群(帕累托法则),表现为马太效应、赢家通吃,要求个体在细分领域做到极致 ● 正态分布:如身高集中在均值附近,两端极端值稀少,反映稳定系统的特征 # 1)方差、标准差、平均值 20:55 ![](images/5a42eef7257973a2caae2327534871a48254fe8a4b2c2288c65802d674294ea7.jpg)
text_image 所长林超 bilibili 方差 标准差 平均值 variance = σ² = (Σ(xₜ - μ)²)/n standard deviation σ = √(Σ(xₜ - μ)²)/n μ = mean 也就是说方差其实放到了标准差的差异
# 计算关系: ○ 方差 $\sigma^2 = \frac{\sum (x_i - \mu)^2}{n}$ ○ 标准差 $\sigma = \sqrt{\sigma^2}$ # ● 现实案例: 江湖vs军队:相同平均武力下,江湖团体标准差大(含高手与弱者),军队标准差小(全员中等战力) 飞镖选手:低方差选手(如职业运动员)成绩集中,高方差选手(业余者)结果离散 ![](images/98d68e564b40949b0da8b246836bea0211bf52a050c59764b954e1213f344b39.jpg)
text_image 所长林超 bilibili 坚定 不坚定 愚蠢 a b 聪明 c d 第2种人是不坚定的聪明
# 人生策略: - 早期应保持"不坚定的愚蠢"(开放心态收集证据) - 中期过渡到"不坚定的聪明"(动态调整认知) - 成熟期追求"坚定的聪明"(专注优势领域) ○ 警惕"坚定的愚蠢"(环境剧变时需重新循环) # 二、知识小结
知识点核心内容考试重点/易混淆点难度系数
贝叶斯公式通过先验概率和新证据计算后验概率,公式为:P(A)B) = [P(BA) * P(A)] / P(B)基础概率的重要性(如罕见病误诊案例)★★★★
基础概率(先验概率)事件在真实世界中的固有发生概率(如亨廷顿舞蹈症患病率1/10000)忽略基础概率导致误判(如药检误诊案例)★★★
异常值处理统计学中偏离平均值两倍标准差的数值,反映极端事件异常值的三种处理方式(剔除/保留/单独研究)★★★★
大数定律实验次数越多,随机事件概率趋近稳定值(如抛硬币收敛于50%)小样本偏差(早期经验易误导判断)★★
概率分布(正态分布 vs 幂律分布)正态分布:均值集中;幂律分布:极端集中(二八法则)方差与标准差(衡量数据离散度)★★★
方差与标准差衡量数据波动性(如江湖人士 vs 正规军的武力值差异)低方差=稳定性(如飞镖选手案例)
概率反直觉案例亨廷顿舞蹈症误诊率99%但真实患病率仅1%误诊率与基础概率的相互作用
连续检测的贝叶斯更新三次药检阳性后使用违禁药概率仅45%新证据对概率的非线性影响
商业与人生决策启示基础概率>努力(如选行业/城市/学校)“10倍压制原理”(量级差距难逆转)
均值与异常值的现实意义公司倒闭由异常亏损决定(非平均盈利)“一次异常摧毁全局”(如高管投毒案例)