分类： 数理理论笔记本

数理统计发展史

一、伯努利分布（1713）与二项分布（1713）

1. 伯努利分布

• 发明背景：
  • 核心问题：雅各布·伯努利（Jacob Bernoulli）试图用数学描述单次随机试验（如抛硬币）的结果。
  • 数学家思考：
    • 将二元结果抽象为(X \in {0,1})，概率质量函数定义为(P(X=1)=p, P(X=0)=1-p)，成为离散概率的基石。
    • 伯努利意识到，二元结果（成功/失败）可以用一个简单变量表示，其概率仅由单一参数(p)控制。
    • 他强调结果的“互斥性”和“完备性”：每次试验只能有一种结果，且所有结果概率之和为1。
  • 最初应用：赌博问题（如轮盘赌结果预测）、遗传学中的显隐性特征分析。
• 严谨定义 概率质量函数： [ P(X=1) = p, \quad P(X=0) = 1-p ] 其中(X \in {0,1})，(p)为成功概率。
• 后续主要应用：
  • 逻辑回归中的响应变量建模。
  • 质量控制中的缺陷品检测（如生产线良率统计）。

2. 二项分布

• 发明背景：
  • 核心问题：伯努利在《猜度术》（Ars Conjectandi）中研究(n)次独立伯努利试验的成功次数。
  • 数学家思考：
    • 推导出概率质量函数(P(X=k)=\binom{n}{k} p^k (1-p)^{n-k})，并证明大数定律：当(n \to \infty)时，频率趋近于概率(p)。
    • 通过组合数学计算不同成功次数(k)的可能性，发现系数(\binom{n}{k})是核心权重。
    • 提出“大数定律”雏形：当(n)极大时，实际频率会收敛到理论概率(p)。
  • 最初应用：人口统计中的性别比例预测、保险业中的死亡率估算。
• 严谨定义 概率质量函数： [ P(X=k) = \binom{n}{k} p^k (1-p)^{n-k} ] 其中(k \in {0,1,\dots,n})，(\binom{n}{k})为组合数。
• 后续主要应用：
  • A/B测试中的转化率比较。
  • 医学试验中药物有效病例数估计。

---

二、均匀分布（1774）

• 发明背景
  • 核心问题：拉普拉斯（Pierre-Simon Laplace）研究无先验信息时的概率分配问题，试图为“完全未知”的场景赋予概率。
  • 数学家思考：
    • 提出“无差别原理”（Principle of Insufficient Reason），认为若事件结果对称且无偏好，则概率应均匀分配。
    • 将离散均匀（如骰子）推广到连续情形（如圆周上的随机角度）。

• 最初应用：
  • 古典概率问题（如骰子点数、转盘角度分布）。
  • 几何概率（如布丰投针实验中针落地位置的均匀性假设）。
• 严谨定义
  • 离散型：若(X)有(k)个等可能取值，则(P(X=x_i) = \frac{1}{k})。
  • 连续型：概率密度函数： [ f(x) = \frac{1}{b-a} \quad (a \leq x \leq b) ]
• 后续主要应用
  • 随机数生成：蒙特卡洛模拟的基础分布（如Mersenne Twister算法）。
  • 贝叶斯统计：作为无信息先验分布（如参数空间均匀覆盖）。

---

三、几何分布与负二项分布（18世纪）

1. 几何分布

• 发明背景：
  • 核心问题：帕斯卡（Blaise Pascal）与费马（Pierre de Fermat）研究首次成功所需的伯努利试验次数。
  • 数学家思考：
    • 发现几何级数的衰减模式：每次失败的概率是前一次的((1-p))倍。
    • 提出“无记忆性”：已失败(k)次后，仍需继续尝试的规律与从头开始相同。
  • 最初应用：赌博策略设计（如首次出现“6点”所需投骰次数）。
• 严谨定义 概率质量函数： [ P(X=k) = p(1-p)^{k-1} \quad (k=1,2,\dots) ]
• 后续主要应用：
  • 网络传输中的重试机制建模。
  • 生态学中物种首次观测时间预测。

2. 负二项分布

• 发明背景：
  • 核心问题：蒙特莫特（Pierre Rémond de Montmort）扩展几何分布，研究第(r)次成功所需的试验次数。
  • 数学家思考：
    • 将问题分解为前(k-1)次试验中有(r-1)次成功，最后一次成功。
    • 通过组合数(\binom{k-1}{r-1})分配不同路径的可能性。
    • 泊松-伽玛混合分布的特例。
  • 最初应用：战争伤亡次数建模、流行病学中疾病复发间隔分析。
• 严谨定义 概率质量函数： [ P(X=k) = \binom{k-1}{r-1} p^r (1-p)^{k-r} \quad (k=r,r+1,\dots) ]
• 后续主要应用：
  • 保险业中的索赔次数预测（处理过离散数据）。
  • 生态学中物种分布的空间聚集性分析。

---

四、超几何分布（1838）

• 发明背景
  • 核心问题：德摩根（Augustus De Morgan）研究无放回抽样中的成功次数概率。
  • 数学家思考：
    • 类比扑克抽牌：若牌堆中已知有(K)张目标牌，抽取(n)张时成功数的概率受剩余牌影响。
    • 组合数比值(\frac{\binom{K}{k}\binom{N-K}{n-k}}{\binom{N}{n}})直观反映有利情况与总情况的比例。
    • 强调有限总体修正效应。

• 最初应用：
  • 产品质量抽检（如一批产品中次品数的无放回检测）。
  • 生物多样性调查（如标记重捕法中的个体捕获概率）。
• 严谨定义 概率质量函数： [ P(X=k) = \frac{\binom{K}{k} \binom{N-K}{n-k}}{\binom{N}{n}} ] 其中(k \leq \min(K,n))且(n-k \leq N-K)。
• 后续主要应用
  • 医学研究：病例对照研究中的暴露因素关联性检验。
  • 选举预测：小选区投票结果的抽样推断。

---

五、指数分布（1838）与伽玛分布（1838）

1. 指数分布

• 发明背景：
  • 核心问题：泊松（Siméon Poisson）研究事件间隔时间的无记忆性分布。
  • 数学家思考：
    • 从泊松过程出发，若事件发生率恒定，则间隔时间服从指数分布。
    • 提出“无记忆性”：已等待时间(s)不影响剩余等待时间的分布。
  • 最初应用：放射性衰变时间间隔、机械故障间隔建模。
• 后续主要应用：
  • 排队论中的服务时间建模（如M/M/1队列）。
  • 生存分析中的风险率恒定假设（如电子元件寿命）。

2. 伽玛分布

• 发明背景：
  • 核心问题：拉普拉斯希望描述多个独立指数事件叠加后的总时间分布。 将阶乘推广到实数，提出伽玛函数(\Gamma(\alpha)=\int_0^\infty x^{\alpha-1} e^{-x} dx)。
  • 数学家思考：
    • 若(X_1,X_2,\dots,X_n \overset{\text{iid}}{\sim} \text{Exp}(\lambda))，则(X_1+\dots+X_n)服从伽玛分布。
    • 形状参数(\alpha)控制分布形态（偏态程度），尺度参数(\beta)控制分散程度。
    • 定义伽玛分布为(f(x)=\frac{\beta^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\beta x})，作为指数分布的叠加（(\alpha)为整数时）。
  • 最初应用：保险业中的累积索赔金额建模、气象学中的降雨量分布。
• 严谨定义 概率密度函数： [ f(x) = \frac{\beta^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\beta x} \quad (x > 0) ]
• 后续主要应用：
  • 贝叶斯统计中的共轭先验（如泊松率(\lambda)的推断）。
  • 金融工程中的随机波动率建模（如Heston模型）。

---

六、威布尔分布（1939）

• 发明背景
  • 核心问题：威布尔（Waloddi Weibull）研究材料疲劳寿命的分布规律。
  • 数学家思考：
    • 通过幂函数变换(T = (X/\lambda)^k)将指数分布推广，使风险率可递增/递减。
    • 形状参数(k)解释实际失效机理（如(k>1)表示磨损累积）。

• 最初应用：
  • 金属疲劳断裂时间预测。
  • 风速分布建模（风能资源评估）。
• 严谨定义 概率密度函数： [ f(x) = \frac{k}{\lambda} \left( \frac{x}{\lambda} \right)^{k-1} e^{-(x/\lambda)^k} \quad (x \geq 0) ]
• 后续主要应用
  • 可靠性工程：机械零件寿命的加速失效测试。
  • 生存分析：癌症患者生存时间建模（考虑风险率随时间变化）。

---

七、贝塔分布（1763）

• 发明背景
  • 核心问题：贝叶斯（Thomas Bayes）研究二项分布参数(p)的先验概率建模。
  • 数学家思考：
    • 选择共轭先验形式，使得后验分布仍为贝塔分布，便于计算。
    • 参数(\alpha,\beta)可理解为“伪试验次数”（如(\alpha-1)次成功，(\beta-1)次失败）。

• 最初应用：
  • 二项分布参数(p)的贝叶斯推断（如选举支持率估计）。
  • 比例数据的先验信息量化（如药物有效率范围设定）。
• 严谨定义 概率密度函数： [ f(p) = \frac{p^{\alpha-1} (1-p)^{\beta-1}}{B(\alpha,\beta)} \quad (0 \leq p \leq 1) ] 其中(B(\alpha,\beta)=\frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha+\beta)})为贝塔函数。
• 后续主要应用
  • 金融模型：随机波动率建模（混合贝塔分布描述收益率高峰厚尾）。
  • 可靠性分析：系统可靠度的贝叶斯拟合（利用两点优化法减少误差）。
  • 能源预测：风电功率波动区间估计（结合偏态数据拟合）。

---

八、对数正态分布（1879）

• 发明背景
  • 核心问题：高尔顿（Francis Galton）研究乘积效应下的分布形态（如财富积累）。
  • 数学家思考：
    • 若(X=e^{Y})且(Y \sim N(\mu,\sigma^2))，则(X)的分布右偏，适用于“增长速率随机”的场景。
    • 对数变换将乘法效应转化为加法效应，从而利用正态分布性质。

• 最初应用：
  • 经济学中的收入分布建模（帕累托定律补充）。
  • 生物学中的细胞分裂时间分析。
• 严谨定义 概率密度函数： [ f(x) = \frac{1}{x\sigma\sqrt{2\pi}} e^{-\frac{(\ln x – \mu)^2}{2\sigma^2}} \quad (x > 0) ]
• 后续主要应用
  • 寿命分析：机械零件疲劳寿命建模（与威布尔分布互补）。
  • 环境科学：污染物浓度分布拟合（如PM2.5浓度）。
  • 金融衍生品定价：股票价格随机过程建模（Black-Scholes模型假设）。

---

九、F分布（1924）与方差分析

1. F分布

• 发明背景：
  • 核心问题：费舍尔（Ronald Fisher）比较两组方差以判断均值差异显著性。
  • 数学家思考：
    • 构造方差比统计量(F = \frac{\text{组间方差}}{\text{组内方差}})，其分布反映随机波动与真实效应的比例。
    • 通过卡方分布与自由度调整，适应不同样本量场景。
  • 最初应用：农业试验中的肥料效果比较（如小麦产量方差分析）。
• 严谨定义 概率密度函数： [ f(x) = \frac{\sqrt{\frac{(d_1 x)^{d_1} d_2^{d_2}}{(d_1 x + d_2)^{d_1 + d_2}}}}{x B(d_1/2, d_2/2)} \quad (x > 0) ]
• 后续主要应用：
  • 多元回归模型的整体显著性检验（如ANOVA表）。
  • 金融风险管理中的波动率比率检验（如GARCH模型参数）。

---

总结：分布发展的时间轴与逻辑脉络

1. 古典概率（17–18世纪） ：伯努利、均匀、二项、几何、负二项分布，解决赌博与人口统计问题。
2. 连续分布革命（19世纪） ：正态、指数、伽玛、超几何分布，推动误差分析与物理建模。
3. 现代统计奠基（20世纪初） ：卡方、t、F分布，支撑小样本推断与实验设计。
4. 工程与金融扩展（20世纪中后期） ：威布尔、贝塔、对数正态分布，解决可靠性、贝叶斯推断与非对称数据。
5. 计算与高维时代（21世纪） ：Copula、极值分布，应对复杂依赖与极端风险。

这一框架从单变量到多变量、从对称到偏态、从频率学派到贝叶斯学派，为多元统计分析提供了完整的分布基础。