极大似然估计、最大后验分布、贝叶斯估计

1 贝叶斯公式

1. 贝叶斯公式

$$P(\theta|X) = \frac{P(X|\theta)}{P(X)}P(\theta)$$

• $P(\theta)$是$\theta$的先验分布，$P(X)$是$X​$的先验分布
• $P(\theta|X)​$是$\theta ​$的后验分布，$P(X|\theta)​$是$X​$的后验分布
• $\frac{P(X|\theta)}{P(X)}$称为标准似然比，表示事件$X$样本对参数$\theta$的支持程度

2 极大似然估计

$$l(\theta) = \log P(X|\theta) = \log \prod_{i}P(x_i|\theta) = \sum_i\log P(x_i|\theta)$$

3 最大后验估计

1. 最大后验估计公式： $$arg\max_{\theta}\ P(\theta|X) \\ = arg\max_{\theta}\ \frac{P(X|\theta)P(\theta)}{P(X)} \\ = arg\max_{\theta}\ P(X|\theta)P(\theta) \\ = arg\max_{\theta}\ (\prod_i P(x_i|\theta))P(\theta) \\ = arg\max_{\theta}\ \log(\prod_i P(x_i|\theta))P(\theta) \\ = arg\max_{\theta}\ \sum_i\log(P(x_i|\theta))+\log P(\theta)$$

2. 最大后验估计不只是关注当前的样本的情况，还关注已经发生过的先验知识。样本很少的时候我们的观测结果很可能出现偏差，此时先验知识会把估计的结果“拉”向先验。

3. 对于二项分布，可以采用$Beta(\alpha, \beta)$作为参数的先验估计 $$x\sim Beta(\alpha,\beta)\\ f(x;\alpha,\beta) = \frac{1}{\Beta(\alpha,\beta)} x^{\alpha - 1}(1-x)^{\beta - 1}$$

4 贝叶斯估计

1. 特点：

2. 贝叶斯估计是最大后验估计的进一步扩展，贝叶斯估计同样假定$\theta$是一个随机变量，但贝叶斯估计并不是直接估计出的$\theta$某个特定值，而是估计$\theta$的分布

3. 由于是计算概率分布，此时分母的$P(X)$就不能忽略了

4. 公式 $$P(\theta|X) = \frac{P(X|\theta)P(\theta)}{\int_{\Theta}P(X|\theta)P(\theta) d\theta}$$

5. 共轭先验

6. 在贝叶斯统计中，如果后验分布与先验分布属于同类，则先验分布与后验分布被称为共轭分布，而先验分布被称为似然函数的共轭先验。

7. 对于一个特定的似然函数，如果我们选定一个先验概率分布，得到的后验概率分布和先验概率分布相同，则似然函数分布和先验概率分布就组成了一对共轭分布。此时训练出来的是后验概率分布

8. 若$P(X| \theta)$是二项分布，$P(\theta)$是$Beta$分布，则$P(\theta|X )$也是$Beta$分布, 所以$Beta$分布是二项分布的共轭分布
9. 若$P(X| \theta)$是高斯分布，$P(\theta)$是高斯分布，则$P(\theta|X )​$也是高斯分布, 所以高斯分布是高斯分布的共轭分布
10. 若$P(X| \theta)​$为多项式分布，$P(\theta) ​$为$Dirichlet​$分布($Beta​$分布的一个扩展)，则$P(\theta|X )​$也为$Dirichlet​$分布，所以$Dirichlet ​$分布是多项式分布的共轭分布
11. 指数分布参数的共轭先验是$Gamma​$分布

12. 泊松分布的共轭先验是$Gamma​$分布

13. 计算过程

14. 以抛硬币为例，假设有一枚硬币，现在要估计其正面朝上的概率$\theta ​$。为了对$\theta​$ 进行估计，进行了$10​$次独立同分布实验, 其中正面朝上的次数为6次，反面朝上的次数为4次，结果为$(1,0,1,1,0,0,0,1,1,1)​$

15. 可以知道，$Beta$分布是二项分布的共轭分布，所以设$P(\theta) \sim Beta(\alpha, \beta)$ $$P(\theta) = f(\theta;\alpha, \beta) = \frac{1}{\Beta(\alpha, \beta)}\theta^{\alpha - 1}(1 - \theta)^{\beta - 1}\\ P(\theta|X) = \frac{P(X|\theta)P(\theta)}{\int_{\Theta}P(X|\theta)P(\theta) d\theta} \\ = \frac{\theta^6(1-\theta)^4\theta^{\alpha - 1}(1-\theta)^{\beta - 1}}{\Beta(\alpha, \beta)} = \frac{1}{\Beta(\alpha, \beta)}\theta^{\alpha + 6 - 1}(1 - \theta)^{\beta + 4 - 1}\\ $$ 可以得到，$P(\theta|X) \sim Beta(\alpha + 6, \beta + 4)$

16. 可以通过分布，分析$\theta$的均值和方差

17. 而是用来估计新测量数据出现的概率，对于新出现的数据$x^*$ $$P(x^*|X) = \int_{\Theta} P(x^*|\theta)P(\theta|X) = \int_{\Theta} P(x^*|\theta)\frac{P(X|\theta)P(\theta)}{\int_{\Theta}P(X|\theta)P(\theta) d\theta}$$