机器学习3——参数估计之极大似然估计

参数估计

问题背景：

$$\begin{array}{rl}& P\left({\omega }_i\mid \mathbf{x}\right)=\frac{p\left(\mathbf{x}\mid {\omega }_i\right)P\left({\omega }_i\right)}{p(\mathbf{x})}\\ & p(\mathbf{x})=\sum _{j=1}^{c}p\left(\mathbf{x}\mid {\omega }_j\right)P\left({\omega }_j\right)\end{array}$$

• 说明：要计算后验概率 $P\left({\omega }_i\mid \mathbf{x}\right)$ ，需要知道：
• $p\left(\mathbf{x}\mid {\omega }_i\right)$ ：类条件概率密度函数（似然）。
• $P\left({\omega }_i\right)$ ：类别 ${\omega }_i$ 的先验概率。

**如何得到这些值？需要从数据中估计。**对于先验概率：

• 数据集：

  D = { D 1 , D 2 , … , D c } D=\left\{D_1, D_2, \ldots, D_c\right\} D={D1​,D2​,…,Dc​}

  $D_j\text{ 包含类别 }{\omega }_j\text{ 的样本。 }$
  先验概率：
  $$P\left({\omega }_i\right)=\frac{\left|D_i\right|}{{\sum }_{i=1}^c\left|D_i\right|}$$

接下来的问题是如何估计类条件概率密度。本章将讨论的情况是，$p\left(\mathbf{x}\mid {\omega }_j\right)$ 具有参数化形式，例如高斯分布：
$$\begin{array}{c}p\left(\mathbf{x}\mid {\omega }_j\right)\sim \mathcal{N}\left({\mu }_j,{\Sigma }_j\right)\\ {\theta }_j={\left({\theta }_1,{\theta }_2,\dots ,{\theta }_m\right)}^T\end{array}$$

• 如果 $\mathbf{x}\in {\mathbb{R}}^d$ ，则 ${\theta }_j$ 包含 $d+\frac{d(d+1)}{2}$ 个自由参数（均值向量和协方差矩阵的元素）。
• ${\mu }_j$ ：均值向量，维度为 $d_{\text{。 }}$
• ${\Sigma }_j$ ：协方差矩阵，对称矩阵，包含 $\frac{d(d+1)}{2}$ 个唯一元素（因为 ${\Sigma }_{ij}={\Sigma }_{ji}$ ）。
• 总参数数量：$d$（均值）$+\frac{d(d+1)}{2}$（协方差）$=d+\frac{d(d+1)}{2}$ 。
• ${\theta }_j$ ：包含所有待估计参数的向量，例如均值和协方差的元素。

数据集与符号：

D = { D 1 , D 2 , … , D c } p ( x ∣ ω j ) = p ( x ∣ θ j ) \begin{aligned} & \mathcal{D}=\left\{\mathcal{D}_1, \mathcal{D}_2, \ldots, \mathcal{D}_c\right\} \\ & p\left(\mathbf{x} \mid \omega_j\right)=p\left(\mathbf{x} \mid \theta_j\right) \end{aligned} ​D={D1​,D2​,…,Dc​}p(x∣ωj​)=p(x∣θj​)​

类条件密度 $p\left(\mathbf{x}\mid {\omega }_j\right)$ 被表示为参数 ${\theta }_j$ 的函数，强化了参数化方法。

目标：使用 ${\mathcal{D}}_j$ 估计未知参数向量：
$${\theta }_j={\left({\theta }_1,{\theta }_2,\dots ,{\theta }_m\right)}^T$$

• 两种估计方法：

  • 最大似然估计（MLE）：

    • 把参数 $\theta$ 看作是固定但未知的值。我们观察到了数据，就用它来找出＂最有可能＂生成这些数据的参数值。即“Estimate parameter values by maximizing the likelihood (probability) of observing the actual examples.”
      ＂先有参数，再有数据；现在有了数据，反推参数。＂

    • 给定训练数据 D = { x 1 , … , x n } \mathcal{D}=\left\{x_1, \ldots, x_n\right\} D={x1​,…,xn​} ，我们假设它们是从分布 $p(x\mid \theta )$ 中独立采样出来的。最大似然的目标是：

      $${\hat{\theta }}_{\mathrm{MLE}}=\arg \underset{\theta }{\max }p\left(x_1,\dots ,x_n\mid \theta \right)=\arg \underset{\theta }{\max }\prod _{i=1}^{n}p\left(x_i\mid \theta \right)$$
      为了简化计算，我们通常取对数（log－likelihood）：
      $${\hat{\theta }}_{\mathrm{MLE}}=\arg \underset{\theta }{\max }\sum _{i=1}^n\log p\left(x_i\mid \theta \right)$$

  • 贝叶斯估计：

    • 把参数 $\theta$ 看作随机变量，它本身有个先验分布 $p(\theta )$ 。当我们观察到数据 $\mathcal{D}$ 后，用贝叶斯公式将先验更新为后验 $p(\theta \mid \mathcal{D})$ 。
      ＂参数不是一个确定值，而是一个不确定的分布。看到数据后，我只是更新了我对它的信念。＂

    • 根据贝叶斯公式：

      $$p(\theta \mid \mathcal{D})=\frac{p(\mathcal{D}\mid \theta )\cdot p(\theta )}{p(\mathcal{D})}$$
      其中：

      • $p(\mathcal{D}\mid \theta )$ ：似然（和MLE一样）；
      • $p(\theta )$ ：先验；
      • $p(\mathcal{D})$ ：对所有参数的积分（保证后验是个合法分布）；

      有了后验分布 $p(\theta \mid \mathcal{D})$ 后，可以：

      • 求它的最大后验估计（MAP）：

      $${\hat{\theta }}_{\mathrm{MAP}}=\arg \underset{\theta }{\max }p(\theta \mid \mathcal{D})$$

      • 或者使用后验分布的期望作为估计。

最大似然估计

以多元高斯分布为例讲解MLE的应用。

假设我们有一个观测数据集：

D = { x 1 , x 2 , … , x n } \mathcal{D}=\left\{\mathbf{x}_1, \mathbf{x}_2, \ldots, \mathbf{x}_n\right\} D={x1​,x2​,…,xn​}

这些样本被认为是从某个参数为 $\theta$ 的概率分布中独立同分布采样得到的。
因为样本独立，整个数据集出现的联合概率是各样本概率的乘积：
$$p(\mathcal{D}\mid \theta )=p\left({\mathbf{x}}_1\mid \theta \right)p\left({\mathbf{x}}_2\mid \theta \right)\dots p\left({\mathbf{x}}_n\mid \theta \right)\prod _{k=1}^{n}p\left({\mathbf{x}}_k\mid \theta \right)$$

我们把这个函数看作 $\theta$ 的函数，叫做似然函数，记作：

$$L(\theta \mid \mathcal{D})=\prod _{k=1}^{n}p\left({\mathbf{x}}_k\mid \theta \right)$$
最大似然估计就是选择一个 $\hat{\theta }$ 使得这个似然函数最大化：
$$\hat{\theta }=\arg \underset{\theta }{\max }L(\theta \mid \mathcal{D})$$

也就是说，找到让观测数据“最可能”出现的参数值。我们对其取自然对数，得到对数似然函数：

$$l(\theta \mid \mathcal{D})=\ln L(\theta \mid \mathcal{D})=\sum _{k=1}^n\ln p\left({\mathbf{x}}_k\mid \theta \right)$$
MLE目标转化为：

$$\hat{\theta }=\arg \underset{\theta }{\max }l(\theta \mid \mathcal{D})$$

• 情况 I：协方差 $\Sigma$ 已知，仅估计均值 $\mu$

  高斯概率密度函数（PDF）：

  对于一个 $d$ 维特征向量 $\mathbf{x}$：
  $$p(\mathbf{x}\mid \mu ,\Sigma )=\frac{1}{(2\pi {)}^{d/2}|\Sigma {|}^{1/2}}\exp \left[-\frac{1}{2}(\mathbf{x}-\mu {)}^T{\Sigma }^{-1}(\mathbf{x}-\mu )\right]$$

  似然函数（所有样本联合概率）：
  $$L(\mu \mid \mathcal{D})=\prod _{k=1}^{n}p({\mathbf{x}}_k\mid \mu )$$

  代入高斯密度函数后，乘积项包含了指数和常数项。

  对数似然函数：

  取自然对数后得：
  $$l(\mu \mid \mathcal{D})=-\ln (2\pi {)}^{nd/2}-\ln |\Sigma {|}^{n/2}-\frac{1}{2}\sum _{k=1}^n({\mathbf{x}}_k-\mu {)}^T{\Sigma }^{-1}({\mathbf{x}}_k-\mu )$$
  前两个是常数项，不影响优化，目标函数实质上是最小化平方误差项。

  MLE求解过程（以 $\mu$ 为例）

  我们对对数似然函数对 $\mu$ 求导，并令其为零：
  $${\nabla }_{\mu }l(\mu \mid \mathcal{D})=\sum _{k=1}^n{\Sigma }^{-1}({\mathbf{x}}_k-\mu )=0$$
  移项得到：
  $$\sum _{k=1}^n({\mathbf{x}}_k-\mu )=0\Rightarrow \mu =\frac{1}{n}\sum _{k=1}^n{\mathbf{x}}_k$$

  结论：

  最大似然估计下，未知均值 $\mu$ 的估计值就是样本均值（Sample Mean）。

• 情况 II：均值和方差都未知

  我们现在假设数据是从一个一维高斯分布（正态分布）中采样的：
  $$p(x\mid \mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)$$
  但此时我们不知道这个分布的均值 μ 和方差 σ²，我们要用样本数据 D = { x 1 , x 2 , … , x n } \mathcal{D} = \{x_1, x_2, \dots, x_n\} D={x1​,x2​,…,xn​} 来估计这两个参数。

  我们的方法是：对参数 $\theta =(\mu ,{\sigma }^2{)}^T$ 使用极大似然估计（MLE）。

  我们有 n 个独立同分布的样本 $x_1,x_2,\dots ,x_n$，所以似然函数是：
  $$L(\theta \mid \mathcal{D})=\prod _{k=1}^{n}p(x_k\mid \theta )$$
  代入高斯分布的公式，得到：
  $$L(\theta \mid \mathcal{D})=\frac{1}{(2\pi {)}^{n/2}{\sigma }^n}\exp \left(-\frac{1}{2{\sigma }^2}\sum _{k=1}^n(x_k-\mu {)}^2\right)$$
  对数似然函数是：
  $$l(\theta \mid \mathcal{D})=-\frac{n}{2}\ln (2\pi )-\frac{n}{2}\ln ({\sigma }^2)-\frac{1}{2{\sigma }^2}\sum _{k=1}^n(x_k-\mu {)}^2$$
  这里为了后续方便我们记：

  • ${\theta }_1=\mu$
  • ${\theta }_2={\sigma }^2$

  写成统一的形式：
  $$l(\theta )=-\frac{n}{2}\ln (2\pi )-\frac{n}{2}\ln ({\theta }_2)-\frac{1}{2{\theta }_2}\sum _{k=1}^n(x_k-{\theta }_1{)}^2$$
  我们对 ${\theta }_1=\mu$ 和 ${\theta }_2={\sigma }^2$ 分别求导：

  对 ${\theta }_1=\mu$ 求导：
  $$\frac{\partial l}{\partial {\theta }_1}=\frac{1}{{\theta }_2}\sum _{k=1}^n(x_k-{\theta }_1)=\frac{1}{{\theta }_2}\left(\sum _{k=1}^n{x}_k-n{\theta }_1\right)$$

  令导数为 0：
  $$\sum _{k=1}^n{x}_k=n{\theta }_1\Rightarrow {\theta }_1=\frac{1}{n}\sum _{k=1}^n{x}_k=\hat{\mu }$$
  对 ${\theta }_2={\sigma }^2$ 求导：
  $$\frac{\partial l}{\partial {\theta }_2}=-\frac{n}{2{\theta }_2}+\frac{1}{2{\theta }_2^2}\sum _{k=1}^n(x_k-{\theta }_1{)}^2$$

  令导数为 0：
  $$-\frac{n}{2{\theta }_2}+\frac{1}{2{\theta }_2^2}\sum _{k=1}^n(x_k-{\theta }_1{)}^2=0$$
  结论：极大似然估计值

  • 均值的MLE为样本均值：
    $$\hat{\mu }=\frac{1}{n}\sum _{k=1}^n{x}_k$$

  • 方差的MLE为样本方差（无偏性需除以 $n-1$，但MLE 是除以 n）：
    $${\hat{\sigma }}^2=\frac{1}{n}\sum _{k=1}^n(x_k-\hat{\mu }{)}^2$$

  方差的估计偏差是一个经典的证明。

  MLE 对一维正态分布的方差估计为：
  $${\sigma }_{ML}^2=\frac{1}{n}\sum _{i=1}^n(x_i-{\mu }_{ML}{)}^2$$
  将平方项展开：
  $$=\frac{1}{n}\sum _{i=1}^n\left(x_i^2-2x_i{\mu }_{ML}+{\mu }_{ML}^2\right)=\frac{1}{n}\sum _{i=1}^n{x}_i^2-2{\mu }_{ML}\cdot \frac{1}{n}\sum _{i=1}^n{x}_i+{\mu }_{ML}^2=\frac{1}{n}\sum _{i=1}^n{x}_i^2-{\mu }_{ML}^2$$
  求期望：
  $$E[{\sigma }_{ML}^2]=\frac{1}{n}\sum _{i=1}^{n}E[x_i^2]-E[{\mu }_{ML}^2]$$
  已知：
  $$E[x_i^2]=\text{Var}(x_i)+[E(x_i){]}^2={\sigma }^2+{\mu }^2$$
  而样本均值的平方的期望为：
  $$E[{\mu }_{ML}^2]=\text{Var}({\mu }_{ML})+[E({\mu }_{ML}){]}^2=\frac{{\sigma }^2}{n}+{\mu }^2$$
  代入得：
  $$E[{\sigma }_{ML}^2]=({\sigma }^2+{\mu }^2)-\left(\frac{{\sigma }^2}{n}+{\mu }^2\right)={\sigma }^2-\frac{{\sigma }^2}{n}=\frac{n-1}{n}{\sigma }^2$$
  结论： 方差的最大似然估计存在偏差，其期望为 $\frac{n-1}{n}{\sigma }^2$，因此也是一个有偏估计。类似前页的协方差，需要进行修正才能成为无偏估计。