PRML笔记 - 贝叶斯多项式曲线拟合

整本 PRML 翻来覆去地讲贝叶斯思想。这里做一些与贝叶斯有关的内容的笔记。本来是做成一篇博客的,但奈何实在太长,分为3个部分来发。今天先讲贝叶斯多项式曲线拟合。

贝叶斯概率

我们先通过一个简单的推导得到贝叶斯公式。假设有联合分布 \(P(X,Y)\),我们容易有\(P(X,Y)=P(X|Y)P(Y)=P(Y|X)P(X)\)。因此可以推断得到贝叶斯公式如下

\[P(Y|X)=\frac{P(X|Y)P(Y)}{P(X)}\]

以上这个公式就是一切的万恶之源基石,接下来我们看看基于这个公式都能干些啥。

贝叶斯多项式曲线拟合

我们考虑一个多项式拟合问题。假设我们的模型为 \(y(x, \boldsymbol{w})=\sum_{j=0}^{M}w_jx^j\)\(M\) 为多项式阶数,多项式系数 \(w_0,...,w_M\) 整体记为 \(\boldsymbol{w}\)。假设我们有 \(N\) 个带噪声的观测数据 \(\boldsymbol{D}=\{t_1, ..., t_N\}\),其对应的输入为\(\boldsymbol{X}=\{x_1,...,x_N\}\)。我们最终需要求的是多项式系数 \(\boldsymbol{w}\)

注意到贝叶斯定理可以将观测到的数据融合,来把先验概率转化为后验概率。根据贝叶斯公式,我们有

\[ p(\boldsymbol{w} | \boldsymbol{D}) = \frac{p(\boldsymbol{D} | \boldsymbol{w})p(\boldsymbol{w})}{p(\boldsymbol{D})}\]

解释一下公式里各项的含义

  • \(p(\boldsymbol{D})\) 即为后验概率。
  • \(p(\boldsymbol{w})\) 为先验概率,包含了在观测到数据前关于 \(\boldsymbol{w}\) 的一些假设。
  • \(p(\boldsymbol{D} | \boldsymbol{w})\) 由观测数据集 \(\boldsymbol{D}\),可以认为是 \(\boldsymbol{w}\) 的函数,也被称为似然函数。表达了在不同 \(\boldsymbol{w}\) 下,观测数据出现的可能性大小。注意它不是 \(\boldsymbol{w}\) 的概率分布,因此它关于 \(\boldsymbol{w}\) 的积分一般不为 1
  • \(p(\boldsymbol{D})\) 可以认为是一个归一化系数,确保公式右侧的积分为 1

用自然语言来表述就是:后验概率正比于似然函数与先验概率的乘积。这三者都可以认为是 \(\boldsymbol{w}\) 的函数。实际上对上面公式做关于 \(\boldsymbol{w}\) 的积分,我们就可以求得 \(p(\boldsymbol{D})\)

\[p(\boldsymbol{D}) = \int p(\boldsymbol{D} | \boldsymbol{w})p(\boldsymbol{w})d\boldsymbol{w}\]

根据后验概率 \(p(\boldsymbol{w} | \boldsymbol{D})\),我们能估计在观测到 \(p(\boldsymbol{D})\) 之后 \(\boldsymbol{w}\) 的不确定性。

使用高斯模型

让我们回到多项式拟合上来。我们假设观测的噪声符合高斯分布,那么给定 \(x\) 的值,对应的 \(t\) 值服从高斯分布,分布的均值为 \(y(x, \boldsymbol{w})\),方差为 \(\beta^{-1}\)\(\beta\) 为精度参数,即方差的倒数。根据以上假设,我们有

\[p(t | x, \boldsymbol{w},\beta) = \mathscr{N}(t | y(x, \boldsymbol{w},\beta^{-1})) \]

通过训练数据 \(\{ \boldsymbol{X}, \boldsymbol{D}\}\),我们可以得到似然函数为

\[p(\boldsymbol{D} | \boldsymbol{X}, \boldsymbol{w}, \beta) = \prod_{n=1}^{N} \mathscr{N}(t_n | y(x_n, \boldsymbol{w}), \beta^{-1})\]

取对数有

\[ \ln p(\boldsymbol{D} | \boldsymbol{X}, \boldsymbol{w}, \beta)=-\frac{\beta}2\sum{\{y(x_n, \boldsymbol{w})-t_n \}^2} + \frac N 2 \ln \beta - \frac N 2 \ln(2 \pi )\]

考虑多项式系数的最大似然解 \(\boldsymbol{w}_{ML}\),后两项以及前面的 $ $ 系数可以去掉。最大化似然函数其实就是最小化平方和误差,如下

\[ \boldsymbol{w}_{ML}=min \sum{\{y(x_n, \boldsymbol{w})-t_n \}^2} \]

也可以用最大似然方法确定高斯条件分布的精度参数 \(\beta\)。对其求关于 \(\boldsymbol{w}\) 的偏导数,并令其导数为 0,有

\[\frac 1 {\beta_{ML}} = \frac 1 N \sum_{n=1}^N \{y(x_n, \boldsymbol{w}_{ML})-t_n \}^2\]

根据以上确定的 \(\boldsymbol{w}\)\(\beta_{ML}\),便可以对新的 \(x\) 值进行预测。其预测可以通过 \(t\) 的概率分布给出

\[p(t | x, \boldsymbol{w}_{ML},\beta_{ML})=\mathscr{N}(t|y(x,\boldsymbol{w}_{ML}), {\beta_{ML}}^{-1})\]

考虑先验信息

但这个所谓的预测并没有考虑先验概率,我们需要把它加上。我们假设 \(\boldsymbol{w}\) 的先验分布为

\[p(\boldsymbol{w} | \alpha) = \mathscr{N}(\boldsymbol{w}|\boldsymbol{0},{\alpha}^{-1} \boldsymbol{I})=(\frac{\alpha}{2 \pi})^{(M+1)/2}exp\{-\frac{\alpha}{2}\boldsymbol{w}^T\boldsymbol{w}\}\]

根据之前的表述后验概率正比于似然函数与先验概率的乘积,我们有

\[p(\boldsymbol{w}| \boldsymbol{X},\boldsymbol{D},\alpha,\beta) \propto p(\boldsymbol{D}|\boldsymbol{X},\boldsymbol{w},\beta)p(\boldsymbol{w}|\alpha)\]

最大化后验概率称为 MAP 方法。对上式取对数后再求极值,后验概率取最大意味着下面这个式子取得最小值

\[\frac{\beta}2 \sum^{N}_{n=1} {\{y(x_n, \boldsymbol{w}-t_n)\}}^2+\frac{\alpha}2 \boldsymbol{w}^T\boldsymbol{w}\]

等一下,这个式子看起来是不是特别眼熟。没错,它其实是和带了正则惩罚项的最小二乘多项式拟合是一样的。在带正则惩罚的最小二乘多项式拟合中,式子如下

\[Error(\boldsymbol{w})=\frac{1}{2} \sum^N_{n=1}{\{y(x_n, \boldsymbol{w}-t_n)\}}^2+ \frac{\lambda}2\boldsymbol{w}^T\boldsymbol{w}\]

其实将 \(\lambda= \frac{\alpha}{\beta}\) 带入,可以发现二者是等价的。