PRML笔记 - Logistic Regression 的贝叶斯方法
实际上对于 Logistic Regression 也是可以应用贝叶斯方法的。但直接应用非常困难。因为在贝叶斯框架下计算后验概率，我们需要对其做归一化的操作。而在 Logistic Regression 中，假设我们有 N 个数据点，那么在似然函数中就会有 N 个 sigmoid 函数连乘。这在归一化时会很麻烦，基本告别解析计算。
后验分布
因此，我们在 Logistic Regression 中使用贝叶斯框架时会使用一定的近似，这里以之前阐述的 Laplace Approximation 为例。首先我们有参数 \(\mathbf{w}\) 的高斯先验分布
\[p(\mathbf{w})=N(\mathbf{w}|\mathbf{m_0},\mathbf{S_0})\]
我们可以写出后验分布如下
\[p(\mathbf{w}|\mathbf{t}) \propto p(\mathbf{w})p(\mathbf{t}|\mathbf{w})\]
其中，\(\mathbf{t}=(t_1,...,t_N)^T\)，即是训练数据的0-1正确标签，\(p(\mathbf{t}|\mathbf{w})=\prod_{n=1}^Ny_n^{t_n}(1-y_n)^{1-t_n}\) 为似然函数，\(y_n=\sigma(\mathbf{w}^T\phi_n)\)。那么两边取对数有
\[\ln p(\mathbf{w}|\mathbf{t})=-\frac12(\mathbf{w}-\mathbf{m_0})^T\mathbf{S_0}^{-1}(\mathbf{w}-\mathbf{m_0})+\sum_{n=1}^{N}\left[t_n \ln y_n+(1-t_n)\ln(1-y_n) \right]+const\]
对 \(p(\mathbf{w}|\mathbf{t})\) 使用 Laplace Approximation。首先我们对 \(p(\mathbf{w}|\mathbf{t})\) 使用极大似然法，取其梯度为 0 的地方得到 \(\mathbf{w_{MAP}}\)，作为 Laplace Approximation 的均值。同时根据公式我们可以得到 Laplace Approximation 的方差为
\[\mathbf{S_N}=-\nabla \nabla \ln p(\mathbf{w}|\mathbf{t})=\mathbf{S_0}^{-1}+\sum_{n=1}^Ny_n(1-y_n)\phi_n\phi_n^T\]
所以使用 Laplace Approximation 近似得到的结果为
\[p(\mathbf{w}|\mathbf{t}) \approx q(\mathbf{w})=\mathcal{N}(\mathbf{w}|\mathbf{w_{MAP}},\mathbf{S_N})\]
预测分布
当然我们仅有 \(q(\mathbf{w})\) 是不够的，我们更感兴趣的是类别的预测分布。给定一个特征向量 \(\phi(x)\)，它的预测分布如下
\[p(C_1|\phi, \mathbf{t})=\int p(C_1|\phi,w)p(w|\mathbf{t}) \mathrm{d} \mathbf{w} \approx \int \sigma(\mathbf{w}^T \phi)q(\mathbf{w})\ \mathrm{d} \mathbf{w}\]
对于二分类问题， \(p(C_2|\phi, \mathbf{t})=1- p(C_1|\phi, \mathbf{t})\)。为了计算预测分布，我们首先注意到函数 \(\sigma(\mathbf{w}^T\phi)\) 对于 \(\mathbf{w}\) 的依赖只通过它在 \(\phi\) 上的投影实现。为了简便，我们记 \(a=\mathbf{w}^T \phi\)，然后改写如下
\[\sigma(\mathbf{w}^T \phi)=\int \delta(a-\mathbf{w}^T\phi)\sigma(a)\ \mathrm{d}a \]
我们记\(\delta(.)\) 为 delta 函数，即只在 0 处为非零值，且在整个实数域上的积分为1。对于 \(p(a)\) ，我们可以认为 delta 函数给 \(\mathbf{w}\) 施加了一个线性限制，因此在所有与 \(\phi\) 正交的方向上积分，就得到了联合概率分布 \(q(\mathbf{w})\) 的边缘分布。（没理解Orz）
\[p(a)=\int \delta(a-\mathbf{w}^T \phi)q(\mathbf{w})\ \mathrm{d}\mathbf{w}\]
则有
\[\int\sigma(\mathbf{w}^T\phi)q(\mathbf{w})\mathrm{d}\mathbf{w}=\int\sigma(a)p(a)\ \mathrm{d}a\]
显然（显然个屁，不懂） \(a\) 也是满足高斯分布的，我们有
\[ \mu_a=\int p(a)a\ \mathrm{d}a=\int q(\mathbf{w}) \mathbf{w}^T \phi\ \mathrm{d} \mathbf{w}= \mathbf{w}^T_{MAP}\phi \]
\[\begin{aligned} \sigma_a^2&=\mathrm{var}[a]=\int p(a)\{a^2-\mu_a^2\}\ \mathrm{d}a \\ &= \phi^T \mathbf{S_N}\phi\end{aligned}\]
所以最后就是
\[p(C_1|\mathbf{t})=\int \sigma(a) p(a)\ \mathrm{d}a=\int\sigma(a)\mathcal{N}(a|\mu_a,\sigma_a^2)\ \mathrm{d}a\]