PRML笔记 - Logistic Regression 的贝叶斯方法

Posted on 2019-04-06 Edited on 2021-10-26 In Algorithm

实际上对于 Logistic Regression 也是可以应用贝叶斯方法的。但直接应用非常困难。因为在贝叶斯框架下计算后验概率，我们需要对其做归一化的操作。而在 Logistic Regression 中，假设我们有 N 个数据点，那么在似然函数中就会有 N 个 sigmoid 函数连乘。这在归一化时会很麻烦，基本告别解析计算。

后验分布

因此，我们在 Logistic Regression 中使用贝叶斯框架时会使用一定的近似，这里以之前阐述的 Laplace Approximation 为例。首先我们有参数 $w$ 的高斯先验分布

$p (w) = N (w | m_{0}, S_{0})$

我们可以写出后验分布如下

$p (w | t) \propto p (w) p (t | w)$

其中， $t = (t_{1}, . . ., t_{N})^{T}$ ，即是训练数据的0-1正确标签， $p (t | w) = \prod_{n = 1}^{N} y_{n}^{t_{n}} (1 - y_{n})^{1 - t_{n}}$ 为似然函数， $y_{n} = σ (w^{T} ϕ_{n})$ 。那么两边取对数有

$\ln p (w | t) = - \frac{1}{2} (w - m_{0})^{T} {S_{0}}^{- 1} (w - m_{0}) + \sum_{n = 1}^{N} [t_{n} \ln y_{n} + (1 - t_{n}) \ln (1 - y_{n})] + c o n s t$

对 $p (w | t)$ 使用 Laplace Approximation。首先我们对 $p (w | t)$ 使用极大似然法，取其梯度为 0 的地方得到 $w_{MAP}$ ，作为 Laplace Approximation 的均值。同时根据公式我们可以得到 Laplace Approximation 的方差为

$S_{N} = - \nabla \nabla \ln p (w | t) = {S_{0}}^{- 1} + \sum_{n = 1}^{N} y_{n} (1 - y_{n}) ϕ_{n} ϕ_{n}^{T}$

所以使用 Laplace Approximation 近似得到的结果为

$p (w | t) \approx q (w) = N (w | w_{MAP}, S_{N})$

预测分布

当然我们仅有 $q (w)$ 是不够的，我们更感兴趣的是类别的预测分布。给定一个特征向量 $ϕ (x)$ ，它的预测分布如下

$p (C_{1} | ϕ, t) = \int p (C_{1} | ϕ, w) p (w | t) d w \approx \int σ (w^{T} ϕ) q (w) d w$

对于二分类问题， $p (C_{2} | ϕ, t) = 1 - p (C_{1} | ϕ, t)$ 。为了计算预测分布，我们首先注意到函数 $σ (w^{T} ϕ)$ 对于 $w$ 的依赖只通过它在 $ϕ$ 上的投影实现。为了简便，我们记 $a = w^{T} ϕ$ ，然后改写如下

$σ (w^{T} ϕ) = \int δ (a - w^{T} ϕ) σ (a) d a$

我们记 $δ (.)$ 为 delta 函数，即只在 0 处为非零值，且在整个实数域上的积分为1。对于 $p (a)$ ，我们可以认为 delta 函数给 $w$ 施加了一个线性限制，因此在所有与 $ϕ$ 正交的方向上积分，就得到了联合概率分布 $q (w)$ 的边缘分布。（没理解Orz）

$p (a) = \int δ (a - w^{T} ϕ) q (w) d w$

则有

$\int σ (w^{T} ϕ) q (w) d w = \int σ (a) p (a) d a$

显然（显然个屁，不懂） $a$ 也是满足高斯分布的，我们有

$μ_{a} = \int p (a) a d a = \int q (w) w^{T} ϕ d w = w_{M A P}^{T} ϕ$

$\begin{aligned} σ_{a}^{2} & = var [a] = \int p (a) {a^{2} - μ_{a}^{2}} d a \\ = ϕ^{T} S_{N} ϕ \end{aligned}$

所以最后就是

$p (C_{1} | t) = \int σ (a) p (a) d a = \int σ (a) N (a | μ_{a}, σ_{a}^{2}) d a$