ASR解码器详解

Posted on 2021-10-26 In Algorithm

解码本质上是使用声学模型 $p (O, S | W)$ 和语言模型 $P (W)$ 在搜索空间里寻找最可能的词序列 $\hat{W}$ 。

假设句子 $W$ 由 $M_{W}$ 个词组成， $W = w_{1} . . . w_{M_{W}}$ 。那么

$\begin{aligned} \hat{W} & = \underset{W \in W_{a l l}}{\arg m a x} {\sum_{S \in S_{W}} p (O, S | W) P (W)} \\ = \underset{W \in W_{a l l}}{\arg m a x} {\sum_{S \in S_{W}} \prod_{m = 1}^{M_{W}} p (o_{t_{m - 1} + 1}^{t_{m}}, s_{t_{m - 1} + 1}^{t_{m}} | w_{m}) P (w_{m} | w_{1}^{m - 1})} \\ = \underset{W \in W_{a l l}}{\arg m a x} {\sum_{T \in T_{W}} \prod_{m = 1}^{M_{W}} \hat{p} (o_{t_{m - 1} + 1}^{t_{m}} | w_{m}) P (w_{m} | w_{1}^{m - 1})} \end{aligned}$

$W_{a l l}$ 为所有的合法词序列

$S_{W}$ 表示词序列 $W$ 可以对应的所有合法状态序列。

$p (o_{a}^{b}, s_{a}^{b} | w)$ 表示词 $w$ 沿着状态序列 $s_{a}, . . ., s_{b}$ 生成语音片段 $o_{a}, . . ., o_{b}$ 的概率。

$t_{m - 1} + 1$ 为词 $w_{m}$ 对应的观察的第一帧下标， $t_{m}$ 为词 $w_{m}$ 对应的观察的最后一帧下标，即 $t_{m - 1} + 1, . . ., t_{m}$ 是 $w_{m}$ 对应 $w_{m}$ 观察序列。

$T_{W}$ 代表词序列 $W$ 所有可能的结束帧的序列（间接表示了一种对齐方式），即 $T \in T_{W}$ 是一个时间序列 $t_{1}, . . ., t_{M_{W}}$ ，表示了词序列 $w_{1}, . . ., w_{M_{W}}$ 每个词最后一帧的时间。

在这里我们将整个模型转换为可以用 Viterbi 算法求解的 HMM 最佳状态序列的问题。这个 HMM 大约有 $| \overset{―}{S} | | Q |$ 个状态。 $| \overset{―}{S} |$ 为每个词 HMM 平均状态数，|Q| 为 FSQ 状态数（有限状态文法，表示语言模型）。可以认为 FSG 里每个状态就是一个词，状态之间的边表示可以从一个词跳转到另外一个词，把每个状态展开成这个词对应的 HMM，就得到了大的 HMM。一个例子如下