连续语音识别

概念定义

连续语音识别（Continuous speech recognition）是一种对连续音频流进行实时解码，并将其中的语音内容转化为文字的计算机科学技术。它面向自然、持续的语音输入，可用于人机交互，并能结合流式处理模式，在音频持续输入的同时逐步输出识别结果。

连续语音识别系统首先检测音频流中的有效语音，并过滤噪声干扰，再从语音信号中提取可供模型处理的声学特征。常用特征包括线性预测倒谱系数（LPCCs）和梅尔频率倒谱系数（MFCCs）。系统随后利用声学模型分析特征与识别单元之间的对应关系，并结合语言模型处理文字序列。

解码阶段负责把模型输出转换成文字结果，可采用连接时序分类（CTC）算法，也可结合隐马尔可夫模型与Viterbi算法完成序列解码。流式模式会持续接收音频并实时处理，部分系统还支持标点预测，使输出内容形成带标点的文字。

连续语音识别的核心组成包括有效语音检测与降噪、声学特征提取、声学模型、语言模型和解码器。声学模型可采用深度神经网络（DNN）、循环神经网络（RNN）、Transformer或Conformer等结构，不同模型负责从连续声学信息中建立语音与文字之间的映射。

Paraformer属于非自回归模型，可通过预测文字个数提高推理效率。RWKV-RNN-T模型则用于实现无chunk的低延迟推理。此类模型与流式处理、语音检测及解码模块结合后，可让系统在说话过程尚未完全结束时持续产生识别文字。

连续语音识别广泛用于智能音箱交互、在线会议转写和车载语音响应。在车载环境中，它可用于持续接收驾乘人员的语音指令，并与双区域唤醒识别、多音区识别等功能配合，区分不同位置的语音交互需求。相关系统也可支持方言识别，扩大可处理的语音类型。

在连续对话场景中，免唤醒识别可减少反复使用唤醒词的操作；部分相关功能可支持120秒连续对话。连续语音识别还可将实时解码结果交给后续人机交互模块，使智能音箱、会议系统或车载系统依据识别文字执行响应。

连续语音识别的发展与非特定人大词汇量识别系统有关，早期相关系统由卡耐基梅隆大学开发。其技术路线此后逐步扩展至深度神经网络、循环神经网络、Transformer、Conformer及非自回归模型，并进一步结合流式解码、低延迟推理、免唤醒交互、方言识别和多音区识别等能力。