车载语音助手系统:多模态拒识模块并上线车载轻车机
双工语音助手主要流程:ASR、NLU、拒识模块、对话管理;拒识模块作用是防误闯,提高意图识别准确率。
1. 从多维度抽取音频特征,并考虑样本数据的缺陷,完成构建特征工程,独立训练多种机器学习模型,模
型准确率从 86%提升至 95%
2. 在 Android 上复现 python 的特征抽取库函数 8 个,剔除依赖的 jar 包,特征抽取时间由 500-600ms 降至
150-250ms;在 ASR 内部抽取有效音频,特征抽取时间压缩到 10-60ms.
3. 在 Android 上完成 lightgbm 的算法推理,单句指令实时在线推理时间由 7ms 减小到 1ms,将模型部署
到 Android,实现机器学习模型跨平台上线。
4. 基于 VAD 切割 7w+有效音频并清洗数据,对音频特征进行无监督聚类、XGBoost 和 Kmeans 半监督学习;
辅助音频数据分类标注,辅助拒识模块分析特征,提升模型的准确性。