高手问答第 292 期 —— 实时互动娱乐场景下如何提升RTC音频引擎音质 顶

传统RTC(语音通信)场景音频引擎的整个处理链路如3A算法、编解码、丢包补偿等技术仅针对语音做处理。而实时互动娱乐场景(如主播连麦、互动播客、游戏语音等)会涉及到音乐、音效等,以优化语音质量为目标的音频引擎在面对这场景时,经过算法处理后的音质会大打折扣。例如语音场景双讲问题出现的频率较低,然而在音乐一直播放时,只要对端说话,就会形成双讲,如果回声消除处理不好,就会对语音或者音乐造成很大的损伤;又如降噪算法在遇到音乐时也不可避免的对音乐产生损伤。因此在实时互动娱乐场景下需要对音频引擎的整个音频算法处理链路做出针对性的优化,以尽量提升实时互动娱乐场景下的音质。

OSCHINA 本期高手问答 (9 月 14 日 - 9 月 20 日) 我们请来了徐潇宇老师和大家一起探讨关于实时互动娱乐场景音频引擎整个链路的音频算法优化方向

可讨论的问题包括但不限于:

  • 音频采集
  • 回声消除
  • 降噪
  • AGC
  • 丢包补偿
  • 编解码
  • 传统算法与深度学习结合优化

或者其它关于实时互动娱乐场景音频引擎整个链路的音频算法优化方向相关问题,也欢迎大家积极提问!

嘉宾介绍

徐潇宇,荔枝资深音频算法工程师,精通数字信号处理、自适应滤波、3A算法、深度学习等,在荔枝负责通过传统音频算法+深度学习打造互动娱乐场景下的高音质RTC音频引擎。

github 账号https://github.com/ewan-xu

为了鼓励踊跃提问,荔枝集团会在问答结束后从提问者中抽取 5 名幸运会员赠予荔枝2022年度致敬T。

高手问答第 292 期 —— 实时互动娱乐场景下如何提升RTC音频引擎音质
                                    顶

OSChina 高手问答一贯的风格,不欢迎任何与主题无关的讨论和喷子。

下面欢迎大家就实时互动娱乐场景音频引擎整个链路的音频算法优化方向相关问题向徐潇宇老师提问,请直接回帖提问。

回答

web端如何做实时语音交互