沈阳白癜风医院 http://baidianfeng.39.net/a_bdfzyyq/160213/4769999.html
点击上方“蓝色字”可 　　　

　　社交网络一路走来，先是文字+表情，接着是图片+短视频，现在是音视频社交强势崛起并成为潮流的时代。音视频社交将是社交网络的发展趋势，毕竟音视频才是人类最自然的社交方式。在自然的社交环境中，回声是十分影响沟通体验的。而在业界，回声消除技术是公认难啃的硬骨头。它本质上是一个复杂的数学问题的工程化。

　　AEC的原理

　　回声消除的原理在众多文章中都有介绍，简单地来说，远端的声音信号首先通过扬声器播放出来，然后在房间中经过多个传播和反射路径，最后和近端的声音一起被麦克风采集进去。如果没有做回声消除处理，那么远端就会把重新采集进去的远端声音信号播放出来，而且和原始的远端声音有一定的延迟时间。这就是回声产生的原理。

　　要消除回声，其实真的很难。对于采集端来说，无论是近端的声音，还是扬声器播放出来的声音，都是从空气中无差别地采集到的声音。对机器来说，远端信号播放出来的声音和近端的声音是没有任何区别的。回声消除的工作就是要把没有任何区别的远端回声和近端声音分离。这项工作其实比想象中要难得多。

　　幸运的是，我们并非没有任何办法可以找到远端回声和近端声音的边界。远端的声音信号和回声是相关的但并非等同于回声。远端的声音从扬声器播放出来，到被采集端采集，经历过扬声器-房间-麦克风(Loudspeaker-Room-Microphone,LRM)这样的回声馈路。在LRM回声馈路中传播的时候，远端声音一方面经过多次反射，另外一方面经过多次叠加，最后变得和远端声音信号有差别了。我们把这个差别用一个函数来表示:

　　fe=f(fs)

　　fs=far-endsignal(远端信号)；fe=far-endecho(远端回声)；

　　如果能够对这个函数求解，那么就可以根据远端声音信号和远端回声之间的相关性进行建模。这个模型是对回声馈路LRM的模拟，会高度逼近回声馈路LRM。等到这个模型稳定时，输入远端声音信号fs，就可以输出高度接近远端回声的信号fe。通过滤波器生成反相的信号，和采集到的声音信号进行叠加，就可以把回声信号消除掉。这就是回声消除AEC的基本原理。

　　AEC的实现

　　游戏语音SDK的回声消除主要包含两个步骤：线性自适应滤波和非线性处理。线性自适应滤波就是对fe=f(fs)求解，建立远端回声的语音模型，进行第一轮回声消除。非线性处理又分为两个步骤：残留回声处理和非线性剪切处理。残留回声处理进行第二轮回声消除，处理残留回声；非线性剪切处理就是对衰减量达到阈值的语音信号进行比较激进的剪切处理。

　　线性自适应滤波和非线性剪切处理在学术论文和开源项目中能找到东西学习。残留回声处理就很难，一般都是要靠团队自行摸索、积累和创新。正是因为如此，语音技术的门槛才如此的高。

回声消除的原理与实现

　　线性自适应滤波

　　以远端声音信号和远端回声的相关性为基础，建立远端回声的语音模型，利用它对远端回声进行估计，目的是获得对远端回声尽量逼近的估计。我们可以把回声馈路LRM看作一个“环境滤波器”。经过它的处理，远端声音信号被变成远端回声。回声消除就是要构建一个“算法滤波器”，基于对远端回声的语音模型，不断地调整该滤波器的系数，使得估计值更加逼近真实的回声。估计值越逼近真实回声，回声消除效果就越好。

　　自适应滤波器收敛后得到的就是需要求解的回声馈路函数fe=f(fs)。当滤波器收敛稳定之后，输入远端声音信号fs，就可以输出相对准确的对远端回声信号的估计值fe。把采集到的信号减去远端回声信号的估计值fe，就得到实际要发送的语音信号。

　　实现线性自适应滤波器有两个难点：

　　1)快速收敛

　　在收敛阶段，采集到声音信号要求只有远端的回声信号，不能混有近端的语音信号。近端的语音信号和远端的参考语音信号没有相关性，会对自适应滤波器的收敛过程造成扰乱。因此，即构科技的策略是让自适应滤波器收敛的时间尽量地短，短到收敛过程的时间段里采集进来的信号只有远端的回声信号，这样自适应滤波器收敛的效果就会很好。在收敛好之后，滤波器就稳定下来了，就可以用来过滤远端的回声信号了。

　　2)动态自适应

　　在收敛好稳定下来以后，自适应滤波器还要随时自动适应回声馈路的变化。自适应滤波器要能够判断回声馈路是否发生变化，并且能够重新学习和对其进行建模，不断地调整该滤波器的系数，进入一个新的收敛过程，最后快速地逼近新的回声馈路。这种情况在手游的场景中是十分常见的，用户拿着手机边走边玩游戏，游戏语音周遭的回声馈路时刻发生着变化，自适应滤波器就要时刻自动重新收敛来适应新的回声馈路。

　　这两个难点是一对矛盾的特征，要求自适应滤波器一方面要能够快速收敛后保持系数高度稳定，另外一方面要能够随时保持更新状态跟踪回声馈路的变化。

　　非线性处理

　　1)残留回声处理

　　通过自适应滤波器来消除回声，并不能百分之一百把回声消除干净，还需要进一步消除残留的回声。

　　一般来说，残留回声消除的策略是利用自适应滤波器处理后的残留回声与远端参考语音信号的相关性，进一步消除残留回声。相关性越大，说明残留回声越多，需要对残留回声进一步消除的程度越大；反之，相关性越小，说明残留回声较少，需要对残留回声进一步消除的程度越小。因此，首先要通过计算残留回声与参考信号的相关矩阵，得到一个反映消除程度的衰减因子；然后将残留回声乘以衰减因子，从而进一步消除残留回声。

　　在线性自适应滤波做完了以后，可以利用残留回声和麦克风采集到的远端回声信号的相关性来检测是处于单讲还是双讲状态。根据单讲还是双讲状态，可以进一步调整衰减因子。

　　如果处于远端单讲状态，因为近端没有声音信号(没人说话)，可以尽量多地抑制回声，让衰减因子尽量地小；如果处于双讲状态，因为线性自适应滤波器是在尽量不损伤近端语音音质的前提下消除回声，回声抑制量不会太大，所以衰减因子相对较大。

　　消除残留回声的算法难度甚高。在论文或者开源项目中甚少有可参考的东西，各家厂商都是通过私有的算法来实现的，甚至很多厂商都选择不实现。

　　2)非线性剪切处理

　　在完成了上述处理以后，其实剩下的回声一般都比较小了，但不排除仍有一些残留的可以感知的小回声。为了进一步消除这些小回声，要根据前面处理得到的衰减量来做进一步的抑制处理。

　　在这里要为衰减量设定一个阈值。一般来说，这个衰减量阈值要设定得比较保守(比较高)。

　　如果衰减量达到或者超过设定的阈值，就表明回声消除量比较大，采集进来的语音信号很可能全部都是回声信号，那么就直接将语音信号全部消除掉，并填充舒适噪声，防止声音听感起伏。能达到那么大的衰减量，一般是处于远端单讲状态，或者远端回声信号要远远大于近端语音信号的双讲状态。正常的双讲状态下，为了保护近端语音的音质，自适应滤波器是不会做大幅的回声消除的。因此，只要衰减量达到或者超过设定阈值，把采集到的语音信号全部消除掉是不会影响正常听音效果的。

　　如果衰减量没有超过设定的阈值，那么就不要进一步做回声消除了。这种情形可能是双讲状态，要保护本地语音的音质，避免本地语音被当成回声误杀。业界一般有两种做法：一种是允许对近端声音有些许损伤也要把远端回声消除干净，另外一种是允许保留些许远端回声也不要对近端声音造成损伤。如果过分消除回声，就会造成断续的听音感觉。回声消除就是要在这两种做法之间找平衡点。

　　在即构科技Zego的实践表明，在游戏实时语音SDK中，回声消除是客户高度 　　作者：冼牛，即构科技Zego技术专家，北京邮电大学计算机硕士，香港大学工商管理硕士，多年从事语音视频云服务技术研究，专注互动直播技术和实时游戏语音。

上方传媒业务

　　上方网及 　　

　　上方网新闻提供/活动及专访邀约/稿件撰写

　　MTP媒体联盟推广/整合传播/会议商务合作

　　棋牌联盟/棋牌游戏代理及推广

　　上方汇会员权益咨询/洽谈

　　明星搭档/明星代言

　　游戏版号/商标/专利

　　长尾流量渠道联运/游戏定制发行

　　海外地区游戏推广/资源洽谈

　　百度信息流/今日头条

　　腾讯智汇推

　　请联系QQ后电话确认合作!