获得国际大奖的TA们,将代码化成爱(AI)

互娱文化君

2022-06-271252次浏览

1评论

3收藏

1点赞

分享

最近,全球最大的语音领域顶级会议INTERSPEECH,

把SdSV 声纹识别比赛的冠军荣誉颁给了一支来自中国的队伍——网易互娱AI Lab。

而且还是双料第一:文本相关声纹识别赛道综合排名第一、单模型第一。

网易互娱AI Lab获得冠军的过程异常艰难。

对手异常强劲,本次声纹识别比赛的参赛队伍来自于全球多所知名高校与企业,包括了最近几年国际声纹识别大赛的冠亚军获得者。而成立于2017年底的互娱AI Lab,可以说是参赛队伍中背景最为年轻的,第一次参赛就拿下了冠军。

成功的背后少不了升级打怪。除了长期深耕于游戏场景的技术落地,网易互娱AI Lab研发团队在过去也曾参与过一些文本、图像、语音的比赛。通过参加与业务相关的算法比赛,既能验证现有技术储备的行业水平,吸取最先进的技术不断提升性能,也能为相关的产品背书。这次比赛关于声纹识别的算法,我们前期在这方面就已经有一定的技术研究。

真正进入比赛初期,团队又遇到了一些问题:

传统Deep speaker embedding框架在训练阶段不考虑文本信息,因此在测试阶段难以判断注册语音和测试语音的发音内容是否一致;本次比赛语音数据存在英语和波斯语两种语言,对于低资源的数据或者跨语言识别,难以构建高效的语音识别系统;测试集存在大量不同说话人发出相同文本语音的匹配样例,其相似度较为接近,对于识别效果也是一种挑战……

然而团队并没有低头,逐步分析近年来几乎所有的论文和比赛方案,从中来提取出能够采纳的点子并且一一实验论证。终于团队基于x-vectorPLDA提出了一种全新的ASR-free的文本相关声纹识别算法。新的算法不需要依赖语音识别,就能够在多语言环境下,同时完成说话人和文本内容的验证。

完成新的算法后,这场比赛的进度条可谓顺利推进。但随着比赛结束日期的临近,所有队伍都使出了浑身解数,每天的排名都会有所变化,整个比赛进入了白热化的阶段。哪怕一点的优化,都有可能导致排名的巨大变化。

如何从0.9到1,成为了鲤鱼化龙的关键所在。

团队尝试了非常多的优化方案,逐一去根据实验结果判定是否有效。一次两次,不断对比,不断尝试。而且这个比赛每天只有一次的提交机会,如何充分利用这个宝贵的机会,从众多模型中选取合适的提交方案,验证改进的算法是否真实有效,也是团队每天都在考虑和讨论的问题。

千淘万漉虽辛苦,吹尽狂沙始到金。整个赛程从今年2月持续到4月,经过激烈的55天角逐,结果终究不负努力,斩获了冠军。同时创新的算法也被INTERSPEECH 2020录用为论文。

冠军的结果给团队带来了欣喜和鼓舞,但团队也很快开始了冷静的复盘和总结。

“获胜的原因,一个是靠站在巨人的肩上,我们深入调研并分析了近年几乎所有声纹识别大赛的方案,抽取可以尝试的点逐一进行试验;另一个是对数据进行了认真的分析和算法上的有效创新,使得我们在单模型上远超第二名以及后面的队伍。”

部分实验记录

网易互娱AI Lab一直关注AI技术建设,用AI技术来提供基础服务。如图像语音文本等的审核、语音驱动嘴型动画、基于强化学习的游戏AI、自动捏脸等,目前都被众多产品所应用。同时,他们希望AI技术能成为一个重要的角色,为游戏赋能。特别在资源制作,游戏体验,游戏运营,对外营销等方面能发挥作用,创造出更好的价值。

例如这次比赛的声纹技术,这项技术曾落地到语音操控的游戏玩法中。玩家可以自定义录入一段语音,对战时直接念出这段语音,相关的程序就会自动匹配语音内容和鉴定是否为本人,判断成功后在游戏中实现对应的操作。声纹技术同样可以在其他方面进行应用,譬如音色分类,性别识别,以及在游戏和直播中进行未成年人识别辅助等等。这些都为游戏行业创造了更好的服务场景。

而在面对技术如何更好的服务于产品这个问题时AI的同学说——“我们的理念是技术必须落地,不落地的技术不产生价值。”这就是一个在技术研究和产品服务上忍得住枯燥,又不断给你惊喜的团队。

——————————————————————————————

网易互娱AI Lab简介

成立于2017年底,在广州、杭州、上海均设有分部,主要运用AI黑科技为旗下各大游戏工作室助力,并赋能给更多产品。

总的来说,网易AI Lab的研究方向包括四大方面——计算机视觉和3D视觉研究、语音处理、自然语言处理以及游戏AI研究。

当前,已有不少研发技术处于行业领先地位,并接入了多款游戏。

譬如《梦幻西游》《大话西游》《天下3》《荒野行动》《阴阳师》《一梦江湖》和《第五人格》等多款游戏,

以及网易云音乐等产品中,都融入了网易互娱AI Lab的技术。

👇相关推荐👇

网易互娱AI Lab知识专题,分享游戏AI技术

《人工智能,赋予游戏无限可能》

评论 (1)

0/1000