您现在的位置:主页 > 电子商务 >
陈根:Meta又有新动作——开发支持128种语言的模型
发布日期:2021-11-25 03:39   来源:未知   阅读:

  今年10月28日,Facebook正式宣布将母公司改名为Meta,而Facebook成为其母公司旗下众多产品之一。Meta一词源于科幻元宇宙Metaverse,反映出该公司搭建元宇宙的决心。

  此前,为了提升元宇宙中的触感交互,Meta公司的研究团队开发了一款触觉手套,这种手套舒适、可定制,最重要的是能够在虚拟世界中再现一系列感觉,包括纹理、压力和振动等。

  近日,Meta公司又有新动作。其发布了自监督语音处理模型XLS-R,该模型共支持128种语言,目的是助力元宇宙中的跨语种交流。

  当今,有据可考的语言有7000余种。尽管现在的翻译系统越来越强大,但要用AI完全实现这些语言的互通并非易事。一般来说,语料库的丰富程度决定了语言翻译模型的质量,现有的语音翻译一般集中于大语种之间,小语种语料往往比较匮乏,因此使用这类母语的人往往较难通过AI获得较高的翻译质量。

  但XLS-R通过自监督技术对10倍的语音数据进行训练,大大改善了以前的多语言模型,尤其是小语种的处理正版玄机免费资料大全!因此母语不同的人,比如一位说英语,一位说汉语的人,两人可以靠XLS-R在元宇宙中进行无障碍对话。

  XLS-R基于的是Facebook去年发布的wav2vec 2.0技术。该技术通过多层卷积神经网络对语音音频进行编码,以及对产生的潜伏语音表征进行跨度遮蔽,能够建立捕捉整个序列信息的表征。

  这样训练出的模型,可以预测音频中被掩蔽部分的正确语音单元,同时也可以学习新的语音单元。在此基础上开发的XLS-R,不仅能够建立上下文表征,还可以捕获整个潜伏表征序列上建立的依赖关系。

  XLS-R共有20亿参数,它在测试的37种语言中,表现优于大多数语种先前的工作。甚至在老挝语等小语种识别上,也能低于之前的错误率。此外,XLS-R也让低资源语言与英语之间的翻译大幅改进,例如从印度尼西亚语到英语的翻译,准确性平均翻了一番。

  目前,XLS-R还只是一个预训练模型,为了能更好的应用于具体任务,还需要对其进行相关改进。

  • 中国领先的B2B电子商务平台(B2B电子商务网站),整合各垂直细分行业产业链资源,为您提供行业商机资讯,公司库,供应,求购,行业会展等产业链信息一网打尽;发布商机,参与链商活动请到国联资源网.