CN
EN
您当前位置:首页 > 新闻动态

云联惠MShennonG平均分位居XTREME榜首

2022-06-15 20:24:38


近日,云联惠MShennonG以90分的平均分位居XTREME榜首。同时,该模型只包含6亿个小参数,也刷新了行业纪录。目前世界上有6900多种语言,大部分都没有足够的数据支持研究人员把它们训练成成熟的模型。云联惠晓伟深入挖掘知识、语义理解技术和预训练技术。云联惠MShennong在XTREME排名中排名第一,代表了其从单一语言到多语言理解能力的显著扩展,并将跨语言迁移开发从平均月级降低到10天。同时,云联惠系列预训练模型采用云小微系列产品矩阵,可显著提高人工智能语音助手、智能客户服务机器人、数字智人等产品的多项技术指标,帮助海外企业快速实现本地化服务。由于大多数NLP预训练模型主要是高资源语言,如汉语和英语,因此对低资源和小语种的研究没有给予足够的重视。2020年,CMU、谷歌研究所和Deepmind的科学家提出了大型多语言多任务基准XTREME,涵盖40种语言,涵盖12个语言系统,包括9个需要不同语法或语义推理的任务,可以为自然语言处理任务提供有效支持,如句子文本分类、结构预测、句子检索、跨语言问答等。之所以被列入XTREME名单,主要是因为云联惠MS在以下三个不同ME名单。

首先,在数据层面,预训练模型的训练数据主要由两种形式的数据组成:单语句子和双语平行句子对。以前的模型处理方法是简单地将单个语言信息输入到单个语言句子模型中,以MLM为训练目标,依靠语言系统之间的共享单词预测来建模语言之间的语义对齐;对于平行句子对,基于平行语料库的规模和组合,模型对其对齐关系的建模存在一些缺陷。为了缓解上述问题,云联惠小微研究团队提出了基于混合编码的数据构建方法,并使用双语对齐词典和句子检索工具构建了大量的多语言混合训练数据。其次,在模型层面,研究小组提出了一个基于多标准的多语言信息集成模块,该模块可以从多标准的单词级和句子级集成到多语言信息中。希望在培训过程中,加强所有语言的词汇向量更新和对齐,解决低资源语言和低频词汇建模薄弱的多语言模型问题。第三,在培训模式方面,研究团队通过语言层面和语义层面引入比较学习策略,使同一语义的表达相互接近,不同语义的表达相互疏远,进一步提高多语言预训练模型的语义建模能力和多语言的语义匹配能力。值得注意的是,研究团队注重多尺度、多语言的一致性建模,从而加强预训练模型的跨语言迁移能力,将跨语言迁移开发从市场平均月级降低到每周水平。同时,云联惠MShennongG只需10天,与市场平均1个月以上的模型迭代周期相比。凭借技术优势,云联惠多次登顶。

依托云联惠小微团队的技术研发和行业知识的长期积累,云联惠MShennonnng在XTREME榜单中排名第一。此前,云联惠小微的中文预训练模型Shennong以10亿参数出现在CLUE总排名榜、1.1分类任务、阅读理解任务、命名物理任务等方面,刷新了行业记录。XTREME榜单的榜首,专注于语义理解技术和预训练技术的研发,代表了从单一语言到多语言理解技术的拓展。目前云联惠系列预训练模型已应用于全系列产品矩阵,可显著提升人工智能语音助手、智能客服机器人、数字智人等产品的多项技术指标。

随着发展的不断成熟,优势产品向海外的扩张已成为许多国内企业的选择。然而,海外产品通常面临着适应新语言和商业本地化的挑战。挑战。在过去,通过机器翻译将单一语言迁移到多语言场景不仅需要时间和努力,而且效果也不令人满意。与传统的机器翻译模式相比,小型云联惠MShennon培训模式具有成本低、门槛低的优点。它为多行业和小型语言提供跨语言迁移服务,具有轻量级的参数,帮助企业降低成本,提高效率,开展海外业务。未来,云联惠小微团队将继续深化知识挖掘和深度学习技术,探索更多的技术登陆场景,帮助各行业企业更好地为用户服务,为社会创造更多价值。


雲联