GLUE榜单世界首次突破90大关 百度ERNIE超谷歌微软问鼎第一

刷屏一整年的AI技术,你关注了哪些?AI榜单“收割机”是谁?2019作为预训练模型崛起的一年,百度ERNIE的每次出现都会成为AI领域的新爆点!北京时间12月10日,预训练模型界的“MVP”百度ERNIE再展锋芒,在自然语言处理领域权威数据集GLUE中荣登榜首。

令人欣喜的是,ERNIE不仅在GLUE榜单中独占鳌头,更是以9个任务平均得分首次突破90大关刷新该榜单历史,其超越微软MT-DNN-SMART, 谷歌T5、ALBERT等一众国际顶级预训练模型的表现,在国际权威榜单中打赢漂亮“一仗”。

本次GLUE榜单第一的含金量可谓十足。众所周知,通用语言理解评估基准GLUE是自然语言处理领域最权威的排行榜之一,由纽约大学、华盛顿大学、谷歌DeepMind等机构联合推出,以其涵盖大量不同类型的NLP任务,包括自然语言推断、语义相似度、问答匹配、情感分析等9大任务,成为衡量自然语言处理研究进展的行业标准。因此,吸引了谷歌、Facebook、微软等国际顶尖公司以及斯坦福大学、卡耐基·梅隆大学等顶尖大学参加。GLUE排行榜的效果,在一定程度上成为了衡量各机构自然语言处理预训练技术水平最重要的指标之一。此次能够超越国际顶尖公司及高校荣登榜首,背后是百度NLP技术的长足积累。

2018年底以来,以BERT为代表的预训练模型大幅提升了自然语言处理任务的基准效果,取得了显著技术突破,基于大规模数据的预训练技术在自然语言处理领域变得至关重要。众AI公司纷纷发力预训练领域,相继发布了XLNet、RoBERTa、ALBERT、T5等预训练模型。百度也先后发布了ERNIE 1.0、ERNIE 2.0,在16个中英数据集上取得了当时的SOTA。

从GLUE排行榜上来看,BERT使用预训练加微调的方式,相对过往的基线成绩大幅提升各任务的效果,首次突破了80大关。百度ERNIE此次登顶,成为首个突破90大关的模型。相对BERT的80.5的成绩,提升近10个点,取得了显著的效果突破。

ERNIE 2.0 持续学习的语义理解框架, 支持增量引入不同角度的自定义预训练任务,通过多任务学习对模型进行训练更新,每当引入新任务时,该框架可在学习该任务的同时,不遗忘之前学到过的信息。此次登顶的模型主要基于ERNIE 2.0持续学习语义理解框架下的系列优化。

据悉,百度ERNIE 2.0的论文(https://arxiv.org/abs/1907.12412)已被国际人工智能顶级学术会议AAAI-2020收录,AAAI-2020将于2020年2月7日-12日在美国纽约举行, 届时百度的技术团队将会进一步展示近期的技术成果。

相较于谷歌BERT,后来居上的百度ERNIE为AI领域展现了惊人的中国“AI速度”。如今,百度在自然语言处理领域的深厚积累已辐射至不同领域。ERNIE预训练技术已广泛地应用于公司内外多个产品和技术场景,在百度搜索、小度音箱、信息流推荐等一系列产品应用中发挥了重要作用,大幅提升了产品的技术效果和用户体验,逐步赋能各行各业。

也许你还喜欢

家电行业年度最大单落地:苏宁海尔战

苏宁818大战持续加码,与海尔签下千亿大单。8月11日,苏宁控股集团总裁任峻一行到达山东青

海康、美的拟分拆智能家居板块独立

文/杨剑勇 家庭智能化规模日益普及,倘若新购买电视、冰箱等家电,几乎都已成智能化设备,特

欣锐科技车载充电机产品出现质量问

电子元器件造成产品质量问题赔付客户1500余万,虽然因质量问题引起的事件已妥善解决,但对

谷歌将用Android手机打造世界最大

PingWest品玩8月12日讯,谷歌官方博客今日宣布,谷歌与美国地质调查局(USGS)和加州州长紧急

三星 Galaxy Buds Live 体验:加入了

作为三星的真无线耳机系列,Galaxy Buds 的口碑一直挺不错,之前使用 Note9 和 Note10+ 的

iPhone 12曝光,新增一款机型,采用全

据天风国际爆料,苹果最新系列iPhone 12基本确定将从以往的3机型扩增到4机型,新增一款5.4

TCL海外市场发布6系新款电视:支持Mi

>>>2020 苹果教育优惠来袭,购买就送 AirPods!社区晒单更有机会赢价值万元「AJ1 倒钩」潮鞋!

刘庆峰回应被美封禁:向华为提供的语

8月12日,在江西南昌举办的正和岛创变者年会开幕式上,科大讯飞董事长刘庆峰指出,去年10月8

推出机器人智能化解决方案,摩马智能

机器人商业化部署进程中,机器人往往需要通过繁琐的示教编程环节才能习得具体的工作路径

亦青藤儿童电话手表T11Pro发布:形式

8月13日,亦青藤儿童电话手表T11Pro正式发布! 说在前面,对于这款儿童手表,一眼看过去,形式某