【新智元导读】 ICLR 2020 提交论文数量到达 2594 篇,比上一年添加了近 1000 篇。其间,来自谷歌的一篇论文引起分外瞩目,该论文提出 ALBERT 模型,比 BERT-large 参数更少,却在 GLUE、RACE 和 SQuAD 三大 NLP 基准测验中取得榜首。>>> 人工智能改动我国,咱们还要跨过这三座大山 | 献礼 70 周年

由图灵奖获得者、人工智能巨子 Yoshua Bengio 和 Yann LeCun 牵头兴办的顶级会议 ICLR,被誉为深度学习 “无冕之王”,获得学术研究者们广泛认可。

ICLR 2019 共收到 1591 篇论文投稿,其间 oral 论文 24 篇,poster 论文 476 篇。

ICLR 2020 更疯狂,到 9 月 25 日论文提交截止日期,已投稿的论文有 2594 篇!

谷歌ALBERT制霸三大NLP基准,ICLR 2020提交论文近2600篇

悉数论文:openreview.net/group?id=IC…

当然这也不算特别惊人,毕竟最近几年顶会论文的疯狂增长咱们早就有了心理准备。

在这么多投稿中,一篇来自谷歌的论文很快引起研究社区瞩目。该论文提出一个名为ALBERT的模型,比 BERT-large 参数更少,却在 GLUE 基准远远甩开 BERT-Large 拿到榜首。不只如此,该模型横扫 GLUE、RACE 和 SQuAD,以显着的优势稳坐榜首。

工作经过是这样的:

有 Reddit 网友发现,一个叫做 ALBERT 的模型,在 SQuAD 2.0 leaderboard 和 GLUE benchmark 都到达了最佳水准。这是一个前所未见的新模型,引起了咱们的好奇。

谷歌ALBERT制霸三大NLP基准,ICLR 2020提交论文近2600篇

ALBERT 在 SQuAD 2.0 上排名榜首

谷歌ALBERT制霸三大NLP基准,ICLR 2020提交论文近2600篇

ALBERT 在 GLUE benchmark 上排名榜首

不久,终于有网友扒出了这个模型的论文,原来是 ICLR 2020 的一篇投稿,出自谷歌。

ALBERT 又叫 A LITE BERT,望文生义便是一个轻量级的 BERT 模型。模型大固然效果好,但也超吃资源。练习一次不只耗时、更费钱。甚至在某些情况下,由于 GPU/TPU 内存约束、练习时刻延伸以及意外的模型退化等原因,更难提升模型大小。

谷歌ALBERT制霸三大NLP基准,ICLR 2020提交论文近2600篇

谷歌研究人员对此提出了经过两种参数约简技能来下降内存耗费,加快 BERT 的练习速度的思路,所以就有了 ALBERT。

接下来,咱们就来看一下这篇 ICLR 2020 投稿论文,来一探这个神仙模型的终究。

制霸三大基准测验,ALBERT 用了两招

在练习自然言语表示时,添加模型大小一般会进步下流任务的功能。但是,在某种程度上,由于 GPU/TPU 内存的约束、更长的练习时刻以及意想不到的 model degradation,进一步增大模型会变得愈加困难。

为了处理这些问题,谷歌的研究人员提出了两种参数约简技能,以下降内存耗费,并进步 BERT 的练习速度。

实验标明,本文提出的办法得到的模型比原始 BERT 模型更好。咱们还使用 self-supervised loss,专心于建模语句间的连贯性,并标明它一直有助于多语句输入的下流任务。

基于此办法的最佳模型在 GLUE、RACE 和 SQuAD 基准上都得到了最新的 SOTA 成果,并且与 BERT-large 比较,参数更少。

构建更大的模型的一个妨碍是可用硬件的内存约束。考虑到目前最先进的模型一般有数亿甚至数十亿个参数,当咱们企图扩展模型时,很简略遇到这类约束。在分布式练习中,练习速度也会遭到很大的影响,由于通讯开支与模型参数的数量成正比。

咱们还观察到,简略滴添加模型的 hidden size 可能会导致功能下降,比方 BERT-large。表 1 和图 1 给出了一个典型的例子,咱们简略地将这个 BERT-xlarge 模型的 hidden size 添加到 2 倍,成果却很糟糕。

谷歌ALBERT制霸三大NLP基准,ICLR 2020提交论文近2600篇

表 1:在 RACE 测验中,添加 BERT-large 的 hidden size 导致模型功能下降。

谷歌ALBERT制霸三大NLP基准,ICLR 2020提交论文近2600篇

图 1:较大模型的 masked LM 精度较低,但没有显着的过拟合迹象。

针对上述问题,现有处理方案包含模型并行化 (Shoeybi et al.,2019) 和智能内存办理 (Chen et al., 2016); Gomez et al., 2017)。这些处理方案处理了内存约束问题,但没有处理通讯开支和 model degradation 问题。在本文中,咱们经过设计一个比传统 BERT 架构参数少得多的架构来处理上述所有问题,称为A Lite BERT (ALBERT)。

ALBERT 结合了两种参数约简 (parameter reduction) 技能,消除了在扩展预练习模型时的首要妨碍

榜首个技能是对嵌入参数化进行因式分解(factorized embedding parameterization)。经过将大的词汇表嵌入矩阵分解为两个小的矩阵,将隐藏层的大小与词汇表嵌入的大小别离开来。这种别离使得在不显着添加词汇表嵌入的参数大小的情况下,更简略添加隐藏大小。

第二种技能是跨层参数同享(cross-layer parameter sharing)。这种技能可以避免参数跟着网络深度的添加而添加。

谷歌ALBERT制霸三大NLP基准,ICLR 2020提交论文近2600篇

BERT 和 ALBERT 模型的规模

这两种办法都在不严重影响功能的前提下,显着减少了 BERT 的参数数量,从而进步了参数效率。ALBERT 的装备类似 BERT-large,但参数量少了 18 倍,并且练习速度快 1.7 倍。参数约简技能还可以作为一种方式的正则化,可以使练习愈加稳定,并且有助于泛化。

为了进一步进步 ALBERT 的功能,咱们还引入了一个用于语句顺序预测 (sentence-order prediction ,SOP) 的自监督损失。SOP 首要聚集于语句间的连贯,旨在处理原始 BERT 模型中下一句预测 (NSP) 损失低效的问题。

基于这些设计,ALBERT 可以扩展到更大的版本,参数量仍然比 BERT-large 少,但是功能显着更好。

咱们在 GLUE、SQuAD 和 RACE 三大自然言语理解基准测验上都得到了新的 SOTA 成果:在 RACE 上的准确率进步到 89.4%,在 GLUE 上的得分进步到 89.4,在 SQuAD 2.0 上的 F1 得分到达 92.2。

谷歌ALBERT制霸三大NLP基准,ICLR 2020提交论文近2600篇

表 10:GLUE 基准测验的 State-of-the-art 成果。

谷歌ALBERT制霸三大NLP基准,ICLR 2020提交论文近2600篇

表 11:在 SQuAD 和 RACE 两个基准测验上的 State-of-the-art 成果

论文地址:

openreview.net/pdf?id=H1eA…