今年高考英语AI得分134复旦武大校友这项研究有点意思

在2018-2021年的10套真题测试中,AI的分数都在125分以上,最高纪录为138.5分,听力和阅读理解还拿过

它的参数量只有GPT-3的16分之一,平均成绩却比GPT-3高出15分。

其背后的秘诀名叫重构预训练(reStructured Pre-training),是作者提出的一种新学习范式。

具体来看,就是把、YouTube等平台的信息重新提取重构,再喂给AI进行训练,由此让AI具有更强的泛化能力。

作者认为,这个世界上有价值的信息无处不在,而目前的AI系统并没有充分利用数据中的信息。

比如像,Github,里面包含了各种可以供模型学习的信号:实体,关系,文本摘要,文本主题等。这些信号之前由于技术瓶颈都没有被考虑。

所以,作者在本文中提出了一种方法,可以用神经网络统一地存储和访问包含各种类型信息的数据。

他们以信号为单位、结构化地表示数据,这很类似于数据科学里我们常常将数据构造成表或JSON格式,然后通过专门的语言(如SQL)来检索所需的信息。

比如在“莫扎特生于萨尔茨堡”这句话中,“莫扎特”、“萨尔茨堡”就是信号。

然后,就需要在各种平台上挖掘数据、提取信号,作者把这个过程比作了从矿山里寻宝。

接下来,利用prompt方法,就能将这些来自不同地方的信号统一成一种形式。

这样一来,该研究就能从10个数据源中,统一26种不同类型的信号,让模型获得很强的泛化能力。

结果表明,在多个数据集中,RST-T、RST-A零样本学习的表现,都优于GPT-3的少样本学习性能。

他们表示,现在很多工作方法走的都是汉化GPT-3的思路,在评估的应用场景上也是跟随OpenAI、DeepMind。

基于对当下AI模型发展的观察,作者认为可以开辟出一条新的赛道试试,所以就想到了用高考给AI练练手。

从测试结果可以看到,Qin绝对是学霸级别了,10套卷子成绩都高于T0pp和GPT-3。

他们觉得当下很多评价基准的任务都很单一,大多没有实用价值,和人类情况对比也比较困难。

而高考题目既涵盖了各种各样的知识点,还直接有人类分数来做比对,可以说是一箭双雕了。

如果从更深层次来看,作者认为,重构预训练或许会成为NLP的一种新范式,即把预训练/微调过程视为数据存储/访问过程。

但是基于当下对NLP发展的观察,他们认为或许之后可以以一种data-centric的方式来看待问题。

也就是,预训/精调、few-shot/zero-shot等概念的差异化会更加模糊,核心只关注一个点——

其中的核心思想是,技术发展方向总是顺着这样的——做更少的事实现更好、更通用的系统。

作者认为,NLP经历了特征工程、架构工程、目标工程、提示工程,当下正在朝着数据工程方向发展。

论文的通讯作者为卡内基梅隆大学语言技术研究所(LTI)的博士后研究员刘鹏飞。

他于2019年在复旦大学计算机系获得博士学位,师从邱锡鹏教授、黄萱菁教授。

博士期间,他包揽了各种计算机领域的奖学金,包括IBM博士奖学金、微软学者奖学金、腾讯人工智能奖学金、百度奖学金。

值得一提的是,刘鹏飞在和我们介绍这项工作时,直言“最初我们就没打算拿去投稿”。

我们决定把这篇论文当作一个故事来讲,并给“读者”一种看电影的体验。这也是为什么我们在第三页,设置了一个“观影模式“的全景图。就是为了带着大家去了解NLP发展的历史,以及我们所展望的未来是怎样的,让每一个研究者都能有一定的代入感,感受到自己去带领着预训练语言模型们(PLMs)通过矿山寻宝走向更好明天的一个过程。

No Comments

Categories: LOL投注网站

Tags:

发表回复

您的电子邮箱地址不会被公开。