开启生长之旅！这是我参与「日新方案 12 月更文应战」的第8天，点击检查活动详情

近来，阿里云机器学习渠道PAI与华东师范大学高明教授团队、达摩院机器智能技能NLP团队协作在自然言语处理顶级会议EMNLP2022上发表一致多NLP使命的预练习增强小样本学习算法UPT（Unified Prompt Tuning）。这是一种面向多种NLP使命的小样本学习算法，致力于使用多使命学习和预练习增强技能，在仅需求标示很少练习数据的情况下，提高大规模预练习言语模型在多种场景下的模型精度。

论文：

Jianing Wang, Chengyu Wang, Fuli Luo, Chuanqi Tan, Minghui Qiu, Fei Yang, Qiuhui Shi, Songfang Huang, Ming Gao. Towards Unified Prompt Tuning for Few-shot Text Classification. EMNLP (Findings) 2022

布景

跟着预练习言语模型的规模逐渐地扩展，千亿、万亿甚至更大规模的预练习言语模型的分布式练习和优化作业不断涌现。预练习言语模型规模的扩展，带来这一类模型在自然言语了解等相关使命作用的不断提高。但是，这些模型的参数空间比较大，如果在下流使命上直接对这些模型进行微调，为了到达较好的模型泛化性，需求较多的练习数据。在实际事务场景中，特别是笔直范畴、特定职业中，练习样本数量缺乏的问题广泛存在，极大地影响这些模型在下流使命的准确度。根据提示微调（Prompt Tuning）的小样本学习技能能充分使用预练习过程中模型取得的常识，在给定小练习集上练习得到精度较高的模型。但是，在小样本学习场景下，练习数据的有限性依然对模型的准确度造成一定的制约。因而，如果能够在小样本学习阶段，有用使用其它跨使命的数据集，能够进一步提高模型的精度。

算法架构

跨使命小样本学习算法UPT（Unified Prompt Tuning）是对已有小样本学习算法的学习机理进行的一种深度扩展。UPT是一种一致的学习范式，能够将各种下流使命和预练习使命一致成POV（Prompt-Options-Verbalizer）的方法，使得模型能够学习使用Prompt解决各种NLP使命的通用方法。在咱们的作业中，UPT的使命构造方法如下所示：

模型精度再被提升，统一跨任务小样本学习算法 UPT 给出解法！
由此可见，无论是单句分类使命，还有双句匹配使命，亦或是预练习阶段的自监督学习使命，UPT能够将他们转化成一种一致的范式进行学习。这种学习方法兼顾了经典的小样本学习算法的优势，又在学习过程中引入了“元学习”（Meta Learning）的思想，大大提高了模型对下流使命的泛化性，缓解了其在小样本学习阶段遇到的过拟合问题。当咱们练习得到这一Meta Learner之后，咱们能够复用从前的算法，对Meta Learner进行Few-shot Fine-tuning。

一致的Prompting范式

详细地，预练习模型在不同的下流使命上进行Prompt-Tuning时，需求为特定使命规划固定的Prompt形式（PVP，即Prompt-Verbalizer-Pair），模型很难同时使用这些Task共有的信息，咱们把各种NLP使命一致成如下格式：

  • P（Prompt）：表明使命相关的Prompt，至少包含一个[MASK]token；
  • O（Option）：经过提问的方法列出Verbalizer中的候选项；
  • V（Verbalizer）：界说的label word与标签的映射联系。

关于监督学习的使命，咱们给出以下两个比如，别离对应单句文本分类和双句文本匹配：

  • 谈论分类：“[X]. Is great or bad? It was [MASK].”；
  • 论文连贯性猜测：“[X1]. Is this paragraph the same as the next: [X2]?It was [MASK].”

融入自监督使命

关于自监督使命，在Pre-training阶段，咱们没有见过现有的这种形式，以至于在Prompt-Tuning时很难让模型快速学习到Prompt的信息，因而本部分旨在改进原始的自监督使命Masked Language Modeling（MLM），并拓宽到Prompt中。需求注意的是，咱们并不从头练习言语模型，而是将Prompt-MLM作为一个辅助使命。

原始的MLM是给定一个语句，随机选择一个或多个方位并替换为[MASK]，并让模型经过MLM head猜测每个[MASK]方位的Word（或sub-word）。例如给定一个语句“Disney movies are so wonderful that I insist on watching two every week.”，随机Mask一个Word：“Disney movies are so [MASK] that I insist on watching two every week.”，然后让模型猜测该方位或许的词。

咱们提出的Prompt-MLM的主要流程如下图所示：

模型精度再被提升，统一跨任务小样本学习算法 UPT 给出解法！

咱们首先从预练习语猜中检测出高频的形容词，并且进行词义类似度聚类。关于一句输入的语句，咱们对该文本进行词性标示，选出该文本形容词地点的方位，作为Mask的方位。之后选出与该形容词最不类似的Cluster中的某个形容词，作为另一个选项，构建出Options。最终，咱们将MLM使命转化为根据Prompt的二分类使命，同时无需进行任何数据标示。

算法精度评测

为了验证上述算法的有用性，咱们对经典和自研的小样本学习算法进行了精度评测。在试验中，咱们使用Roberta-large作为预练习言语模型，对每个下流使命，在练习过程中咱们只抽取每个类别的16个样本进行学习，在所有测试集上进行评测。在下表中，咱们列出了规范Fine-tuning，经典小样本学习算法LM-BFF、PET、P-tuning、PPT等的在9个揭露数据集上的试验作用，使用准确度（Accuracy，%）作为模型作用评测目标：

模型精度再被提升，统一跨任务小样本学习算法 UPT 给出解法！

由上述成果可见，咱们提出的自研算法UPT在多个数据集上具有明显精度提高。咱们也在多个SuperGLUE的数据集上验证了UPT的试验作用。成果如下所示：

模型精度再被提升，统一跨任务小样本学习算法 UPT 给出解法！
此外，PAI团队也荣获FewCLUE中文小样本学习揭露评测榜单第一名的成绩（看这里），成绩逾越腾讯、百度、平安等资深厂商。为了更好地服务开源社区，UPT算法的源代码行将奉献在自然言语处理算法框架EasyNLP中，欢迎NLP从业人员和研究者使用。

EasyNLP开源框架：github.com/alibaba/Eas…

参考文献

  • Chengyu Wang, Minghui Qiu, Taolin Zhang, Tingting Liu, Lei Li, Jianing Wang, Ming Wang, Jun Huang, Wei Lin. EasyNLP: A Comprehensive and Easy-to-use Toolkit for Natural Language Processing. EMNLP 2022 (accepted)
  • Tianyu Gao, Adam Fisch, Danqi Chen. Making Pre-trained Language Models Better Few-shot Learners. ACL/IJCNLP 2021: 3816-3830
  • Timo Schick, Hinrich Schtze. Exploiting Cloze-Questions for Few-Shot Text Classification and Natural Language Inference. EACL 2021: 255-269
  • Timo Schick, Hinrich Schtze. It’s Not Just Size That Matters: Small Language Models Are Also Few-Shot Learners. NAACL-HLT 2021: 2339-2352
  • Xiao Liu, Yanan Zheng, Zhengxiao Du, Ming Ding, Yujie Qian, Zhilin Yang, Jie Tang. GPT Understands, Too. CoRR abs/2103.10385 (2021)
  • Chengyu Wang, Jianing Wang, Minghui Qiu, Jun Huang, Ming Gao. TransPrompt: Towards an Automatic Transferable Prompting Framework for Few-shot Text Classification. EMNLP 2021: 2792-2802

论文信息

论文姓名：Towards Unified Prompt Tuning for Few-shot Text Classification
论文作者：王嘉宁、汪诚愚、罗福莉、谭传奇、邱明辉、杨非、石秋慧、黄松芳、高明
论文pdf链接：arxiv.org/abs/2205.05…