导语

本文介绍了学术界在资源不富裕的情况下能够玩得起大模型的一种办法：LoRA，该技能能够大大优化大模型Fine-tune所需的算力资源，最近颇受重视。

  • 会议：ICLR 2022
  • 链接：arxiv.org/abs/2106.09…

1 简介

自然言语处理中的应用一般需求运用大规划预练习的言语模型，并通过微调来习惯不同的下流使命。微调更新了预练习模型的一切参数，但其缺点是导致新模型与原始模型相同巨大。一些办法测验通过调整参数或学习外部模块来削减存储和加载使命特定的参数，以进步布置时的功率。但是，这些办法一般会引进推理推迟，而且无法与微调Baseline相匹配。

受到之前的研讨启发，本文提出了一种低秩习惯（LoRA）办法，假定在模型习惯过程中权重改变具有较低的内涵秩。LoRA答应咱们通过优化在习惯过程中改变的秩分化矩阵来间接练习神经网络中的一些密布层，一起坚持预练习权重不变。例如，在GPT-3 175B上，我即便在全秩很高时，十分低的秩也满足，这使得LoRA具有存储和核算功率。

论文笔记：LoRA: Low-Rank Adaptation of Large Language Models

LoRA具有几个关键优势。

  • 预练习的模型能够共享，并用于为不同的使命构建许多小型LoRA模块。能够通过替换图1中的矩阵A和B来冻住共享模型并有用地切换使命，从而明显下降存储需求和使命切换开支。
  • LoRA使练习更有用，而且在运用自习惯优化器时将硬件进入门槛下降了3倍，由于不需求核算梯度或维护大多数参数的优化器状况。相反，只优化注入的小得多的低秩矩阵。
  • 简单的线性设计答应在布置时将可练习矩阵与冻住权重兼并，与彻底微调的模型比较，通过构建不会引进推理推迟。
  • LoRA与许多从前的办法正交，而且能够与其间许多办法组合，例如prefix-tuning。附录E中供给了一个例子。

2 问题陈说

尽管LoRA与练习方针无关，但本文将重点放在言语建模上，作为代表用例。下面是对言语建模问题的简要描绘，特别是在给定特定使命提示的情况下最大化条件概率。

假定一个预练习的自回归言语模型P，参数为。例如，P(y | x)能够是通用的多使命学习器，如GPT。模型应用于下流条件文本生成使命，如摘要、机器阅览理解和自然言语转换为SQL时，每个下流使命由context-target对的练习数据集标明:Z = {(xi, yi)} i=1，…，N，其间xi和yi都是token序列。在Full Fine-tuning过程中，将模型初始化为预练习的权值0，并通过重复跟随梯度将模型更新为0 +∆，使条件言语建模方针最大化:

论文笔记：LoRA: Low-Rank Adaptation of Large Language Models

这里的Full Fine-tune便是传统意义上的Fine-tuning，但是它的首要缺陷在于关于每一个使命，都需求学一个和本来参数量规划相同的∆，因而，假如预练习模型很大(如GPT-3， | 0 |≈1750亿)，存储和布置许多独立的微调模型实例或许是具有挑战性的。

本文提出一种更加parameter-efficient的办法，即用一个小得多的参数来编码∆，那么这个使命就变成了优化参数：

论文笔记：LoRA: Low-Rank Adaptation of Large Language Models

在随后的内容中，本文提出运用低秩标明（low-rank representation）来编码∆，这既节约核算又节约内存。当预练习模型为GPT-3 175B时，可练习参数的个数可小至原参数的0.01%。

3 现有办法不足

本文解决的问题并不新鲜。在迁移学习中，已经有许多测验使模型更习惯参数和核算功率。例如，言语建模范畴有两种首要战略：添加适配器层（Adapters）和优化输入层激活。但是，这些战略都存在局限性，尤其在大规划和推迟敏感的出产场景中。适配器层引进了推理推迟并或许添加推迟，而前缀调整（Prefix-Tuning）面对功能非单调改变和削减序列长度对下流使命处理的挑战。对使命履行的研讨将在第5节进行讨论。

4 办法

4.1 Low-Rank-Parametrized Update Matrices

神经网络中的Dense Layer一般包括许多矩阵乘法。从前的研讨标明，在习惯特定使命时，PLM或许具有较低的”内涵维度”，即便投射到较小的子空间，也能够有用地进行学习。受此启示，作者假定权重更新过程中也具有较低的”内涵排名（intrinsic rank）”。作者运用低阶分化的办法标明预练习的权重矩阵W0的更新，即W0 + ∆W = W0 + BA，其间B为dr的矩阵，a为rk的矩阵，秩R≪min(d, k)。在练习期间，W0坚持不变，不接受梯度更新，而A和B包括可练习的参数。当h=w0x时，修正后的前向传达变为:

论文笔记：LoRA: Low-Rank Adaptation of Large Language Models

图1中展现了这种重新参数化的办法。对A运用随机高斯初始化，对B运用零初始化，因而∆W = BA在练习开始时为零。然后，将∆Wx乘以/r，其间是r中的常数。

LoRA的推行方式答应练习预练习参数的子集，即在习惯下流使命过程中权重矩阵的累积梯度更新不必具有全秩。这意味着Full Fine-tuning实践上是LORA的一种全秩的特殊情况。换句话说，当添加可练习参数的数量时，练习LoRA会大致收敛于练习原始模型，而Adapter的办法会收敛于MLP，Prefix-tuning的办法会收敛于不能处理长输入序列的模型。

LoRA在推理过程中没有额外的推迟。在布置到出产环境中时，咱们能够显式地核算和存储W = W0 + BA，并像平常相同进行推理。当需求切换到另一个下流使命时，咱们能够通过减去BA，然后添加另一个B’和a’来恢复W0，这是一种内存开支较小的快速操作。而且在推理时通过兼并权重得到和Full Fine-tuning相同的推迟。

4.2 将LoRA应用于Transformer

在Transformer中运用LoRA能够将其应用于权矩阵的子集，从而削减可练习参数的数量。具体来说，在Self-attention模块中有四个权重矩阵(wq、wk、wv、wo)，MLP模块中有两个权重矩阵。能够将习惯下流使命的留意力权重限制在自重视模块中，并冻住MLP模块，以简化和进步参数功率。

关于实践的好处首要体现在内存和存储运用上。关于通过Adam练习的大型Transformer，当r≪d时，能够将VRAM运用量削减多达2/3，由于不需求存储冻住参数的优化器状况。例如，在GPT-3 175B上，练习期间的VRAM耗费从1.2TB削减到350GB。当r=4，而且只调整查询和值投影矩阵时，checkpoint巨细削减了大约10,000倍(从350GB削减到35MB)。这样能够运用更少的GPU进行练习，并防止I/O瓶颈。

此外，LoRA还答应在布置时低成本地在使命之间切换，只需交换LoRA权重，而不是一切参数，从而创建许多定制模型，能够在将预练习的权重存储在VRAM中的机器上动态交换。作者观察到，在GPT-3 175B的练习过程中，与彻底微调比较，速度进步了25%，由于不需求核算绝大多数参数的梯度。但是，LoRA也有局限性，例如在单个前向传递中批量处理具有不同A和B的不同使命的输入时或许会面对推理推迟的问题。尽管关于不重要推迟的场景，能够不兼并权重并动态挑选LoRA模块来用于批量示例。

5 试验

选取RoBERTa、DeBERTa作为Baseline进行Full-tuning、Adapter和LORA的比照试验，结果如下：

论文笔记：LoRA: Low-Rank Adaptation of Large Language Models

为了展现办法的普遍性，作者也运用GPT-2作为Baseline进行比照，

论文笔记：LoRA: Low-Rank Adaptation of Large Language Models

论文笔记：LoRA: Low-Rank Adaptation of Large Language Models

作为LoRA的终究压力测试，咱们将GPT-3扩展到1750亿个参数，如表4所示。留意，并不是一切的办法都单调地受益于更多可练习的参数，如图2所示。能够观察到，当运用超过256个特殊token进行前缀嵌入调优或运用超过32个特殊token进行前缀层调优时，功能会明显下降。

论文笔记：LoRA: Low-Rank Adaptation of Large Language Models

6 相关作业

略

7 理解Low-Rank更新

鉴于LoRA的经历优势，作者进行了一系列的实证研讨来答复以下问题:

  1. 给定一个参数预算约束，咱们应该习惯预练习的Transformer中权重矩阵的哪个子集以最大化下流功能?
  2. “最优”习惯矩阵∆W是否真的秩不足?假如有的话，在实践中运用什么等级比较好呢?
  3. ∆W与W有什么联系?∆W与W高度相关吗?∆W相关于W有多大?

关于问题1，作者在GPT-3 175B上设置了18M的参数预算(假如存储在FP16中，则大约为35MB)，假如只习惯一种类型的留意力权重，则对应于r = 8，假如习惯两种类型，则对应于r = 4，关于一切96层。结果如表5所示。

论文笔记：LoRA: Low-Rank Adaptation of Large Language Models

请留意，将一切参数都放在∆wq或∆wk中会导致功能明显下降，而一起调整wq和wv会产生最佳效果。这标明，即便是4个秩在∆W中捕获了满足的信息，使得习惯更多的权重矩阵比习惯具有较大秩的单一类型的权重更好。

论文笔记：LoRA: Low-Rank Adaptation of Large Language Models

关于问题2，表6显示LoRA在十分小的r下已经具有竞争力了。这标明更新矩阵∆W或许具有十分小的“内涵秩”。为了进一步支持这一发现，作者检查了由不同r挑选和不同随机种子学习的子空间的堆叠。作者认为添加r并不能覆盖更有意义的子空间，这标明一个低秩习惯矩阵是满足的。

论文笔记：LoRA: Low-Rank Adaptation of Large Language Models

关于问题3，表7能够得出几个定论。首先，与随机矩阵比较，∆W与W的相关性更强，说明∆W扩大了W中已经存在的一些特征。其次，∆W并没有重复W的最上面的奇异方向，而是只扩大了W中没有着重的方向。第三，扩大系数十分大:当r = 4时，扩大系数为21.5≈6.91/0.32。这标明低秩习惯矩阵潜在地扩大了特定下流使命的重要特征，这些特征是在一般预练习模型中学习到的，但没有被着重。

8 总结与展望

就所需的硬件和为不同使命托管独立实例的存储/切换成本而言，对巨大的言语模型进行微调是十分贵重的。本文提出LoRA，一种有用的自习惯战略，既不引进推理推迟，也不削减输入序列长度，一起坚持高模型质量。重要的是，通过共享绝大多数模型参数，它答应在作为服务布置时快速切换使命。尽管本文重视的是Transformer言语模型，但所提出的准则一般适用于任何具有密布层的神经网络。

未来的作业有许多方向。

  1. LoRA能够与其他有用的自习惯办法相结合，有或许供给正交改善。
  2. 微调或LoRA背面的机制尚不清楚——如何将预练习期间学习到的特征转化为下流使命?
  3. 本文首要依靠启发式办法来挑选LoRA应用的权重矩阵。有没有更有准则的办法?
  4. ∆W的rank-deficiency标明W也或许是rank-deficient，这也能够作为未来作业的灵感来源。