开源羊驼大模型LLaMA上下文追平GPT-4，只需要一个简单改动！
Meta AI这篇刚刚提交的论文表示，LLaMA上下文窗口从2k扩展到32k后只需要小于1000步的微调。
与预练习相比，成本忽略不计。
扩展上下文窗口，就意味着AI的 “工作记忆” 容量增加，具体来说能够：
- 支撑更多轮对话，削减遗忘现象，如更稳定的角色扮演
- 输入更多资料完结更杂乱的任务，如一次处理更长文档或多篇文档
更重要的含义在于，一切根据LLaMA的羊驼大模型家族岂不是能够低成本选用此办法，集体进化？
羊驼是目前综合能力最强的开源根底模型，现已衍生出不少彻底开源可商用大模型和垂直行业模型。
论文通信作者田渊栋也激动地在朋友圈共享这一新进展。
根据RoPE的大模型都能用
新办法名为方位插值（Position Interpolation），对使用RoPE（旋转方位编码）的大模型都适用。
RoPE早在2021年就由追一科技团队提出，到现在已成为大模型最常见的方位编码办法之一。
但在此架构下直接使用外推法（Extrapolation）扩展上下文窗口，会彻底损坏自注意力机制。
具体来说，超出预练习上下文长度之外的部分，会使模型困惑度（perplexity）飙升至和未经练习的模型相当。
新办法改成线性地缩小方位索引，扩展前后方位索引和相对距离的范围对齐。
用图表现二者的区别愈加直观。
试验结果显示，新办法对从7B到65B的LLaMA大模型都有效。
在长序列言语建模（Long Sequence Language Modeling）、密钥检索（Passkey Retrieval）、长文档摘要（Long Document Summarization）中性能都没有显着下降。
除了试验之外，论文附录中也给出了对新办法的具体证明。
Three More Thing
上下文窗口曾经是开源大模型与商业大模型之间一个重要差距。
比方OpenAI的GPT-3.5最高支撑16k，GPT-4支撑32k，AnthropicAI的Claude更是高达100k。
与此同时许多开源大模型如LLaMA和Falcon还停留在2k。
现在，Meta AI的新成果直接把这一差距抹平了。
扩展上下文窗口也是近期大模型研究的焦点之一，除了方位插值办法之外，还有许多测验引起业界关注。
1、 开发者kaiokendev在一篇技术博客中探索了一种将LLaMa上下文窗口扩展到8k的办法。
2、 数据安全公司Soveren机器学习负责人Galina Alperovich在一篇文章中总结了扩展上下文窗口的6个技巧。
3、 来自Mila、IBM等组织的团队还在一篇论文中测验了在Transformer中彻底去掉方位编码的办法。
有需要的小伙伴能够点击下方链接查看～
Meta论文：
arxiv.org/abs/2306.15…
Extending Context is Hard…but not Impossible
kaiokendev.github.io/context
The Secret Sauce behind 100K context window in LLMs
blog.gopenai.com/how-to-spee…
无方位编码论文
arxiv.org/abs/2305.19…
—完—
