机器之心专栏
机器之心修改部
如今大型言语模型（如 ChatGPT）风行全球，其最重要的运用之一便是辅助用户完结各种日常写作，如撰写电子邮件，创造博客文章，都能得到它的有力支持。可是目前包括 ChatGPT 在内的各种大言语模型在长内容创造范畴，如小说，剧本，长篇案牍等范畴却显得力不从心。
近期，来自苏黎世联邦理工和波形智能的团队发布了 RecurrentGPT，一种让大言语模型 (如 ChatGPT 等) 能够模拟 RNN/LSTM，经过 Recurrent Prompting 来完成交互式超长文本生成，让运用 ChatGPT 进行长篇小说创造成为了可能。
图 1 RecurrentGPT 运用示意图。
-
论文地址：arxiv.org/abs/2305.13…
-
项目地址：github.com/aiwaves-cn/…
-
在线 Demo：www.aiwaves.org/recurrentgp… (长篇小说写作)www.aiwaves.org/interactive… (交互式小说)
根据 Transformer 的大言语模型最显着的约束之一便是输入和输出的长度约束。虽然输入端的长度约束能够经过 VectorDB 等办法缓解，输出内容的长度约束始终是约束 ChatGPT 等大言语模型广泛运用于长内容生成的关键妨碍。为处理这一问题，过去很多研究试图运用根据向量化的 State 或 Memory 来让 Transformer 能够进行循环核算。这样的办法虽然在长文本建模上展现了必定的优势，可是却要求运用者具有并能够修改模型的结构和参数，这在目前闭源模型遥遥领先的大言语模型时代中是不符合实际的。
RecurrentGPT 则另辟蹊径，是运用大言语模型进行交互式长文本生成的首个成功实践。它运用 ChatGPT 等大言语模型理解自然言语指令的才能，经过自然言语模拟了循环神经网络（RNNs）的循环核算机制。
如图 2 所示，在每一个时刻步中，RecurrentGPT 会接收上一个时刻步生成的内容、最近生成内容的摘要（短期回忆），前史生成内容中和当时时刻步最相关的内容 (长期回忆)，以及一个对下一步生成内容的梗概。RecurrentGPT 根据这些内容生成一段内容，更新其长短时回忆，并最终生成几个对下一个时刻步中生成内容的规划，并将当时时刻步的输出作为下一个时刻步的输入。这样的循环核算机制打破了惯例Transformer 模型在生成长篇文本方面的约束，然后完成任意长度文本的生成，而不遗忘过去的信息。
图 2 RecurrentGPT 根本结构示意。
具体来讲。作者们规划了如图 2 所示的 prompt 去指导和规范循环的生成：
图 3: RecurrentGPT Prompt 规划。
首要指明任务，比如写小说，并阐明在输入部分会给出的内容：上一步生成的段落（图中 Ot-1）、当时保持的近期生成内容的摘要，即短期回忆（图中 ht-1），一切生成内容中和当时时刻步相关程度最高的几个段落，即短期回忆（图中 ct-1），以及对接下来生成内容的规划（图中 xt-1）。
接着在 prompt 中给 ChatGPT 提出要求：首要根据当时的输入生成一个新的段落，接着对维护的短期回忆进行修改，同时在对短期回忆修改时作者们指示大言语模型首要剖析短期回忆中哪些内容关于后续创造不再重要以及新生成的内容中哪些会对后续生成有所影响，之后相应地在地短期回忆库中去去除无用的信息并增添新的信息，然后保持短期回忆不会由于迭代的轮数添加而变得过长。最终要求 ChatGPT 根据当时的情节铺设，给出三个逻辑顺承又风趣的新的情节的规划。
在提出要求后，作者在结尾再次精心规划了 prompt 来规范 ChatGPT 的输出，并重申了当时小说写作的情景。这个好处是让 ChatGPT 生成的内容更具备像小说那样的细节，而不是在每一轮的迭代中，快速地完结情节的叙说。
图 4 RecurrentGPT Demo
在实际运用中，内容创造者只需先挑选一个主题，然后简略地描绘一下要生成的内容的布景设定和纲要，剩下的作业就能够交给 RecurrentGPT。每一个它将主动生成第一段，并供给几个可能的选项（plan）供创造者继续写故事。创造者能够挑选一个选项、对某个选项进行修改或许自己修改一个新的选项。这个流程能显著提高内容创造者的功率。
这个新的长文本生成范式将带给一切内容创造者和读者一种全新的体会。首要，相比现有的办法，RecurrentGPT 有更强的可解释性，由于用户能够观察和修改自然言语回忆，这使得用户能够更明晰地理解这个框架是如何作业的。其次，用户能够直接影响生成内容的方向，让整个写作进程变得愈加风趣。
除了作为 AI 内容生成 (AIGC) 的东西以外，RecurrentGPT 能够直接作为交互式小说，直接与顾客互动，跳过了内容创造者运用 AI 进行内容创造的步骤。这让顾客的体会更直接风趣，而且带来更丰厚的可能性。作者们将这样的生成式 AI 的运用范式称之为 (AI as Content, AIAC), 也便是 “AI 即内容”。而 RecurrentGPT 则是通往这个范式的第一步。
在试验中，作者们将 RecurrentGPT 与之前的 SoTA 长文本生成办法，在一致运用 ChatGPT 作为基座模型的情况下，在长文本（6000 单词）和较长文本（3000 单词）的设定下进行 pair-wise 的人工比较。
图 5 RecurrentGPT 试验成果。
在上述一系列测验中，RecurrentGPT 无论是在科幻、浪漫、幻想、恐怖、神秘还是惊悚小说的生成上，都被人类读者以为更风趣和连接。
总结
研究人员提出了 RecurrentGPT，用根据自然言语的组件取代了 RNN 中向量化的结构，而且用根据自然言语的 Prompt 模拟了 RNN 的循环核算图，然后完成 Recurrent Prompting，让 ChatGPT 等大言语模型模拟 RNN 的循环核算机制，生成风趣并连接的长内容。
该项目已经在 GitHub 上开源，并供给了根据 Gradio 的网页 UI，便利每一个用户去运用和调教自己的长内容创造帮手。
