导语

本文提出了SQLPrompt，经过创新的Prompt规划、根据履行一致性的解码战略，以及混合不同格局的Prompt和不同LLMs输出的办法，进步了LLM在Few-shot In-context Learning下的才能。

1 简介

这项研讨介绍了“SQLPrompt”，一种针对大型语言模型（LLMs）中的Text-to-SQL使命进行少标签数据下的上下文提示的办法。SQLPrompt经过创新的提示规划、根据履行一致性的解码战略（挑选最一致的履行成果SQL），以及“MixPrompt”和“MixLLMs”办法（添加不同提示规划和基础模型中SQL提议的多样性）来进步少示例提示的才能。成果表明，SQLPrompt在少标签数据的上下文学习中体现优异，与运用数千标签数据进行微调的最新技能比较，缩小了距离。

2 办法

作者实际上提出了4个小的模块，构成了SQLPrompt，别离为：

  • Prompt规划：Prompt中包含数据库schema、主/外键和数据库内容。本文给出了两种不同的Prompt格局，别离为
    • Concise prompts：Table1 name: column name 1, column name 2 (relevant database content) | Table2 name: column1 …
    • Verbose prompts：Table “CarNames” contains three columns. The column names and their types are : MakeID (number), Model (string) ..”; “Foreign keys are .. Use foreign keys to join Tables
  • Execution-based consistency decoding：根据履行一致性的解码战略实际上就是对LLM进行多次采样生成，然后对生成的SQL语句进行履行，挑选履行成果最一致的那个SQL；
  • MixPrompt：将不同的Prompt格局进行混合作为Few-shot的示例；
  • MixLLMs：将输入别离输入给不同的LLM进行生成采样；

论文笔记：SQLPrompt: In-Context Text-to-SQL with Minimal Labeled Data

从作者给出的这个流程图中能够很清楚的看到这4个模块。

论文笔记：SQLPrompt: In-Context Text-to-SQL with Minimal Labeled Data

3 实验

  • 使命和数据集：考虑Spider跨范畴大规模Text-to-SQL基准测验。
  • 模型：包含不同版本的PaLM和FLAN模型。
  • 微调模型：包含PICARD、RASAT和RESDSQL等。
  • 上下文学习模型：包含对CodeX、GPT-3和ChatGPT的评估。

4 成果

  • 功能比较：SQLPrompt在上下文学习和微调办法中体现优异，特别是在履行准确度（EX）和测验准确度（TS）方面。
  • 消融研讨：研讨了SQLPrompt的多个组件各自对于终究成果的影响，包含
    • 提示规划、
    • 根据履行的一致性解码、
    • MixPrompt和
    • MixLLMs。

论文笔记：SQLPrompt: In-Context Text-to-SQL with Minimal Labeled Data

从表格2-5能够看到，作者提出的这四个模块都对终究的SQLPrompt办法有提高。

5 结论

SQLPrompt经过创新的提示规划和一致性解码战略，显著进步了Text-to-SQL使命的功能。其在处理少量标签数据时的才能尤其杰出，为Text-to-SQL范畴提供了一个有力的新东西。