作者 | 智商掉了一地、Python
跟着 AIGC 技能迈出了一大步，ChatGPT 等聊天机器人被频繁地运用在生活和工作中的各个场景。幻想一下，当你写代码陷入没有条理的地步或者无法解决 Bug 时，这种根据大型言语模型（LLM）的系统因为有丰厚的练习数据与强壮的推理才能，或许会在一些简略的代码生成使命上有着出色体现，为你提供灵感。但是，在面对更杂乱的代码生成使命（如比赛级问题）时，仍然存在必定的应战。
有一个名为 BRAINSTORM（脑筋风暴）的新结构或许能更好地应对这个问题，它运用高层次算法蓝图、神经排序模型以及 LLM 的推理才能，来帮助咱们生成多样化的思路并找到最佳的解决方案，它的功能甚至能够到达与人类程序员适当的水平。让咱们一同来看看吧~
论文标题:
Think Outside the Code: Brainstorming Boosts Large Language Models in Code Generation
布景介绍
程序综合
程序综合（Program Synthesis）在自动化软件发现、程序剖析和验证、以及人机交互等范畴中有广泛的运用，它是一种旨在经过自动合成完好的功能程序来解决开发者所提出问题的技能。
传统办法通常在由底层编程言语定义的查找空间中查找满足特定使命约束条件的程序。但是，这种办法面临着查找空间杂乱和形式规约缺乏等问题。根据深度学习的程序综合能够从非正式规范（如自然言语、部分代码、输入-输出示例或伪代码）中生成程序。现在，深度学习办法首要用于生成特定范畴内的短程序或通用编程言语中的单行代码。
比赛级的代码生成
比赛级代码生成（Competition-level code generation）是指生成比赛级水平的杂乱编程解决方案的过程。这需求模型具有更高的推理和抽象才能，能了解和消化更为杂乱的使命描绘、更长的代码，以及更多的上下文信息。研讨标明，LLM 在零样本设置中生成代码，比针对特定数据集进行微调具有更好的泛化才能。此外，对 GPT-4 的调查标明它能以个位数的经过率解决比赛级编程问题。
论文速览
BRAINSTORM 结构是一种用于比赛级代码生成的办法，其核心是生成多样化的思路并从中挑选高质量的思路，从而有效运用 LLM 的算法推理才能。该结构经过设计多种类型的指令，将这些指令与问题描绘一同输入到 LLM 中，以生成多样化的思路。
如图 1 所示，BRAINSTORM 结构包含以下过程：
-
脑筋风暴（Brainstorming）：该过程是 BRAINSTORM 结构的核心，旨在生成各种或许有助于解决给定问题的思路。如图 2 所示，为了完成这个目标，作者设计了多种类型的指令，并将这些指令与问题描绘一同输入到 LLM 中。
-
思路挑选（Idea Selection）：在上一步中生成了很多的思路后，需求对它们进行筛选和排序。如图 3 所示，详细地，运用了一个评价函数来评价每个思路的质量，并挑选最高质量的思路作为最终输出。
-
代码生成（Code Generation）：在上一步中挑选了最佳思路后，需求将其转换为代码。详细而言，作者运用了一个代码生成器来将思路转换为可执行代码。而且如图 4 所示，BRAINSTORM 结构能够在零样本情况下工作，与少样本办法不同，这儿不需求任何示例即可完成高效的代码生成。
试验
文中进行了多项试验，对其成果总结如下：
-
如表 1 和 2 所示，在 APPS 和 CodeContests 基准测验中，作者运用 BRAINSTORM 结构生成代码，并与其他办法进行比较。成果标明，BRAINSTORM 结构在这两个基准测验中都明显进步了 LLM 的功能。
-
作者还在真实编程比赛中进行了试验，将 BRAINSTORM 结构运用于代码生成。表 3 的成果标明，该结构能够将 ChatGPT 算法推理才能进步到与人类程序员适当的水平。
这些成果标明，在运用 BRAINSTORM 结构时，LLM 生成的代码质量更高、更挨近人类程序员所写的代码。
小结
本文介绍了一种名为BRAINSTORM的新的比赛等级代码生成结构，其亮点在于：
- 提出比赛等级代码生成结构 BRAINSTORM：经过生成多样化的思路并从中挑选高质量思路来完成高效代码生成使命。
- 运用 LLM 的算法推理才能：经过设计多种类型的指令来完成生成多样化的思路，并运用评价函数和代码生成器将思路转换为可执行代码。
- 零样本学习：能够在零样本情况下工作，不需求任何示例即可完成高效的代码生成。
跟着该范畴的进一步探索和开展，咱们相信生成更精准、高质量的代码将成为一种必然趋势。当更多研讨者将目光投入这个范畴，那么咱们离解放双手生成代码的美好世界也会更近一步~
