Stable Diffusion 3 还没全面敞开，这家公司的代码生成模型先来了。
本周一，Stability AI 开源了小体量预练习模型 Stable Code Instruct 3B。
Stable Code Instruct 3B 是一个根据 Stable Code 3B 的指令调整编码言语模型（Code LM）。给出自然言语 prompt，该模型能够处理各种使命，例如代码生成、数学和其他软件工程相关的使命。
Stability AI 宣称，该模型在 3B 规划上提供了 SOTA 功能，并且优于 CodeLlama 7B Instruct 等更大规划的模型，甚至在软件工程相关使命中，功能与 StarChat 15B 适当。
-
HuggingFace 试用：huggingface.co/spaces/stab…
-
Stable Code 技术陈述：static1.squarespace.com/static/6213…
Stable Code Instruct 3B 增强了代码补全才能，并支撑自然言语交互，旨在进步编程和软件开发相关使命的功率和直观性。试验测验标明，该模型在各种与编码相关的使命中优于 Codellama 7B Instruct 和 DeepSeek-Coder Instruct 1.3B 等同类模型。
方法介绍
Stable Code 建立在 Stable LM 3B 的基础上。Stable Code 是一个因果纯解码器 transformer，类似于 LLaMA 架构，与 LLaMA 的首要差异如下：
-
方位嵌入，旋转方位嵌入应用于头嵌入维度的前 25%，以进步吞吐量；
-
标准化，带有学得误差项的 LayerNorm；
-
误差，除了键、查询和值投影的误差，Stable Code 早年馈网络和多头自注意力层中删除了所有误差项。
下表给出了预练习语料库数据集的采样权重、 epoch、类别等信息。
根据 Stack Overflow 2023 开发者调查陈述，Stable Code Instruct 3B 要点重视 Python、Javascript、Java、C、C++ 和 Go 等言语，这些言语关于各种开发人员来说是最流行和最有影响力的。虽然这些言语被选为练习的要点，但该模型还针对其他广泛选用的言语（例如 SQL、PHP 和 Rust）进行了练习。
即便关于最初未包含在练习会集的言语（例如 Lua），Stable Code Instruct 3B 也能提供强壮的测验功能。这种熟练程度或许源于其对底层编码原理的了解，以及利用编码使命固有的可预测性，在不同编程环境中习惯概念的才能。
Stable Code Instruct 3B 不仅通晓代码生成，还通晓 FIM（Fill in the Middle）使命、数据库查询、代码翻译、解说和创立。其指令调整使其能够了解并依照细致入微的指令采取举动，促进除简略代码完结之外的广泛编码使命，包含数学了解、逻辑推理和环绕软件开发处理复杂的技术描绘。
功能评估
与 Codellama 7B Instruct 和 DeepSeek-Coder Instruct 1.3B 等抢先模型相比，Stable Code Instruct 3B 在一系列编码使命中展现出杰出的功能。
研究团队还在 Multi-PL 基准上比较了三种模型。尽管参数量较少，但 Stable Code Instruct 3B 在所有言语上的体现均显着优于 CodeLlama Instruct。
下表 8 展现了几种模型在 FIM 使命上的功能：
试验测验标明，Stable Code Instruct 3B 在代码完结准确性、对自然言语指令的了解以及跨不同编程言语的才能方面可与其他模型媲美甚至超越。
Stable Code Instruct 3B 的参数规划和低硬件要求使其可供广泛的受众使用，使开发人员能够更高效地工作。值得一提的是，Stable Code Instruct 3B 现在能够通过 Stability AI 会员资格用于商业目的。
参阅链接：
