近来，由清华技能成果转化的公司智谱AI 开源了 GLM 系列模型的新成员——中英双语对话模型 ChatGLM-6B，支撑在单张消费级显卡上进行推理运用。这是继此前开源 GLM-130B 千亿基座模型之后，智谱AI 再次推出大模型方向的研究成果。与此同时，根据千亿基座模型的 ChatGLM 也同期推出，初具问答和对话功用，现已敞开约请制内测（内测请求网址 chatglm.cn），后续还会逐渐扩展内测规模。

据悉，ChatGLM-6B 是一个开源的、支撑中英双语问答的对话言语模型，并针对中文进行了优化。该模型根据 General Language Model（GLM）架构，具有 62 亿参数。结合模型量化技能，用户能够在消费级的显卡上进行本地布置（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 运用了和 ChatGLM 相同的技能，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语练习，辅以监督微调、反应自助、人类反应强化学习等技能的加持，62 亿参数的 ChatGLM-6B 尽管规模不及千亿模型，但大大降低了推理成本，提高了效率，并且现已能生成适当符合人类偏好的回答。

模型开源地址：
github.com/THUDM/ChatG…

具体来说，ChatGLM-6B 具备以下特色：

充沛的中英双语预练习：ChatGLM-6B 在 1:1 比例的中英语料上练习了 1T 的 token 量，兼具双语才能。

优化的模型架构和巨细：汲取 GLM-130B 练习经历，修正了二维 RoPE 位置编码实现，运用传统 FFN 结构。6B（62亿）的参数巨细，也使得研究者和个人开发者自己微调和布置 ChatGLM-6B 成为可能。

较低的布置门槛：FP16 半精度下，ChatGLM-6B 需求至少 13 GB 的显存进行推理，结合模型量化技能，这一需求能够进一步降低到 10GB（INT8）和 6GB（INT4），使得 ChatGLM-6B 能够布置在消费级显卡上。

更长的序列长度：相比 GLM-10B（序列长度 1024），ChatGLM-6B 序列长度达 2048，支撑更长对话和使用。

人类意图对齐练习：运用了监督微调（Supervised Fine-Tuning）、反应自助（Feedback Bootstrap）、人类反应强化学习（RLHF）等方法，使模型初具了解人类指令意图的才能。输出格式为 markdown，方便展现。

根据以上特色，ChatGLM-6B 在一定条件下具备较好的对话与问答才能，不过由于 ChatGLM-6B 模型的容量较小，不可避免的存在一些限制和缺乏。

相对较弱的模型记忆和言语才能。在面对许多事实性知识使命时，ChatGLM-6B 可能会生成不正确的信息，也不太拿手逻辑类问题（如数学、编程）的解答。
可能会发生有害说明或有成见的内容：ChatGLM-6B 仅仅一个开始与人类意图对齐的言语模型，可能会生成有害、有成见的内容。
较弱的多轮对话才能：ChatGLM-6B 的上下文了解才能还不行充沛，在面对长答案生成和多轮对话的场景时，可能会出现上下文丢失和了解错误的情况。

特别值得注意的是，同归于智谱AI的**CodeGeeX**：也是根据人工智能大模型驱动的，快速编写代码的代码生成东西。在VSCode和JetBrains IDEs插件商场就能够免费下载运用！

**CodeGeeX**插件具有代码生成功用：能够根据自然言语注释描述的功用，自动生成代码。也能够根据已有的代码自动生成后续代码，补全当前行或生成后续若干行，帮助你提高编程效率。

**CodeGeeX**代码翻译功用：支撑多种编程言语之间互译，准确率高。现在代码翻译功用支撑八种最流行的编程言语: Python、Go、Java、JavaScript、C++、C#、PHP、TypeScript等；

**CodeGeeX**代码解释功用：能够一键为你的代码逐行添加注释；

同时，智谱AI 还敞开了 ChatGLM 线上模型的内测。相比起 ChatGLM-6B，ChatGLM 线上模型的才能提高首要来源于共同的千亿基座模型 GLM-130B。它采用了不同于 BERT、GPT-3 以及 T5 的 GLM 架构，是一个包含多目标函数的自回归预练习模型。2022 年 11 月，斯坦福大学大模型中心对全球 30 个主流大模型进行了全方位的评测，GLM-130B 是亚洲仅有当选的大模型。在与 OpenAI、Google Brain、微软、英伟达、Meta AI 的各大模型比照中，评测陈述显示 GLM-130B 在准确性和公平性指标上与 GPT-3 175B（davinci）接近或持平，鲁棒性、校准误差和无偏性优于 GPT-3 175B。

整体而言，ChatGLM 距离国际顶尖大模型研究和产品还有一定距离，GLM 团队也在博客中坦言了这一点，并表示将继续研制并开源更新版本的 ChatGLM 和相关模型。欢迎我们下载 ChatGLM-6B，根据它进行研究和（非商用）使用开发。GLM 团队希望能和开源社区研究者和开发者一起，推动大模型研究和使用在中国的开展。

博客链接请见：chatglm.cn/blog

本文由博客一文多发平台 OpenWrite 发布！