羊驼都不香了
一个奥秘磁力链接，成了开源大模型社区的新宠。
里面是来自法国的开源大模型 Mistral-7B，我们试用下来，觉得 Llama 2 都不香了。
有开发者主张，代码之外的数据微调，34B 以下规模先试试它就对了。
也有公司开始把它用在简历自动解析和评估业务上。
想依据 Mistral 创业的更是大有人在。
发布不到 2 周，配套生态也敏捷发展起来，如安在单卡上微调的教程有了。
各种基础设施和东西链也添加了对 Mistral-7B 的支持。
专用于代码补全的微调版别也有人搞出来了。
乃至有人依据它微调了一个奥秘学形而上学大模型，也很受欢迎。
与 Meta 刚刚发布 Llama 的时候，敏捷出现各种其他驼和神兽，发展成大模型动物园的场景太像了。
Mistral 这个单词在法语里代表冬季的一种强风。
羊驼们，预备好过冬了吗？
先上总结，归纳官方公告和社区反馈，主要有 5 个方面：
功能更强，硬件需求更少，有 2023 年的常识，安全对齐没那么离谱，开源协议更宽松，
依据官方发布公告，Mistral 7B 在所有尝试过的评测基准中超越 Llama 2 13B。
并在代码、数学和推理评测中超越 Llama 1 34B。
另外代码使命上的体现挨近专门的 CodeLlama 7B，一起保留了自然语言才能。
上下文窗口也达到了 8k。
更详细的测评数据如下。
以小胜大，意味着获得相似的作用硬件需求更少。
官方也特别阐明用了各种优化手段，FlashAttention，Grouped-Query Attention，Sliding Window Attention 一起上。
现在现已看到很多开发者晒自己在苹果笔记本跑起来的经验。
量化后只需要 6G 显存。
官方没有详细阐明练习数据截止日期。
但经网友测验，2023 年 3 月 OpenAI 发布 GPT-4 的事它也知道。
相比之下 Llama 2 的预练习数据截止到 2022 年 9 月，只要部分微调数据最多到 2023 年 6 月。
Llama 2 的安全对齐措施十分充分严厉，乃至损失了一部分实用性。
比方拒绝回答如何 “杀死” 一个 Linux 线程，只能说过于礼貌也是一种不礼貌了。
还有创业者依据自己经历总结了 3 点是 Mistral-7B 能做但 Llama 2 做不好的。
他做的是检索杂乱 SQL 语句，对比测验发现 Llama 2 13B 有几个缺陷：
- 即便供给少样本示例，也会在结构化输出中刺进谈论
- 会在时刻字段上出错
- 在数据结构界说 DDL 中如果有多个表，总是漏掉至少一个表
而 Mistral-7B 详细作用还在测验中，至少这些问题都不存在。
另外 Mistral-7B 还十分合适用来微调，官方也出了通过指令微调的谈天版别作为补充。
Mistral 依据十分宽松的 Apache2.0 协议开源，免费，允许商业使用、修改和分发。
相比之下 Meta 为 Llama 2 预备的协议，乃至被开源界批评为严厉来讲不算真正的开源。
比方有附加商业条款，月活超越 7 亿的产品或服务需要单独申请许可，这条主要针对大公司。
针对个人和小公司的也有不能使用 Llama 生成的结果来改进其他模型等。
Mistral AI 建立于今年 5 月，总部法国巴黎，3 位创始人是 DeepMind 和 Meta 前职工，
外界将这家公司看成是欧洲的 OpenAI。
最初刚建立 4 周还没有产品时，就靠 6 个职工 7 页 PPT 拿到超越 1 亿美元融资，其时还引起一番争议，被当成是 AI 泡沫的代表。
Mistral AI 最初计划在 2024 年发布首个大模型，没想到刚到 9 月底就已拿出效果，团队也扩展了不少。
三位联合创始人中，CEOArthur Mensch 此前在 DeepMind 巴黎工作。
CTOTimothe Lacroix 和首席科学家 Guillaume Lample 则在 Meta 一起参加过 Llama 系列的研发，Lample 是通讯作者之一。
事实上 Llama 初始团队中已有过半离职，其中 Marie-Anne Lachaux 后来也加入了 Mistral AI。
有点子当年 OpenAI 部分职工出走建立 Anthropic 的意思了，历史总是惊人的相似。
Mistral AI 接下来也会持续推出规模更大的模型，增强推理才能以及多语言才能。
如果你对 Mistral-7B 感兴趣，可以在 Perplexity 或 HuggingChat 试玩。
labs.perplexity.ai
huggingface.co/chat
还有一个与 Llama 2 同台竞技的小游戏可玩。
llmboxing.com
下载模型也可以去 Hugging Face。
huggingface.co/mistralai
参阅链接：
[1]mistral.ai/news/announ…
[2]predibase.com/blog/fine-t…
[3]x.com/hrishioa/st…
[4]twitter.com/Teknium1/st…
版权所有，未经授权不得以任何形式转载及使用，违者必究。
