机器之心报道
机器之心编辑部
在众多开源项目中锋芒毕露，OpenAssistant 有两把刷子。
事实证明，将大型言语模型 (LLM) 与人类偏好保持一致能够显著提高可用性，这类模型往往会被快速采用，如 ChatGPT 所证明的那样。监督微调 (SFT) 和根据人类反应的强化学习 (RLHF) 等对齐技能大大减少了有用利用 LLM 功用所需的技能和范畴知识，然后提高了它们在各个范畴的可拜访性和实用性。
然而，像 RLHF 这样最先进的对齐技能依赖于高质量的人工反应数据，这些数据的创立本钱很高，而且通常仍然是专有的。
为了使大规模对齐研讨民主化，来自 LAION AI 等组织（Stable diffusion 运用的开源数据便是该组织提供的。）的研讨者收集了大量根据文本的输入和反应，创立了一个专门练习言语模型或其他 AI 应用的多样化和独特数据集 OpenAssistant Conversations。
该数据集是一个由人工生成、人工注释的助理式对话语料库，覆盖了广泛的主题和写作风格，由 161443 条音讯组成，分布在 66497 个会话树中，运用 35 种不同的言语。该语料库是全球众包工作的产物，涉及超过 13500 名志愿者。关于任何希望创立 SOTA 指令模型的开发者而言，它都是一个十分宝贵的东西。而且任何人都能够免费拜访整个数据集。
此外，为了证明 OpenAssistant Conversations 数据集的有用性，该研讨还提出了一个根据谈天的帮手 OpenAssistant，其能够了解任务、与第三方体系交互、动态检索信息。能够说这是第一个在人类数据上进行练习的完全开源的大规模指令微调模型。
成果显现，OpenAssistant 的回复比 GPT-3.5-turbo (ChatGPT) 更受欢迎。
- 论文地址：drive.google.com/file/d/10iR…
- 项目地址：github.com/LAION-AI/Op…
- 数据集地址：huggingface.co/datasets/Op…
- 体验地址：open-assistant.io/chat
网友表示：做得好，逾越 OpenAI（抱愧是 Closed AI）。
研讨介绍
OpenAssistant Conversations 的根本数据结构是会话树 (Conversation Tree, CT)，其间的节点表示会话中的音讯。
OpenAssistant Conversations 数据是运用 web-app 界面收集的，包含 5 个步骤：提示、符号提示、将回复音讯添加为提示器或帮手、符号回复以及对助理回复进行排名。
下图为 OpenAssistant Conversations 数据集言语分布，主要以英语和西班牙语为主：
试验成果
指令微调
为了评价和证明 OpenAssistant Conversations 数据集的有用性，研讨者专注于根据 Pythia 和 LLaMA 的微调言语模型。其间 Pythia 是一个具有宽松开源答应的 SOTA 言语模型，而 LLaMA 是一个具有定制非商业答应的强大言语模型。
对此，研讨者发布了一系列微调言语模型，包含指令微调的 Pythia-12B、LLaMA-13B 和 LLaMA-30B，这是他们迄今最大的模型。研讨者将分析重心放在了具有开源特点的 Pythia-12B 模型上，使得它能够被广泛拜访并适用于各种应用程序。
为了评价 Pythia-12B 的功能，研讨者展开了一项用户偏好研讨，将其输出与 OpenAI 的 gpt-3.5-turbo 模型进行比较。现在已经有 7,042 项比较，成果发现 Pythia-12B 对 gpt-3.5-turbo 的胜率为 48.3%，标明经过微调的 Pythia 模型是十分具有竞争力的大言语模型。
偏好建模
除了指令微调模型之外，研讨者还发布了根据 Pythia-1.4B 和 Pythia-12B 的经过练习的奖赏模型。利用在实在世界数据上练习的奖赏模型能够为用户输入带来更准确和自适应的呼应，这关于开发高效且对用户友好的 AI 帮手至关重要。
研讨者还计划发布经过人类反应强化学习（RLHF）练习的 LLaMA-30B，这种方法能够显著提升模型功能和适应性。不过，根据 RLHF 方法的模型开发与练习正在进行中，需求进一步努力保证成功地整合进来。
有毒信息
研讨者采取根据 Detoxify 的毒性检测方法来取得六个不同类别的主动评级，分别是有毒、色情、威胁、凌辱、攻击性、显露言辞。运用主动毒性评级，研讨者体系地评价了人工指定毒性标签（如仇恨言辞、不恰当和色情）的等级。而且根据 115,153 条音讯样本，他们计算了主动与人工注释毒性标签之间的相关性，如下图 5 所示。
与 GPT-3.5（ChatGPT）的比较
我们来看几组 OpenAssistant 与 GPT-3.5 的生成成果比较。比方「单词 barn 的词源 / 来源是什么？」能够看到，OpenAssistant 解说地更详细、全面。
再比方输入「你现在是一个普通的人类。请介绍一下你自己并告诉我一些你的日常生活。」OpenAssistant 代入了普通人类的人物，GPT-3.5 显然没有，还是以 AI 言语模型自居。
最后输入「怎么创立一个成功的 YouTube 频道，从开发一个利基商场到创立内容以树立一个社区并货币化频道？」OpenAssistant 的回答相对而言更有条理性。
体验下来，中文不太行
现在的 Open Assistant 根据「OA_SFT_Llama_30B」模型，最大新 token 的数量为 1024，支撑了英文、中文、日语等数十种言语。
先让它做一下自我介绍。
然而在中文对话体验中发现，有时输入中文，但输出的仍是英文。比方「用中文写一首关于春天的诗歌」。
除了有时无法输出中文之外，中文百科知识方面也体现不佳。比方「介绍一下李白和杜甫」。
再比方「鲁智深是红楼梦中的人物，你觉得对吗」，人名和出处都搞错了。
另外在中英互译方面也不太好使。
更不必提数学问题了，比方经典的鸡兔同笼问题。
这可能是因为在中文等其他言语的适配性上没有进行优化，希望未来能够改进。
