清华唐杰团队的新作来了：
WebGLM，一个参数100亿的联网问答聊天机器人（论文入选KDD2023）。
你能够问它任何问题，然后它将列举出网上（例如维基百科、相关官网）相关的文章链接，整理出答案。
比如：
ChatGPT的核心技术是什么？
或许:
谁提出的Music Transformer？它的原理是什么？
再或许：
原神3.5版别怎样样？
没有高薪工作，怎样在一线城市生活？（手动狗头）
……
它都能给出有理有据的答复。
据介绍，在功用比照测验中，WebGLM的水平已经高于 OpenAI135 亿参数的WebGPT，在人类评价中，乃至与1750亿参数的模型平起平坐。
那么，它是怎么练习的？
能够上网的清华系WebGLM
据介绍，WebGLM的方针是通过Web查找和检索功用，增强预练习大言语模型，一起能够进行高效的实践布置。
为此，作者根据三种战略进行开发。
首先是大模型增强检索器。
它主要是用于增强模型相关网络内容的检索才能，在给定查询的情况下查找相关引证，以便后边更好地精确答复问题。
它有两个阶段：粗粒度web查找和细粒度LLM增强密集检索。
其次是自举生成器。
它使用GLM（比如清华之前发布的双语开源预练习模型GLM-130B）的才能为问题生成回复，供给详细的答案。
使用该生成器，作者得到WebGLM-QA——一个LLM自举引证和长程的QA数据集。
它通过上下文学习等战略进行清洗和过滤，终究包括45k的高质量过滤样本和83k的噪声样本。
WebGLM的backbone就是一个在该数据集上练习的GLM模型。
终究是根据人类偏好的打分器。
它通过优先考虑人类偏好而非昂贵的专家反应来评价生成回复的质量，保证体系能够产生有用和吸引人的内容。
以上三大组件终究按顺序形成WebGLM的pipeline：
能够看到，正好三个模块，对应前面介绍的三部分，其间：
LLM增强检索器会将前五个最相关的页面作为参考源，让自举生成器生成多个答案，终究打分器选出最或许契合人类偏好的那一个作为终究输出。
功用超OpenAI WebGPT
除了WebGLM本身，唐杰团队此次还提出了一个网络增强问答体系的评价标准，评价目标既包括参考文献，也包括终究答复。
其间前者衡量相关性、信息密度、真实性（无事实错误）、毒性（不含暴力色情等信息）和社会成见程度这5个维度；后者则衡量流通度、正确性、引证精确性、客观性和冗余程度。
他们用WebGPT（来自OpenAI，根据GPT-3进行微调）演示网站供给的272个问题进行比照评价，并招募了15个学历为硕士的志愿者打分。
终究成果如下：
（“Rel.”、“ Den.”……分别对应上面说的10个目标。）
能够看到，尽管WebGLM的查找成果略逊于WebGPT-175B，但远好于Perplexity.ai和WebGPT-13B（左边的参考文献评价）。
值得一提的是，WebGLM检索进程只使用了一些传统的根据单词的算法和两个累计参数量不超过300M的Contriever。
此外，WebGLM在核算功用和时刻消耗方面也明显优于WebGPT-13B、并与175B平起平坐。
而在终究成果方面，WebGLM在流通度、真实性和冗余度方面均取得最高得分，正确性目标上则挨近WebGPT-175B，远高于Perplexity.ai和WebGPT-13B。
作者表示，这表明WebGLM能够以更低的本钱取得更高的功用。
布置与练习
WebGLM发布即开源。
要想布置它，需要从SerpAPI官网取得一个密钥，用于在查找进程中获取查找成果。
检索器的权重可从清华云上下载。
运行该模型的方法有两种：一是命令行界面，二是Web服务形式，而且包括WebGLM-2B和WebGLM-10B两种可选模型。
你也能够自己练习WebGLM，官方已供给好了生成器和检索器的练习数据供下载～
论文地址：
arxiv.org/abs//2306.0…
GitHub主页：
github.com/THUDM/WebGL…
—完—
