FastGPT 是一个根据 LLM 大语言模型的知识库问答体系，提供开箱即用的数据处理、模型调用等才能。一起能够经过 Flow 可视化进行工作流编排，从而实现杂乱的问答场景！
Llama2 是Facebook 母公司 Meta 发布的开源可商用大模型，国内的开源社区以及个人和组织也纷繁着手根据 Llama2 构建了中文版，而且还使用 GGML 机器学习张量库构建了能够在 CPU 上运转的 Llama2 中文版模型。
今日我们来玩点刺激的！ 首先在 CPU 上运转一个开源的 Llama2 中文版模型，然后将这个模型接入到 FastGPT 的知识库中，最终再将 FastGPT 接入第三方恣意 GPT 套壳运用。
原文链接：forum.laf.run/d/1009
一键运转 LLama2 中文版
运转模型有许多种方法，但是为了能和各种 GPT 运用兼容，最好能够提供一个对外的 API，而且这个 API 还得对齐 OpenAI 的 API。这就需要用到一个叫做 Text generation web UI 的项目。
Text generation web UI
Text generation web UI 是一个大语言模型启动器，它的终极目标是在 AI 对话领域对标 Stable Diffusion WebUI。引证 GitHub 原文：
A gradio web UI for running Large Language Models like LLaMA, llama.cpp, GPT-J, OPT, and GALACTICA.
Its goal is to become the AUTOMATIC1111/stable-diffusion-webui of text generation.
它能够加载简直所有的干流模型（支撑 llama.cpp 模型），而且在本地运转他们。语言模型能做什么，你就能体验到什么，能够当成离线版 ChatGPT 来运用。再加上 ChatGPT 在国内的检查问题，以及信息走漏危险，客制化的本地模型简直提供了无限可能。
值得一提的是，它还支撑经过 API 来进行调用，一起还提供插件对齐 OpenAI 的 API，你能够将其接入恣意套壳 GPT 运用中。
接下来我们就需要用到这个 openai 插件！
Sealos 国内集群
今年 6 月份，Sealos 正式上线了海外集群，虽然也向国内用户开放，但其机房在新加坡，国内部分线路不太友好。国内许多用户的需求比较特别，有必要要运用魔法，海外集群正好能够满意需求，至于线路到国内是否友好并不是非常重要。
但大部分国内用户的需求仍是要确保线路安稳，运用海外集群就有点无能为力了。为了满意国内用户的需求，现在我们正式上线了国内集群，与海外集群功能一致。除此之外，国内集群还新增了一项功能：经过共享存储来加载干流的大模型文件（现在只加载了 LLama2 中文模型）。
运转 Llama2 中文模型
我们能够直接经过以下链接翻开 Text generation web UI 的运用布置模板：
- cloud.sealos.top/?openapp=sy…
然后直接点击「布置运用」，布置完成后跳转到运用概况页面，检查日志：
只需出现下面红色方框中的日志，才算是启动完了：
这儿的外网地址是 openai 插件的 API 地址（因为 Sealos 现在只能露出一个端口到外网，暂时将 Web UI 端口封闭了，只露出 API 端口），仿制一下外网地址，就能够接入 FastGPT 了。
将 Llama2 中文版接入 FastGPT
首先翻开 FastGPT 并登录：fastgpt.run
然后进入账号界面，点击「OpenAI 账号」：
API Key 的值随意填，BaseUrl 的值填入之前在运用概况页面仿制的外网地址，并在结束加上途径 v1，并点击「承认」：
然后就能够在 FastGPT 中和 Llama2 中文大模型进行对话啦~
首先来到「运用界面」，新建一个运用：
模板挑选「简略的对话」，然后承认创立：
运用设置界面有许多能够自定义的选项，我们暂时先不管它，直接点击「对话」进行对话：
回复速度仍是不错的，毕竟给他分配了 15C，勉强能用。而且理解才能也不错，便是有时候胡说八道的才能与 GPT-3.5 有的一拼~
接入知识库
下面来玩一个更花的，将 Llama2 中文版接入 FastGPT 的知识库。
首先创立一个知识库：
然后导入数据开始练习：
FastGPT 提供了手动输入、直接分段、LLM 主动处理和 CSV 等多种数据导入途径，其间“直接分段”支撑经过 PDF、WORD、Markdown 和 CSV 文档内容作为上下文。FastGPT 会主动对文本数据进行预处理、向量化和 QA 切割，节省手动练习时间，提高效能。
关于知识库的练习方式，能够参考这篇文章：使用 FastGPT 打造高质量 AI 知识库
练习好知识库后，需要到你的「运用」中关联你的知识库：
关联完知识库后，再次与运用进行对话，它就会根据知识库内容来回答你的问题。以我练习的本公司 CEO 数字克隆为例：
作用仍是很不错的
将 FastGPT 接入恣意套壳 GPT
现在来到了最终一个环节，现在绝大多数的 GPT 运用接入的都是 OpenAI 的 API，所以只需我们的 API 对齐了 OpenAI，就能够直接接入绝大多数的 GPT 运用。
这不巧了么这不是，FastGPT 现在现已彻底对齐了 OpenAI，能够直接接入第三方 GPT 运用了。
首先依次挑选运用 -> 「API拜访」，然后点击「API 密钥」来创立密钥：
⚠️注意：密钥需要自己保管好，一旦封闭就无法再仿制密钥，只能创立新密钥再仿制。
组合秘钥
使用刚仿制的 API 秘钥加上 AppId 组合成一个新的秘钥，格式为：API 秘钥-AppId，例如这儿的组合密钥便是：fastgpt-z51pkjqm9nrk03a1rx2funoy-6467660e98568613e0525b45。
替换三方运用的变量
一般只需要替换以下两个变量即可：
OPENAI_API_BASE_URL: https://fastgpt.run/api/openapi (改成自己布置的域名)
OPENAI_API_KEY = 组合秘钥
不同运用的变量名不一样，但都差不多，自己甄别一下。
ChatGPT Next Web 示例：
ChatGPT Web 示例：
最终看一下作用：
