2023年初,ChatGPT 人工智能对话模型火爆全球,仅两个月的时间就突破一亿月活用户,成为有史以来运用速度最快的技术之一。

ChatGPT 的大热引发了全球科技巨头之间的“军备竞赛”,我国本乡的“我国版 ChatGPT ”也随之展开了剧烈比赛。在我国多家科技公司中,百度于3月上线的对话 AI 产品“文心一言”最早开战。

近日复旦大学自然语言处理实验室邱锡鹏教授团队研发的大语言模型 MOSS 也已揭露发布并开源。MOSS 的揭露发布无疑加剧了国内 ChatGPT 式产品的竞赛。

MOSS 是什么?

免费部署一个开源大模型 MOSS

MOSS 是一个支持中英双语和多种插件的开源对话语言模型,moss-moon系列模型具有160亿参数,在 FP16 精度下可在单张 A100/A800 或两张 3090 显卡运转,在 INT4/8 精度下可在单张 3090 显卡运转。MOSS 基座语言模型在约七千亿中英文以及代码单词上预训练得到,后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话才能及运用多种插件的才能。

申请服务器

这儿运用阿里云免费的 GPU 服务器进行布置,免费试用活动页 free.aliyun.com/ 。

只要没有申请过 PAI-DSW 资源的新老用户皆可申请 5000CU 的免费额度,3个月内运用。

免费部署一个开源大模型 MOSS

点击试用,完结注册、实名、领取产品后进入如下页面。

免费部署一个开源大模型 MOSS

创立作业空间并授权。

免费部署一个开源大模型 MOSS

授权完结,前往默许作业空间。

免费部署一个开源大模型 MOSS

创立交互式建模(DWS)实例。

免费部署一个开源大模型 MOSS

输入实例名称,就叫它 550W 吧~,GPU 挑选 A10 或者 V100 都行,这俩是支持资源包抵扣的,其他的不支持,这儿注意!V100 性能更好,但我们测试运用没必要,就选 A10 就行,A10 显卡每小时消耗6.991计算时,假如不关机持续运用大约能够运用30天。

免费部署一个开源大模型 MOSS

数据集是可选的,假如想闲时关机建议运用数据集,能够把数据保存,否则每次关机后发动都得重新布置。

免费部署一个开源大模型 MOSS

挑选镜像 URL,填入与地区对应的镜像地址。

杭州地域:dsw-registry-vpc.cn-hangzhou.cr.aliyuncs.com/cloud-dsw/eas-service:aigc-torch113-cu117-ubuntu22.04-v0.2.1_accelerated

北京地域:dsw-registry-vpc.cn-beijing.cr.aliyuncs.com/cloud-dsw/eas-service:aigc-torch113-cu117-ubuntu22.04-v0.2.1_accelerated

上海地域:dsw-registry-vpc.cn-shanghai.cr.aliyuncs.com/cloud-dsw/eas-service:aigc-torch113-cu117-ubuntu22.04-v0.2.1_accelerated

深圳地域:dsw-registry-vpc.cn-shenzhen.cr.aliyuncs.com/cloud-dsw/eas-service:aigc-torch113-cu117-ubuntu22.04-v0.2.1_accelerated

免费部署一个开源大模型 MOSS

然后点击下一步,耐性等待实例创立,这个过程仍是比较耗时的。

布置 MOSS

实例创立成功后,点击打开,进入控制台。

免费部署一个开源大模型 MOSS

进入下面这个页面后,点击 “Terminal” 进入命令行。

免费部署一个开源大模型 MOSS

1、下载库房内容到本地

` # git clone github.com/OpenLMLab/M…

免费部署一个开源大模型 MOSS

2、进入MOSS文件夹

# cd MOSS

3、修正 requirements.txt

torch==1.10.1 改为 torch==1.13.1

免费部署一个开源大模型 MOSS

4、装置依赖

# pip install -r requirements.txt

5、修正 moss_cli_demo.py 文件第 31 至 33 行

model = load_checkpoint_and_dispatch(

raw_model, model_path, device_map="auto", no_split_module_classes=["MossBlock"], dtype=torch.float16, max_memory={0: "18GiB", "cpu": "26GiB"}

)

免费部署一个开源大模型 MOSS

6、发动服务,第一次发动需求下载模型,耐性等待

# python moss_cli_demo.py

免费部署一个开源大模型 MOSS

等待一段时间后,呈现以下对话框就是装置成功了,你就能够跟MOSS对话啦~

免费部署一个开源大模型 MOSS

总结

MOSS 的揭露无异于宣告与百度对话模型的“正面竞赛”,这场人工智能的“决战”注定轰动一时。未来几个月, ChatGPT 式对话产品将在我国大行其道,而 MOSS 和“文心一言”的 PK 则成为职业和公众最关怀的话题。这场竞赛的结果,将对我国在人工智能范畴的地位产生重大影响。人工智能年代的创新,正在以史无前例的速度在我国大陆延伸。

MOSS 和“文心一言”的竞逐,只是 AI 工业开展的序章。随着竞赛不断晋级,未来的 AI 产品将愈加智能,技术创新愈加频频。我国终将在这场科技革新的浪潮中,占领一席之地。