我正在参加「启航方案」

目前开源的 LLM 大模型，要想比较流畅地进行部署体会，离不开 GPU 算力。本文介绍根据阿里云的机器学习平台 PAI 来免费体会一些开源大模型。

获取算力

直接打开阿里云免费活动页挑选机器学习平台PAI：

基于阿里云免费算力自建LLM(类GPT)大模型
直接点击立即试用，留意，新老用户都能够，所以放心请求。一般 PAI 功用涉及到存储，所以建议同时也请求 NAS 体会功用：

基于阿里云免费算力自建LLM(类GPT)大模型

假如你需求引入 NAS 耐久化数据就到控制台新建即可，这儿不再赘述。

新建空间

请求结束后直接新建一个作业空间：

基于阿里云免费算力自建LLM(类GPT)大模型

资源消耗在资源实例办理查看。

创立DSW

创立好空间，直接创立交互式建模（DWS）实例，这儿咱们需求留意的是只能挑选能够抵扣算力的 GPU：

  • ecs.gn7i-c8g1.2xlarge: A10
  • ecs.gn6v-c8g1.2xlarge: V100

基于阿里云免费算力自建LLM(类GPT)大模型

镜像挑选 pytorch:1.12-gpu-py39-cu113-ubuntu20.04 即可，创立结束在**交互式建模（DSW）**选中创立的方针点击打开：

基于阿里云免费算力自建LLM(类GPT)大模型

具体操作页面如下：

基于阿里云免费算力自建LLM(类GPT)大模型

就是根据 **Jupyter Lab** 修改的界面，很好上手，接下来就让咱们用这个免费的算力来体会一下各类开源 LLM 大模型吧。

关于运用阿里云也很贴心肠出了教程给咱们上手运用：

基于阿里云免费算力自建LLM(类GPT)大模型

上手 LLM

准备作业

接下来将以开源范畴比较出名的几个 LLM 为例，跑起来体会一下，开始前做好一些准备作业：

# 装置 git-lfs
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
apt-get install git-lfs

ChatGLM-6B

下载项目：

https://github.com/THUDM/ChatGLM-6B.git
# 国内加速
git clone https://ghproxy.com/https://github.com/THUDM/ChatGLM-6B.git
# 装置依靠
pip install -r requirements.txt

加载模型：

mkdir -p  /mnt/workspace/chatglm-6b
git clone https://huggingface.co/THUDM/chatglm-6b /mnt/workspace/chatglm-6b
cd  /mnt/workspace/chatglm-6b
git lfs install
git lfs pull

若速度慢，官方供给的手动下载模型文件方案也可参考：

基于阿里云免费算力自建LLM(类GPT)大模型

运转项目，根据 transformers 快速运用：

基于阿里云免费算力自建LLM(类GPT)大模型

ChatGLM-6B 供给了 cli&web&api 三种运用方法，运用前请将这三个文件悉数修改下模型目录：

  • web_demo.py：设置 share=True 能够分享出去
  • cli_demo.py
  • api.py

比如我演示环境模型目录下载位置是 /mnt/workspace/chatglm-6b，改动后代码如下：

tokenizer = AutoTokenizer.from_pretrained("/mnt/workspace/chatglm-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("/mnt/workspace/chatglm-6b", trust_remote_code=True).half().cuda()

接下来启动运转对应脚本即可体会：

# 以终端为例
python cli_demo.py

基于阿里云免费算力自建LLM(类GPT)大模型

MOSS

准备好项目和模型：

git clone https://github.com/OpenLMLab/MOSS.git
# 装置依靠
pip install -r requirements.txt

由于硬件问题，咱们运用4bit量化版别的moss-moon-003-sft模型(默认)：

mkdir -p  /mnt/workspace/moss-moon-003-sft-int4
git clone https://huggingface.co/fnlp/moss-moon-003-sft-int4 /mnt/workspace/moss-moon-003-sft-int4

然后将moss_cli_demo.py的 32-34 行代码：

model_path = args.model_name
if not os.path.exists(args.model_name):
    model_path = snapshot_download(args.model_name)

改为：

# model_path = args.model_name
# if not os.path.exists(args.model_name):
#     model_path = snapshot_download(args.model_name)
model_path = "/mnt/workspace/moss-moon-003-sft-int4"

然后执行：

python moss_cli_demo.py

基于阿里云免费算力自建LLM(类GPT)大模型

假如想运用 web 交互版别：

python moss_web_demo_gradio.py

基于阿里云免费算力自建LLM(类GPT)大模型

baichuan-7B

准备好项目和模型：

git clone https://github.com/baichuan-inc/baichuan-7B.git
# 国内加速
git clone https://ghproxy.com/https://github.com/baichuan-inc/baichuan-7B.git
# 装置依靠
pip install -r requirements.txt

# 下载模型
mkdir -p  /mnt/workspace/baichuan-7b
git clone https://huggingface.co/baichuan-inc/baichuan-7B /mnt/workspace/baichuan-7b
cd /mnt/workspace/baichuan-7b
git lfs install
git lfs pull

运转项目，根据 transformers 快速运用：

pip install accelerate

只能说，牵强能跑：

基于阿里云免费算力自建LLM(类GPT)大模型

想要体会对话能力？有大佬已经微调了对应版别，如 baichuan-7b-sft ：

mkdir -p  /mnt/workspace/baichuan-7b-sft
mkdir -p /mnt/workspace/baichuan-7b-sft-offload-dir
git clone https://huggingface.co/hiyouga/baichuan-7b-sft /mnt/workspace/baichuan-7b-sft
cd  /mnt/workspace/baichuan-7b-sft
git lfs install
git lfs pull
git clone https://github.com/hiyouga/LLaMA-Efficient-Tuning
python src/cli_demo.py \
    --model_name_or_path /mnt/workspace/baichuan-7b \
    --checkpoint_dir /mnt/workspace/baichuan-7b-sft \
    --prompt_template ziya

执行成果：

基于阿里云免费算力自建LLM(类GPT)大模型

阐明

感谢阿里云的免费方案，整体体会下来感觉仍是不错的，其实就相当于可选的 A10&V100 GPU 让你体会运用，我们能够发挥想象力来运用，有什么问题欢迎沟通交流。

感谢你阅读到这儿，假如此文对你有协助，欢迎转发点赞。 朋友，都看到这了，确定不关注一下么