本文正在参与「金石方案」

近期，Meta发布了人工智能大言语模型LLaMA，包括70亿、130亿、330亿和650亿这4种参数规划的模型。其中，最小的LLaMA 7B也经过了超1万亿个tokens的练习。

本文咱们将以7B模型为例，共享LLaMA的运用方法及其作用。

1.LLaMA的上手攻略

这一部分，咱们将step by step，展示LLaMA的运用流程。

1） 下载LLaMA模型文件

LLaMA快速上手指南

以7B模型文件为例，包括内容如下：

LLaMA快速上手指南

2）克隆LLaMA项目及环境配置

gitclonehttps://github.com/facebookresearch/llama.git
cd llama
pip install -r requirements.txt
pipinstall-e

如下示例中，相关操作均可通过IDP终端进行。

LLaMA快速上手指南

3) LLaMA初体会

在IDP的cell中运转如下代码，即可和LLaMA对话，接收LLaMA的回答啦！

关于7B模型：

TARGET_FOLDER=..
torchrun --nproc_per_node 1 example.py --ckpt_dir $TARGET_FOLDER/7B --tokenizer_path $TARGET_FOLDER/tokenizer.model

关于13B模型：

TARGET_FOLDER=..
torchrun --nproc_per_node 2 example.py --ckpt_dir $TARGET_FOLDER/13B --tokenizer_path $TARGET_FOLDER/tokenizer.model

关于不同巨细的LLaMA模型文件，上述指令需求调整的为TARGET_FOLDER中模型文件的名称和node参数。

LLaMA快速上手指南

让咱们来进行两个简略的问答测试。

Prompt 1:

Building a website can be done in 10 simple steps

LLaMA 7B模型的回答如下：

LLaMA快速上手指南

Prompt 2:

Please write a beautiful love poem

LLaMA 7B的模型回答如下：

LLaMA快速上手指南

LLaMA对这个提示词问题，自行增加了一些场景预设，如“I need some new poems for my birthday（为庆生，我需求一些新诗）”。

输入或调整提示词prompt，可在example.py文件中的prompts部分进行调整，如下图所示。

LLaMA快速上手指南

关于这两个对话示例，咱们也相同放上ChatGPT的答案，供我们比照参阅。

LLaMA快速上手指南

LLaMA快速上手指南

2. 从LLaMA到”开源版ChatGPT”？

LLaMA推出3天后，Nebuly AI的草创AI企业在LLaMA的基础上，根据RLHF（根据人类反应的强化学习）进行练习，打造了对标ChatGPT的ChatLLaMA。

nebullvm/apps/accelerate/chatllama at main nebuly-ai/nebullvm GitHub

LLaMA快速上手指南

ChatLLaMA声称练习过程比ChatGPT快15倍。同时，支撑DeepSpeed ZERO，可以加速微调速度。

DeepSpeed是一个开源的深度学习练习优化库，ZeRO是一种显存优化技术，用于进步大型模型的练习效率，如进步练习速度，降低成本和进步模型可用性等。

但ChatLLaMA并不提供LLaMA的模型权重，根据其license，也不可以商用。

3. 彩蛋时刻

正如文章标题所说，本文不仅是攻略哦。

咱们在IDP开源的AI IDE中，增加了LLaMA和Stable Diffusion的示例文件，小伙伴们可以快速开启LLaMA体会之旅。

项目地址：github.com/BaihaiAI/ID…

LLaMA快速上手指南