本实践将选用阿里云机器学习渠道PAI-EAS 模块针对 Llama-2-13B-chat 进行布置。PAI-EAS是模型在线服务渠道，支撑将模型一键布置为在线推理服务或AI-Web运用，具备弹性扩缩的特色，合适需求高性价比模型服务的开发者。
前语
近期，Meta 宣告大言语模型 Llama2 开源，包括7B、13B、70B不同尺度，分别对应70亿、130亿、700亿参数量，并在每个规格下都有专门适配对话场景的优化模型Llama-2-Chat。Llama2 可免费用于研讨场景和商业用途（但月活超越7亿以上的企业需要申请），对企业和开发者来说，供给了大模型研讨的最新利器。
现在，Llama-2-Chat在大多数评测指标上超越了其他开源对话模型，并和一些抢手闭源模型（ChatGPT、PaLM）相差不大。阿里云机器学习渠道PAI第一时间针对 Llama2 系列模型进行适配，推出全量微调、Lora微调、推理服务等场景最佳实践，助力AI开发者快速开箱。以下咱们将分别展现详细运用过程。
【往期最佳实践】： 快速玩转 Llama2！PAI 推出最佳实践（一）——低代码 Lora 微调及布置
快速玩转 Llama2！PAI 推出最佳实践（二）——全参数微调训练
最佳实践三：Llama2 快速布置 WebUI
一、服务布置
1、进入PAI-EAS模型在线服务页面。
-
- 登录PAI控制台 pai.console.aliyun.com/
- 在左边导航栏单击作业空间列表，在作业空间列表页面中单击待操作的作业空间称号，进入对应作业空间内。
- 在作业空间页面的左边导航栏挑选模型布置>模型在线服务（EAS） ，进入PAI EAS模型在线服务页面。
2、在PAI EAS模型在线服务页面，单击布置服务。
3、在布置服务页面，配置以下关键参数。
| 参数 | 描述 |
|---|---|
| 服务称号 | 自定义服务称号。本事例运用的示例值为：chatllm_llama2_13b。 |
| 布置办法 | 挑选镜像布置AI-Web运用。 |
| 镜像挑选 | 在PAI渠道镜像列表中挑选chat-llm-webui，镜像版别挑选1.0。因为版别迭代敏捷，布置时镜像版别挑选最高版别即可。 |
| 运转命令 | 服务运转命令：- 如果运用13b的模型进行布置：python webui/webui_server.py –listen –port=8000 –model-path=meta-llama/Llama-2-13b-chat-hf –precision=fp16– 如果运用7b的模型进行布置：python webui/webui_server.py –listen –port=8000 –model-path=meta-llama/Llama-2-7b-chat-hf端口号输入：8000 |
| 资源组品种 | 挑选公共资源组 |
| 资源配置办法 | 挑选常规资源配置。 |
| 资源配置挑选 | 必须挑选GPU类型，实例规格推荐运用ecs.gn6e-c12g1.3xlarge。13b的模型务必跑在gn6e及更高规格的机型上。7b的模型可以跑在A10/GU30机型上。 |
| 额定系统盘 | 挑选50GB |
4、单击布置，等候一段时间即可完成模型布置。
二、启动WebUI进行模型推理
1、单击方针服务的服务办法列下的检查Web运用。
2、在WebUI页面，进行模型推理验证。
在对话框下方的输入界面输入对话内容，例如”请供给一个理财学习计划”，点击发送，即可开始对话。
What’s More
- 本文说到的机器学习渠道PAI对Llama2 系列模型进行适配，指为支撑Llama2系列模型在PAI上的微调和推理，PAI进行了开发环境的适配。
- 本文首要展现了基于阿里云机器学习渠道PAI快速进行Llama2微调及布置作业的实践，首要是面向7B和13B尺度的。后续，咱们将展现怎么基于PAI进行70B尺度的 Llama-2-70B 的微调及布置作业，敬请期待。
- 上述试验中，【最佳实践三：Llama2 快速布置 WebUI】支撑免费试用机型运转，欢迎点击【阅览原文】前往阿里云运用中心领取“PAI-EAS”免费试用后前往PAI控制台体会。
【领取机器学习PAI免费试用】
【往期最佳实践】： 快速玩转 Llama2！PAI 推出最佳实践（一）——低代码 Lora 微调及布置
快速玩转 Llama2！PAI 推出最佳实践（二）——全参数微调训练
参考资料：
-
Llama2: Inside the Model ai.meta.com/llama/#insi…
-
Llama 2 Community License Agreement ai.meta.com/resources/m…
-
HuggingFace Open LLM Leaderboard huggingface.co/spaces/Hugg…
-
阿里云机器学习渠道PAI：www.aliyun.com/product/big…
特别提示您 Llama2 属于国外公司开发的限制性开源模型，请您务必在运用前仔细阅览并恪守 Llama2 的答应协议，特别是其限制性答应条款（如月活超越7亿以上的企业需申请额定答应）和免责条款等。
此外提醒您务必恪守适用国家的法律法规，若您使用 Llama2 向中国境内公众供给服务，请恪守国家的各项法律法规要求，特别不得从事或生成损害国家、社会、他人权益等行为和内容。
