克雷西 发自 凹非寺 量子位 | 公众号 QbitAI

Meta的大言语模型LLaMA 13B,现在用2060就能跑了~

羊驼家族的Alpaca和Vicuna也都能运转,显存最低只需要6G,简直是低VRAM用户的福音有木有。

GitHub上的树立教程火了之后,网友们纷繁跑来问苹果M2是不是也能跑。

6G显存玩转130亿参数大模型,仅需13行命令,RTX2060用户发来贺电

这通操作的大致原理是利用最新版CUDA,能够将Transformer中恣意数量的层放在GPU上运转。

与此前llama.cpp项目彻底运转在CPU相比,用GPU替代一半的CPU能够将功率进步将近2倍。

而假如纯用GPU,这一数字将变成6倍。

6G显存玩转130亿参数大模型,仅需13行命令,RTX2060用户发来贺电

网友实测的结果中,运用CPU每秒能跑2.1个token,而用GPU能跑3.2个。

6G显存玩转130亿参数大模型,仅需13行命令,RTX2060用户发来贺电

生成的内容上,开发者成功用它跑出了“尼采文学”。

6G显存玩转130亿参数大模型,仅需13行命令,RTX2060用户发来贺电

怎么操作

在开端树立之前,我们需要先申请取得LLaMA的访问权限。

传送门:ai.facebook.com/blog/large-…

此外还需要有一个Linux环境。(Windows用户能够用WSL2)

准备工作完结之后,第一步是将llama.cpp克隆到本地。

1gitclonehttps://github.com/ggerganov/llama.cpp.git
2cdllama.cpp
3pacman-Scuda//makesureyouhaveCUDAinstalled
4makeLLAMA_CUBLAS=1

假如没有装置CUDA,能够参阅下面的步骤:

wgethttps://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-wsl-ubuntu.pin
sudomvcuda-wsl-ubuntu.pin/etc/apt/preferences.d/cuda-repository-pin-600
wgethttps://developer.download.nvidia.com/compute/cuda/12.1.1/local_installers/cuda-repo-wsl-ubuntu-12-1-local_12.1.1-1_amd64.deb
sudodpkg-icuda-repo-wsl-ubuntu-12-1-local_12.1.1-1_amd64.deb
sudocp/var/cuda-repo-wsl-ubuntu-12-1-local/cuda-*-keyring.gpg/usr/share/keyrings/
sudoapt-getupdate
sudoapt-get-yinstallcuda

然后是树立micromamba环境,装置Python和PyTorch等工具。

接着需要在micromamba环境下装置一些包:

exportMAMBA_ROOT_PREFIX=(自定义装置途径)
eval"$(micromambashellhook--shell=bash)"
micromambacreate-nmymamba
micromambaactivatemymamba
micromambainstall-cconda-forge-nmymambapytorchtransformerssentencepiece

然后运转Python脚本以执行转化进程:

pythonconvert.py~/ai/Safe-LLaMA-HF-v2\(4-04-23)/llama-13b/

之后将其量化为4bit模式。

./quantize~/ai/Safe-LLaMA-HF-v2\(4-04-23)/llama-13b/ggml-model-f16.bin~/ai/Safe-LLaMA-HF-v2\(4-04-23)/llama-13b/ggml-model-13b-q4_0-2023_14_5.binq4_08

接着是新建一个txt文本文档,把提示词输入进去,然后就能够运转了。

./main-ngl18-m~/ai/Safe-LLaMA-HF-v2\(4-04-23)/llama-13b/ggml-model-13b-q4_0-2023_14_5.bin-f文档称号.txt-n2048q4_08

这步当中-ngl后边的数字是能够修改的,它代表了转化层的数量。

当该值为18时,运转中消耗的VRAM为5.5GB,根据显存的巨细最高能够调至40。

网友:AMD不配吗

这一教程出现之后,网友们的新玩具又增加了。

“苦OpenAI久矣”的网友更是感觉似乎找到了光。

这位网友就表示自己太期待在自己的设备上运转LLM了,宁愿花5千美元置办设备也不想给OpenAI交一分钱。

6G显存玩转130亿参数大模型,仅需13行命令,RTX2060用户发来贺电

但AMD用户可能就不那么兴奋了,甚至泄漏出了嫉妒之情。

这套办法要用到CUDA(英伟达专用),所以AMD是不配了吗?

6G显存玩转130亿参数大模型,仅需13行命令,RTX2060用户发来贺电

那么,你期待用自己的设备跑大言语模型吗?

参阅链接:
[1].gist.github.com/rain-1/8cc1…
[2].twitter.com/_akhaliq/st…
[3].news.ycombinator.com/item?id=359…