这个6b便是清华开源的这个GLM-6B, 卧槽，清华开源的，还6B 是朝着牛逼的方向发展命名的嘛？ 假如我学了这个，给它提个PR什么的，那清华 (写 ChatCLM-6B) = 我 (写 ChatCLM-6B)
初中学过 消除公因式，也便是 我 === 清华
为何挑选GML6B模型
为什么装这个，由于现在也只要这个模型能够给个人练练手，尽管他听起来很牛B,可是他是最小的一个模型，战斗力最弱的。其他的大模型底子还到不了一般修仙者手里，咋就说自己的灵根不咋地，玩不了多么厉害，索性拿最差的练练手，就当一个修炼对话模型范畴的时机，现在AI这么火，你又仍是独身，完全能够自己做一个标准温柔心爱女友式数据集，训练之后让她跟你对话，这又不花钱，等你找到真女友之后，岂不是。。。
以下的装置办法都是个人在自己辣鸡的笔记本上真实装置过，而且有用的，踩了许多坑，希望对咱们的修炼有协助，当然，也会意外发生，假如装置失败，切勿捉急上火，友爱的沟通沟通能够协助你解决问题。 标题说的是真的，关于一个没有这方面积累的菜鸡来说真的花了两天时间，排位上分都落下了
克隆Clone
进去克隆这个库房到本地这个6B，官方文档其实也有布置文档，可是关于个人笔记本来说会有一些坑点，环境这玩意特别吃版别对应这个场景，一个当地卡死你，nnd 。
假如你有colab,能够在上面照这官网布置一下，那灰常丝滑，可是为了自己训练，在本地布置会好一些。
第一招：检查CUDA版别
说实话，关于一个小白来说，把握不住要点，就像前端建立一个环境，你作为新人装了一堆什么webpack 、vite 各种技能栈都是新的，可是放在老项目里一跑框框报错，你的电脑便是项目运转环境，你得知道你现在的项目能支撑装什么样的版别，官方供给的依靠默许下载都是最新的，特别是torch,说到这儿就来气，这玩意也糟蹋不少时间， 跑题了，首先在cmd里输入以下命令
nvidia-smi
这个是检查自己有没有显卡驱动的命令，一般笔记本买来默许都是装了的，假如你很特别是个伪灵根，那么得自己装下驱动 能够点击这儿检查契合电脑的驱动 驱动
上面的驱动版别是452.06 ，CUDA版别是11.0 ，意味着我这个驱动最高支撑的CUDA版别是11.0.能够根据Torch的版别
降级挑选其他的CUDA版别，这儿推荐装置10.2，为什么是它，跟6B里写的代码有关也跟Torch有关，实测10.2是Torch支撑最多的一个类型，装置torch的时分再具体阐明，CUDA下载地址
其他CUDA版别可 装置对应的版别 可是，最好装置
torch>=1.10.1支撑的 CUDA版别
torch>=1.10.1支撑的 CUDA版别
torch>=1.10.1支撑的 CUDA版别
能够去官网这儿检查 自己的CUDA版别支不支撑1.10.1以上的torch
还需求装置一个 CUDNN, 对应CUDA的版别即可。
下载完成这两个之后开端装置这个玩意
装置CUDA
双击，这个暂时目录，不必管 C盘就C盘了，它会自己删去，第一天我装在D盘，然后下一步的正式装置目录也在D盘，结果它吧我装好的给删了，，，，
以下图片来自 blog.csdn.net/L1778586311…，具体可看它的装置过程
这儿的貌似能够不必勾选，假如勾选了那么你的电脑还需求装置Visual Studio ，我个人一开端没注意，就装置了，假如能够的话 不装置这个试试，它是用来编译c文件的，可是我猜想运转的时分用不上吧，我也不确定，不想省点空间 就勾选上吧 VS也装上能够运用2019版别，这儿百度一下。
后边就直接下一步下一步就完事。上面的那个博客还新建了许多环境变量，我这儿并没有新建环境变量，它自己会添加两个就足够了。
装置CUDNN
这儿看上面的博客文章就行，要点是
把cuDNN压缩包解压缩，分别把bin、include、lib\x64三个文件夹中的.dll、.h和.lib文件仿制到CUDA目录下对应文件夹里。 不是把三个文件夹仿制曩昔覆盖掉，是里边的文件！！！ 不是把三个文件夹仿制曩昔覆盖掉，是里边的文件！！！ 不是把三个文件夹仿制曩昔覆盖掉，是里边的文件！！！
在这个途径执行命令呈现这个就成功了
第二式：装置PyTorch
这也是一坑点，我的踩坑之路就来自于它，首先看段代码
这个官方加载模型的代码，里边的skip_init办法是1.10.1版别才有的，**我一开端用的CUDA11 ，troch版别只要1.7.1支撑CUDA11，是没有这个办法的，想不通为什么版别高 反而支撑的少！！ **
这也是上面为什么一定要装置torch版别大于1.10.1以上版别的原因，否则会报这个办法找不到。
然后我去问了官方，它让我改下代码
可是并没有什么用，这个不报错了，又会有其他问题
所以仍是看官网
假如你骨骼优异是CUDA11.7 11.8,那么仿制下面的地址装置就完了，假如你的版别不是就点击，previours versions 里 进到一个页面
由于它许多，所以我挑选相信这个版别，其实是由于没得选，这是我电脑现在最合适的一个版别了，我之前依照我电脑最高版别的CUDA11.0 去装置，发现只要2个版别挑选
这儿千万不要用什么清华的镜像源去装置，不要用什么清华的镜像源去装置，不要用什么清华的镜像源去装置
感觉那东西下载下来有问题，
可是官网源的下载很慢，这儿推荐运用离线装置
进到这个地址 链接 cu102的，地址上的cu102 能够换成其他对应的cuda版别。然后看哪个torch支撑，后边cp 对应的是python版别
下载下来，然后 torchaudio、torchvision 也是相同的，都在这个网站能够找到。
这儿贴下我这三个包对应的版别
我猜清华源下载的是不带对应cuda版别的，一个torch1.10.2的版别 能够是cuda 102 103 105等等。。。我装过清华源下载的是不可的，或许我脸黑
然后进入到文件下载目录 运用
pip install torch-1.10.2+cu102-cp39-cp39-win_amd64.whl
就会自动编译好。
这儿最重要的便是 cuda 版别和torch版别一定要对应好，否则torch是用不了GPU模式来跑模型的
python 执行
import torch
print(torch.cuda.is_available(),'GPU布置')
假如是true那么就装置成功了！
第三斧：下载int4模型
官方说没有量化的版别需求13G内存，卧槽，这关于家用笔记本也是一个大大大内存了
所以咱们直接下载，量化好的版别，在这个地址int4,这儿还需求下载 git fls ,然后用梯子下载会快点。下载到6b的库房目录哦
完好目录：
web_demo这个文件 加载模型的途径记得改一下
第四刀：装置GCC
上面装置完成之后能够执行 python webdemo.py 跑一下，假如报错且提示
那么去这个GCC 装置 10.3.0的版别 就行，输入 gcc-v 呈现这个就成功啦
最终的最终，假如cuad 、 torch 版别对应正确，那么运转python web_demo.py就成功啦
总结
- 下载的cuda版别和torch版别一定要对应，
- 多去官网检查两者对应的版别，（假如你的电脑和我相同落后）
- 这个版别的cuda仍是老了，有 条件的升级驱动，没条件的换新电脑，下载更新的cuad版别的 torch，可是装置思路是相同的。
- 下次搞个服务器，找好训练集，训练一个什么出来试试？
- 希望咱们装置成功，踏入语言模型修仙范畴的第一步
