跑大语言模型的门槛，现已降低到一部iPhone了。
当然安卓版别也有，只要手机RAM够6G，听上去是不是比用2060还要震慑？
而且这次仍是开箱即用的版别！
这个项目名为MLC LLM，与之前的WebLLM同出自知名学者陈天奇团队。
截止现在已在GitHub上斩获超6800星。
现在能够测验的模型有羊驼宗族（根据LLaMA）的RedPajama和Vicuna。
可选模型参数分别为30亿和70亿，与很多在线Demo规模也相当了。
RedPajama团队表示，这一成果打开了大模型私有化布置的可能性。
话不多说，快来看看体验如何。
文字功底尚可，但理科是短板
咱们挑选了其间的Vicuna模型进行测验。
首要测验一下它的文学造就，所以让它为四个时节分别写了一首诗。
韵律吗，基本上是两三句一押。
除了诗篇，故事也能创造，乃至还能写出内心戏来。
不只是爱情，其他类型的故事也难不倒它。
除了文学上的使用，咱们不妨再来试试它的实用功用。
咱们让它生成了一道夏威夷披萨的菜谱，看上去还蛮不错。
旅游计划也能够让它来安排。
咱们再来看看它在理工科上的体现怎么样。
首当其冲的是代码，咱们让它尝试用Python写了一段寻找最大数的代码。
想不到上来便是一通枚举……不过结果倒也是符合要求。
defmax_of_three(num1,num2,num3):
ifnum1>num2andnum1>num3:
returnnum1
elifnum2>num1andnum2>num3:
returnnum2
elifnum3>num1andnum3>num2:
returnnum3
returnNone
num1=11
num2=45
num3=14
max_value=max_of_three(num1,num2,num3)
print("Themaximumvalueis:",max_value)
不过遇到稍难的问题，它的编程才能就有些绰绰有余了。
至于数学和逻辑推理则一言难尽，不过毕竟为适配手机参数有限，倒也情有可原。
咱们还试了试用中文进行发问，但发现现在对中文的适配还有些问题。
别的，移动APP现在还不具有保存聊天记录功用，切出界面时一定要小心小心再小心。
尽管现在能在手机上跑的大模型才能还有限，但团队也展现了未来更多发展方向。
比如为用户定制模型并与云端公共基础模型交互、提供离线支撑、App嵌入、去中心化等等。
如何装置
这款大模型支撑iOS、安卓移动设备，以及Windows和Mac
iOS用户能够先装置好TestFlight，然后从下面的传送门申请测验：
传送门：testflight.apple.com/join/57zd7o…
如果名额已满，也能够用GitHub上的代码自行编译装置
传送门：github.com/mlc-ai/mlc-…
安卓用户直接下载apk装置即可，第一次运行时需联网下载数据包。
传送门：github.com/mlc-ai/bina…
桌面用户请参阅官方教程：
传送门：mlc.ai/mlc-llm/
—完—
