IPhone、iPad 均可体会。
前段时间,TVM、MXNET、XGBoost 作者,CMU 助理教授,OctoML CTO 陈天奇等多位研究者共同开发的一个项目引爆了 AI 界。
这个项目名叫 MLC-LLM,能让你「在任何设备上编译运转大言语模型」,包含移动端(例如 iPhone)、消费级电脑端(例如 Mac)和 Web 浏览器。运转效果如下:
MLC-LLM 推出不到两天,GitHub 的 Star 量就接近了一千。在交际网络上,人们纷纷点赞,表示 MLC-LLM「让我领教了低精度跑 AI 的可怕程度。」截至现在,该项目已经在 Github 上收获了 7.5k 的 star 量(详细信息拜见:《陈天奇等人新作引爆 AI 界:手机原生跑大模型,算力不是问题了 》)。
刚刚,陈天奇又发布了一个好音讯:MLC Chat app 已经在苹果的 App Store 上线了。
MLC Chat 是一款让你能够在 iPad 和 iPhone 上与敞开言语模型进行本地谈天的使用,是 MLC LLM 项目的一部分。
MLC Chat 在将模型下载到使用程序后,一切都在本地运转,无需服务器支持,而且不需要互联网衔接,不会记录任何信息。
在得知这一音讯后,机器之心下载了该使用进行体会。
翻开 APP,能够看到,该使用已经预装了一个模型 ——RedPajama。
翻开这个模型,咱们就直接进入了谈天窗口,能够和 RedPajama 直接对话。
如果你对这个模型不满意,能够在主页经过输入 URL 添加新的模型。不过,这个下载新模型的过程可能会有点慢。
因为该使用刚刚上架,现在咱们还没有看到来自其他用户的反馈。
不过,能够必定的是,跟着这类使用的呈现和遍及,大型言语模型的使用门槛将不断下降。曩昔,只有专业范畴的研究人员和技能专家才能够有效地利用这些模型进行各种使命。但是,现在跟着敞开源代码项目和开发工具的发展,越来越多的人能够轻松地使用这些模型。
如果你也对 MLC Chat 感兴趣,能够前往苹果的 APP Store 下载体会。