萧箫 发自 凹非寺 量子位 | 大众号 QbitAI
纯靠手机跑Stable Diffusion，出一张图需要多长时间？
答案是15秒以内。仍是开飞翔形式那种，完全不需要凭借云服务器的算力！
不仅能生成动画版盔甲猫猫兵士，真人版《龙珠》cosplay大合照，也能迅速想象出来：
△图源油管@TK Bay
当然，画个中国风兔型剪纸图画，也完全没问题：
△图源油管@TK Bay
此前，尽管已经有网友做出了一些能在手机上工作的Stable Diffusion项目，不过实践工作会发现，这些项目要么生成图片的时间长、内存占用高、耗电量大，要么生成的图画风格比较单一。
15秒内依托手机算力出图，风格仍是多变的那种，究竟是怎样做到的？
手机15秒跑亿级大模型
这个手机版15秒跑Stable Diffusion项目，是高通根据自己的手机芯片做的一个“演示”APP。
在前不久的MWC 2023上，高通现场展现了这个APP的生成作用，有不少线下参会的网友也体会了一波，例如尝试用它生成一群宝可梦：
△图源油管@NewGadgets.de
迭代步数到达了20步，可以生成分辨率512512的图画。
据高通介绍，之所以相比其他项目，这个版别的Stable Diffusion能在手机上快速工作，是因为团队专门根据移动端AI软硬件技能，对开源模型进行了优化。
其中，Stable Diffusion模型选用的是在Hugging Face上开源的FP32 version1-5版别。
为了到达15秒“快速出图”的作用，研讨人员从硬件、结构和AI压缩算法上下手，在确保出图作用的一起，对模型大小和端侧工作进行适配优化：
- 硬件：第二代骁龙8移动渠道
- 结构：高通AI引擎Direct
- AI模型压缩工具：AI模型增效工具包AIMET
首先，根据高通AI模型增效工具包AIMET，对训练后的Stable Diffusion模型进行量化。AIMET中包含一些高通之前的量化研讨算法如AdaRound等，能将模型精度从FP32压缩到INT8，降低功耗的一起确保模型工作作用；
接下来，团队根据高通的AI引擎Direct结构，对这一模型进行软硬件协同优化，让它能更好地工作在AI核算专用的Hexagon处理器上，提高性能的一起最小化内存溢出；
最后，高通也采用了最新发布的第二代骁龙8移动渠道，支撑一项名叫微切片推理（Micro Inferencing）的技能，能通过在时间轴上对网络层进行切分，然后让处理器一向处于高效工作状况，提高功率。
不止是Stable Diffusion，其他生成式AI算法相同如此。
高通还展现了相比其他GPU和CPU，Hexagon处理器在移动端跑人脸生成算法的功率：
至于搭载Hexagon处理器的第二代骁龙8移动渠道，跑超分辨率（RDN）、布景虚化（DeeplabV3+）、人脸识别（FaceNet）和自然语言处理（MobileBERT）等算法上，性能相同高出同行3~4倍：
而这也正是高通一向强调的“端侧AI算力”性能。
据高通介绍，在这波生成式AI浪潮下，相比单纯凭借云端算力处理AI模型，端侧的核算才能也相同能被加以利用。
端侧算力加速生成式AI落地
跟着这波大模型爆火，云端核算已经成为不少人受关注的技能。
但是，作为AI技能最直接的落地领域之一，相同能提供算力的移动端，是否相同会对这波生成式AI浪潮形成影响？
对此，高通技能公司产品管理高档副总裁兼AI负责人Ziad Asghar共享了他的看法。
Ziad Asghar以为，让大模型这类生成式AI朴实在云端工作，存在几个问题。
一方面，像网络查找这样的算法，生成式AI的查询作用尽管比传统方法更好，但单次查询成本也会更高。
跟着用户数量的不断添加，仅仅依托云端算力，可能无法支撑越来越多的生成式AI应用一起工作：
另一方面，尽管云端核算才能更大，但不少AI模型应用到端侧时，在推理时还会面对处理用户数据等触及隐私安全方面的问题。
就拿个人查找来说，要想运用AI算法更智能地查找手机上的数据、一起又不上传到云端处理，那么模型终究就得布置到端侧，而非将用户数据“联网”上传。
因而，要想让生成式AI规模化落地，移动端也要从核算方式和应用途径上作出对应的预备。
而这也是高通提出混合AI概念的原因，将一些AI模型放到终端侧进行处理。
Ziad Asghar还表示，跟着移动端AI处理才能的不断提高，未来几个月内，我们就能看到100亿参数的大模型在移动端工作：
到那个时候，或许手机上的AI助手就真能做到“专人定制”了。
参考链接：
[1]mp.weixin.qq.com/s/Llqc6Elz1…
[2]www.youtube.com/shorts/Dd8b…
[3]www.youtube.com/watch?v=-pn…
[4]www.youtube.com/watch?v=VJ_…
[5]mp.weixin.qq.com/s/J1RFNa0F1…
—完—
