Strategies for the GPU-Poor

原文链接：matt-rickard.com/strategies-…

原文作者：Matt Rickard

译者：Regan Yue

P.S. 原文作者并没有审校过本译文，且译者在翻译本内容时夹带有个人对原文的了解，并尝试对其进行解读。可能了解或解读有误，费事请在评论区指出！

编者按：GPU已然成为当下的硬通货，尤其是在人工智能领域。然而，草创企业并不一定需求很多GPU才干在这个领域取得成功。

本文供给了一些有用的战略，能够协助GPU资源有限的草创企业取得竞赛优势。这些战略包含：在用户端进行模型推理来防止网络推迟，将产品服务商品化以取得更多流量，专心于某个笔直领域快速响应商场需求，以及运用最新技能进步模型推理功率等。

期望读者经过遵从这些战略，在GPU资源有限的情况下，也能在人工智能领域开辟出一片天地。

现在GPU现已成为了一种硬通货，这种用于处理图形和并行核算的硬件在人工智能等核算密集型任务中广泛应用，现已到了求过于供的局势。然而，由于供给链问题、全球芯片短少等各种原因，GPU现在“一卡难求”。

由于供给满意不了需求，导致现在二手商场的GPU价格飙升，即便乐意出高价，还往往需求到处寻找卖家。云核算供给商的GPU资源也面临供给短少的问题，导致用户无法取得足够的GPU实例，即便在云核算的按需定价中，GPU的价格也没有明显下降，因为供需不平衡导致价格依然较高。

可是，对于短少 GPU 的草创企业来说，在人工智能领域能够有其他不同的战略。草创公司并不一定需求很多的GPU资源才干取得竞赛优势，能够经过其他方法取得竞赛优势，能够运用硬件和软件的开展周期，挑选具有较低本钱和高性能的代替硬件，或者是凭借其独特的分销战略。因此，在未来几个季度内，GPU资源匮乏的草创公司乃至可能会在商场中占有较好的方位。

那么作为一家短少 GPU 的草创企业，该如何运作呢？

我有几个想法：

  • 在用户端进行推理。将小型模型部署在终端用户的设备上进行推理。目前理论上能够在浏览器或手机端上实现。这样做能够消除网络推迟带来的负面影响，并能更好的维护用户隐私，但受限于用户设备的核算能力，所以只能运用较小的模型。
  • 将产品服务商品化。HuggingFace是一个集上传、下载和展示模型于一体的渠道。虽然这个渠道不是运转模型的最佳挑选，但该渠道具有很多源源不断的优异机器学习研究人员和黑客的流量。换句话说，经过在HuggingFace渠道上展示咱们的模型，能够从该渠道获取更多的新用户和流量。
  • 不引入太多额外的杂乱功用，而是专心于供给基本的封装和抽象。运用模型推理层（inference layer）不断增加的竞赛优势，挑选本钱最低的供给商，而无需在特定模型的优化上浪费时刻。大言语模型在理论上是能够交换的，即能够在不同的供给商之间进行切换，而不会对产品作用产生太大影响。
  • 专心于某一特定的笔直商场。与其他公司花费数月时刻进行大模型练习相比，GPU资源有限的草创公司能够专心于解决实际的客户问题。这意味着草创公司能够更快地响应商场需求并供给解决方案，而不需求依靠GPU进行大规模的模型练习。在产品与商场需求相适应之前，草创公司能够经过解决实际问题来建立自己的竞赛优势，而不用过早地投入很多的核算资源。
  • 想办法进步推理功率。虽然草创公司可能没有运用大型GPU练习集群的能力，但能够运用最新的开源大模型推理优化技能。这些技能能够经过优化大模型推理进程来进步功率，从而在不需求很多核算资源的情况下取得更优异的性能和更好的运转作用。