Strategies for the GPU-Poor
原文链接：matt-rickard.com/strategies-...
原文作者：Matt Rickard
译者：Regan Yue
P.S. 原文作者并没有审校过本译文，且译者在翻译本内容时夹带有个人对原文的理解，并尝试对其进行解读。可能理解或解读有误，麻烦请在评论区指出！
编者按：GPU已然成为当下的硬通货，尤其是在人工智能领域。然而，初创企业并不一定需要大量GPU才能在这个领域取得成功。
本文提供了一些有效的策略，可以帮助GPU资源有限的初创企业取得竞争优势。这些策略包括：在用户端进行模型推理来避免网络延迟，将产品服务商品化以获得更多流量，专注于某个垂直领域快速响应市场需求，以及利用最新技术提高模型推理效率等。
期望读者通过遵循这些策略，在GPU资源有限的情况下，也能在人工智能领域开拓出一片天地。
如今GPU已经成为了一种硬通货，这种用于处理图形和并行计算的硬件在人工智能等计算密集型任务中广泛应用，已经到了供不应求的局面。然而，由于供应链问题、全球芯片短缺等各种原因，GPU如今"一卡难求"。
由于供应满足不了需求，导致现在二手市场的GPU价格飙升，即便愿意出高价，还往往需要到处寻找卖家。云计算提供商的GPU资源也面临供应短缺的问题，导致用户无法获得足够的GPU实例，即使在云计算的按需定价中，GPU的价格也没有显著降低，因为供需不平衡导致价格仍然较高。
但是，对于缺少 GPU 的初创企业来说，在人工智能领域可以有其他不同的策略。初创公司并不一定需要大量的GPU资源才能取得竞争优势，可以通过其他方式获得竞争优势，可以利用硬件和软件的发展周期，选择具有较低成本和高性能的替代硬件，或者是凭借其独特的分销策略。因此，在未来几个季度内，GPU资源匮乏的初创公司甚至可能会在市场中占据较好的位置。
那么作为一家缺少 GPU 的初创企业，该如何运作呢？
我有几个想法：
- 在用户端进行推理。将小型模型部署在终端用户的设备上进行推理。目前理论上可以在浏览器或手机端上实现。这样做可以消除网络延迟带来的负面影响，并能更好的保护用户隐私，但受限于用户设备的计算能力，所以只能使用较小的模型。
- 将产品\服务商品化。HuggingFace是一个集上传、下载和展示模型于一体的平台。虽然这个平台不是运行模型的最佳选择，但该平台拥有大量源源不断的优秀机器学习研究人员和黑客的流量。换句话说，通过在HuggingFace平台上展示我们的模型，可以从该平台获取更多的新用户和流量。
- 不引入太多额外的复杂功能，而是专注于提供基本的封装和抽象。利用模型推理层（inference layer）不断增长的竞争优势，选择成本最低的提供商，而无需在特定模型的优化上浪费时间。大语言模型在理论上是可以互换的，即可以在不同的提供商之间进行切换，而不会对产品效果产生太大影响。
- 专注于某一特定的垂直市场。与其他公司花费数月时间进行大模型训练相比，GPU资源有限的初创公司可以专注于解决实际的客户问题。这意味着初创公司可以更快地响应市场需求并提供解决方案，而不需要依赖GPU进行大规模的模型训练。在产品与市场需求相适应之前，初创公司可以通过解决实际问题来建立自己的竞争优势，而不必过早地投入大量的计算资源。
- 想办法提高推理效率。尽管初创公司可能没有使用大型GPU训练集群的能力，但可以利用最新的开源大模型推理优化技术。这些技术可以通过优化大模型推理过程来提高效率，从而在不需要大量计算资源的情况下获得更优秀的性能和更好的运行效果。