几周前，当微软宣布Copilot+PC时，一个问题占据了主导地位：为什么我不能在我的GPU上运行这些AI应用程序？在Computex 2024，英伟达终于提供了答案。

英伟达和微软正在合作开发应用程序编程接口（API），该接口将允许开发人员在RTX显卡上运行他们的人工智能加速应用程序。这包括作为Copilot运行时一部分的各种小型语言模型（SLM），它们被用作召回和实时字幕等功能的基础。

有了这个工具包，开发人员可以允许应用程序在你的图形处理器而不是NPU上本地运行。这不仅为更强大的人工智能应用程序打开了大门，因为图形处理器的人工智能能力通常高于NPU，而且还能在目前不属于Copilot+保护伞的个人电脑上运行。

这是一个伟大的举措。副驾驶+个人电脑目前需要一个神经处理单元（NPU），能够每秒至少40 Tera运算（TOPS）。目前，只有Snapdragon X Elite满足这一标准。尽管如此，图形处理器具有更高的人工智能处理能力，即使是低端型号也能达到100 TOPS，高端选项的扩展速度更高。

除了在图形处理器上运行之外，新的应用编程接口还为副驾驶运行时增加了检索增强生成（RAG）功能。RAG使人工智能模型能够在本地访问特定信息，从而提供更有帮助的解决方案。今年早些时候，我们在英伟达与RTX的聊天中看到了RAG的全面展示。

在应用编程接口之外，英伟达在电脑展上宣布了RTX人工智能工具包。这个开发者套件于6月推出，结合了各种工具和软件开发工具包，允许开发者针对特定应用调整人工智能模型。英伟达表示，与使用开源解决方案相比，通过使用RTX人工智能工具包，开发者可以使模型快四倍，小三倍。

我们看到了一波工具浪潮，使开发人员能够为最终用户构建特定的人工智能应用程序。其中一些已经出现在Copilot+PC上，但我怀疑明年这个时候我们会看到更多的人工智能应用程序。毕竟，我们有运行这些应用程序的硬件；现在我们只需要软件。