几周前,当微软宣布Copilot+PC时,一个问题占据了主导地位:为什么我不能在我的GPU上运行这些AI应用程序?在Computex 2024,英伟达终于提供了答案。
英伟达和微软正在合作开发应用程序编程接口(API),该接口将允许开发人员在RTX显卡上运行他们的人工智能加速应用程序。这包括作为Copilot运行时一部分的各种小型语言模型(SLM),它们被用作召回和实时字幕等功能的基础。
有了这个工具包,开发人员可以允许应用程序在你的图形处理器而不是NPU上本地运行。这不仅为更强大的人工智能应用程序打开了大门,因为图形处理器的人工智能能力通常高于NPU,而且还能在目前不属于Copilot+保护伞的个人电脑上运行。
这是一个伟大的举措。副驾驶+个人电脑目前需要一个神经处理单元(NPU),能够每秒至少40 Tera运算(TOPS)。目前,只有Snapdragon X Elite满足这一标准。尽管如此,图形处理器具有更高的人工智能处理能力,即使是低端型号也能达到100 TOPS,高端选项的扩展速度更高。
除了在图形处理器上运行之外,新的应用编程接口还为副驾驶运行时增加了检索增强生成(RAG)功能。RAG使人工智能模型能够在本地访问特定信息,从而提供更有帮助的解决方案。今年早些时候,我们在英伟达与RTX的聊天中看到了RAG的全面展示。
在应用编程接口之外,英伟达在电脑展上宣布了RTX人工智能工具包。这个开发者套件于6月推出,结合了各种工具和软件开发工具包,允许开发者针对特定应用调整人工智能模型。英伟达表示,与使用开源解决方案相比,通过使用RTX人工智能工具包,开发者可以使模型快四倍,小三倍。
我们看到了一波工具浪潮,使开发人员能够为最终用户构建特定的人工智能应用程序。其中一些已经出现在Copilot+PC上,但我怀疑明年这个时候我们会看到更多的人工智能应用程序。毕竟,我们有运行这些应用程序的硬件;现在我们只需要软件。
- Sam Altman表示,明年他最兴奋的事情是实现AGI 11-12
- 借助 AI 之力:不懂编程也能制作游戏 11-12
- 从谷歌到 ChatGPT 网络搜索:信息获取的革新之战 11-12
- 当园艺遇上 AI:智能花园的奇妙之旅 11-12
- 微软为企业推出人工智能驱动的员工 10-25
- 电动汽车发展:增长趋势下的挑战与机遇 10-25
- 如果像谷歌这样的大型科技公司被迫拆分,你的网络世界会如何改变? 10-25
- 男子花费 200 万美元找到新的最大质数 10-25