Arm KleidiAI 与 ONNX Runtime 的集成，为 Windows 和安卓操作系统带来了显著的 AI 性能优化，实现高达 2.6 倍的 AI 推理速度提升，从而加速应用体验。
联合作者：Arm 终端事业部产品管理总监 Ronan Naughton
微软 AI 框架首席软件工程经理 George Wu
随着人工智能 (AI) 成为当今个人电脑 (PC) 和移动设备使用体验（从聊天机器人到生产力提升）中不可或缺的一部分，这些设备对 CPU 高效、可扩展的推理需求也在持续增长。Arm 与微软正携手合作以满足这一需求，在从高端台式电脑和笔记本电脑到旗舰级和入门级智能手机等各类广泛的消费类电子设备上，为用户带来加速的 AI 体验。
Arm和微软共同将Arm KleidiAI进一步扩展到ONNX Runtime（业界广泛使用的开源AI 运行时之一）中。KleidiAI是一款面向 AI框架开发者的轻量级内核库，它能够在无可比拟的规模下，为广泛的技术市场以及各类基于Arm 架构的设备，提供AI模型和工作负载的无缝性能优化。鉴于 KleidiAI 已成功集成到其他领先的 AI框架上，这次的合作是在此成功基础上的又一重要进展。
加速边缘设备上的 AI 体验
Windows on Arm生态系统在过去几年实现了显著的增长。包括 Adobe Photoshop、Google Chrome、Spotify和Zoom 等广受欢迎的应用程序，都纷纷推出了Arm原生版本，以充分发挥其性能和能效优势。通过将KleidiAI集成到ONNX Runtime中，广大的应用程序开发者无需额外投入工程时间，就能获得PC和移动设备的AI性能提升。ONNX Runtime 为微软诸多产品的AI工作负载提供支持，包括 Microsoft 365 套件以及 Microsoft Copilot 等，并为 Copilot+ PC 打造卓越的 AI 体验。
KleidiAI 与 ONNX Runtime的集成优化了包含 Phi-3 Mini 等一系列模型在内的 AI工作负载。Phi-3 Mini是一个拥有38亿参数的小型语言模型，专为边缘设备的先进 AI 体验量身定制。这些 AI 体验包括实时聊天机器人、虚拟助手、智能文本补全以及生产力工具的功能增强等，所有这些功能均可在设备本地实现。通过将Phi-3 Mini紧凑的结构与KleidiAI高效的CPU执行提供程序(Execution Provider)集成配对，开发者无需依赖云端连接，即可在设备上快速实现智能功能。
提升PC和移动设备上的实际AI性能
在PC和移动平台上，该集成已为终端用户带来了切实的益处。它显著加快了AI的响应速度，使设备能够直接实现更智能、更快速的交互，且无需开发者进行架构改动或后端重写。
根据 Arm 的基准测试显示，在 KleidiAI 集成到 ONNX Runtime 后，系统性能得到了显著的提升，包括在基于Armv9平台的Windows设备上运行Phi-3模型时，提示处理吞吐量提升了2.4倍，词元 (token) 生成速度加快了12%。这些性能改进使聊天机器人等AI 应用能够给出更加自然流畅的回应。同样地，在搭载最新 Armv9 CPU 的vivo X200 Pro 旗舰智能手机上运行相同Phi-3 模型的参考安卓应用中，提示处理速度加快了2.6 倍。
由于 KleidiAI 的集成运行在全球应用广泛的Arm CPU 架构上，这使得AI 应用与工作负载能够在不同的生态系统及芯片组之间无缝移植。KleidiAI 的设计旨在与当前的Arm 架构特性，如Neon、可伸缩矢量扩展 (SVE2) 及可伸缩矩阵扩展 (SME) ，展开协同工作。这些面向未来的功能确保开发者能够构建当下的AI 增强体验，并使其随着未来的硬件创新而扩展。KleidiAI 与ONNX Runtime 的集成已在 ONNX RT V1.22 中发布。
推动 AI 规模化落地
Arm 与微软的合作为开发者普及优化 AI 迈出了变革性的一步。该合作简化了在各类 PC 和移动设备上部署智能功能的流程，无需增加成本或开发工作量，同时为终端用户带来加速的AI 体验。随着AI 的持续演进，这些优化工作将确保开发者、OEM 厂商和操作系统提供商拥有出色的性能、灵活性和广泛的覆盖范围，为更多用户带来更优质、更智能的体验。
访问以下学习路径，了解 KleidiAI 与 ONNX Runtime 集成的更多信息：
· 在基于 Arm 的 Windows 设备上，通过 ONNX Runtime 运行 Phi-3 模型
· 使用 ONNX Runtime API 构建安卓聊天应用
+++
