ONNX Runtime | Arm與微軟合作，賦能Arm架構PC和移動裝置上的AI應用體驗

如今，人工智慧 (AI) 已成為PC和移動裝置體驗不可或缺的一部分，從聊天機器人到生產力提升，對這些裝置中CPU高效、可擴充套件推理的需求持續增長。Arm和微軟正攜手合作，以滿足這一需求，為從高階PC和筆記型電腦到旗艦和入門級智慧手機的廣泛裝置帶來加速的AI體驗。

Arm和微軟已攜手合作，透過將Arm KleidiAI整合到行業使用最廣泛的開源AI執行時之一ONNX Runtime中，進一步擴充套件其功能。KleidiAI是一個輕量級的AI框架核心庫，可在廣泛的技術市場和Arm架構裝置上以無與倫比的規模，為AI模型和工作負載帶來無縫的效能最佳化。此次最新的合作是在KleidiAI成功整合到其他領先AI框架之後進行的。

邊緣側加速AI體驗

過去幾年中，Windows on Arm生態系統取得了顯著增長，Adobe Photoshop、Google Chrome、Spotify和Zoom等最廣泛使用的應用程式都發布了Arm原生版本，以提供效能和能效優勢。透過將KleidiAI整合到ONNX Runtime中，Arm和微軟正在讓PC和移動裝置的AI效能提升普惠到廣大開發者社群，且無需應用程式開發者付出額外的工程努力。ONNX Runtime賦能了許多微軟產品中的AI工作負載，包括Microsoft 365套件和Microsoft Copilot，併為Copilot+ PC提供AI體驗。

ONNX Runtime中整合的KleidiAI優化了各種模型上的AI工作負載，包括Phi-3 Mini，一個3.8B引數的小型語言模型，旨在實現邊緣側高階AI體驗。這些體驗包括即時聊天機器人、虛擬助手、智慧文字補全和生產力工具增強，所有這些都在裝置本地提供。透過將Phi-3 Mini的緊湊架構與KleidiAI高效的CPU執行提供程式整合相結合，開發者可以無需雲連線即可提供快速、智慧的功能。

PC和移動裝置上AI效能的實際提升

在PC和移動平臺，這項整合已為終端使用者帶來了實際效益，加速了AI響應時間，從而在裝置上直接實現更智慧、更快速的互動，而無需開發者進行架構更改或後端重寫。

Arm基準測試顯示，在ONNX Runtime中整合KleidiAI後，效能顯著提升。這包括在基於Armv9的平臺上執行Windows上的Phi-3模型時，提示處理吞吐量加快2.4倍，令牌生成提高12%。這些改進使得聊天機器人等AI應用程式的響應更加自然流暢。同樣，在搭載最新Armv9 CPU的vivo X200 Pro旗艦智慧手機上執行相同Phi-3模型的參考Android應用程式中，我們的基準測試顯示提示處理速度提升了2.6倍。

由於KleidiAI整合執行在普及的Arm CPU架構上，AI應用程式和工作負載可以在不同生態系統和晶片組之間移植。KleidiAI旨在與當前的Arm架構特性配合使用，如Neon、SVE2（可伸縮向量擴充套件）和SME（可伸縮矩陣擴充套件）。這些面向未來的功能確保開發者今天就能構建AI增強體驗，並隨著未來的硬體創新而擴充套件。ONNX Runtime中的KleidiAI整合已在ONNX RT V1.22中釋出。

大規模賦能AI

Arm和微軟的合作是朝著為開發者普及最佳化AI訪問許可權邁出的變革性一步。它簡化了在各種PC和移動裝置上部署智慧功能的過程，同時不增加成本或工程投入，併為終端使用者帶來了加速的AI體驗。隨著AI的持續發展，這些最佳化工作將確保開發者、OEM廠商和平臺團隊擁有效能、靈活性和覆蓋範圍，為更多使用者帶來更好、更智慧的體驗。

瞭解更多

訪問以下學習路徑，瞭解如何利用KleidiAI ONNX Runtime整合