歡迎使用 ONNX Runtime
ONNX Runtime 是一個跨平臺的機器學習模型加速器，具有靈活的介面以整合硬體特定庫。ONNX Runtime 可與來自 PyTorch、Tensorflow/Keras、TFLite、scikit-learn 和其他框架的模型配合使用。
如何使用 ONNX Runtime
貢獻和自定義
快速入門模板
ONNX Runtime 用於推理
ONNX Runtime 推理功能支援微軟在 Office、Azure、Bing 等關鍵產品和服務以及數十個社群專案中的機器學習模型。
ONNX Runtime 推理的用例示例包括
- 提高各種機器學習模型的推理效能
- 在不同的硬體和作業系統上執行
- 在 Python 中訓練，但部署到 C#/C++/Java 應用程式中
- 使用不同框架建立的模型進行訓練和推理
工作原理
前提很簡單。
- 獲取模型。這可以是任何支援匯出/轉換為 ONNX 格式的框架訓練得到的。請參閱教程，瞭解一些流行的框架/庫。
- 使用 ONNX Runtime 載入並執行模型。有關使用不同語言執行模型的資訊，請參閱基本教程。
- （可選）使用各種執行時配置或硬體加速器調整效能。這裡有很多選項——請參閱效能部分作為起點。
即使沒有第 3 步，ONNX Runtime 通常也能提供比原始框架更好的效能。
ONNX Runtime 對模型圖應用多項圖最佳化，然後根據可用的硬體特定加速器將其劃分為子圖。核心 ONNX Runtime 中的最佳化計算核心可提供效能改進，分配的子圖可從每個執行提供程式獲得進一步加速。