PyTorch + ONNX Runtime



PyTorch 以其易於理解和靈活的 API、大量的現成模型(尤其是在自然語言處理 (NLP) 領域)以及其領域特定庫,引領著深度學習領域。


隨處部署

在雲、桌面、移動裝置、物聯網甚至瀏覽器中執行 PyTorch 模型

提升效能

加速 PyTorch 模型以改善使用者體驗並降低成本

縮短上市時間

被 Microsoft 和許多其他公司用於其生產環境中的 PyTorch 工作負載

為什麼選擇 PyTorch + ONNX Runtime?

PyTorch 中的原生支援

PyTorch 透過 torch.onnx API 包含對 ONNX 的支援,以簡化將 PyTorch 模型匯出到可移植的 ONNX 格式。ONNX Runtime 團隊維護這些匯出器 API,以確保與 PyTorch 模型的高度相容性。

					 
import torch

torch.onnx.export(
model,
inputs,
"model.onnx")

生產就緒

在 Azure Machine Learning 中使用內建的 PyTorch 環境,可靠且大規模地訓練和部署模型,確保透過一個輕量級、獨立的、包含 ONNX Runtime for Training 等所需元件的環境,全面支援最新版本的 PyTorch,從而有效執行大型模型的最佳化訓練。

更低延遲,更高吞吐量

更好的效能有助於改善使用者體驗並降低運營成本。從計算機視覺(ResNet、MobileNet、Inception、YOLO、超解析度等)到語音和 NLP(BERT、RoBERTa、GPT-2、T5 等)的各種模型都可以從 ONNX Runtime 的最佳化效能中受益。ONNX Runtime 團隊定期對熱門模型進行基準測試和效能最佳化。ONNX Runtime 還集成了 TensorRT 和 OpenVINO 等頂尖硬體加速器庫,因此您可以在所有目標平臺上使用相同的通用 API,同時在可用硬體上獲得最佳效能。

更快地將創新投入生產

開發敏捷性是總成本的關鍵因素。ONNX Runtime 是基於將 PyTorch 模型投入 Microsoft Office、Bing 和 Azure 等高規模服務的生產環境的經驗而構建的。過去,將模型從研發 (R&D) 投入生產需要數週甚至數月。藉助 ONNX Runtime,模型可以在數小時或數天內準備好大規模部署。