加速邊緣
機器學習
生產級AI引擎，可在您現有技術堆疊中加速訓練和推理。
趕時間？輕鬆上手
pip install onnxruntimepip install onnxruntime-genai值得信賴
生成式AI
使用 ONNX Runtime 將生成式 AI 和大型語言模型 (LLM) 的強大功能整合到您的應用和服務中。無論您使用何種開發語言，也無論您需要在哪個平臺執行，您都可以利用最先進的模型進行影像合成、文字生成等。
瞭解更多關於 ONNX Runtime 與生成式 AI 的資訊 →
使用您喜歡的語言透過 ONNX Runtime 開始教程
Python
C#
JS
Java
C++
import onnxruntime as ort
# Load the model and create InferenceSession
model_path = "path/to/your/onnx/model"
session = ort.InferenceSession(model_path)
# "Load and preprocess the input image inputTensor"
...
# Run inference
outputs = session.run(None, {"input": inputTensor})
print(outputs)跨平臺
您用 Python 程式設計嗎？C#？C++？Java？JavaScript？Rust？沒問題。ONNX Runtime 支援多種語言，滿足您的需求。它可在 Linux、Windows、Mac、iOS、Android 甚至 Web 瀏覽器上執行。
效能
CPU、GPU、NPU——無論您在何種硬體上執行，ONNX Runtime 都能針對延遲、吞吐量、記憶體利用率和二進位制大小進行最佳化。除了開箱即用的通用使用模式下的出色效能外，還提供了額外的模型最佳化技術和執行時配置，以進一步提高特定用例和模型的效能。
ONNX Runtime 推理
ONNX Runtime 為包括 Windows、Office、Azure Cognitive Services 和 Bing 在內的 Microsoft 產品提供 AI 支援，同時也被全球數千個其他專案所採用。ONNX Runtime 具有跨平臺特性，支援雲、邊緣、Web 和移動體驗。
瞭解更多關於 ONNX Runtime 推理的資訊 →Web 瀏覽器
使用 ONNX Runtime Web 在 Web 瀏覽器中執行 PyTorch 和其他 ML 模型。
移動裝置
使用 ONNX Runtime Mobile 為您的 Android 和 iOS 移動應用注入 AI 功能。
ONNX Runtime 訓練
ONNX Runtime 降低了大型模型訓練的成本，並支援裝置端訓練。
瞭解更多關於 ONNX Runtime 訓練的資訊 →大型模型訓練
加速熱門模型（包括來自 Hugging Face 的 Llama-2-7b 模型）和 Azure AI | Machine Learning Studio 模型目錄中精選模型的訓練。
裝置端訓練
透過 ONNX Runtime 進行裝置端訓練，開發者可以獲取一個推理模型並在本地對其進行訓練，從而為客戶提供更個性化且尊重隱私的體驗。