安裝 ONNX Runtime generate() API

• Python 包安裝
• Nuget 包安裝

Python 包安裝

注意：您的環境中只能安裝這些包中的一套（CPU、DirectML、CUDA）。

CPU

pip install onnxruntime-genai

DirectML

pip install onnxruntime-genai-directml

CUDA

如果您安裝 onnxruntime-genai 的 CUDA 變體，則必須安裝 CUDA 工具包。

CUDA 工具包可以從 CUDA 工具包歸檔 下載。

請確保 CUDA_PATH 環境變數已設定為您的 CUDA 安裝位置。

CUDA 12

pip install onnxruntime-genai-cuda

CUDA 11

要將此 API 與 CUDA 11 一起使用，您需要從原始碼構建並安裝。

Nuget 包安裝

注意：您的專案中只能安裝這些包中的一個（CPU、DirectML、CUDA）。

前提條件

ONNX Runtime 依賴項

ONNX Runtime generate() 版本 0.3.0 及更早版本與核心 ONNX Runtime 二進位制檔案捆綁在一起。從 0.4.0 版本開始，包被分離，以提供更靈活的開發體驗。

CPU

dotnet add package Microsoft.ML.OnnxRuntimeGenAI

CUDA

注意：版本 0.3.0 及更早版本僅支援 CUDA 11，版本 0.4.0 及更高版本僅支援 CUDA 12。

dotnet add package Microsoft.ML.OnnxRuntimeGenAI.Cuda

DirectML

dotnet add package Microsoft.ML.OnnxRuntimeGenAI.DirectML