包 ai.onnxruntime

ONNX Runtime 的 Java 介面。

提供與 C 庫相同的執行後端訪問。透過此 API 訪問時，Java 中不可表示的型別（例如 fp16）會被轉換為最接近的 Java 原語型別。

需要兩個共享庫：onnxruntime 和 onnxruntime4j_jni 。載入器位於 OnnxRuntime 中，邏輯順序如下

1. 使用者可以使用 onnxruntime.native.LIB_NAME.skip 形式的屬性，值為 true 來表示跳過共享庫載入。這意味著使用者已決定透過其他方式載入該庫。
2. 使用者可以使用 onnxruntime.native.path 形式的屬性指定所有原生庫檔案的顯式位置。這會使用 System.load(java.lang.String)。
3. 使用者可以使用 onnxruntime.native.LIB_NAME.path 形式的屬性指定共享庫檔案的顯式位置。這會使用 System.load(java.lang.String)。
4. 共享庫會自動發現
   1. 如果共享庫存在於 classpath 資源中，則透過臨時檔案使用 System.load(java.lang.String) 載入。理想情況下，這應該是在將包含共享庫的 JAR 包/依賴項新增到 classpath 時的預設使用方式。
   2. 如果共享庫不存在於 classpath 資源中，則使用 System.loadLibrary(java.lang.String) 載入，該方法通常在檔案系統的其他位置查詢庫。該方法的語義和行為取決於系統/JVM。通常，java.library.path 屬性用於指定原生庫的位置。

為了排除故障，所有共享庫載入事件都會報告到 Java 日誌，級別為 FINE。

請注意，CUDA、ROCM、DNNL、OpenVINO 和 TensorRT 都是“共享庫執行提供程式”，必須儲存在包含 ONNX Runtime 核心原生庫的目錄中，或作為 classpath 資源。這是因為這些提供程式是由 ONNX Runtime 原生庫本身載入的，Java API 無法控制載入位置。

介面概述

介面	描述
OnnxValue	ONNX 模型輸入和輸出值的頂級介面。
OrtProviderOptions.OrtProviderSupplier	映象 Java Supplier 的函式式介面，但可以丟擲 OrtException。
ValueInfo	描述 OnnxValue 的資訊物件介面。

類概述

類	描述
MapInfo	描述 OnnxMap 物件或輸出節點。
NodeInfo	ONNX 模型輸入或輸出節點的資訊。
OnnxMap	由 OrtSession.run(Map) 返回的 map 容器。
OnnxModelMetadata	包含與 ONNX 模型相關的元資料。
OnnxSequence	型別相同的 OnnxValue 序列。
OnnxSparseTensor	包裝 OnnxSparseTensor 的 Java 物件。
OnnxSparseTensor.BlockSparseTensor	塊稀疏張量的 Java 端表示。
OnnxSparseTensor.COOTensor	COO 稀疏張量的 Java 端表示。
OnnxSparseTensor.CSRCTensor	CSRC 稀疏張量的 Java 端表示。
OnnxSparseTensor.SparseTensor<T extends java.nio.Buffer>	Java 稀疏張量的抽象基類
OnnxTensor	包裝 OnnxTensor 的 Java 物件。
OnnxTensorLike	當前由 OnnxTensor、OnnxSparseTensor 實現。
OrtEnvironment	ONNX Runtime 系統的宿主物件。
OrtEnvironment.ThreadingOptions	控制環境中的全域性執行緒池。
OrtLoraAdapter	介面卡容器，可提供給 OrtSession.RunOptions.addActiveLoraAdapter(OrtLoraAdapter) 以將介面卡應用於模型的特定執行。
OrtProviderOptions	執行提供程式選項類的抽象基類。
OrtSession	包裝 ONNX 模型並允許進行推理呼叫。
OrtSession.Result	包含 OnnxValue 的 Map 的 AutoCloseable 包裝器。
OrtSession.RunOptions	用於控制對 OrtSession.run(java.util.Map<java.lang.String, ? extends ai.onnxruntime.OnnxTensorLike>) 的呼叫的日誌記錄和終止。
OrtSession.SessionOptions	表示用於構建此會話的選項。
OrtTrainingSession	包裝 ONNX 訓練模型並允許進行訓練和推理呼叫。
OrtUtil	用於與 Java 陣列互動的工具程式碼。
SequenceInfo	描述 OnnxSequence，包括已知元素型別。
TensorInfo	描述 OnnxTensor，包括其大小、形狀和元素型別。

列舉概述

列舉	描述
OnnxJavaType	表示 ONNX Runtime 支援的 Java 原語型別（和 String）的列舉。
OnnxMap.OnnxMapValueType	表示儲存在 OnnxMap 中的值的 Java 型別的列舉。
OnnxSparseTensor.SparseTensorType	稀疏張量的型別。
OnnxValue.OnnxValueType	與 C API 中的 id 相對應的 OnnxValue 型別。
OrtException.OrtErrorCode	將 onnxruntime_c_api.h 中的 OrtErrorCode 結構體對映到 Java 端錯誤，並增加一個條目。
OrtLoggingLevel	日誌嚴重性級別。
OrtProvider	透過 Java API 可用的執行提供程式。
OrtSession.SessionOptions.ExecutionMode	要使用的執行模式。
OrtSession.SessionOptions.OptLevel	要使用的最佳化級別。
TensorInfo.OnnxTensorType	ONNX runtime 支援的原生元素型別。

異常概述

異常	描述
OrtException	包含原生 onnxruntime 產生的錯誤訊息和程式碼的異常。