Arm NN 執行提供者

目錄

• 構建
• 用法
• 效能調優

使用 Arm NN 執行提供者加速 Arm® 裝置的 ONNX 模型工作負載效能。 Arm NN 是一個由 Arm 和 Linaro 公司維護的開源推理引擎。

構建

有關構建說明，請參閱構建頁面。

用法

C/C++

要將 Arm NN 用作推理的執行提供者，請按如下方式註冊。

Ort::Env env = Ort::Env{ORT_LOGGING_LEVEL_ERROR, "Default"};
Ort::SessionOptions so;
bool enable_cpu_mem_arena = true;
Ort::ThrowOnError(OrtSessionOptionsAppendExecutionProvider_ArmNN(so, enable_cpu_mem_arena));

C API 詳情請見此處。

效能調優

當使用/如果使用 onnxruntime_perf_test 時，請使用標誌 -e armnn