RKNPU 執行提供者
預覽
RKNPU DDK 是訪問 Rockchip NPU 的高階介面。RKNPU 執行提供者透過 RKNPU DDK 實現了在 Rockchip NPU 上的深度學習推理。
目錄
構建
有關構建說明，請參閱 構建頁面。
用法
C/C++
要將 RKNPU 用作推理的執行提供者，請按如下方式註冊它。
Ort::Env env = Ort::Env{ORT_LOGGING_LEVEL_ERROR, "Default"};
Ort::SessionOptions sf;
Ort::ThrowOnError(OrtSessionOptionsAppendExecutionProvider_RKNPU(sf));
Ort::Session session(env, model_path, sf);
C API 詳情請見此處。
支援範圍
支援的平臺
- RK1808 Linux
注意：不支援 RK3399Pro 平臺。
支援的運算子
下表顯示了 RKNPU 執行提供者支援的 ONNX 運算子以及 ONNX 運算子和 RKNPU 運算子之間的對映。
| ONNX 運算子 | RKNPU 運算子 |
|---|---|
| Add | ADD |
| Mul | MULTIPLY |
| Conv | CONV2D |
| QLinearConv | CONV2D |
| Gemm | FULLCONNECT |
| Softmax | SOFTMAX |
| AveragePool | POOL |
| GlobalAveragePool | POOL |
| MaxPool | POOL |
| GlobalMaxPool | POOL |
| LeakyRelu | LEAKY_RELU |
| Concat | CONCAT |
| BatchNormalization | BATCH_NORM |
| Reshape | RESHAPE |
| Flatten | RESHAPE |
| Squeeze | RESHAPE |
| Unsqueeze | RESHAPE |
| Transpose | PERMUTE |
| Relu | RELU |
| Sub | SUBTRACT |
| Clip(0~6) | RELU6 |
| DequantizeLinear | DATACONVERT |
| Clip | CLIP |
支援的模型
以下 ONNX 模型庫中的模型支援使用 RKNPU 執行提供者
影像分類
- squeezenet
- mobilenetv2-1.0
- resnet50v1
- resnet50v2
- inception_v2
目標檢測
- ssd
- yolov3