在 IoT 和邊緣裝置上部署 ML 模型
ONNX Runtime 允許您部署到許多 IoT 和邊緣裝置以支援各種用例。有許多板架構的軟體包 包含在您安裝 ONNX Runtime 時。以下是決定裝置端部署是否適合您的用例時的一些注意事項。
進行裝置端推理的優勢和侷限性
- 它更快。沒錯，對於經過最佳化以在低功耗硬體上執行的模型，在客戶端直接進行推理可以大大縮短推理時間。
- 它更安全，有助於保護隱私。由於資料從未離開裝置進行推理，因此這是一種更安全的推理方法。
- 它離線工作。如果您失去網際網路連線，模型仍然能夠進行推理。
- 它更便宜。透過將推理解除安裝到裝置上，可以降低雲服務成本。
- 模型大小限制。如果您想在裝置上部署，您需要一個經過最佳化且足夠小以便在裝置上執行的模型。
- 硬體處理限制。模型需要最佳化以在低功耗硬體上執行。