概述#

裝置端訓練 指的是在邊緣裝置(如手機、嵌入式裝置、遊戲機、網路瀏覽器等)上訓練模型的過程。這與在伺服器或雲端訓練模型形成對比。當資料敏感且無法與伺服器或雲端共享時,邊緣訓練非常有用。它也適用於需要根據使用者裝置進行模型訓練的個性化任務。

onnxruntime-training 提供了一種在邊緣裝置上高效訓練和推理各種 ONNX 模型的簡便方法。訓練過程分為兩個階段

  • 離線階段:在此階段,訓練工件在伺服器、雲端或桌面裝置上準備。這些工件可以使用 onnxruntime-training工件生成 python 工具 生成。

  • 訓練階段:一旦生成這些工件,它們就可以部署在邊緣裝置上。onnxruntime-training 的 訓練 API 可用於在邊緣裝置上訓練模型。

一旦在邊緣裝置上完成訓練,就可以在邊緣裝置本身上生成一個可用於推理的 ONNX 模型。然後,此模型可以與 ONNX Runtime 一起用於推理。