Olive - 硬體感知模型最佳化工具

Olive 是一款易於使用的硬體感知模型最佳化工具，它整合了業界領先的模型壓縮、最佳化和編譯技術。它與 ONNX Runtime 協同工作，提供端到端的推理最佳化解決方案。

給定一個模型和目標硬體，Olive 會組合最合適的最佳化技術，以輸出最有效的模型和執行時配置，用於 ONNX Runtime 推理，同時考慮準確性和延遲等一系列約束。Olive 整合的技術包括 ONNX Runtime Transformer 最佳化、ONNX Runtime 效能調優、依賴於硬體的可調後訓練量化、量化感知訓練等。Olive 是 ONNX Runtime 模型最佳化的推薦工具。

示例

1. CPU 上的 BERT 最佳化（帶後訓練量化）
2. CPU 上的 BERT 最佳化（帶量化感知訓練）

更多詳情，請參閱 Olive 倉庫和 Olive 文件。