加速 Hugging Face 模型

ONNX Runtime 可以加速流行 Hugging Face NLP 模型的訓練和推理。

加速 Hugging Face 模型推理

• 通用匯出和推理：Hugging Face Transformers
• 在 CPU 上加速 GPT2 模型
• 在 CPU 上加速 BERT 模型
• 在 GPU 上加速 BERT 模型

更多資源

• 部落格文章：使用 Hugging Face 和 ONNX Runtime 實現更快更小的量化 NLP
• 部落格文章：使用 Hugging Face Transformers 和 ONNX Runtime 加速您的 NLP 管道