Microsoft Oliveとは、Microsoftがオープンソースのもとで開発している様々な機械学習の学習済みモデルをONNX形式に変換するツールです。
単精度浮動小数点数から半精度浮動小数点数などへの変換や最適化といった機能が充実しています。 とくに深く考えずにOvileを通すとだいたい爆速になります。たぶん何かが削られている感じがしますがよくわかりません。考えるな。感じろ。