VideoToolbox

VideoToolboxとは、macOSやiOSなどに搭載されている動画のハードウェアエンコーダーおよびハードウェアデコーダーにアクセスするための低レベルAPI群である。

動作環境

• macOS 10.8 以降
• iOS 6.0 以降
• tvOS 10.2 以降

概要

一般的なプログラマーはまず触ることなく一生を終えるだろう。

ffmpeg

ffmpegはvideotoolboxに対応しており、macでffmpegを使用する際にはコーデックに指定すると非常に高速に変換処理ができる。videotoolbox系のコーデックを指定すると自動的にGPUやT2チップなどから適切なものが利用される。どれが選ばれ、どれが使われるかは不明。とりあえず桁違いに速いのだけは確か。

• libx264 = h264_videotoolbox
• libx265 = hevc_videotoolbox

ffmpegで1080p動画を4K動画にアップコンバートする例。 ちなみに「-b:v」で最大ビットレートを明示しないと残念な結果になる。

ffmpeg -i input1080p.mov -vf "scale=3840:-1:flags=lanczos+accurate_rnd,framerate=120" -c:v h264_videotoolbox -b:v 100m output2160p.mp4