「MoveNet」の版間の差分
Administrator (トーク | 投稿記録) 編集の要約なし |
Administrator (トーク | 投稿記録) 編集の要約なし |
||
| 1行目: | 1行目: | ||
'''MoveNet'''とは、2021年5月に[[Google]]がオープンソースで公開した静止画から[[姿勢推定]]する人工知能モデルです。 | '''MoveNet'''とは、2021年5月に[[Google]]がオープンソースで公開した静止画から[[姿勢推定]]する人工知能モデルです。 | ||
TensorFlow | [[TensorFlow Lite]]で実装されており、身体の 17 のキーポイントを検出する超高速で高精度なモデルです。 | ||
ライトニング（高速、入力192x192）とサンダー（高精度、入力256x256）という2種類のモデルが公開されています。 | ライトニング（高速、入力192x192）とサンダー（高精度、入力256x256）という2種類のモデルが公開されています。 | ||
| 11行目: | 11行目: | ||
最近のスマホでも楽勝で動かせます。なお、[[Android]]アプリを作ってみた感想としてはスマホによってはカメラ映像がYUVでしか出力できず、YUVをRGBに変換する方が処理に時間がかかる環境も多々ありました。libyuvなども試してみましたがJavaからNDKを呼び出すコストが大きくやはり重たいです。[[iOS]]のカメラ(AVFoundation)はYUVだけでなくRGBでも出力できるので楽勝です。 | 最近のスマホでも楽勝で動かせます。なお、[[Android]]アプリを作ってみた感想としてはスマホによってはカメラ映像がYUVでしか出力できず、YUVをRGBに変換する方が処理に時間がかかる環境も多々ありました。libyuvなども試してみましたがJavaからNDKを呼び出すコストが大きくやはり重たいです。[[iOS]]のカメラ(AVFoundation)はYUVだけでなくRGBでも出力できるので楽勝です。 | ||
なお、[[TensorFlow]]ではなくTensorFlow Lite形式なのでそのままでは非常に扱いづらいです。なので[[ONNX]]に変換すると扱いやすいです。 | |||
[[category: 姿勢推定]] | [[category: 姿勢推定]] | ||
2025年8月18日 (月) 09:11時点における最新版
MoveNetとは、2021年5月にGoogleがオープンソースで公開した静止画から姿勢推定する人工知能モデルです。
TensorFlow Liteで実装されており、身体の 17 のキーポイントを検出する超高速で高精度なモデルです。 ライトニング（高速、入力192x192）とサンダー（高精度、入力256x256）という2種類のモデルが公開されています。
「PoseNetの後継品」ということになっていますが、実際に動かしてみると背景などで一長一短といった感じです。PoseNetはApacheライセンスでしたが、MoveNetはMITライセンスとなっています。
動画の姿勢推定[編集 | ソースを編集]
MoveNetは静止画用ですが、非常に高速なのでそこそこの性能のコンピューターであれば動画のフレームを切り出してリアルタイムに姿勢推定することも可能です。
最近のスマホでも楽勝で動かせます。なお、Androidアプリを作ってみた感想としてはスマホによってはカメラ映像がYUVでしか出力できず、YUVをRGBに変換する方が処理に時間がかかる環境も多々ありました。libyuvなども試してみましたがJavaからNDKを呼び出すコストが大きくやはり重たいです。iOSのカメラ(AVFoundation)はYUVだけでなくRGBでも出力できるので楽勝です。
なお、TensorFlowではなくTensorFlow Lite形式なのでそのままでは非常に扱いづらいです。なのでONNXに変換すると扱いやすいです。