Tensorflow Lite Posenet Demo

Tensorflow Liteのポーズネットまたはポーズ推定は、MLモデルを使用して、主要な身体関節（キーポイント）の空間位置を推定することにより、画像またはビデオから人物のポーズを推定するタスクです。

ポーズ推定とは、画像や動画内の人物を検出するコンピュータビジョン技術を指します。これにより、たとえば、誰かの肘が画像のどこに現れるかを判断できます。ポーズ推定は、主要な身体の関節がどこにあるかを推定するだけであり、画像またはビデオの誰がいるかを認識しないという事実に注意することが重要です。

PoseNetモデルは、処理されたカメラ画像を入力として受け取り、キーポイントに関する情報を出力します。検出されたキーポイントは、0.0〜1.0の信頼スコアでパーツIDによってインデックス付けされます。信頼スコアは、キーポイントがその位置に存在する確率を示します。

パフォーマンスベンチマーク

パフォーマンスは、デバイスと出力ストライド（ヒートマップとオフセットベクトル）によって異なります。 PoseNetモデルは画像サイズに不変です。つまり、画像が縮小されているかどうかに関係なく、元の画像と同じスケールでポーズの位置を予測できます。これは、パフォーマンスを犠牲にして、より高い精度を持つようにモデルを構成することを意味します。

出力ストライドは、入力画像サイズに対して出力がどれだけ縮小されるかを決定します。レイヤーのサイズとモデルの出力に影響します。

出力ストライドが高いほど、ネットワーク内のレイヤーと出力の解像度が小さくなり、それに応じて精度が低くなります。この実装では、出力ストライドの値は8、16、または32になります。つまり、出力ストライドが32の場合、パフォーマンスは最速ですが精度は最低になり、8の場合、精度は最高になりますがパフォーマンスは最低になります。推奨される開始値は16です。