動画から移動している物体や人物だけを検出したいと思う場面は多くあると思います。そんなときには背景差分やフレーム間差分の手法が役に立ちます。
今回は背景差分やフレーム間差分について紹介しようと思います。以下のページを参考にしています。
https://www.dendai.ac.jp/crc/about/forum/e5vdec000000dvk0-att/forum05_04.pdf
https://kimamani89.com/2019/04/30/post-420/
https://www.cs.utexas.edu/~grauman/courses/fall2009/slides/lecture9_background.pdf
フレーム間差分
フレーム間差分は時間差のある3枚の画像から移動物体を抽出する手法です。
まずは画像I1とI2の差分を取ります。同様にI2とI3の差分も取ります。
その2つの論理積を取ると、移動物体のみを抽出することができます。
フレーム間差分の優れている点は背景モデルを作成する必要がない点にあります。
時間変化に対して移動物体の移動量が大きく、かつ背景の変化が小さい動画にこの手法は向いています。
背景差分
フレーム間差分よりも背景の変化に対応できるのが背景差分の手法になります。
背景差分のシンプルなモデルでは、複数のフレームから各画素値に対してガウシアンモデルを構築します。
下のグラフでは赤が背景モデル、黒が前景モデルを表しています。
新たなフレームの各画素値はこれらのモデルから前景or背景が判断されます。
この手法では新しいフレームが入ってくる度にモデルを更新することができます。
ただし、設定すべきパラメータが多い点、背景の急激な変化には対応できない点などが課題としてあります。
