オプティカルフロー（オプティカルフロー推定）について…

まだまだ作成中ですが…
あなたは、のオプチ星人です。(Since Sep 2000)

研究題目

速度空間における拘束直線の交点群のクラスタリングによるオプティカルフロー推定

<まず最初に…>
オプティカルフローとは…動物体解析の手法の一つであり、画像中の輝度情報から動きを解析し速度ベクトルによって物体の運動を表す。一画素単位で解析が可能。

<本研究で扱うオプティカルフロー推定>
本研究で扱うオプティカルフロー推定は、勾配法(gradient-based method) のローカル法に属します。
空間的局所最適化法(spatial local optimization)ともいい、オプティカルフローが局所空間領域において一定であると仮定する方法です。勾配法は、画像の濃淡パターンが運動に対して不変に保たれるという仮定に基づいており、画像中の濃淡分布の空間的勾配と時間的勾配を関係つける式を基にした解析手法です。しかし、空間的・時間的な輝度勾配を線形近似して得られた式（オプティカルフロー拘束方程式）は、速度ベクトル(u,v)の変数を2つ含んでおり、速度ベクトルを一意に決定することができません。そこで、先に書いたように拘束条件として「フローは局所的には一定である（等しい）」という仮定を置いているのです。

上図は、注目画素(a notice pixel)と近傍画素(neighboring pixels)からなるブロック領域を設定(3*3)しています。しかし、この注目画素と近傍からなる領域をどのくらいの大きさと形で取るかという問題もあります。一般には、矩形領域で取られることが多いようです。
小さく取った場合…用いる画素が少ないので計算時間が早い。また、用いた仮定（フローが一定）が満たされやすいが、ノイズや動きが大きくなると対応ができずらくなる。

大きく取った場合…用いる画素が多くなるので計算時間がかかる。仮定を満たさない画素も存在しやすくなるため、推定精度低下の原因となるが、対策を練ることで（信頼度の高い情報を用いる）ノイズに対してロバストな手法にもなる。

さらに詳しくオプティカルフローを知るために…

簡単な例
ここで、ローカル法によってオプティカルフローを推定した例を示します。
以下のようなモデル画像が互いに並進運動した時のフローを求ます。

図：モデル画像

図：物体同士が並進してお互いに重なるように運動した時の、オプティカルフロー推定。
縦軸は垂直方向の画素、横軸は水平方向の画素を表す。
物体内は比較的に精度良く推定できているが、物体の境界（ここでは、物体間の境界と物体と背景の境界）では、フロー推定精度が低下している（測定時間は、Sun Ultra-Spark 333MHzで約1秒[ローカル法：最小2乗法により推定]）。

『ちょっと解説』
オプティカルフローは、画像中の輝度の空間的・時間的勾配を手がかりに運動を推定しています（画像中の輝度勾配が運動中に変化しないことを仮定しています。そのためには、画像中の輝度は運動に対して滑らかに変化しなければなりません）
物体内は近傍画素との相関が強く、またこの場合は並進運動なので比較的に輝度勾配の変化が少ないことが言えます。しかし一方、物体の境界は、輝度（勾配）の変化が大きいのです。また物体の輝度情報が失われたり（遮蔽）、突然現れたりする（発生）領域なために推定が困難になります。また運動が不連続な動きになるため、オプティカルフローの成立条件を満たしにくくなり推定精度が低下する原因となってしまうのです。

『よい手法を目指して…』
ローカル法を用いたオプティカルフロー推定は、動画像を数枚利用して瞬時フローを求めるのに適した手法といえます。これは、局所的な解析をベースにしている手法としているためです。瞬間的に微少な運動の測定には強みを発揮し、測定時間も他の手法と比べて高速に行えるため、オンライン処理、実時間処理に向いています。ただ、物体の境界など画像中のエッジにおける推定精度が他の領域と比べて大幅に低下してしまう問題点があります。しかし、この領域はオプティカルフロー推定に限った話ではなく、画像処理のビジョン分野の共通の課題と言えます。

[戻る]

ご意見、ご指摘などは h-shun@jaist.ac.jp までお願いします。