動画像処理装置及び方法

トップ :: G 物理学 :: G01 測定;試験

【発明の名称】	動画像処理装置及び方法
【発明者】	【氏名】渡辺睦【氏名】西浦正英
【要約】	【課題】本発明は、認識対象や状況変化領域の３次元位置を、安定かつ高信頼に検知するための、効率的な動画像処理装置及び方法を提供することを目的とする。【解決手段】一連の画像を処理することにより、物体の認識や状況の変化の検出を行うため、複数台のカメラの画像を各々処理して得られるオプティカルフローの相互関係を解析しステレオ対応づけすることにより、対象物または変化領域の３次元位置検出を行う３次元位置検出部１３を有する。

【特許請求の範囲】
【請求項１】一連の画像を処理することにより、物体の認識や状況の変化の検出を行う動画像処理装置において、複数台のカメラ画像を各々処理して得られるオプティカルフローの相互関係を解析しステレオ対応づけすることにより、対象物または変化領域の３次元位置検出を行う手段を有することを特徴とする動画像処理装置。
【請求項２】複数台のカメラ間のステレオ対応づけを行う際に、オプティカルフローが求まった領域のみを対応づけの候補として選択する手段を有することを特徴とする請求項１に記載の動画像処理装置。
【請求項３】複数台のカメラ間のステレオ対応づけを行う際に、オプティカルフローが求まった領域のうち、カメラ間の位置関係により推定されるオプティカルフローベクトルに類似したオプティカルフローベクトルを有する領域を対応づけの候補として選択する手段を有することを特徴とする請求項１に記載の動画像処理装置。
【請求項４】各カメラ毎にオプティカルフローを推定する手段と、カメラ間のオプティカルフローの相互関係を解析することにより、対応探索領域を設定する手段と、設定された対応探索領域においてステレオ対応づけを行い、３次元位置を算出する手段を有する動画像処理装置。
【請求項５】一連の画像を処理することにより、物体の認識や状況の変化の検出を行う動画像処理方法において、複数台のカメラ画像を各々処理して得られるオプティカルフローの相互関係を解析しステレオ対応づけすることにより、対象物または変化領域の３次元位置検出を行うことを特徴とする動画像処理方法。
【請求項６】複数台のカメラ間のステレオ対応づけを行う際に、オプティカルフローが求まった領域のみを対応づけの候補として選択することを特徴とする請求項５に記載の動画像処理方法。
【請求項７】複数台のカメラ間のステレオ対応づけを行う際に、オプティカルフローが求まった領域のうち、カメラ間の位置関係により推定されるオプティカルフローベクトルに類似したオプティカルフローベクトルを有する領域を対応づけの候補として選択することを特徴とする請求項５に記載の動画像処理方法。

【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、一連の画像を解析することにより、例えば交通流の計測や、交通事故などの災害発生の有無、不法侵入者の出現、生理状態の変化などを監視する際に、対象の認識や状況の変化を安定に検知する動画像処理装置及び方法に関する。
【０００２】
【従来の技術】近年、ＴＶカメラの民生化による普及と共に、ＰＣの普及に伴う小型化、高速化が進行し、従来は専用ハードウェアを用いて実現していた画像処理応用機能がＰＣをベースにしたシステムで安価に実現できる環境が整ってきた。一方で、交通事故や空き巣などの不在時における犯罪などは増加傾向にあり、画像を用いた監視システムの要求が高まってきている。このような監視・モニタシステムにおいては、ＴＶカメラを監視区域に一台または複数台設置し、人間がこの画像を見て状況の変化をモニタリングする製品が一般的である。
【０００３】また、この状況変化検出を自動化するために、予め標準的な状態の画像を記録しておき、時々刻々得られる画像との差分を取って認識対象の動きや状況の変化を検出する方式、または連続する画像間の明度変化を差分により検出することにより認識対象の動きや状況の変化を検出する方式が提案されている。
【０００４】更に、画像から局所的な動きベクトル（オプティカルフロー）を検出することにより、認識対象の状況の変化を検出する方式も提案されている。一方、認識対象や状況変化領域の位置情報を得るためには、複数のカメラで撮影したシーン間の対応づけを行い、三角測量の原理を用いて３次元位置を計算するステレオ法が一般的に用いられている。
【０００５】
【発明が解決しようとする課題】上記ステレオ法により３次元位置を求める場合には、異なる位置に設置されたカメラ間で対応する位置を求めるという対応付けが必要であり、このために多大な計算量を必要とする。
【０００６】従来の、認識対象の動きや状況の変化を検出する方式においては、カメラ配置から規定されるエピポーラ平面と画像平面の交線であるエピポーラ直線の近傍領域を対応づけの候補として限定し、差分値、相関値などの類似指標を用いて対応探索を行っていた。図１には、カメラの配置とエピポーラ平面、エピポーラ直線の関係が示されている。これによると、片方のカメラ上において対応基準点を選択した場合、中心投影下でのエピポーラ平面は、両カメラのレンズ中心とこの基準点の３点を通る平面として一意に与えられ、もう片方のカメラ上の対応点は、このエピポーラ平面と画像平面の交線であるエピポーラ直線上に存在する。従って、原理的にはこのエピポーラ直線の近傍領域を探索すれば、対応点が決定でき、各々の画像平面上の対応点とレンズ中心とを結ぶ直線の交点として、空間中の注視点の３次元位置が求められることになる。しかしながら、エピポーラ平面が高精度に求まらない場合、対象と背景の明度的な差が少ない場合などに対応誤りが発生し易く、正しい３次元位置が求められないという問題点があった。
【０００７】認識対象や状況変化領域の３次元位置を、安定かつ高信頼に検知するための、効率的な動画像処理装置及び方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】本発明は、監視区域に配置される複数台のカメラ画像を各々処理して得られるオプティカルフローの相互関係を解析しステレオ対応づけすることにより、対象物または変化領域の３次元位置検出を行う動画像処理装置及び方法を提供する。
【０００９】本発明では、複数台のカメラ間のステレオ対応づけを行う際に、オプティカルフローが求まった領域のみを対応づけの候補として選択する。
【００１０】本発明では、複数台のカメラ間のステレオ対応づけを行う際に、オプティカルフローが求まった領域のうち、カメラ間の位置関係により推定されるオプティカルフローベクトルに類似したオプティカルフローベクトルを有する領域を対応づけの候補として選択する。
【００１１】この発明は、各カメラ毎にオプティカルフローを推定する手段と、カメラ間のオプティカルフローの相互関係を解析することにより、対応探索領域を設定する手段と、設定された対応探索領域においてステレオ対応づけを行い、３次元位置を算出する手段を有する動画像処理装置を提供する。
【００１２】
【発明の実施の形態】以下、本発明の実施の形態について、図２～図７を用いて説明する。
【００１３】図２に、本発明全体の構成を示す。同図に示すように動画像処理装置は、オプティカルフロー推定部１１と、対応候補選択部１２と、３次元位置算出部１３により構成される。
【００１４】オプティカルフロー推定部１１は、図１に示されるように監視区域に配置される複数のカメラの各カメラ毎に画面上の動きベクトル（オプティカルフロー）を推定し、対応候補選択部１２は、オプティカルフロー推定部１１の推定結果を用いて、３次元位置を求めるべき候補点群を選択する。３次元位置算出部１３は、各カメラ毎の候補点群を認識対象に対応づけを行い、３次元位置を算出する。
【００１５】以下、各部の具体的な構成を説明する。
【００１６】図３に示す様に、カメラの光軸をＺ軸、撮像面をｘ－ｙ平面、原点を光軸中心となるように座標系を初期設定した場合、質点Ｐ（Ｘ，Ｙ，Ｚ）の３次元空間内の動きベクトルｖ（ｐ（ｔ），Ｑ（ｔ），Ｒ（ｔ））を中心投影した結果は、下式に示すような画面上の動きベクトル（オプティカルフロー）（ｕ（ｔ），ｖ（ｔ））となる。
【００１７】（ｕ（ｔ），ｖ（ｔ））≡（Ｚ（ｔ）ｐ（ｔ）－Ｘ（ｔ）Ｒ（ｔ）／Ｚ（ｔ）（Ｚ（ｔ）＋Ｒ（ｔ）），Ｚ（ｔ）Ｑ（ｔ）－Ｙ（ｔ）Ｒ（ｔ）／Ｚ（ｔ）（Ｚ（ｔ）＋Ｒ（ｔ）））
このオプティカルフローの推定方式としては、連続時点での明度が保存されるという前提の下で、局所相関値を用いて逐次移動後の点の位置を探索する相関法、時空間微分方程式を連立して解くことにより推定する勾配法などが提案されている。本実施例では、勾配法を用いてオプティカルフロー推定部１１を実施する例について説明する。
【００１８】移動する認識対象に含まれる点の明度Ｉが連続時点で変化しないとすると、以下の時空間微分方程式が成立する。
【００１９】
【数１】

【００２０】ここで、I_x、I_y、I_tは各々、明度の水平方向、垂直方向、時間方向の偏微分値、ｕ，ｖはこの点のオプティカルフローである。未知数がｕ，ｖの２つあるのに対し、時空間微分方程式により与えられる拘束式は１つであるので、このままでは解が一意に求められない。そこで、この点を含む近傍領域は同一の対象に属し、ｕ，ｖが共通であると仮定して、この近傍領域内のｎ点の時空間微分方程式を以下の様に連立させて解く。
【００２１】
【数２】

【００２２】（）内はこの近傍領域に含まれる特定の候補点を示す番号である。
【００２３】この連立方程式の解は、Ｂ'Ｂの逆行列が存在する場合に求められ、以下の式で与えられる。ここでＢ′はＢの転置行列、（Ｂ'Ｂ）^-1はＢＢ′の逆行列である。
【００２４】
ｕ＝－（Ｂ'Ｂ）^-1Ｂ'Ｉ_ｔ・・・（３）
オプティカルフロー推定部１１は、オプティカルフロー推定処理を各カメラの各点毎に行い、解が求まった画像中の点の位置及びオプティカルフローベクトル値を記憶する。図４に、このオプティカルフロー推定部１１の具体的構成例が示されている。
【００２５】これによると、オプティカルフロー推定部１１は、空間微分行列作成部１４、時間微分行列作成部１５、フロー算出部１６および記憶部１７により構成される。空間微分行列作成部１４および時間微分行列作成部１５はそれぞれＢ、Ｉ_ｔを計算し、フロー算出部１６は、（３）式に基づきフロー値ｕを算出する。記憶部１７は、フローの求まった点の位置及びオプティカルフローベクトル値をローカルメモリに格納する。上記の処理を画像中の各点に対し繰り返し実施する。
【００２６】次に、対応候補選択部１２の具体的構成について２つの例を説明する。
【００２７】第１の例は、オプティカルフロー推定部１１においてフローの求まった点群全体を対応づけの候補として選択するものである。この方式は、カメラ間の位置関係、つまりエピポーラ条件が正しく求まっていない場合に特に有効である。この手法を用いることにより、従来は図５（ａ）に示すようにエピポーラ直線の近傍領域全体を対応づけ候補として探索していたのに対し、図５（ｂ）に示すように探索領域をオプティカルフローが求まった領域に限定できるため、大幅な計算時間の短縮、対応誤りの抑制が実現できる。
【００２８】第２の例は、動きが小さく、カメラ間の位置関係が求まっている場合に利用される方式である。図６がこの第２の例の対応候補選択部１２の構成を示している。
【００２９】これによると、あるカメラの画像平面を異なる位置のカメラの画像平面に重ねるための移動は、回転行列Ｒと並進行列Ｔの積として記述される。オプティカルフローベクトル選択部１８は、基準となるカメラ上でオプティカルフローの求まった１点を選択する。投影ベクトル推定部１９は、選択した点にＲ、Ｔを乗ずることにより、この選択した点のオプティカルフローベクトルの対応探索を行うカメラの画像平面上に投影した場合の予測ベクトル値を推定する。候補選択部２０は、このカメラにおけるオプティカルフローの求まった点群に対応するオプティカルフローベクトルを逐次選択し、予測ベクトルとの差ベクトルを計算し、この差ベクトルの長さが一定値以下の点を候補点群として選択する。
【００３０】次に、３次元位置算出部３の具体的構成例を説明する。
【００３１】図７に示すように３次元位置算出部３は、対応候補点選択部２１と、類似指標計算部２２と、３次元位置計算部２３とにより構成される。
【００３２】対応候補点選択部２１では、対応候補選択部１２により得られた対応探索候補点の対を選択する。類似指標計算部２２では、この候補点を含む近傍領域の明度情報、オプティカルフロー情報などを用いて設定された類似指標関数を計算し、３次元位置計算部２３で対応点対を選択し、３次元位置をステレオ計算する。類似指標関数としては例えば、各候補点の近傍領域間の明度相関値を用いることが可能である。この場合は、基準点に対して明度相関値が１．０に近く最も大きい点を候補点として選択する。
【００３３】また、対応候補選択部１２で述べた様に、各候補点の近傍領域に含まれる各オプティカルフローとこの投影ベクトルとの差ベクトル長の和を用いることが可能である。この場合は、差ベクトル長の和が最も小さい点を候補点として選択する。
【００３４】更に、両者を組合せた指標を用いることも可能である。３次元位置の計算は例えば、予め３次元位置が既知な複数の点（Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ）の各カメラｔ上の投影点の位置（ｘ_ｉ（ｔ），ｙ_ｉ（ｔ））を抽出し、投影点対ベクトルと３次元座標ベクトル間の変換行列Ｈを推定しておき、３次元位置計算部２３にて求まった対応点対に施すことにより、実施することが可能である。
【００３５】
【発明の効果】本発明を用いることにより、火災などの災害の発生や、不法侵入者の出現、生理状態の変化などの様々な状況において、認識対象や状況変化領域の３次元位置を安定かつ高信頼に算出するための、効率的な動画像処理装置及び方法を提供することが可能となり、この杜会的・実用的効果は多大である。

【出願人】	【識別番号】０００００３０７８【氏名又は名称】株式会社東芝
【出願日】	平成１１年６月３０日（１９９９．６．３０）
【代理人】	【識別番号】１０００５８４７９【弁理士】【氏名又は名称】鈴江武彦（外６名）
【公開番号】	特開２００１－１２９４６（Ｐ２００１－１２９４６Ａ）
【公開日】	平成１３年１月１９日（２００１．１．１９）
【出願番号】	特願平１１－１８７０２０