トップ :: G 物理学 :: G01 測定;試験




【発明の名称】 ３次元形状計測装置
【発明者】 【氏名】榊原 邦光

【氏名】谷内田 正彦
【要約】 【課題】

【解決手段】
【特許請求の範囲】
【請求項１】被写体像を時系列的に取得する取得手段、前記被写体像に対応する画像の連続するフレーム間での各点の２次元的な移動ベクトルを抽出する第１抽出手段、前記移動ベクトルに基づいて前記画像の全領域を剛体領域と非剛体領域とに分離する分離手段、前記剛体領域の前記移動ベクトルに基づいて前記剛体領域の３次元座標および３次元相対運動を算出する第１算出手段、および前記３次元相対運動と前記非剛体領域の移動ベクトルに基づいて前記非剛体領域の３次元座標を算出する第２算出手段を備える、３次元形状計測装置。
【請求項２】前記各点を様々な形状パターンを有する領域に分割する分割手段、分割した領域の３次元座標および３次元相対運動を算出する第３算出手段、前記第３算出手段で算出した前記３次元座標および前記３次元相対運動に基づいて前記領域の平均再投影誤差を算出する第４算出手段、および前記平均再投影誤差に基づいて前記領域から前記剛体領域を決定する決定手段をさらに備える、請求項１記載の３次元形状計測装置。
【請求項３】前記決定手段は前記平均再投影誤差の評価値が小さい領域を検出する検出手段を含み、前記評価値が小さい領域を前記剛体領域に決定する、請求項２記載の３次元形状計測装置。
【請求項４】前記決定手段で決定した前記剛体領域に含まれる各点の移動ベクトルに基づいて、前記剛体領域の３次元座標および３次元相対運動の少なくとも一方を再度算出する再度算出手段をさらに備える、請求項２または３記載の３次元形状計測装置。
【請求項５】前記移動ベクトルに基づいてフィードバック誤差を算出する第５算出手段、前記フィードバック誤差に応じて信頼度を抽出する第２抽出手段、および前記信頼度を重みとして前記移動ベクトルをフィルタリングするフィルタリング手段をさらに備える、請求項１ないし４のいずれかに記載の３次元形状計測装置。
【請求項６】前記第１算出手段は前記信頼度が高い前記移動ベクトルを用いて前記３次元座標を算出する、請求項５記載の３次元形状計測装置。
【請求項７】被写体像を時系列的に取得する取得手段、前記被写体像に対応する画像の連続するフレーム間での各点の２次元的な移動ベクトルを抽出する第１抽出手段、前記移動ベクトルに基づいてフィードバック誤差を算出する第１算出手段、前記フィードバック誤差に応じて信頼度を抽出する第２抽出手段、前記信頼度を重みとして前記移動ベクトルをフィルタリングするフィルタリング手段、および前記フィルタリング手段でフィルタリングされた移動ベクトルに基づいて前記各点の３次元座標および３次元相対運動を算出する第２算出手段を備える、３次元形状計測装置。
【発明の詳細な説明】【０００１】
【産業上の利用分野】この発明は３次元形状計測装置に関し、特にたとえば人間の顔のような特徴点が少なく、かつ時系列的に変化する画像の３次元形状を計測する、３次元形状計測装置に関する。
【０００２】
【従来の技術】従来のこの種の３次元形状計測装置は、人間の顔の３次元形状を計測する装置に適用され、計測された人間の顔の３次元形状は例えばコンピュータグラフィックス（ＣＧ）、ゲームおよびバーチャルリアリティなどのマルチメディアコンテンツとして用いられる。また、３次元形状計測装置は、個人識別や表情認識を利用するセキュリティシステムなどに適用され、さらに顔画像の圧縮通信などにも適用されていた。
【０００３】
【発明が解決しようとする課題】しかし、この従来技術では、カメラと被写体との相対的な３次元相対運動と被写体の３次元形状とを分離する手法（因子分解法）を用いるため、３次元形状の計測の精度はオプティカルフローの精度に依存する。このため、人間の顔のようにテクスチャが単調であり、かつ滑らかな曲面が大部分を占めるような被写体では、オプティカルフローの精度が低くなり、したがって３次元形状の計測の精度も低くなっていた。また、口元や目尻などのコーナ特徴が高く、オプティカルフローの精度が高い点においても、姿勢変化によって生じる影の影響を受け易く、かえって３次元形状の計測に悪影響を及ぼしていた。
【０００４】また、因子分解法は被写体が剛体である場合に適用でき、したがって顔の表情変化のように時系列的な変化を伴う被写体では３次元形状を計測することができなかった。
【０００５】それゆえに、この発明の主たる目的は、非剛体であっても３次元形状を計測できる、３次元形状計測装置を提供することである。
【０００６】
【課題を解決するための手段】第１の発明は、被写体像を時系列的に取得する取得手段、被写体像に対応する画像の連続するフレーム間での各点の２次元的な移動ベクトルを抽出する第１抽出手段、移動ベクトルに基づいて画像の全領域を剛体領域と非剛体領域とに分離する分離手段、剛体領域の移動ベクトルに基づいて剛体領域の３次元座標および３次元相対運動を算出する第１算出手段、および３次元相対運動と非剛体領域の移動ベクトルに基づいて非剛体領域の３次元座標を算出する第２算出手段を備える、３次元形状計測装置である。
【０００７】第２の発明は、被写体像を時系列的に取得する取得手段、被写体像に対応する画像の連続するフレーム間での各点の２次元的な移動ベクトルを抽出する第１抽出手段、移動ベクトルに基づいてフィードバック誤差を算出する第１算出手段、フィードバック誤差に応じて信頼度を抽出する第２抽出手段、信頼度を重みとして移動ベクトルをフィルタリングするフィルタリング手段、フィルタリング手段でフィルタリングされた移動ベクトルに基づいて各点の３次元座標および３次元相対運動を算出する第２算出手段、３次元形状計測装置である。
【０００８】
【作用】第１の発明の３次元形状計測装置は、たとえばコンピュータで構成されていて、すべての手段がコンピュータで実現される。そして、コンピュータは、時系列的に取得した被写体像に対応する画像の連続するフレーム間での各点の２次元的な移動ベクトルを抽出する。この移動ベクトルに基づいて、画像の全領域を剛体領域と非剛体領域とに分離する。そして、剛体領域の移動ベクトルに基づいて、剛体領域の３次元座標（３次元形状）および３次元相対運動を算出する。続いて、剛体領域の３次元相対運動と非剛体領域の移動ベクトルとに基づいて、非剛体領域の３次元形状を算出する。
【０００９】たとえば、各点を様々なパターンを有する領域に分割し、分割した領域の３次元形状および３次元相対運動が算出される。この３次元形状および３次元相対運動に基づいて領域の平均再投影誤差が算出される。選択手段は、平均再投影誤差に基づいて全領域から剛体領域を決定する。このようにして、剛体領域と非剛体領域とを分離することができる。
【００１０】つまり、検出手段が平均再投影誤差の評価値が小さい領域を検出するので、決定手段は検出された領域を剛体領域に決定する。したがって、それ以外の領域が非剛体領域に決定される。
【００１１】また、決定された剛体領域の移動ベクトルに基づいて、その剛体領域の３次元形状および３次元相対運動の少なくとも一方を再度算出するので、正確に計測することができる。
【００１２】さらに、移動ベクトルに基づいて算出したフィードバック誤差から移動ベクトルの信頼度を抽出し、抽出した信頼度を重みづけして移動ベクトルのフィルタリング処理を実行するので、信頼度の高い移動ベクトルを生成することができる。
【００１３】さらにまた、第１算出手段は、信頼度の高い移動ベクトルを用いて３次元形状および３次元相対運動を算出するので、オクルージョンが発生する領域であっても正確に算出することができる。
【００１４】第２の発明の３次元形状計測装置もまた、たとえばコンピュータで構成されていて、すべての手段がコンピュータで実現される。そして、コンピュータは、時系列的に取得した被写体像に対応する画像の連続するフレーム間での各点の２次元的な移動ベクトルを抽出する。ここで、移動ベクトルに基づいて算出したフィードバック誤差から移動ベクトルの信頼度を抽出し、抽出した信頼度を重みづけして移動ベクトルのフィルタリング処理を実行する。つまり、移動ベクトルの信頼度が高くされる。この信頼度が高い移動ベクトルに基づいて、各点の３次元座標および３次元相対運動を算出する。
【００１５】
【発明の効果】この発明によれば、剛体領域と非剛体領域とを分離し、剛体領域の３次元相対運動を用いて非剛体領域の３次元形状を計測するので、非剛体であっても３次元形状を計測することができる。
【００１６】他の発明によれば、信頼度が高い移動ベクトルに基づいて３次元座標および３次元相対運動を算出するので、計測の精度を向上させることができる。
【００１７】この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【００１８】
【実施例】この実施例の３次元形状計測装置は、図示は省略するが、パソコン程度の処理能力を有する１台のコンピュータである。たとえば、ビデオカメラで撮影された被写体の画像データが、インターフェイスを介してコンピュータに入力される。なお、被写体の画像データをリアルタイムに入力してもよく、また画像データをオフラインで入力するようにしてもよい。
【００１９】コンピュータは、入力された時系列的な画像データに基づいてオプティカルフローを生成する。つまり、２次元的な画像上の点および物体の動きベクトル（各点の移動ベクトル）を抽出する。具体的には、数１の上式で示すように、移動ベクトル（前向きのオプティカルフロー）ｕ／mn（／はベクトルを意味する。）はフレームｍの点がフレームｎにおいて移動した場合の画像座標の差で表される。また、フレームｎからフレームｍへの逆向きのオプティカルフローｕ／nmが数１の下式で示される。なお、数式においてはベクトルは太字で示してある。
【００２０】
【数１】

【００２１】このような、オプティカルフローを生成する手法としては、様々な手法が提案されているが、この実施例では勾配法を適用する。なお、他の手法によってオプティカルフローを生成してもよいことはもちろんである。勾配法では、画像の時空間的連続性を仮定し、数２に従って計算することにより、オプティカルフローが得られる。なお、数２では、未知数が２つであるのに対して式が１つであるため、ある注目画素のオプティカルフローを得る場合には、時空間的連続性を仮定し、つまり注目画素の周辺の画素とｕ，ｖとの変化量が一定であると仮定し、連立して算出することができる。
【００２２】
【数２】

【００２３】ただし、ｕ；オプティカルフローのｘ方向成分ｖ；オプティカルフローのｙ方向成分Ｉ；画像の輝度値また、コンピュータは、図１および図２に示すような一連の処理を実行する。上述のように、時系列的な画像データが入力されると、コンピュータは処理を開始し、ステップＳ１で隣接（連続）する２つのフレーム間の前向きのオプティカルフロー（前向きフロー）ｕ／mnおよび後ろ向きのオプティカルフロー（後ろ向きフロー）ｕ／nmを数１に従って算出する。続くステップＳ３では、オプティカルフローの信頼度ｄを算出する。具体的には、ステップＳ１で算出した前向きフローｕ／mnおよび後ろ向きフローｕ／nmを合成し、合成したオプティカルフロー（合成フロー）ｕ／mnm を得る。つまり、フレームｍとフレームｎとの間におけるフィードバック誤差が算出される。具体的には、合成フローｕ／mnm は、数３に示すような線形補間により得ることができる。
【００２４】
【数３】

【００２５】数３で得られた合成フローｕ／mnm の大きさの逆数が、フレームｍからフレームｎへのオプティカルフロー（前向きフローｕ／mn）の信頼度ｄに定義される。つまり、信頼度ｄは数４のように示される。
【００２６】
【数４】

【００２７】そして、ステップＳ５では、コンピュータは、数４で得られた（抽出された）信頼度ｄで重みづけをして、数５に示すようなフィルタリング処理を実行する。
【００２８】
【数５】

【００２９】このように、注目する画素とその近傍の画素（この実施例では、５画素×５画素の近傍領域）とを、信頼度ｄで重みづけしてフィルタリングすることにより、精度が向上されたオプティカルフローが得られる。なお、信頼度ｄで重みづけしてフィルタリングする場合に、さらにラプラシアンフィルタのような平滑フィルタを係数に重畳すれば、さらに精度が向上される。
【００３０】ここで、一般的にオプティカルフローは、テクスチャ（模様）特徴の小さい部分ではノイズの影響を受け易く、精度が低くなる。また、被写体の移動によりオクルージョンが発生する領域では、大きく誤ったオプティカルフローが得られる。したがって、後述する３次元復元処理で復元精度を高くするため、コンピュータは、さらに信頼度に基づいて３次元復元処理に使用するオプティカルフローを選択する。
【００３１】まず、ステップＳ７では、Ｍ枚のフレームの画像に対して、１番目のフレームを基準フレーム（第１フレーム）とした場合における、基準フレームから各フレーム（第２フレーム，第３フレーム，…，第Ｍフレーム）への前向きフロー（ｕ／12，ｕ／13，ｕ／14, …，ｕ／1M）および後ろ向きフロー（ｕ／21, ｕ／31,ｕ／41, …，ｕ／M1）を数１に従って算出する。
【００３２】次に、ステップＳ９でオプティカルフローの信頼度ｄを上述と同様にして算出する。そして、ステップＳ１１でフィルタリング処理を実行する。つまり、数３に従って合成フローｕ／mnm を算出し、数４に従って信頼度ｄを算出してから、信頼度ｄを重みづけして数５に従ってフィルタリング処理を実行する。
【００３３】ステップＳ１３では、信頼度の高いオプティカルフローを選択する。具体的には、コンピュータは時系列全体に関する信頼度（全体信頼度）に基づいて、信頼度の高いオプティカルフローを選択する。まず、コンピュータは、基準フレームの任意の点がフレーム２，フレーム３，…，フレームＭに時系列的に変化するに従って移動する際の、全体信頼度Ｄを数６に従って算出する。
【００３４】
【数６】

【００３５】次に、数６で得られる全体信頼度Ｄを所定の閾値ＴＨ１と比較し、閾値ＴＨ１よりも全体信頼度Ｄが大きい場合のオプティカルフローが選択される。逆に言えば、閾値ＴＨ１よりも全体信頼度Ｄが小さい場合のオプティカルフローが、サンプリングから除外される。このようにして、オプティカルフローが選択される。なお、閾値ＴＨ１は、実験等により経験的に求めた値である。
【００３６】ここで、被写体が剛体である場合についての３次元復元処理について説明する。簡単に説明すると、被写体とビデオカメラとが相対運動するため、その相対運動からオプティカルフローを解析処理し、３次元復元する。なお、相対運動は、被写体が運動しビデオカメラが静止している場合、被写体が静止しビデオカメラが運動している場合、および被写体およびビデオカメラが運動している場合が考えられる。しかし、これらはいずれも数学的には等価であるため、この実施例では、被写体が静止しビデオカメラが運動している場合についての座標系を用いて説明する。
【００３７】具体的には、選択されたオプティカルフローのＮ個の点（点群）に任意の順序で１からＮの添字を付し、そのオプティカルフローの時系列を数７に従って画像座標に変換する。
【００３８】
【数７】

【００３９】また、復元されるべき各点の３次元座標、各フレーム時点でのビデオカメラの位置に対応する位置ベクトル、およびビデオカメラの内部パラメータ行列の関係は、数８で示される。なお、ビデオカメラの内部パラメータ行列は、ビデオカメラの焦点距離や光軸の画像座標上での位置に関するため、この実施例では、予めビデオカメラを校正することにより得られる。また、以下の説明において、行列および座標を表す文字は、文章中では通常の文字を用いて説明してあるが、数式においては、ベクトルと同様に行列および座標を表す文字は太字で示してある。
【００４０】
【数８】

【００４１】この数８を変換し、Ｍフレームに渡るＮ個の点を１つの行列式で表現すると、数９のように示される。
【００４２】
【数９】

【００４３】この数９の左辺が計測行列であり、画像座標からそれぞれの奥行きを算出することにより生成することができる。また、この計測行列を因子分解法を用いて数９の右辺のように変形するすると、ビデオカメラの運動と被写体の３次元形状とを得ることができる。なお、画像から奥行きを算出する方法は、金谷健一によって１９９５「空間データの数理−３次元コンピューティングに向けて−」に詳細に示されている。また、計測行列を因子分解法により運動行列と形状行列とに分解する方法は、１９９８「電子情報通信学会技術研究報告」において、金谷健一によって「因子分解を用いない因子分解法：平行投影から透視変換へ」に詳細に示されている。
【００４４】次に、人間の顔のように、その一部が時間経過に伴って変形する被写体、つまり剛体領域および非剛体領域を含む画像の３次元形状を復元する場合について説明する。つまり、コンピュータは、図２に示す３次元形状の復元処理を開始し、ステップＳ１５で、図１のステップＳ１３で選択したオプティカルフローに対応する点群を基準フレームにおける位置に基づいて様々な領域に分割する。たとえば、図３（Ａ）に示すように、点群をその位置関係によって１６個のブロック（この実施例では、縦、横それぞれ４ブロック）に分割し、そのうち１２個のブロックに位置する点を１つの領域（図３において灰色に塗りつぶした領域）としてある。また、図３（Ｂ）および（Ｃ）は、別のパターンの領域に分割した例を示してある。このように、様々なパターンに領域を設定すると、ステップＳ１７で、コンピュータはそれぞれの領域を因子分解し、３次元形状と３次元相対運動（以下、単に「運動」という。）とを得る。つまり、それぞれの領域が剛体であると仮定し、その領域の点群の３次元形状および運動を上述したような因子分解法により復元（計測）する。
【００４５】ステップＳ１９では、それぞれの領域の平均再投影誤差Ｅa を算出する。つまり、因子分解法により復元された３次元形状（３次元座標の斉次座標Ｍ）と運動行列（射影行列Ｐ）とを用いて、３次元形状を画像座標に再投影して、もとの画像座標との二乗誤差の平均を算出する。この算出した二乗誤差の平均が、それぞれの領域の再投影誤差Ｅa と定義され、具体的には数１０で示される。なお、再投影された画像座標ｍ′は、数８において、ｍをｍ′とし、復元された３次元座標Ｍおよび射影座標Ｐを用いて算出される。
【００４６】
【数１０】

【００４７】ステップＳ２１では、コンピュータは設定された領域から再投影誤差Ｅa が最小となる領域を選択し、その領域から得られた射影行列Ｐを用いて領域に含まれる全点を画像座標に再投影する。なお、全点の画像座標の再投影座標ｍは、数８において、画像座標の斉次座標（復元された画像座標）ｍおよび射影行列Ｐを既知数として全点の３次元座標Ｍを計算した後、再び数８において、算出した３次元座標Ｍおよび既知数の射影行列Ｐを用いて得られる。
【００４８】ステップＳ２３では、コンピュータは、ステップＳ２１で再投影した全点のそれぞれについて３次元座標Ｍを算出し、再投影誤差Ｅb を得る。つまり、ステップＳ２１で求めた再投影座標ｍをｍ″として、各点の再投影誤差Ｅb が数１１に従って算出される。
【００４９】
【数１１】

【００５０】ステップＳ２５では、この各点の再投影誤差Ｅb を所定の閾値ＴＨ２と比較し、閾値ＴＨ２より小さい領域（点群）を剛体領域に決定し、逆に大きい領域を非剛体領域に決定する。つまり、再投影誤差Ｅb を閾値ＴＨ２（評価値）で評価することにより、被写体に対応する画像の全領域が剛体領域と非剛体領域とに分離される。なお、閾値ＴＨ２も、実験等により経験的に得られた値である。
【００５１】続くステップＳ２７では、コンピュータは剛体領域を因子分解し、３次元形状および運動を得る。つまり、剛体領域の３次元形状の座標は、ステップＳ２１で算出した３次元座標Ｍで決定される。また、剛体領域の運動は、同様にステップＳ２１で算出した射影行列Ｐをそのまま用いてもよいが、復元の精度を向上するため、再計算する。つまり、コンピュータは、数８において、剛体領域の画像座標ｍと３次元座標Ｍを用いて射影行列Ｐを計算する。
【００５２】そして、ステップＳ２９で、コンピュータは、ステップＳ２５で得た剛体領域の運動（射影行列Ｐ）に基づいて、非剛体領域の各フレーム時点での（時系列的な）３次元形状を得てから、処理を終了する。具体的には、非剛体領域の各時点毎の３次元座標を算出する。ここで、非剛体領域の形状は時間とともに変化するが、連続する２フレーム間ではその変化量は小さいため、剛体領域とみなすことができる。したがって、数８において、連続する２フレームに対応するオプティカルフローを変換した画像座標ｍと剛体領域の射影行列Ｐ（運動）とを用いて、非剛体領域の３次元座標Ｍが得られる。つまり、非剛体領域の３次元形状が計測される。このような、計算が第１フレーム（基準フレーム）から第Ｍフレームまでの連続する２フレーム毎に実行される。
【００５３】なお、この実施例では、連続する２フレーム毎に計算しているが、変形の度合いによって、連続する３フレーム以上毎に計算してもよい。
【００５４】また、上述のようにして得られた３次元形状に時空間的な平滑フィルタで処理を施すことにより、ノイズを抑制するようにしてもよい。
【００５５】この実施例によれば、剛体領域と非剛体領域とに分離し、剛体領域に対する運動を用いて非剛体領域の時系列的な３次元形状を算出するので、非剛体であっても３次元形状を計測することができる。
【出願人】 【識別番号】３９３０２７６５９
【氏名又は名称】財団法人イメージ情報科学研究所
【出願日】 平成１１年１１月１２日（１９９９．１１．１２）
【代理人】 【識別番号】１０００９０１８１
【弁理士】
【氏名又は名称】山田 義人
【公開番号】 特開２００１−１４１４２５（Ｐ２００１−１４１４２５Ａ）
【公開日】 平成１３年５月２５日（２００１．５．２５）
【出願番号】 特願平１１−３２３２４５