トップ :: G 物理学 :: G01 測定;試験




【発明の名称】 三次元形状計測装置および三次元形状計測方法、並びにプログラム提供媒体
【発明者】 【氏名】呉 偉国

【氏名】後 輝行
【要約】 【課題】ステレオ画像法における画像間対応付け処理におけるミスマッチングを減少させる画像処理装置および方法を提供する。

【解決手段】異なる視点から計測対象画像を撮り込んで画像間のマッチング処理を行なう距離画像生成において、基準画像に設定したテンプレート画像を評価してマッチング処理用のテンプレートの大きさを変更する。評価は、変化率、行列固有値、分散値等の特徴量をテンプレート画像から算出し、閾値と比較する。特徴量が閾値より大となるまでテンプレートの拡大を行ない、十分な閾値を有するテンプレートを用いてマッチング処理を実行する。本構成によりミスマッチングの発生か抑制され高精度な距離画像の生成が可能となる。
【特許請求の範囲】
【請求項１】計測対象を異なる方向から撮影した画像を用いて前記計測対象の三次元形状を計測し、距離画像を生成する三次元形状計測装置において、前記計測対象の基準画像を撮り込む基準カメラと、前記基準カメラと異なる方向から前記計測対象画像の参照画像を撮り込む参照カメラと、前記基準カメラによって撮り込まれた基準画像と、前記参照カメラによって撮り込まれた参照画像との画像間対応付け処理に適用するテンプレートサイズを、テンプレートによって規定されるウィンドウに含まれる基準画像の評価処理により選択するテンプレートサイズ選択手段と、前記テンプレートサイズ選択手段において選択されたサイズのテンプレートを適用して前記基準画像と前記参照画像との画像間対応付け処理を実行する画像間対応付け手段と、前記画像間対応付け手段における画像間対応付け処理結果に基づいて距離画像を生成する距離画像生成手段と、を有することを特徴とする三次元形状計測装置。
【請求項２】前記テンプレートサイズ選択手段において実行する画像の評価処理は、テンプレートによって規定されるウィンドウに含まれる基準画像の特徴量を算出し、算出した特徴量を予め定めた閾値と比較することにより、画像間対応付け処理に適したテンプレートサイズであるか否かを判定する処理であることを特徴とする請求項１に記載の三次元形状計測装置。
【請求項３】前記テンプレートサイズ選択手段において実行する画像の評価処理は、異なるテンプレートサイズを順次、基準画像に適用して各テンプレートサイズにおける特徴量を繰り返し評価する処理であることを特徴とする請求項２に記載の三次元形状計測装置。
【請求項４】前記特徴量は、テンプレートによって規定されるウィンドウに含まれる基準画像の画素値に基づく変化率であることを特徴とする請求項２に記載の三次元形状計測装置。
【請求項５】前記特徴量は、テンプレートによって規定されるウィンドウに含まれる基準画像の画素値に基づく特徴行列の固有値に基づいて求められる特徴量であることを特徴とする請求項２に記載の三次元形状計測装置。
【請求項６】前記特徴量は、テンプレートによって規定されるウィンドウに含まれる基準画像の画素値に基づいて算出される分散値であることを特徴とする請求項２に記載の三次元形状計測装置。
【請求項７】前記三次元形状計測装置は、さらに、計測対象に対して非周期パターンを投光照射するランダムパターン投光手段を有し、前記基準カメラと、前記参照カメラはランダムパターン投光手段から非周期パターンを照射された像を撮り込む構成であることを特徴とする請求項１に記載の三次元形状計測装置。
【請求項８】計測対象を異なる方向から撮影した画像を用いて前記計測対象の三次元形状を計測し、距離画像を生成する三次元形状計測方法において、前記計測対象の基準画像を基準カメラによって撮り込む基準画像撮り込みステップと、前記基準カメラと異なる方向から前記計測対象画像の参照画像を参照カメラによって撮り込む参照画像撮り込みステップと、前記基準カメラによって撮り込まれた基準画像と、前記参照カメラによって撮り込まれた参照画像との画像間対応付け処理に適用するテンプレートサイズを、テンプレートによって規定されるウィンドウに含まれる基準画像の評価処理により選択するテンプレートサイズ選択ステップと、前記テンプレートサイズ選択ステップにおいて選択されたサイズのテンプレートを適用して前記基準画像と前記参照画像との画像間対応付け処理を実行する画像間対応付けステップと、前記画像間対応付けステップにおける画像間対応付け処理結果に基づいて距離画像を生成する距離画像生成ステップと、を有することを特徴とする三次元形状計測方法。
【請求項９】前記テンプレートサイズ選択ステップにおいて実行される前記評価処理は、テンプレートによって規定されるウィンドウに含まれる基準画像の特徴量を算出する特徴量算出ステップと、前記特徴量算出ステップにおいて算出した特徴量を予め定めた閾値と比較して画像間対応付け処理に適したテンプレートサイズであるか否かを判定する判定ステップと、を含む処理であることを特徴とする請求項８に記載の三次元形状計測方法。
【請求項１０】前記テンプレートサイズ選択ステップにおいて実行する前記評価処理は、異なるテンプレートサイズを順次、基準画像に適用して各テンプレートサイズにおける特徴量を繰り返し評価する処理として実行することを特徴とする請求項９に記載の三次元形状計測方法。
【請求項１１】前記特徴量は、テンプレートによって規定されるウィンドウに含まれる基準画像の画素値に基づく変化率であることを特徴とする請求項９に記載の三次元形状計測方法。
【請求項１２】前記特徴量は、テンプレートによって規定されるウィンドウに含まれる基準画像の画素値に基づく特徴行列の固有値に基づいて求められる特徴量であることを特徴とする請求項９に記載の三次元形状計測方法。
【請求項１３】前記特徴量は、テンプレートによって規定されるウィンドウに含まれる基準画像の画素値に基づいて算出される分散値であることを特徴とする請求項９に記載の三次元形状計測方法。
【請求項１４】前記三次元形状計測方法において、さらに、計測対象に対して非周期パターンを投光照射するランダムパターン投光ステップを有し、前記基準カメラと、前記参照カメラは非周期パターンを照射された像を撮り込むことを特徴とする請求項８に記載の三次元形状計測方法。
【請求項１５】計測対象を異なる方向から撮影した画像を用いて前記計測対象の三次元形状を計測し、距離画像を生成する三次元形状計測処理をコンピュータ・システム上で実行せしめるコンピュータ・プログラムを提供するプログラム提供媒体であって、前記コンピュータ・プログラムは、前記計測対象の基準画像を基準カメラによって撮り込む基準画像撮り込みステップと、前記基準カメラと異なる方向から前記計測対象画像の参照画像を参照カメラによって撮り込む参照画像撮り込みステップと、前記基準カメラによって撮り込まれた基準画像と、前記参照カメラによって撮り込まれた参照画像との画像間対応付け処理に適用するテンプレートサイズを、テンプレートによって規定されるウィンドウに含まれる基準画像の評価処理により選択するテンプレートサイズ選択ステップと、前記テンプレートサイズ選択ステップにおいて選択されたサイズのテンプレートを適用して前記基準画像と、前記参照画像との画像間対応付け処理を実行する画像間対応付けステップと、前記画像間対応付けステップにおける画像間対応付け処理結果に基づいて距離画像を生成する距離画像生成ステップと、を有することを特徴とするプログラム提供媒体。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、物体の三次元形状を求めるための三次元形状計測装置および三次元形状計測方法、並びにプログラム提供媒体に関する。特に三次元空間上である距離範囲に存在する物体を複数の異なる位置から撮影した画像を用いて被写体表面の三次元形状を計測する方法、すなわちステレオ画像法において好適な三次元形状計測装置および三次元形状計測方法、並びにプログラム提供媒体に関する。
【０００２】
【従来の技術】物体の三次元形状を求める従来手法として、大きく分けて能動的手法（アクティブ手法）と受動的手法（パッシブ手法）がある。能動的手法としては、光を投射して、その光が反射して帰ってくるまでの時間を測定することで各計測対象物体までの距離を求める方法や、計測対象にスリット状のパターン光をあてて計測対象に投影されたパターン光の形状を調べることによって三次元形状を計測する光切断法といった方法がある。
【０００３】また、受動的手法として代表的なものは、三角測量の原理を利用したステレオ画像法であり、これは２台以上のカメラを使って、その画像間の対応点を見つけることで視差を求め、距離を計測する方法である。
【０００４】ステレオ画像法について、その原理を簡単に説明する。ステレオ画像法は複数のカメラを用いて２つ以上の視点（異なる視線方向）から同一対象物を撮影して得られる複数の画像における画素同士を対応づけることで計測対象物の三次元空間における位置を求めようとするものである。例えば基準カメラと参照カメラにより異なる視点から同一対象物を撮影して、それぞれの画像内の計測対象物の距離を三角測量の原理により測定する。
【０００５】図１は、ステレオ画像法の原理を説明する図である。基準カメラ（Ｃａｍｅｒａ １）と参照カメラ（Ｃａｍｅｒａ ２）は異なる視点から同一対象物を撮影する。基準カメラによって撮影された画像中の「ｍｂ」というポイントの奥行きを求めることを考える。
【０００６】基準カメラによる撮影画像中のポイント「ｍｂ」に見える物体は、異なる視点から同一物体を撮影している参照カメラによって撮影された画像において、「ｍ１」、「ｍ２」、「ｍ３」のようにある直線上に展開されることになる。この直線をエピポーラライン（Ｅｐｉｐｏｌａｒ ｌｉｎｅ）Ｌｐと呼ぶ。
【０００７】基準カメラにおけるポイント「ｍｂ」の位置は、参照カメラによる画像中では「エピポーラ・ライン」と呼ばれる直線上に現れる。撮像対象となる点Ｐ（Ｐ１，Ｐ２，Ｐ３を含む直線上に存在する点）は、基準カメラの視線上に存在する限り、奥行きすなわち基準カメラとの距離の大小に拘らず、基準画像上では同じ観察点「ｍｂ」に現れる。これに対し、参照カメラによる撮影画像上における点Ｐは、エピポーラ・ライン上に基準カメラと観察点Ｐとの距離の大小に応じた位置にあらわれる。
【０００８】図１には、エピポーラ・ラインと、参照画像中における観察点「ｍｂ」の対応を図解している。同図に示すように、観察点Ｐの位置がＰ１，Ｐ２，Ｐ３へと変化するに従って、参照画像中の観察点は「ｍ１」、「ｍ２」、「ｍ３」へとシフトする。
【０００９】以上の幾何光学的性質を利用して、観察点「ｍｂ」をエピポーラ・ライン上で探索することにより、点Ｐの距離を同定することができる。これが「ステレオ画像法」の基本的原理である。このような方法で画面上のすべての画素についての三次元情報を取得する。取得した三次元情報は画素ごとに対応した画素属性データとして使用することが可能となる。
【００１０】上述のステレオ画像法は１台の基準カメラと１台の参照カメラとを用いた構成としたが、参照カメラを複数用いたマルチベースラインステレオ（ＭｕｌｔｉＢａｓｅｌｉｎｅ Ｓｔｅｒｅｏ）法によって評価値を求めて、該評価値に基づいて画素ごとの三次元情報を取得するように構成してもよい。マルチベースラインステレオ画像法は、１つの基準カメラと複数の参照カメラによって撮影される画像を用い、複数の参照カメラ画像それぞれについて基準カメラ画像との相関を表す評価値を求め、それぞれの評価値を加算し、その加算値を最終的な評価値とするものである。このマルチベースラインステレオ画像法の詳細は、例えば「複数の基線長を利用したステレオマッチング」、電子情報通信学会論文誌Ｄ−１１Ｖｏｌ．Ｊ７５−Ｄ−ＩＩ Ｎｏ．８ ｐｐ．１３１７−１３２７ １９９２年８月、に記載されている。
【００１１】上述のように、ステレオ画像法は、複数のカメラを用いて２つ以上の視点（異なる視線方向）から同一対象物を撮影して得られる複数の画像における画素同士を対応づけること、すなわち「対応点付け（マッチング）」を実施することで計測対象物の三次元空間における位置を求めようとするものである。
【００１２】従来、よく使われている「対応点付け」の手法は、Ｐｉｘｅｌ−ｂａｓｅｄマッチング、Ａｒｅａ−ｂａｓｅｄマッチングとＦｅａｔｕｒｅ−ｂａｓｅｄマッチングに大別される。Ｐｉｘｅｌ−ｂａｓｅｄマッチングとは、一方の画像における点の対応を、他方の画像でそのまま探索する方法である（Ｃ．Ｌａｗｒｅｎｃｅ Ｚｉｔｎｉｃｋ ａｎｄ Ｊｏｎ Ａ． Ｗｅｂｂ： Ｍｕｌｔｉ−ｂａｓｅｌｉｎｅ Ｓｔｅｒｅｏ Ｕｓｉｎｇ Ｓｕｒｆａｃｅ Ｅｘｔｒａｃｔｉｏｎ， Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ， ＣＭＵ−ＣＳ−９６−１９６，（１９９６）参照）。
【００１３】Ａｒｅａ−ｂａｓｅｄマッチングとは、一方の画像における点の対応を、他方の画像で探す時、その点の周りの局所的な画像パターンを用いて探索する方法である（奥富、金出： 複数の基線長を利用したステレオマッチング、電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ７５−Ｄ−ＩＩ， Ｎｏ．８， ｐｐ．１３１７−１３２７， （１９９２）、横山、三輪、芦ヶ原、小柳津、林、後： Ｓｔｅｒｅｏ Ｃａｍｅｒａ Ｓｙｓｔｅｍ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ、 ＳＲＦ’９７、（１９９７）、金出、木村： ビデオレート・ステレオマシン、日本ロボット学会誌、Ｖｏｌ．１３， Ｎｏ．３， ｐｐ．３２２〜３２６， （１９９５）、金出、蚊野、木村、川村、吉田、織田： ビデオレートステレオマシンの開発、日本ロボット学会誌、Ｖｏｌ．１５， Ｎｏ．２，ｐｐ．２６１〜２６７， （１９９７）、山口、高地、井口： 適応ウィンドウ法を用いた石像計測のためのステレオ対応付け、人文科学とコンピュータ、Ｖｏｌ．３２， Ｎｏ．１０， ｐｐ．５５〜６０， （１９９６）、横矢： 最近の信号処理総合特集号 コンピュータビジョンの最近の話題、システム／制御／情報、Ｖｏｌ．３８， Ｎｏ．８， ｐｐ．４３６〜４４１， （１９９４）参照）。
【００１４】Ｆｅａｔｕｒｅ−ｂａｓｅｄマッチングとは、画像から濃淡エッジなどの特徴を抽出し、画像間の特徴だけを用いて対応付けを行う方法である（Ｈ．Ｈ．Ｂａｋｅｒ ａｎｄ Ｔ．Ｏ．Ｂｉｎｆｏｒｄ： Ｄｅｐｔｈ ｆｒｏｍ ｅｄｇｅａｎｄ ｉｎｔｅｎｓｉｔｙ ｂａｓｅｄ ｓｔｅｒｅｏ， Ｉｎ Ｐｒｏｃ． ＩＪＣＡＩ’８１， （１９８１）、石山、角保、河井、植芝、富田： セグメントベーストステレオにおける対応候補探索、信学技報、Ｖｏｌ．９６，Ｎｏ．１３６， （１９９７）、Ｗ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎ： Ｃｏｍｐｕｔａｔｉｏｎａｌ ｅｘｐｅｒｉｍｅｎｔｓ ｗｉｔｈ ａ ｆｅａｔｕｒｅ ｂａｓｅｄ ｓｔｅｒｅｏ ａｌｇｏｒｉｔｈｍ， ＩＥＥＥ Ｔｒａｎｓ． ＰＡＭＩ， Ｖｏｌ．７， Ｎｏ．１， ｐｐ．１７〜３４， （１９８５））。
【００１５】上記の各手法の特徴を整理すると、次のようになる。
（１）Ｐｉｘｅｌ−ｂａｓｅｄマッチングとＡｒｅａ−ｂａｓｅｄマッチングは各々の画素に対して、対応点を探索するので、求められた距離画像は密である。一方、Ｆｅａｔｕｒｅ−ｂａｓｅｄマッチングは、特徴点だけに対して、対応付けを行うので、得られた距離画像は疎である。
【００１６】（２）Ａｒｅａ−ｂａｓｅｄマッチングは、一種の相関演算を行うため、Ｐｉｘｅｌ−ｂａｓｅｄマッチングとＦｅａｔｕｒｅ−ｂａｓｅｄマッチングに比べて、計算コストがかかるが、アルゴリズムの高速化によって、必ずしも解決できない問題ではない。
【００１７】（３）Ｐｉｘｅｌ−ｂａｓｅｄマッチングは、画素間の対応付けだけを行うため、計算速度がかなり速いが、左右カメラ間の特性の違いによって、画素間の濃淡値を用いる対応付けが容易ではない。
【００１８】上述の特徴から、一般的に、高精度で対象の３次元形状（または奥行き）を画素毎に求めるための手法としてＡｒｅａ−ｂａｓｅｄマッチングは有効であり、よく使われている。
【００１９】一般的なＡｒｅａ−ｂａｓｅｄマッチングによるステレオ視の対応点の求め方について図２を用いて説明する。図２（ａ）は、基準カメラの観測画像Ｉｍ１（ｘ，ｙ）であり、図２（ｂ）は参照カメラによる観測画像Ｉｍ２（ｘ，ｙ）である。基準カメラによる観測画像Ｉｍ１（ｘ，ｙ）において、ある局所的なウィンドウＷを設定し、これをテンプレートとして他方のカメラ、すなわち参照カメラで観測された画像Ｉｍ２（ｘ，ｙ）のエピポーラライン上で位置を変えながら設定された探索範囲内でマッチング処理（テンプレートマッチング）を実行する。マッチング処理における一致度の算出には、例えば下式が用いられる。
【００２０】
【数１】

【００２１】ここで、Δｘ，Δｙは、エピポーラライン上での位置の移動量である。Ｒ（ｘ，ｙ）が最小となる場合を、ウィンドウ間の一致度が最も高い領域とし、その時のテンプレートの移動量Δｘ，Δｙをその注目点の視差とし、三角測量方式に従って、その注目点の三次元形状または奥行きを算出する。このようなマッチング処理を各測定点の画素について繰り返し求めることにより、全ての画素に対する三次元形状データを得ることができる。
【００２２】しかしながら、実際には、基準カメラ画像と参照カメラ画像から全ての画素対応付け処理を正確に行なうことは困難である。白い壁や人間の顔などの特徴（濃淡、形状、色等）のほとんどない対象におけるマッチング処理には、本質的に曖昧さ（Ａｍｂｉｇｕｉｔｙ）が存在するからである。
【００２３】図２の例においても、画像全体から見れば非常に小さい領域でテンプレートマッチング処理を行い、最もシーン一致度の高い部分を探索する処理を実行するのであるが、マッチング処理に用いるテンプレートに含まれるシーンによっては、似たようなパターンが様々な異なる場所で存在する可能性がある。また、シーン中の同じ対象物であっても、異なる視点でその対象物を観察した場合に生じる幾何学的な歪、カメラの特性の違いなどによって、基準カメラと参照カメラで撮影した左右の画像上のパターンが完全に一致することはない。
【００２４】このようなマッチング処理における問題点を解決し、画像間の対応付けを効果的に行なうための手法として様々な方法が提案されている。代表的な処理には以下のものがある。（１）ローカルサポート、これは検出対象画素の回りの画素の特徴を用いる手法である。（２）高次特徴を用いたマッチング処理、これは例えばエッジ等の画像の特徴部分を検出することによる処理である。さらに、（３）マルチベースラインステレオ法、これは３以上の画像を用いてマッチング処理を実行する手法である。これらの手法を用いることにより、ステレオ視の対応付け処理における曖昧さが低減され、画像間の対応をより正確に求めることが可能になる。
【００２５】
【発明が解決しようとする課題】しかしながら、上述した従来手法では、対応付け処理におけるエラー、すなわちミスマッチングの完全な除去を達成することはできなかった。また、３台以上のカメラを用いるマルチベースラインステレオマシンにおいては、ミスマッチング領域減少に対して効果が期待されるが構成が複雑になり、また対応付けの処理において取り扱う画像の数が増加し、処理ステップが増加するという問題も発生する。
【００２６】本発明は、上述の問題点に鑑みてなされたものであり、ステレオ画像法に従った距離画像生成方法におけるマッチング処理を精度よく実行することを可能とした三次元形状計測装置および三次元形状計測方法、並びにプログラム提供媒体を提供するものである。
【００２７】
【課題を解決するための手段】本発明は、上記課題を参酌してなされたものであり、その第１の側面は、計測対象を異なる方向から撮影した画像を用いて前記計測対象の三次元形状を計測し、距離画像を生成する三次元形状計測装置において、前記計測対象の基準画像を撮り込む基準カメラと、前記基準カメラと異なる方向から前記計測対象画像の参照画像を撮り込む参照カメラと、前記基準カメラによって撮り込まれた基準画像と、前記参照カメラによって撮り込まれた参照画像との画像間対応付け処理に適用するテンプレートサイズを、テンプレートによって規定されるウィンドウに含まれる基準画像の評価処理により選択するテンプレートサイズ選択手段と、前記テンプレートサイズ選択手段において選択されたサイズのテンプレートを適用して前記基準画像と前記参照画像との画像間対応付け処理を実行する画像間対応付け手段と、前記画像間対応付け手段における画像間対応付け処理結果に基づいて距離画像を生成する距離画像生成手段と、を有することを特徴とする三次元形状計測装置にある。
【００２８】さらに、本発明の三次元形状計測装置の一実施態様において、前記テンプレートサイズ選択手段において実行する画像の評価処理は、テンプレートによって規定されるウィンドウに含まれる基準画像の特徴量を算出し、算出した特徴量を予め定めた閾値と比較することにより、画像間対応付け処理に適したテンプレートサイズであるか否かを判定する処理であることを特徴とする。
【００２９】さらに、本発明の三次元形状計測装置の一実施態様において、前記テンプレートサイズ選択手段において実行する画像の評価処理は、異なるテンプレートサイズを順次、基準画像に適用して各テンプレートサイズにおける特徴量を繰り返し評価する処理であることを特徴とする。
【００３０】さらに、本発明の三次元形状計測装置の一実施態様において、前記特徴量は、テンプレートによって規定されるウィンドウに含まれる基準画像の画素値に基づく変化率であることを特徴とする。
【００３１】さらに、本発明の三次元形状計測装置の一実施態様において、前記特徴量は、テンプレートによって規定されるウィンドウに含まれる基準画像の画素値に基づく特徴行列の固有値に基づいて求められる特徴量であることを特徴とする。
【００３２】さらに、本発明の三次元形状計測装置の一実施態様において、前記特徴量は、テンプレートによって規定されるウィンドウに含まれる基準画像の画素値に基づいて算出される分散値であることを特徴とする。
【００３３】さらに、本発明の三次元形状計測装置の一実施態様は、さらに、計測対象に対して非周期パターンを投光照射するランダムパターン投光手段を有し、前記基準カメラと、前記参照カメラはランダムパターン投光手段から非周期パターンを照射された像を撮り込む構成であることを特徴とする。
【００３４】さらに、本発明の第２の側面は、計測対象を異なる方向から撮影した画像を用いて前記計測対象の三次元形状を計測し、距離画像を生成する三次元形状計測方法において、前記計測対象の基準画像を基準カメラによって撮り込む基準画像撮り込みステップと、前記基準カメラと異なる方向から前記計測対象画像の参照画像を参照カメラによって撮り込む参照画像撮り込みステップと、前記基準カメラによって撮り込まれた基準画像と、前記参照カメラによって撮り込まれた参照画像との画像間対応付け処理に適用するテンプレートサイズを、テンプレートによって規定されるウィンドウに含まれる基準画像の評価処理により選択するテンプレートサイズ選択ステップと、前記テンプレートサイズ選択ステップにおいて選択されたサイズのテンプレートを適用して前記基準画像と前記参照画像との画像間対応付け処理を実行する画像間対応付けステップと、前記画像間対応付けステップにおける画像間対応付け処理結果に基づいて距離画像を生成する距離画像生成ステップと、を有することを特徴とする三次元形状計測方法にある。
【００３５】さらに、本発明の三次元形状計測方法の一実施態様において、前記テンプレートサイズ選択ステップにおいて実行される前記評価処理は、テンプレートによって規定されるウィンドウに含まれる基準画像の特徴量を算出する特徴量算出ステップと、前記特徴量算出ステップにおいて算出した特徴量を予め定めた閾値と比較して画像間対応付け処理に適したテンプレートサイズであるか否かを判定する判定ステップとを含む処理であることを特徴とする。
【００３６】さらに、本発明の三次元形状計測方法の一実施態様において、前記テンプレートサイズ選択ステップにおいて実行する前記評価処理は、異なるテンプレートサイズを順次、基準画像に適用して各テンプレートサイズにおける特徴量を繰り返し評価する処理として実行することを特徴とする。
【００３７】さらに、本発明の三次元形状計測方法の一実施態様において、前記特徴量は、テンプレートによって規定されるウィンドウに含まれる基準画像の画素値に基づく変化率であることを特徴とする。
【００３８】さらに、本発明の三次元形状計測方法の一実施態様において、前記特徴量は、テンプレートによって規定されるウィンドウに含まれる基準画像の画素値に基づく特徴行列の固有値に基づいて求められる特徴量であることを特徴とする。
【００３９】さらに、本発明の三次元形状計測方法の一実施態様において、前記特徴量は、テンプレートによって規定されるウィンドウに含まれる基準画像の画素値に基づいて算出される分散値であることを特徴とする。
【００４０】さらに、本発明の三次元形状計測方法の一実施態様は、さらに、計測対象に対して非周期パターンを投光照射するランダムパターン投光ステップを有し、前記基準カメラと、前記参照カメラは非周期パターンを照射された像を撮り込むことを特徴とする。
【００４１】さらに、本発明の第３の側面は、計測対象を異なる方向から撮影した画像を用いて前記計測対象の三次元形状を計測し、距離画像を生成する三次元形状計測処理をコンピュータ・システム上で実行せしめるコンピュータ・プログラムを提供するプログラム提供媒体であって、前記コンピュータ・プログラムは、前記計測対象の基準画像を基準カメラによって撮り込む基準画像撮り込みステップと、前記基準カメラと異なる方向から前記計測対象画像の参照画像を参照カメラによって撮り込む参照画像撮り込みステップと、前記基準カメラによって撮り込まれた基準画像と、前記参照カメラによって撮り込まれた参照画像との画像間対応付け処理に適用するテンプレートサイズを、テンプレートによって規定されるウィンドウに含まれる基準画像の評価処理により選択するテンプレートサイズ選択ステップと、前記テンプレートサイズ選択ステップにおいて選択されたサイズのテンプレートを適用して前記基準画像と前記参照画像との画像間対応付け処理を実行する画像間対応付けステップと、前記画像間対応付けステップにおける画像間対応付け処理結果に基づいて距離画像を生成する距離画像生成ステップと、を有することを特徴とするプログラム提供媒体にある。
【００４２】本発明の第３の側面に係るプログラム提供媒体は、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・プログラムをコンピュータ可読な形式で提供する媒体である。媒体は、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの伝送媒体など、その形態は特に限定されない。
【００４３】このようなプログラム提供媒体は、コンピュータ・システム上で所定のコンピュータ・プログラムの機能を実現するための、コンピュータ・プログラムと提供媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、該提供媒体を介してコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の他の側面と同様の作用効果を得ることができるのである。
【００４４】本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００４５】
【発明の実施の形態】まず、図３に本発明の画像生成装置の構成ブロック図を示す。図３は、画像パターンの投光によって計測対象の三次元形状または距離画像の計測を行なう装置である。投光用画像パターン生成装置によって、ランダムテクスチャ（例えば二値または濃淡のランダム点群）からなる画像パターンを生成し、これを投光器によって計測対象に投光する。計測対象にランダムテクスチャを投光することにより、計測対象が白い壁や人間の顔などの特徴（濃淡、形状、色等）のほとんどない対象である場合も、画像間のマッチング処理がより正確に実行できる。
【００４６】図３に示す画像生成装置の概要について説明する。画像生成装置は、先に説明したステレオ画像法を適用して計測対象の三次元形状を計測するものであり、立体形状を持つ、例えば人の顔等の被計測対象物に対して角度の異なる位置に配置した２つのカメラ、いわゆる基準カメラと参照カメラを用いて像を撮り込み、これら２つのカメラの撮影する画像に基づいて図１で説明したステレオ画像法に基づいて被計測対象物の表面形状を計測するものである。
【００４７】投光パターン生成手段３１２によって生成されたランダムパターンは、投光パターン照射手段３１１によって照射される。この投光パターンは一様乱数や正規乱数に基づく非周期的投光パターンである。投光される非周期投光パターンは、例えばドットのサイズ、線の長さ、太さ、位置、濃度等に周期性を持たないパターンであり、例えば図４（ａ）、（ｂ）に示すようなパターンである。
【００４８】非周期的パターンは例えば予めスライド等に形成され、例えばフラッシュ光をスライドを介して照射することによって計測対象に対してパターンの投影が可能となる。あるいは、透過型液晶表示素子等を用いて動的にランダムパターンを生成して投影してもよい。計測対象３００の表面に形成された非周期パターンを計測対象とともに撮像することにより、距離画像生成時の基準カメラと参照カメラの撮像データの対応付けを容易にすることができる。
【００４９】なお、図３の構成のように計測対象３００にランダムテクスチャ投光パターンを照射するのは、計測対象が例えば壁、人の顔等のように表面の各部を区別する特徴が少なく、基準カメラ画像と参照カメラ画像の画像間対応付けが困難である場合に、撮影画像にランダムパターンを付与して画像間対応付け処理を実行しやすくするためのものである。従って、計測対象の表面が各部分において十分特徴的である場合には、投光パターンを照射することなく画像間対応付け処理が可能であり、このような場合にはランダムパターンの投光構成は省略することが可能である。ランダムパターンの照射は計測対象に基づいてその必要性を判断して実行すればよい。本実施例中では、ランダムパターンを照射した構成について説明する。
【００５０】基準カメラ３０１と参照カメラ３０２は、計測対象３００に対して異なる視線方向に配置されて、各視線方向の画像、すなわちランダムパターンの投影された計測対象３００を撮影する。基準カメラ３０１、参照カメラ３０２によって撮影される画像は、同期したタイミングで撮り込まれる。基準カメラ３０１、参照カメラ３０２から撮り込まれた画像はそれぞれＡ／Ｄ変換部を介してフレームメモリ３０３、３０４に格納される。
【００５１】画像間対応付け手段３０５は、フレームメモリ１ａ，３０３とフレームメモリ２ａ，３０４の基準カメラ及び参照カメラ各々の投光パターン画像間の対応付け処理を行なう。すなわち、基準カメラ３０１の撮影した画像の各画素に対する参照カメラ３０２の撮影した参照画像の画素の対応付け処理を行ない、基準画像に対する参照画像の視差データを距離画像生成手段３０７に出力する。画像間対応付け手段３０５における画像間の対応付け処理においては、各画像の補正値等を設定したキャリブレーションパラメータ３０６を用いて行われる。
【００５２】投光パターン照射手段３１１の照射する投光パターンは、先に説明したように非周期的なパターンであり、各カメラによって撮影した画像の対応付けが比較的容易に行われる。距離画像生成手段３０７は、画像間対応付け手段３０５の生成した視差データに基づいて距離画像を生成する。
【００５３】本発明の三次元形状計測装置では、画像間対応付け手段３０５にテンプレートサイズ選択手段３０５１が設けられている。これは、画像間対応付け手段３０５において実行される画像間対応付け処理においてミスマッチング、すなわち対応付けの誤りを最も少なくする最適なテンプレートサイズを選択する手段である。画像間対応付け手段３０５における画像間対応付け処理は、テンプレートサイズ選択手段３０５１によって選択された最適なサイズのテンプレートに基づいて実行される。この詳細については、後段で説明する。
【００５４】なお、図３に示す構成の各ブロックにおける処理、およびブロック間データ転送制御等は、図示しない制御手段によって制御され、所定のメモリ、例えばＲＡＭ，ＲＯＭ等の半導体メモリ、磁気ディスク、光ディスク等の記憶媒体に記録された制御プログラムによって制御することができる。また、図示しない入力手段によってユーザがコマンド、パラメータ等を入力して各制御態様を変更することが可能である。
【００５５】図３に示す三次元形状計測装置において、基準カメラ３０１と参照カメラ３０２の２つのカメラによって得られる２つの画像を用いて、画像間対応付け手段３０５において、先に図２で説明したテンプレートマッチング処理が実行される。
【００５６】本発明の画像間対応付け手段３０５におけるテンプレートマッチング処理は、上述したようにテンプレートサイズ選択手段３０５１においてテンプレートサイズを自動的に変更選択して、最も画像間対応付け処理に適したテンプレートサイズを用いてマッチング処理を実行する。
【００５７】従来のテンプレートマッチング処理は、画像間対応付けに用いるテンプレートのサイズが固定された一定サイズであり、先に説明したように、基準カメラで撮影した画像のテンプレート領域に含まれるシーンの特徴と似たような画像が参照カメラの検索範囲であるエピポーラライン上にいくつも存在する事態が発生する。このような場合には、画像の対応付けが困難となる。投光パターンの密度、形状、あるいは計測対象に投光パターンを照射した際に発生する画像コントラストの低下などによってこのような対応付け困難な領域が数多く発生することがある。
【００５８】従来の固定的なサイズのテンプレートを用いた構成におけるマッチング処理において発生しがちな画像間対応付けの困難な状況を図５を用いて説明する。図５は、上述した投光用画像パターンを計測対象に投光し、観測された２枚の画像から距離画像を求めた例を示した図である。図５（ａ）は、ランダム点群からなる投光用画像パターンを示す。図５（ｂ）（ｃ）は、そのパターンを計測対象に投光し、それぞれカメラ１とカメラ２（例えば、基準カメラと参照カメラ）により観測された画像である。
【００５９】図５（ｄ）は、結果として得られる計測対象の距離画像である。この距離画像は、基準カメラ画像における固定された大きさであるＮｘ×Ｎｙのテンプレートウィンドウ内のパターンを用いて、参照カメラ画像におけるエピポーラライン上の対応付け、すなわち基準カメラ画像におけるＮｘ×Ｎｙの大きさのウィンドウ内のパターンと同様のパターンが参照カメラ画像のエピポーラライン上のどの部分に表れるかを求めることによって視差データを取得し、その視差データに基づいて得られる距離画像である。
【００６０】図５（ｃ）のカメラ２（参照カメラ）におけるエピポーライン上には、基準カメラ画像における固定された大きさであるＮｘ×Ｎｙのテンプレートウィンドウ内のパターンと同様であると判定されるウィンドウが複数存在する。このようにエピポーラライン上に複数の類似パターンを持つウィンドウが存在する場合、マッチング処理は正確に実行することができず、探索された複数のウィンドウから予め定められた処理アルゴリズムに従っていずれかのウィンドウを一致ウィンドウとして選択することになる。その後、選択されたウィンドウに従って距離が求めるられる。従って、実際の対応ウィンドウと異なるウィンドウ部分が対応画像であるとして選択される可能性も多くあり、正確な距離画像が得られないことになる。
【００６１】本発明の画像間対応付け手段３０５は、このような場合にテンプレートサイズを自動的に変更して、異なるサイズのテンプレートを用いて対応付け処理を実行する。
【００６２】図６に本発明の画像間対応付け手段３０５におけるテンプレートのサイズの自動決定、およびテンプレートマッチング処理、並びに距離画像生成手段３０７における距離画像生成処理の手順をまとめた処理フロー例を示す。
【００６３】ステップ６０１は、カメラ１（基準カメラ）によってイメージサイズＸｓｉｚｅ×ＹｓｉｚｅのイメージＩｍ１（ｘ，ｙ）を撮り込むステップである。Ｉｍ１（ｘ，ｙ）は撮り込み画像を構成する画像の各座標における二値画像データ、濃淡画像データ等の画素値によって構成されるデータである。
【００６４】ステップ６０２は、測定ポイント（画素座標値）およびテンプレートウィンドウサイズの初期値を設定するステップである。測定ポイント画素（ｉ，ｊ）を（Ｎｘ，Ｎｙ）とし、さらに、テンプレートとして用いるウィンドウサイズは、Ｎｘ×Ｎｙ、例えば１画素×１画素に設定される。初期値は任意の設定値としてよく、例えば５画素×５画素等としてもよい。
【００６５】次にステップ６０３において、カメラ１（基準カメラ）の撮り込み画像における画像の座標値（ｉ，ｊ）を中心として、テンプレートＴｍ（ｉ，ｊ）を設定する。ｍは初期値１とし、ｍ＝１〜ｎで順次大きさの異なるテンプレートとして設定可能なテンプレートを示す。初期設定時のテンプレートウィンドウサイズは、ステップ６０２で設定した初期値、Ｎｘ×Ｎｙ、例えば１画素×１画素である。すなわち、Ｔ１（ｉ，ｊ）は一例として１画素×１画素に設定される。テンプレートＴｍ（ｉ，ｊ）はｍ（ｍ＝１〜ｎ）番目の大きさのテンプレートウィンドウ画像の二値画像、濃淡画像データ等の画素値によって構成される画像データである。
【００６６】次にステップ６０４において、ステップ６０３で設定した座標値（ｉ，ｊ）を中心として設定されたテンプレートＴｍ（ｉ，ｊ）の特徴量γｍを計算する。特徴量γｍは、テンプレートウィンドウ内の画像が距離画像を生成するための画像として適正であるか否か、すなわち画像が十分なランダム性を有する画像であるかを判定する指標値である。初期設定時のテンプレートウィンドウサイズのテンプレートＴ１（ｉ，ｊ）の特徴量はγ１として求められる。特徴量γｍは、例えば、以下の式に基づいて求められる変化率が使用可能である。
【００６７】
【数２】

【００６８】なお、上記式においてＡは、正規化係数である。ｘｍ，ｙｍは、ｘ座標値：ｘｍ＝Ｎｘ／２、ｙ座標値：ｙｍ＝Ｎｙ／２として設定される座標値であり、ｆ（ｘｍ，ｙｍ）は座標（ｘｍ，ｙｍ）における画素値（例えば濃度値）を示す。上記式において、特徴量γｍは生成された画像が濃淡値変化が激しい場合、値が大きくなり、濃淡変化が少ない場合、値が低下する。すなわち、特徴量γｍは距離画像生成のためのマッチングプレートとして適正であるか否かを判定する適性度指標値である。
【００６９】次に、ステップ６０５において、特徴量γｍと、予め定めた閾値との比較処理が行なわれ、特徴量γｍが閾値より大であれば、距離画像の生成に適した十分なランダム性を有する画像（テンプレート）であると判定される。
【００７０】ステップ６０５において、特徴量γｍが閾値より大でないと判定されると、そのテンプレートウィンドウの画像パターンは距離画像の生成に適した十分なランダム性を有するものでないと判定され、ステップ６０９に進み、テンプレートウィンドウサイズの更新処理が実行される。
【００７１】ステップ６０９のテンプレートウィンドウサイズの更新処理は、テンプレートウィンドウサイズをｘ軸、ｙ軸において、１画素づつ大きくする処理として実行される。例えばテンプレートウィンドウサイズの初期設定値が１画素×１画素であれば、２画素×２画素にテンプレートの大きさが変更される。すなわち、初期設定テンプレートＴ１（ｉ，ｊ）が１画素×１画素であれば、更新処理によって得られる次のテンプレートＴ２（ｉ，ｊ）が２画素×２画素として設定される。なお、この図６で示す処理フローは一例であり、更新処理においては例えば２画素づつ大きくしたり、その他の間隔で変更する構成としてもよい【００７２】ステップ６０９におけるテンプレートウィンドウサイズの更新処理によって変更された画像（テンプレート）について、さらにステップ６０４で特徴量γｍ（ｍ＝２）が計算され、さらにステップ６０５における閾値との比較処理が実行される。
【００７３】このステップ６０４，６０５，６０９の処理は、新たに設定されたテンプレートによって得られる画像から求められる特徴量γｍが閾値より大となるまで繰り返し実行される。
【００７４】ステップ６０５における特徴量γｍと閾値との比較処理において、特徴量γｍが閾値より大であると判定されると、ステップ６０６に進み、テンプレートＴｍ（ｉ，ｊ）を用いてカメラ２（参照カメラ）によって撮り込まれた画像（ステップ６１１参照）を用いて、画像カメラＩｍ２（ｘ，ｙ）のエピポーラライン上でのマッチング画像の探索処理を実行する。さらに、探索処理の結果一致する画像パターンを対応画像として選択し、前述したように三角測量の原理に従って距離を求める。
【００７５】次に、ステップ６０７において、カメラ１（基準カメラ）で撮り込まれた画像の全画素についての距離算出が終了したか否かを判定し、まだ算出していない画素がある場合は、ステップ６１０において、画素の更新を実行して、ステップ６０３以降の処理を繰り返し実行する。これらの処理を画像内のすべての画素について終了すると、ステップ６０７の判定がＹｅｓとなり、ステップ６０８で距離画像の計算を終了する。
【００７６】図７は、カメラ１によって撮り込まれた画像から設定される異なる大きさを持つテンプレートウィンドウの例を示した図である。図７の左に示す画像がカメラ１（基準カメラ）の撮り込み画像、すなわち基準画像であり、図７の右側に示す３つの画像が３種類の大きさの異なるテンプレートＴｍ（ｉ，ｊ）である。例えば初期設定のテンプレートＴ１（ｉ，ｊ）が図７右側の上段のテンプレートであり、中段がテンプレートＴ２（ｉ，ｊ）、下段が、テンプレートＴ３（ｉ，ｊ）である。このように本発明の三次元形状計測装置における画像間対応付け手段３０５において実行されるマッチング処理において使用されるテンプレートは、そのテンプレートウィンドウの持つ特徴量γが予め定められた閾値と比較され、閾値より大となる特徴量γを有する大きさのテンプレートとなるまで拡大処理が実行される。
【００７７】マッチング処理に適用されるテンプレートは特徴量γが予め定められた閾値より大であることが保証されたものであり、距離画像の生成に適した十分なランダム性を有するパターン画像であることが保証されたものとなる。従って参照画像のエピポーラライン上に同じパターンを有する画像領域が複数個表れる可能性は減少することになり、唯一の一致するパターン画像をエピポーラライン上で選択することが容易となり、マッチング処理における曖昧さが低減される。
【００７８】図８に本発明の三次元形状計測装置において、テンプレートサイズを変更、すなわち拡大して閾値以上の特徴量を持つテンプレートを用いて距離画像を生成した例を示す。
【００７９】図８は、先に説明した図５と同様の対応で示す図であり、投光用画像パターンを計測対象に投光し、観測された２枚の画像から距離画像を求めた例を示した図である。図８（ａ）は、ランダム点群からなる投光用画像パターンを示す。図８（ｂ）（ｃ）は、そのパターンを計測対象に投光し、それぞれカメラ１とカメラ２（例えば、基準カメラと参照カメラ）により観測された画像である。
【００８０】図８（ｄ）は、結果として得られる計測対象の距離画像である。この距離画像は、基準カメラ画像における拡大された大きさを持つＮｘ×Ｎｙのテンプレートウィンドウ内のパターンを用いて、参照カメラ画像におけるエピポーラライン上の対応付け、すなわち基準カメラ画像における拡大されたテンプレートサイズ：Ｎｘ×Ｎｙの大きさのウィンドウ内のパターンと同様のパターンが参照カメラ画像のエピポーラライン上のどの部分に表れるかを求めることによって視差データを取得し、その視差データに基づいて得られる距離画像である。
【００８１】図８（ｃ）のカメラ２（参照カメラ）におけるエピポーライン上には、基準カメラ画像における拡大されたテンプレートサイズ：Ｎｘ×Ｎｙのテンプレートウィンドウ内のパターンと同様であると判定されるウィンドウが唯一探索される。
【００８２】本発明の構成における三次元形状計測装置なおいて設定されるテンプレートウィンドウは、その特徴量が予め定めた閾値より大であることが保証されたウィンドウであり、参照カメラ画像に設定されるエピポーラライン上に複数の類似パターンが表れる可能性は低減される。
【００８３】従って、２つの画像間のマッチング処理が正確に実行することが可能となり、正確な距離画像が得られる。すなわち、図８（ｄ）に示すエラー領域の少ない正確な距離画像を得ることが容易になる。
【００８４】なお、上述の図６において説明した特徴量γは、距離画像を生成するための画像として適正であるか否か、すなわち画像が十分なランダム性を有する画像であるかを判定する指標値であり、上述の実施例では、［数２］によって求められる変化率を用いた例について説明したが、本発明の三次元形状計測装置においては、［数２］で求められる変化率以外にも、例えば以下に説明する様々な指標値を用いることも可能である。
【００８５】［特徴行列Ｒを用いる例］テンプレートウィンドウの位置を設定する座標ｘｍ，ｙｍを設定する。これらの座標は、ｘ座標値：ｘｍ＝Ｎｘ／２、ｙ座標値：ｙｍ＝Ｎｙ／２として設定する。次に、（ｘｍ，ｙｍ）によって定義されるテンプレートウィンドウ内の画像の特徴行列Ｒを以下の式に従って求める。
【００８６】
【数３】

【００８７】上記式において、ｆ（ｘ，ｙ）は座標（ｘ，ｙ）における画素値（例えば濃度値）を示す。上記式において求めた特徴行列Ｒの固有値：λｍ１、λｍ２を求め、（ｘｍ，ｙｍ）によって定義されるテンプレートウィンドウの特徴行列Ｒの固有値：λｍ１、λｍ２から求められる指標値としての特徴量：λ＝ｍｉｎ（λｍ１，λｍ２）と予め定めた閾値λＴとの比較を実行して、特徴量：λが閾値λＴより大であれば、そのテンプレートウィンドウは十分なランダム性を有する画像であると判定する。上記式から求められるλ＝ｍｉｎ（λｍ１，λｍ２）は生成された画像が濃淡変化が大きい場合、値が大きくなり、濃淡変化が少ない場合に低下する値である。
【００８８】上記式を用いて得られる特徴量：λが閾値λＴより大でない場合は、そのテンプレートウィンドウは十分なランダム性を有する画像でないと判定し、テンプレートの大きさを変更して、大きさを変更したテンプレートウィンドウの特徴行列Ｒの固有値：λｍ１、λｍ２を求め、閾値λＴとの比較処理を繰り返す。
【００８９】［分散σを用いる例］テンプレートウィンドウの位置を設定する座標ｘｍ，ｙｍを設定する。これらの座標は、ｘ座標値：ｘｍ＝Ｎｘ／２、ｙ座標値：ｙｍ＝Ｎｙ／２として設定する。次に、（ｘｍ，ｙｍ）によって定義されるテンプレートウィンドウ内の画像の分散値σｍを以下の式に従って求める。
【００９０】
【数４】

【００９１】上記式において、ｆ（ｘ，ｙ）は座標（ｘ，ｙ）における画素値（例えば濃度値）を示す。上記式において求めた指標値としての分散値σｍと予め定めた閾値σＴとの比較を実行して、分散値σｍが閾値σＴより大であれば、そのウィンドウは十分なランダム性を有する濃淡画像であると判定する。上記式から求められる分散値σｍは生成された画像が濃淡変化が大きい場合、値が大きくなり、濃淡変化が少ない場合に低下する値である。
【００９２】上記式を用いて得られる特徴量である分散値σｍが閾値σＴより大でない場合は、そのテンプレートウィンドウは十分なランダム性を有する画像でないと判定し、テンプレートの大きさを変更して、大きさを変更したテンプレートウィンドウの分散値σｍを求めて閾値σＴとの比較処理を繰り返す。
【００９３】このように、各種の指標値を用いてテンプレートウィンドウ画像の評価が可能である。テンプレートウィンドウの画像評価は、図３に示す画像間対応付け手段３０５における画像間対応付け処理においてマッチングエラーが発生しないテンプレートサイズを選択することを目的とするものであり、基準カメラ３０１から撮り込まれた画像において設定されたテンプレートの特徴を上述の各種の方法で評価することで、テンプレートウィンドウ画像に判別可能な特徴的な構成を見出せるか否かを判定するものである。
【００９４】上述したように、本発明の三次元形状計測装置および三次元形状計測方法は、距離画像生成における画像間対応付け処理に適用するテンプレートのサイズを可変とするとともに、テンプレートウィンドウ画像を評価して、最適なサイズのテンプレートを選択する構成としたので、対応付け困難な類似パターンが対応画像探索範囲中に複数発生する可能性が低減され、画像間対応付け処理が正確に実行され高精度な距離画像が得られる。
【００９５】また、非周期パターン（ランダムパターン）を照射して計測対象の像を撮影する場合、ランダムパターンによっては、計測対象のオリジナルパターンとの合成により部分的に周期的なパターンが撮影されてしまうことが発生するが、本発明の三次元形状計測装置および三次元形状計測方法によれば、このような場合においても、テンプレートウィンドウ画像を評価してテンプレートサイズを変更することにより、撮像画像の周期性を消滅または低減させることができるので、照射するランダムパターンに対する制限、依存性がなくなる。
【００９６】次に、本発明の三次元形状計測装置において実行される最適テンプレートサイズ選択処理を伴う距離画像生成処理によって生成される距離画像と、従来の固定サイズテンプレートによって生成される距離画像とにおける差異を具体的な処理例を示して説明する。
【００９７】図９に本発明の三次元形状計測装置を用いた距離画像の生成手法を説明する図を示す。図９（ａ）は、上述したランダムパターンからなる投光用画像パターンを示す。図９（ｂ）は、そのパターンを計測対象である顔に投光した模式図である。
【００９８】図９（ｃ）（ｄ）は、計測対象である顔に投光用画像パターン投光し、それぞれ基準カメラと参照カメラにより観測された画像である。
【００９９】図９（ｅ）は、結果として得られる計測対象である顔の距離画像であり、濃淡によって距離の差異を示す画像である。この距離画像は、説明のために抽象的に示す概念図であり、実際のものとは異なるが本発明のテンプレートウィンドウ画像評価処理、およびテンプレートサイズ選択処理を経て選択されたマッチング処理に適する特徴量を持つテンプレートを用いて生成されるは距離画像を示している。
【０１００】本発明のテンプレートウィンドウ画像評価処理を実行して選択されたテンプレートによって画像間対応付け処理を実行した場合は、対応点付け処理においてミスマッチングの発生可能性が低減され、計測対象のほぼ全ての面で正確な距離が求められる。すなわち基準カメラから計測対象である顔の各部位までの距離に応じた濃淡が示される精度の高い距離画像が得られる。本発明のランダムパターン生成方法を用いることにより、計測対象が人の顔のような特徴がはっきりしない対象であっても、基準カメラ画像と参照カメラ画像との対応点付け処理においてミスマッチングが発生する可能性が低減され、距離画像（または３次元形状）を高精度に生成することができる。
【０１０１】図１０は、従来の固定サイズのテンプレートを用いて生成した距離画像と、本発明のテンプレート画像評価処理、最適テンプレートサイズ選択を実行して最適なテンプレートサイズを用いて画像間対応付け処理を実行した場合の距離画像を模式的に示した図である。
【０１０２】図１０（ａ）（ｂ）は、計測対象である顔に投光用画像パターン投光し、それぞれ基準カメラと参照カメラにより観測された画像である。
【０１０３】図１０中央には、複数の異なるサイズのテンプレートが示されている。従来は、固定サイズの１つのテンプレートを用いて画像間対応付け処理を実行しており、特徴の少ない画像においては、先に図５で説明したように参照カメラによる撮り込み画像中の対応画像探索範囲であるエピポーラライン上に複数の類似するパターンが発生する場合がある。このような場合、画像間対応付け手段は誤って対応画像を選択する可能性がある。これが、いわゆる距離画像生成におけるマッチングミスであり、結果として得られる距離画像、すなわち図１０（ｃ）には、本来ほぼ同一距離にある部分に異なる濃度、すなわち異なる距離データが示される。このように明らかに誤った距離データが含まれる距離画像が生成される可能性がある。
【０１０４】一方、本発明の三次元形状計測装置においては、図３に示す画像間対応付け手段３０５におけるテンプレートサイズ選択手段３０５１において、基準カメラ３０１によって撮り込まれた画像においてテンプレートを設定する際に、テンプレートウィンドウの画像の評価を実行し、その画像が対応付け処理を行なうに十分な特徴を有するか否かを判定する。具体的には、例えば画像の変化率、画像に基づいて求められる特徴行列Ｒの固有値、あるいは画像に基づいて求められる分散値を算出し、これを予め定めた閾値と比較して十分な特徴を有すると判定されたテンプレートサイズを選択して、選択されたサイズのテンプレートに基づいて画像間対応付け手段３０５において基準カメラ画像と、参照カメラ画像の対応付け処理を実行する。
【０１０５】例えば図１０の中央に示すように、複数種のテンプレートウィンドウ画像の評価を例えば図６に示すフローに従って実行し、特徴量が十分であるテンプレートによって対応付け処理を実行する。このようにテンプレートサイズの評価、選択処理を実行することにより、先に図８で説明したように、参照カメラによる撮り込み画像中の対応画像探索範囲であるエピポーラライン上に複数の類似するパターンが発生する可能性が低減され、正確な画像間対応付け処理が実行される。
【０１０６】その結果として得られる距離画像は、例えば図１０（ｄ）に示すように誤った距離データを含まない正確な距離画像となる。
【０１０７】なお、図９，１０ではランダム投光パターンを計測対象である顔に照射して距離画像を生成する例について示したが、先にも延べた通り、ランダム投光パターンを用いない場合、例えば太陽光、蛍光灯、白熱灯、フラッシュ等のみのいわゆる自然光、環境光のみによる撮影画像においても、本発明のテンプレートウィンドウ画像評価、およびテンプレートサイズ選択処理により、画像間対応付け処理におけるミスマッチングは低減される。
【０１０８】なお、上述の実施例では、画像撮り込みを行なうカメラを２台として、２つの投光パターン画像から距離画像を求める構成について説明したが、さらに３台以上のカメラを用いたマルチベースラインステレオシステムにおいて本発明を適用することも可能である。
【０１０９】以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。また、上述の実施例を適宜組み合わせて構成したものも、本発明の範囲に含まれるものであり、本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１１０】
【発明の効果】以上詳記したように、本発明によれば、距離画像生成における画像間対応付け処理に適用するテンプレートのサイズを可変とし、テンプレートウィンドウ画像を評価して、最適なサイズのテンプレートを選択する構成としたので、画像間対応付け処理が正確に実行可能となり、高精度な距離画像が得られる。
【０１１１】また、本発明の三次元形状計測装置および三次元形状計測方法によれば、テンプレートウィンドウ画像を評価において、画像の変化率、画像に基づいて求められる特徴行列Ｒの固有値、あるいは画像に基づいて求められる分散値を算出し、これを予め定めた閾値と比較して十分な特徴を有すると判定されたテンプレートサイズを選択して、選択されたサイズのテンプレートに基づいて画像間対応付けを実行する構成としたので、画像間対応付けにおいて、対応付け困難な類似パターンが対応画像探索範囲中に複数発生する可能性が低減され、正確な距離画像を得ることが可能となる。
【０１１２】また、本発明の三次元形状計測装置および三次元形状計測方法によれば、非周期パターン（ランダムパターン）を照射して計測対象の像を撮影時に、ランダムパターンと計測対象のオリジナルパターンとの合成により部分的に周期的なパターンが形成されてしまうような場合であっても、テンプレートウィンドウ画像を評価し、テンプレートサイズを変更することにより、撮像画像の周期性を消滅または低減させることができるので、照射するランダムパターンに対する依存性、すなわち適用する照射パターンの制限が排除される。
【出願人】 【識別番号】０００００２１８５
【氏名又は名称】ソニー株式会社
【出願日】 平成１２年１月１４日（２０００．１．１４）
【代理人】 【識別番号】１００１０１８０１
【弁理士】
【氏名又は名称】山田 英治 （外２名）
【公開番号】 特開２００１−１９４１２６（Ｐ２００１−１９４１２６Ａ）
【公開日】 平成１３年７月１９日（２００１．７．１９）
【出願番号】 特願２０００−１００８６（Ｐ２０００−１００８６）