画像処理装置および画像処理方法、並びにプログラム提供媒体

トップ :: G 物理学 :: G01 測定;試験

【発明の名称】	画像処理装置および画像処理方法、並びにプログラム提供媒体
【発明者】	【氏名】芦ヶ原隆之
【要約】	【課題】距離画像生成用のパターン画像と、パターンの取り除かれたテクスチャ画像を同時に撮り込み可能な画像処理装置および方法を提供する。【解決手段】計測対象を撮影する撮像素子に２つの異なる特性を持つフィルタを各画素に対応させて配置した。赤外光によりパターン光を計測対象に照射し、計測対象画像を撮り込む撮像素子の画素の約１／２に赤外光カットフィルタを配置し、残りの１／２に可視光カットフィルタを配置した。赤外光カットフィルタを配置した画素にはパターン光が撮り込まれずテクスチャ画像として使用され、可視光カットフィルタを配置した画素にはパターン光が撮り込まれ、この画像を用いて距離画像を生成する。テクスチャ画像、パターン付き画像の同時撮り込みが可能となり高精度な三次元画像が生成される。

【特許請求の範囲】
【請求項１】計測対象にパターン光を照射してパターン光を投影した画像に基づいて計測対象の距離データを生成する画像処理装置において、計測対象にパターン光を投影するパターン投光手段と、計測対象の画像を画素単位で撮り込み、各画素毎に画像の輝度データを格納する撮像素子と、前記撮像素子を構成する複数画素の一部画素において前記パターン光を投影したパターン付き画像を撮り込み、前記撮像素子を構成する他の画素において前記パターン光を取り除いたテクスチャ画像を撮り込むように構成した光学フィルタと、前記撮像素子に格納された画像データを、前記パターン付き画像を撮り込んだパターン画像撮り込み画素データと、前記テクスチャ画像を撮り込んだテクスチャ画像撮り込み画素データとに分離して出力するデータ選択手段と、前記データ選択手段において分離出力された前記パターン付き画像に基づいて前記計測対象の距離データを算出する距離画像生成手段と、を有することを特徴とする画像処理装置。
【請求項２】前記光学フィルタは、前記撮像素子においてパターン付き画像を撮り込む画素と、テクスチャ画像を撮り込む画素各々に対応させて異なる光透過特性を有する光学フィルタを配置した構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】前記光学フィルタは、異なる２つの波長帯域の光をカットする２つの異なる種類の帯域カットフィルタを前記撮像素子のパターン付き画像撮り込み画素と、テクスチャ画像撮り込み画素の各々に対応させて配置したことを特徴とする請求項１に記載の画像処理装置。
【請求項４】前記光学フィルタは、前記撮像素子のパターン付き画像撮り込み画素と、テクスチャ画像撮り込み画素の各々に対応させてそれぞれ異なる光透過特性を有する異なる種類の光学フィルタを配置した構成であり、前記光学フィルタの少なくとも一方を偏光板によって構成したことを特徴とする請求項１に記載の画像処理装置。
【請求項５】前記光学フィルタは、前記撮像素子のパターン付き画像撮り込み画素と、テクスチャ画像撮り込み画素の各々に対応させてそれぞれ異なる光透過特性を有する異なる種類の光学フィルタを配置した構成であり、前記光学フィルタの少なくとも一方が光強度を低減させる光強度低減フィルタによって構成したことを特徴とする請求項１に記載の画像処理装置。
【請求項６】前記パターン投光手段は、赤外光によるパターン光を前記計測対象に投影する構成を有し、前記光学フィルタは、前記撮像素子におけるテクスチャ画像を撮り込む画素に対応して赤外光カットフィルタを配置した構成を有することを特徴とする請求項１に記載の画像処理装置。
【請求項７】前記光学フィルタは、前記撮像素子におけるパターン付き画像を撮り込む画素に対応して可視光カットフィルタを配置した構成を有することを特徴とする請求項１に記載の画像処理装置。
【請求項８】前記光学フィルタは、前記撮像素子のパターン付き画像撮り込み画素と、テクスチャ画像撮り込み画素の各々に対応させてそれぞれ異なる光透過特性を有する異なる種類の光学フィルタを配置した構成であり、前記撮像素子の隣接画素において異なる光学フィルタを配置した構成を有することを特徴とする請求項１に記載の画像処理装置。
【請求項９】前記光学フィルタは、前記撮像素子のパターン付き画像撮り込み画素と、テクスチャ画像撮り込み画素の各々に対応させてそれぞれ異なる光透過特性を有する異なる種類の光学フィルタを配置した構成であり、前記撮像素子を構成する画素数の約１／２をパターン付き画像撮り込み画素とし、残り約１／２の画素をテクスチャ画像撮り込み画素とするように異なる光学フィルタを配置した構成を有することを特徴とする請求項１に記載の画像処理装置。
【請求項１０】前記画像処理装置は、計測対象を異なる方向から撮影した画像を用いて前記計測対象の三次元形状を計測しステレオ法を適用して距離画像を生成する画像処理装置であり、前記計測対象の画像を撮り込む第１カメラと、前記第１カメラと異なる方向から前記計測対象の画像を撮り込む第２カメラと、前記第１カメラによって撮り込まれた第１画像と、前記第２カメラによって撮り込まれた第２画像との画像間対応付け処理により視差データを生成して、該視差データに基づいて距離画像を生成する距離画像生成手段とを有し、前記第１カメラ、および前記第２カメラの少なくとも一方は、前記計測対象の画像を画素単位で撮り込み、各画素毎に画像の輝度データを格納する撮像素子と、前記撮像素子を構成する複数画素の一部画素において前記パターン光を投影したパターン付き画像を撮り込み、前記撮像素子を構成する他の画素において前記パターン光を取り除いたテクスチャ画像を撮り込むように構成した光学フィルタと、を有した構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項１１】計測対象にパターン光を照射してパターン光を投影した画像に基づいて計測対象の距離データを生成する画像処理方法において、計測対象を撮像素子によって撮り込むステップであり、前記撮像素子を構成する複数画素の一部画素においてパターン光を投影したパターン付き画像を撮り込み、前記撮像素子を構成する他の画素において前記パターン光を取り除いたテクスチャ画像を撮り込む画像撮り込みステップと、前記撮像素子に格納された画像データを、前記パターン付き画像を撮り込んだパターン画像撮り込み画素データと、前記テクスチャ画像を撮り込んだテクスチャ画像撮り込み画素データとに分離して出力する画像データ分離ステップと、前記画像データ分離ステップにおいて分離出力された前記パターン付き画像に基づいて前記計測対象の距離データを算出する距離画像生成ステップと、を有することを特徴とする画像処理方法。
【請求項１２】前記光学フィルタは、前記撮像素子においてパターン付き画像を撮り込む画素と、テクスチャ画像を撮り込む画素各々に対応させて異なる光透過特性を有する光学フィルタを配置した構成であり、前記画像撮り込みステップは、異なる光透過特性を有する光学フィルタを介してパターン付き画像とテクスチャ画像とを同時に撮り込むことを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】前記画像処理方法は、計測対象を異なる方向から撮影した画像を用いて前記計測対象の三次元形状を計測しステレオ法を適用して距離画像を生成する画像処理方法であり、計測対象の画像を第１カメラと、前記第１カメラと異なる方向に配置した第２カメラによって同時に撮り込む画像撮り込みステップであり、前記第１カメラおよび前記第２カメラに構成された撮像素子を構成する複数画素の一部画素においてパターン光を投影したパターン付き画像を撮り込み、前記撮像素子を構成する他の画素において前記パターン光を取り除いたテクスチャ画像を、それぞれ各カメラにおいて撮り込む画像撮り込みステップと、前記第１カメラおよび第２カメラの撮像素子に格納された画像データについて、前記パターン付き画像を撮り込んだパターン画像撮り込み画素データと、前記テクスチャ画像を撮り込んだテクスチャ画像撮り込み画素データとに分離して出力する画像データ分離ステップと、前記画像データ分離ステップにおいて分離出力された前記第１カメラの撮り込んだ第１パターン付き画像と、前記第２カメラの撮り込んだ第２パターン付き画像とに基づいて前記計測対象の距離データを算出する距離画像生成ステップと、を有することを特徴とする請求項１１に記載の画像処理方法。
【請求項１４】計測対象にパターン光を照射してパターン光を投影した画像に基づいて計測対象の距離データを生成する画像処理をコンピュータ・システム上で実行せしめるコンピュータ・プログラムを提供するプログラム提供媒体であって、前記コンピュータ・プログラムは、計測対象を撮像素子によって撮り込むステップであり、前記撮像素子を構成する複数画素の一部画素においてパターン光を投影したパターン付き画像を撮り込み、前記撮像素子を構成する他の画素において前記パターン光を取り除いたテクスチャ画像を撮り込む画像撮り込みステップと、前記撮像素子に格納された画像データを、前記パターン付き画像を撮り込んだパターン画像撮り込み画素データと、前記テクスチャ画像を撮り込んだテクスチャ画像撮り込み画素データとに分離して出力する画像データ分離ステップと、前記画像データ分離ステップにおいて分離出力された前記パターン付き画像に基づいて前記計測対象の距離データを算出する距離画像生成ステップと、を有することを特徴とするプログラム提供媒体。

【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、物体の三次元形状を求め、距離画像を生成する画像処理装置および画像処理方法、並びにプログラム提供媒体に関する。特に三次元空間上である距離範囲に存在する物体を複数の異なる位置から撮影した画像を用いて被写体表面の三次元形状を計測して距離画像を生成するステレオ画像法において好適な画像処理装置および画像処理方法、並びにプログラム提供媒体に関する。
【０００２】
【従来の技術】物体の三次元形状を求める従来手法として、大きく分けて能動的手法（アクティブ手法）と受動的手法（パッシブ手法）がある。能動的手法としては、光を投射して、その光が反射して帰ってくるまでの時間を測定することで各計測対象物体までの距離を求める方法や、計測対象にスリット状のパターン光をあてて計測対象に投影されたパターン光の形状を調べることによって三次元形状を計測する光切断法といった方法がある。
【０００３】また、受動的手法として代表的なものは、三角測量の原理を利用したステレオ法であり、これは２台以上のカメラを使って、その画像間での各画素の対応点を見つけることで、その位置関係（視差）を求め、計測対象までの距離を計測する方法である。
【０００４】ステレオ法について、その原理を簡単に説明する。ステレオ法は複数のカメラを用いて２つ以上の視点（異なる視線方向）から同一対象物を撮影して得られる複数の画像における画素同士を対応づけることで計測対象物の三次元空間における位置を求めようとするものである。例えば基準カメラと検出カメラにより異なる視点から同一対象物を撮影して、それぞれの画像内の計測対象物の距離を三角測量の原理により測定する。
【０００５】図１は、ステレオ法の原理を説明する図である。基準カメラ（Ｃａｍｅｒａ１）と検出カメラ（Ｃａｍｅｒａ２）は異なる視点から同一対象物を撮影する。基準カメラによって撮影された画像中の「ｍｂ」というポイントの奥行きを求めることを考える。
【０００６】基準カメラによる撮影画像中のポイント「ｍｂ」に見える物体は、異なる視点から同一物体を撮影している検出カメラによって撮影された画像において、「ｍ１」、「ｍ２」、「ｍ３」のようにある直線上に展開されることになる。この直線をエピポーラライン（Ｅｐｉｐｏｌａｒｌｉｎｅ）Ｌｐと呼ぶ。
【０００７】基準カメラにおけるポイント「ｍｂ」の位置は、検出カメラによる画像中では「エピポーラ・ライン」と呼ばれる直線上に現れる。撮像対象となる点Ｐ（Ｐ１，Ｐ２，Ｐ３を含む直線上に存在する点）は、基準カメラの視線上に存在する限り、奥行きすなわち基準カメラとの距離の大小に拘らず、基準画像上では同じ観察点「ｍｂ」に現れる。これに対し、検出カメラによる撮影画像上における点Ｐは、エピポーラ・ライン上に基準カメラと観察点Ｐとの距離の大小に応じた位置にあらわれる。
【０００８】図１には、エピポーラ・ラインと、検出カメラ画像中における観察点「ｍｂ」の対応を図解している。同図に示すように、観察点Ｐの位置がＰ１，Ｐ２，Ｐ３へと変化するに従って、検出カメラ画像中の観察点は「ｍ１」、「ｍ２」、「ｍ３」へとシフトする。
【０００９】以上の幾何光学的性質を利用して、観察点「ｍｂ」をエピポーラ・ライン上で探索することにより、点Ｐの距離を同定することができる。これが「ステレオ法」の基本的原理である。このような方法で画面上のすべての画素についての三次元情報を取得する。取得した三次元情報は画素ごとに対応した画素属性データとして使用することが可能となる。
【００１０】上述のステレオ画像法は１台の基準カメラと１台の検出カメラとを用いた構成としたが、検出カメラを複数用いたマルチベースラインステレオ（ＭｕｌｔｉＢａｓｅｌｉｎｅＳｔｅｒｅｏ）法によって評価値を求めて、該評価値に基づいて画素ごとの三次元情報を取得するように構成してもよい。マルチベースラインステレオ画像法は、１つの基準カメラと複数の検出カメラによって撮影される画像を用い、複数の検出カメラ画像それぞれについて基準カメラ画像との相関を表す評価値を求め、それぞれの評価値を加算し、その加算値を最終的な評価値とするものである。このマルチベースラインステレオ画像法の詳細は、例えば「複数の基線長を利用したステレオマッチング」、電子情報通信学会論文誌Ｄ－１１Ｖｏｌ．Ｊ７５－Ｄ－ＩＩＮｏ．８ｐｐ．１３１７－１３２７１９９２年８月、に記載されている。
【００１１】上述のように、ステレオ法は、複数のカメラを用いて２つ以上の視点（異なる視線方向）から同一対象物を撮影して得られる複数の画像における画素同士を対応づけること、すなわち「対応点付け（マッチング）」を実施することで計測対象物の三次元空間における位置を求めようとするものである。
【００１２】従来から、よく使われている「対応点付け」の手法は、Ｐｉｘｅｌ－ｂａｓｅｄマッチング、Ａｒｅａ－ｂａｓｅｄマッチングとＦｅａｔｕｒｅ－ｂａｓｅｄマッチングに大別される。Ｐｉｘｅｌ－ｂａｓｅｄマッチングとは、一方の画像における点の対応を、他方の画像でそのまま探索する方法である（Ｃ．ＬａｗｒｅｎｃｅＺｉｔｎｉｃｋａｎｄＪｏｎＡ．Ｗｅｂｂ：Ｍｕｌｔｉ－ｂａｓｅｌｉｎｅＳｔｅｒｅｏＵｓｉｎｇＳｕｒｆａｃｅＥｘｔｒａｃｔｉｏｎ，ＴｅｃｈｎｉｃａｌＲｅｐｏｒｔ，ＣＭＵ－ＣＳ－９６－１９６，（１９９６）参照）。
【００１３】Ａｒｅａ－ｂａｓｅｄマッチングとは、一方の画像における点の対応を、他方の画像で探す時、その点の周りの局所的な画像パターンを用いて探索する方法である（奥富、金出：複数の基線長を利用したステレオマッチング、電子情報通信学会論文誌Ｄ－ＩＩ、Ｖｏｌ．Ｊ７５－ＤＩＩ，Ｎｏ．８，ｐｐ．１３１７－１３２７，（１９９２）、横山、三輪、芦ヶ原、小柳津、林、後：ＳｔｅｒｅｏＣａｍｅｒａＳｙｓｔｅｍａｎｄＩｔｓＡｐｐｌｉｃａｔｉｏｎ、ＳＲＦ’９７、（１９９７）、金出、木村：ビデオレート・ステレオマシン、日本ロボット学会誌、Ｖｏｌ．１３，Ｎｏ．３，ｐｐ．３２２～３２６，（１９９５）、金出、蚊野、木村、川村、吉田、織田：ビデオレートステレオマシンの開発、日本ロボット学会誌、Ｖｏｌ．１５，Ｎｏ．２，ｐｐ．２６１～２６７，（１９９７）、山口、高地、井口：適応ウィンドウ法を用いた石像計測のためのステレオ対応付け、人文科学とコンピュータ、Ｖｏｌ．３２，Ｎｏ．１０，ｐｐ．５５～６０，（１９９６）、横矢：最近の信号処理総合特集号コンピュータビジョンの最近の話題、システム／制御／情報、Ｖｏｌ．３８，Ｎｏ．８，ｐｐ．４３６～４４１，（１９９４）参照）。
【００１４】Ｆｅａｔｕｒｅ－ｂａｓｅｄマッチングとは、画像から濃淡エッジなどの特徴を抽出し、画像間の特徴だけを用いて対応付けを行う方法である（Ｈ．Ｈ．ＢａｋｅｒａｎｄＴ．Ｏ．Ｂｉｎｆｏｒｄ：Ｄｅｐｔｈｆｒｏｍｅｄｇｅａｎｄｉｎｔｅｎｓｉｔｙｂａｓｅｄｓｔｅｒｅｏ，ＩｎＰｒｏｃ．ＩＪＣＡＩ’８１，（１９８１）、石山、角保、河井、植芝、富田：セグメントベーストステレオにおける対応候補探索、信学技報、Ｖｏｌ．９６，Ｎｏ．１３６，（１９９７）、Ｗ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎ：Ｃｏｍｐｕｔａｔｉｏｎａｌｅｘｐｅｒｉｍｅｎｔｓｗｉｔｈａｆｅａｔｕｒｅｂａｓｅｄｓｔｅｒｅｏａｌｇｏｒｉｔｈｍ，ＩＥＥＥＴｒａｎｓ．ＰＡＭＩ，Ｖｏｌ．７，Ｎｏ．１，ｐｐ．１７～３４，（１９８５））。
【００１５】上記の各手法の特徴を整理すると、次のようになる。
（１）Ｐｉｘｅｌ－ｂａｓｅｄマッチングとＡｒｅａ－ｂａｓｅｄマッチングは各々の画素に対して、対応点を探索するので、求められた距離画像は密である。一方、Ｆｅａｔｕｒｅ－ｂａｓｅｄマッチングは、特徴点だけに対して、対応付けを行うので、得られた距離画像は疎である。
【００１６】（２）Ａｒｅａ－ｂａｓｅｄマッチングは、一種の相関演算を行うため、Ｐｉｘｅｌ－ｂａｓｅｄマッチングとＦｅａｔｕｒｅ－ｂａｓｅｄマッチングに比べて、計算コストがかかるが、アルゴリズムの高速化によって、必ずしも解決できない問題ではない。
【００１７】（３）Ｐｉｘｅｌ－ｂａｓｅｄマッチングは、画素間の対応付けだけを行うため、計算速度がかなり速いが、左右カメラ間の特性の違いによって、画素間の濃淡値を用いる対応付けが容易ではない。
【００１８】上述の特徴から、一般的に、高精度で対象の３次元形状（または奥行き）を画素毎に求めるための手法としてＡｒｅａ－ｂａｓｅｄマッチングは有効であり、よく使われている。
【００１９】一般的なＡｒｅａ－ｂａｓｅｄマッチングによるステレオ視の対応点の求め方について図２を用いて説明する。図２（ａ）は、基準カメラの観測画像であり、図２（ｂ）は検出カメラによる観測画像である。基準カメラによる観測画像上の点ｍｂの周辺の小領域Ｗをテンプレートとして、検出カメラ画像のエピポーラライン上の数点における画像相関値を求める。この図に示す例の場合は、距離分解能はｍ１～ｍ６の６点で、この距離番号１～６が例えば撮影した基準カメラから１ｍ、２ｍ、３ｍ、４ｍ、５ｍ、６ｍの距離に対応しているとする。
【００２０】各点の画像相関値は、例えば以下に示す式（１）を用いて求める評価値を用いることができる。なお、以下に示す式中のＩ（ｘ）は基準カメラで撮影した基準画像における輝度値、Ｉ’（ｘ’）は検出カメラで撮影した検出カメラ画像の輝度値を示している。
【００２１】
【数１】

【００２２】上記式を用いて得られる図２のｍ１～ｍ６の６点での評価値中、最も低いところを対応点とする。これを示したのが図２の下段のグラフである。図２の例の場合は、ｍ３の位置、すなわちカメラから３ｍの位置を距離データとする。なお、さらにサンプリングデータ間の補間処理を実行してサンプルデータ以外の部分において最も低い点を求めることも可能である。この補間処理を行なった場合、図２のグラフのｍ３とｍ４の間にある点が最小の評価値であり、この場合、計測対象はカメラから約３．３ｍの距離であるとされる。なお、エピポーラライン、およびエピポーラライン上の位置と物体との距離との関係は、予めキャリブレーションによって求めておく。例えば基準カメラ画像上のすべての画素に対して、各距離に応じた検出カメラ画像上の対応点の座標をテーブルにして保持しておく。
【００２３】このように、基準カメラ画像と検出カメラ画像とのマッチング処理を各測定点の画素について繰り返し実行することにより、全ての画素に対する三次元形状データを得ることができる。
【００２４】
【発明が解決しようとする課題】しかしながら、実際には、基準カメラ画像と検出カメラ画像から全ての画素の対応付け処理を正確に行なうことは困難である。白い壁や人間の顔などの特徴（濃淡、形状、色等）のほとんどない対象におけるマッチング処理においては、対応付けが困難になるからである。
【００２５】画像間の対応点は、各画素の周辺の小領域の画像を用いて探索されるので物体表面に模様のなく、基準カメラと検出カメラで撮り込んだ画像の各画素の輝度値に変化の少ない場合は対応点を求めるのが困難になる。これを解決する方法として非周期的なランダムパターンを計測対象に照射してパターンとともに計測対象を撮り込む方法がある。このパターン照射方法によれば、ランダムパターンのついた画像を撮り込んでパターンに基づく画像間の対応付け処理をすることができる。このように、距離画像の生成には、ランダムパターンを照射した画像を用いることが有効である。
【００２６】一方、上述の手法によって求められた三次元形状（たとえばポリゴン）に実際の測定対象の色（テクスチャと呼ばれる）を貼り付けるためには、計測対象である物体を例えば可視光で撮影した画像が必要となる。しかし、上述のランダムパターンを照射して得られる画像は、物体表面にランダムパターンが投影されており、物体本来の色あるいは模様とは異なるパターンが付与されているので、距離画像生成用の撮影画像そのものを物体の色として扱うことはできない。
【００２７】物体の本来の色、すなわちテクスチャ画像を得るための手法としては、例えばランダムパターンの投影された物体を撮り込んで得られるパターン付き画像に画像処理を施してパターンを消去する方法があるが、この画像処理は煩雑であり、また、完全に物体の色を再現することは困難である。
【００２８】本発明は、上述の従来技術の問題点に鑑みてなされたものであり、上述のような画像処理を施すことなく、テクスチャ画像を得ることを可能とした画像処理装置および画像処理方法、並びにプログラム提供媒体を提供するものである。
【００２９】
【課題を解決するための手段】本発明は、上記課題を参酌してなされたものであり、その第１の側面は、計測対象にパターン光を照射してパターン光を投影した画像に基づいて計測対象の距離データを生成する画像処理装置において、計測対象にパターン光を投影するパターン投光手段と、計測対象の画像を画素単位で撮り込み、各画素毎に画像の輝度データを格納する撮像素子と、前記撮像素子を構成する複数画素の一部画素において前記パターン光を投影したパターン付き画像を撮り込み、前記撮像素子を構成する他の画素において前記パターン光を取り除いたテクスチャ画像を撮り込むように構成した光学フィルタと、前記撮像素子に格納された画像データを、前記パターン付き画像を撮り込んだパターン画像撮り込み画素データと、前記テクスチャ画像を撮り込んだテクスチャ画像撮り込み画素データとに分離して出力するデータ選択手段と、前記データ選択手段において分離出力された前記パターン付き画像に基づいて前記計測対象の距離データを算出する距離画像生成手段と、を有することを特徴とする画像処理装置にある。
【００３０】さらに、本発明の画像処理装置の一実施態様において、前記光学フィルタは、前記撮像素子においてパターン付き画像を撮り込む画素と、テクスチャ画像を撮り込む画素各々に対応させて異なる光透過特性を有する光学フィルタを配置した構成であることを特徴とする。
【００３１】さらに、本発明の画像処理装置の一実施態様において、前記光学フィルタは、異なる２つの波長帯域の光をカットする２つの異なる種類の帯域カットフィルタを前記撮像素子のパターン付き画像撮り込み画素と、テクスチャ画像撮り込み画素の各々に対応させて配置したことを特徴とする。
【００３２】さらに、本発明の画像処理装置の一実施態様において、前記光学フィルタは、前記撮像素子のパターン付き画像撮り込み画素と、テクスチャ画像撮り込み画素の各々に対応させてそれぞれ異なる光透過特性を有する異なる種類の光学フィルタを配置した構成であり、前記光学フィルタの少なくとも一方を偏光板によって構成したことを特徴とする。
【００３３】さらに、本発明の画像処理装置の一実施態様において、前記光学フィルタは、前記撮像素子のパターン付き画像撮り込み画素と、テクスチャ画像撮り込み画素の各々に対応させてそれぞれ異なる光透過特性を有する異なる種類の光学フィルタを配置した構成であり、前記光学フィルタの少なくとも一方が光強度を低減させる光強度低減フィルタによって構成したことを特徴とする。
【００３４】さらに、本発明の画像処理装置の一実施態様において、前記パターン投光手段は、赤外光によるパターン光を前記計測対象に投影する構成を有し、前記光学フィルタは、前記撮像素子におけるテクスチャ画像を撮り込む画素に対応して赤外光カットフィルタを配置した構成を有することを特徴とする。
【００３５】さらに、本発明の画像処理装置の一実施態様において、前記光学フィルタは、前記撮像素子におけるパターン付き画像を撮り込む画素に対応して可視光カットフィルタを配置した構成を有することを特徴とする。
【００３６】さらに、本発明の画像処理装置の一実施態様において、前記光学フィルタは、前記撮像素子のパターン付き画像撮り込み画素と、テクスチャ画像撮り込み画素の各々に対応させてそれぞれ異なる光透過特性を有する異なる種類の光学フィルタを配置した構成であり、前記撮像素子の隣接画素において異なる光学フィルタが配置光学フィルタを配置した構成を有することを特徴とする。
【００３７】さらに、本発明の画像処理装置の一実施態様において、前記光学フィルタは、前記撮像素子のパターン付き画像撮り込み画素と、テクスチャ画像撮り込み画素の各々に対応させてそれぞれ異なる光透過特性を有する異なる種類の光学フィルタを配置した構成であり、前記撮像素子を構成する画素数の約１／２をパターン付き画像撮り込み画素とし、残り約１／２の画素をテクスチャ画像撮り込み画素とするように異なる光学フィルタを配置した構成を有することを特徴とする。
【００３８】さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、計測対象を異なる方向から撮影した画像を用いて前記計測対象の三次元形状を計測しステレオ法を適用して距離画像を生成する画像処理装置であり、前記計測対象の画像を撮り込む第１カメラと、前記第１カメラと異なる方向から前記計測対象の画像を撮り込む第２カメラと、前記第１カメラによって撮り込まれた第１画像と、前記第２カメラによって撮り込まれた第２画像との画像間対応付け処理により視差データを生成して、該視差データに基づいて距離画像を生成する距離画像生成手段とを有し、前記第１カメラ、および前記第２カメラの少なくとも一方は、前記計測対象の画像を画素単位で撮り込み、各画素毎に画像の輝度データを格納する撮像素子と、前記撮像素子を構成する複数画素の一部画素において前記パターン光を投影したパターン付き画像を撮り込み、前記撮像素子を構成する他の画素において前記パターン光を取り除いたテクスチャ画像を撮り込むように構成した光学フィルタとを有した構成であることを特徴とする。
【００３９】さらに、本発明の第２の側面は、計測対象にパターン光を照射してパターン光を投影した画像に基づいて計測対象の距離データを生成する画像処理方法において、計測対象を撮像素子によって撮り込むステップであり、前記撮像素子を構成する複数画素の一部画素においてパターン光を投影したパターン付き画像を撮り込み、前記撮像素子を構成する他の画素において前記パターン光を取り除いたテクスチャ画像を撮り込む画像撮り込みステップと、前記撮像素子に格納された画像データを、前記パターン付き画像を撮り込んだパターン画像撮り込み画素データと、前記テクスチャ画像を撮り込んだテクスチャ画像撮り込み画素データとに分離して出力する画像データ分離ステップと、前記画像データ分離ステップにおいて分離出力された前記パターン付き画像に基づいて前記計測対象の距離データを算出する距離画像生成ステップと、を有することを特徴とする画像処理方法にある。
【００４０】さらに、本発明の画像処理方法の一実施態様において、前記光学フィルタは、前記撮像素子においてパターン付き画像を撮り込む画素と、テクスチャ画像を撮り込む画素各々に対応させて異なる光透過特性を有する光学フィルタを配置した構成であり、前記画像撮り込みステップは、異なる光透過特性を有する光学フィルタを介してパターン付き画像とテクスチャ画像とを同時に撮り込むことを特徴とする。
【００４１】さらに、本発明の画像処理方法の一実施態様は、計測対象を異なる方向から撮影した画像を用いて前記計測対象の三次元形状を計測しステレオ法を適用して距離画像を生成する画像処理方法であり、計測対象の画像を第１カメラと、前記第１カメラと異なる方向に配置した第２カメラによって同時に撮り込む画像撮り込みステップであり、前記第１カメラおよび前記第２カメラに構成された撮像素子を構成する複数画素の一部画素においてパターン光を投影したパターン付き画像を撮り込み、前記撮像素子を構成する他の画素において前記パターン光を取り除いたテクスチャ画像を、それぞれ各カメラにおいて撮り込む画像撮り込みステップと、前記第１カメラおよび第２カメラの撮像素子に格納された画像データについて、前記パターン付き画像を撮り込んだパターン画像撮り込み画素データと、前記テクスチャ画像を撮り込んだテクスチャ画像撮り込み画素データとに分離して出力する画像データ分離ステップと、前記画像データ分離ステップにおいて分離出力された前記第１カメラの撮り込んだ第１パターン付き画像と、前記第２カメラの撮り込んだ第２パターン付き画像とに基づいて前記計測対象の距離データを算出する距離画像生成ステップと、を有することを特徴とする。
【００４２】さらに、本発明の第３の側面は、計測対象にパターン光を照射してパターン光を投影した画像に基づいて計測対象の距離データを生成する画像処理をコンピュータ・システム上で実行せしめるコンピュータ・プログラムを提供するプログラム提供媒体であって、前記コンピュータ・プログラムは、計測対象を撮像素子によって撮り込むステップであり、前記撮像素子を構成する複数画素の一部画素においてパターン光を投影したパターン付き画像を撮り込み、前記撮像素子を構成する他の画素において前記パターン光を取り除いたテクスチャ画像を撮り込む画像撮り込みステップと、前記撮像素子に格納された画像データを、前記パターン付き画像を撮り込んだパターン画像撮り込み画素データと、前記テクスチャ画像を撮り込んだテクスチャ画像撮り込み画素データとに分離して出力する画像データ分離ステップと、前記画像データ分離ステップにおいて分離出力された前記パターン付き画像に基づいて前記計測対象の距離データを算出する距離画像生成ステップと、を有することを特徴とするプログラム提供媒体にある。
【００４３】本発明の第３の側面に係るプログラム提供媒体は、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・プログラムをコンピュータ可読な形式で提供する媒体である。媒体は、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの伝送媒体など、その形態は特に限定されない。
【００４４】このようなプログラム提供媒体は、コンピュータ・システム上で所定のコンピュータ・プログラムの機能を実現するための、コンピュータ・プログラムと提供媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、該提供媒体を介してコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の他の側面と同様の作用効果を得ることができるのである。
【００４５】本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００４６】
【発明の実施の形態】まず、図３に本発明の画像処理装置の構成ブロック図を示す。図３は、画像パターンの投光によって計測対象の三次元形状または距離画像の計測を行なう装置である。例えば投光用画像パターン生成装置によって、ランダムテクスチャ（例えば二値または濃淡のランダム点群）からなる画像パターンを生成し、これを投光器によって計測対象に投光する。上述したように計測対象にランダムテクスチャを投光することにより、計測対象が白い壁や人間の顔などの特徴（濃淡、形状、色等）のほとんどない対象である場合も、画像間のマッチング処理がより正確に実行できる。
【００４７】図３に示す画像処理装置の概要について説明する。画像処理装置は、先に説明したステレオ法を適用して計測対象の三次元形状を計測するものであり、立体形状を持つ、例えば人の顔等の被計測対象物に対して角度の異なる位置に配置した２つのカメラ、いわゆる基準カメラと検出カメラを用いて画像を撮り込み、これら２つのカメラの撮影する画像に基づいて図１で説明したステレオ法に基づいて被計測対象物の表面形状を計測するものである。
【００４８】ランダムパターンは、投光パターン照射手段３１１によって照射される。この投光パターンは一様乱数や正規乱数に基づく非周期的投光パターンである。投光されるパターンは例えば非周期投光パターンであり、例えばドットのサイズ、線の長さ、太さ、位置、濃度等に周期性を持たないパターンである。
【００４９】非周期的パターンは例えば予めスライド等に形成され、本実施例では赤外光をスライドを介して照射することによって計測対象に対してパターンを投影する。あるいは、透過型液晶表示素子等を用いて動的にランダムパターンを生成して、これを赤外光を用いて投影してもよい。計測対象３００の表面に形成された非周期パターンを計測対象とともに撮像することにより、距離画像生成時の基準カメラと検出カメラの撮像データの対応付けを容易にすることができる。
【００５０】なお、図３の構成のように計測対象３００にランダムテクスチャ投光パターンを照射するのは、計測対象が例えば壁、人の顔等のように表面の各部を区別する特徴が少なく、基準カメラ画像と検出カメラ画像の画像間対応付けが困難である場合に、撮影画像にランダムパターンを付与して画像間対応付け処理を実行しやすくするためのものである。照射するパターンは、画像間対応付け処理を実行可能とするパターンであればよく、計測対象自体が特徴的な構成を持つ場合には、簡単なパターン構成としてもよい。
【００５１】カメラ１，３０１とカメラ２，３０２は、計測対象３００に対して異なる視線方向に配置されて、各視線方向の画像、すなわちランダムパターンの投影された計測対象３００を撮影する。一方が基準カメラ、他方が検出カメラに対応する。各カメラによって撮影される画像は、同期したタイミングで撮り込まれる。カメラ１，３０１から撮り込まれた画像は、パターンの付加された画像であるパターン付き画像１，３０３と、パターンの付加されていない計測対象３００の本来の色を反映したテクスチャ画像１，３０４に分離されて撮り込まれる。この分離方法については、図４を用いて、後段で説明する。一方カメラ２，３０２から撮り込まれた画像も、パターンの付加された画像であるパターン付き画像２，３０５と、パターンの付加されていない計測対象３００の本来の色を反映したテクスチャ画像２，３０６に分離されて撮り込まれる。
【００５２】画像間対応付け手段３０７は、カメラ１，３０１によって撮り込まれたパターン付き画像１，３０３と、カメラ２，３０２によって撮り込まれたパターン付き画像２，３０５を入力して各投光パターン画像間の対応付け処理を行なう。すなわち、カメラ１，３０１の撮影した画像の各画素に対するカメラ２，３０２の撮影した検出画像の画素の対応付け処理を行ない、基準画像に対する検出画像の視差データを距離画像生成手段３０８に出力する。画像間対応付け手段３０７における画像間の対応付け処理においては、各画像の補正値等を設定したキャリブレーションパラメータを用いて行われる。
【００５３】投光パターン照射手段３１１の照射する投光パターンは、先に説明したように非周期的なパターンであり、各カメラによって撮影した画像の対応付けが比較的容易に行われる。距離画像生成手段３０８は、画像間対応付け手段３０７の生成した視差データに基づいて距離画像を生成する。
【００５４】なお、図３に示す構成の各ブロックにおける処理、およびブロック間データ転送制御等は、図示しない制御手段によって制御され、所定のメモリ、例えばＲＡＭ，ＲＯＭ等の半導体メモリ、磁気ディスク、光ディスク等の記憶媒体に記録された制御プログラムによって制御することができる。また、図示しない入力手段によってユーザがコマンド、パラメータ等を入力して各制御態様を変更することが可能である。
【００５５】図３の画像処理装置は、パターン光を付与した計測対象パターン付き画像と、パターン光が取り除かれた計測対象テクスチャ画像を同時に撮り込むことが可能な装置である。本構成によれば、パターン光を付与した計測対象に基づく高精度な距離画像と、パターン光が取り除かれた計測対象画像であるテクスチャ画像が同時に得られるので、これら両画像に基づいて高精度な三次元画像を容易に得ることができる。すなわち、従来のパターン付与画像からパターンを取り除く画像処理が不要になる。
【００５６】図４に、本発明の画像処理装置におけるカメラ部、すなわち図３におけるカメラ１，３０１とカメラ２，３０２の内部構成を示す。計測対象の撮影画像はレンズ４０１を介して撮像素子４０２において撮像される。撮像素子４０２は、例えばＣＣＤ（Ｃｈａｒｇｅｄｃｏｕｐｌｅｄｄｅｖｉｃｅ）、あるいはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙｍｅｔａｌｏｘｉｄｅｓｅｍｉｃｏｎｄｕｃｔｏｒ）であり、各画素において光電変換により光が電荷に変換される素子によって構成される。
【００５７】撮像素子４０２の前面、すなわちレンズ４０１側には、光学フィルタ４０３が撮像素子４０２の各画素に対応して形成されている。すなわち、撮像素子４０２は、光学フィルタ４０３を介して撮影画像を撮り込む構成となっている。光学フィルタ４０３は、２つの種類のフィルタ、光学フィルタＡと光学フィルタＢを各画素毎に対応付けた構成を持つ。例えば光学フィルタＡは可視光カットフィルタであり、光学フィルタＢは赤外光カットフイルタである。
【００５８】図５に光学フィルタ４０３の例を２つ示す。図５（１）、（２）において、１つの四角形が撮像素子４０２の１画素に対応する。図５（１）の例は、隣合う画素が異なるフィルタを持つように構成した例である。また、図５（２）は、４画素を１組として同一フィルタを対応させた例である。なお、これらの図は、光学フィルタ４０３の配列の一部を示すものであり、実際は、撮像素子４０２の全画素に対応して、図５に示す配列と同様のパターンが配置されているものである。
【００５９】さらに、光学フィルタ４０３の異なる例を２つ図６に示す。図６（３）、（４）において、１つの枠が撮像素子４０２の１画素に対応する。図６（３）の例は、列方向に同一フィルタを配列し隣り合う列における画素が異なるフィルタを持つように構成した例である。また、図６（４）は、行方向に同一フィルタを配列し隣り合う行における画素が異なるフィルタを持つように構成した例である。
【００６０】図５または図６に示すような光学フィルタ４０３を介して撮像素子４０２に撮り込まれた画像は、図４に示す読み出し部４０４によって読み出される。読み出し部４０４は、撮像素子４０２の各画素の電荷を電圧に変換して読み出し、Ａ／Ｄ変換部４０５に出力する。Ａ／Ｄ変換部は各画素の電圧信号を、各画素の輝度を示すデジタルデータに変換して、フレームメモリ４０６に格納する。
【００６１】フレームメモリ４０６に格納された輝度データは、各画素ごとに順次、輝度データ選択部４０７に出力され、光学フィルタＡが対応づけられた画素の輝度データと、光学フィルタＢが対応づけられた画素の輝度データを分離してそれぞれ出力する。輝度データ選択部４０７は、図５に示す光学フィルタ４０３の構成データを有し、この構成データに基づいて各画素の位置データを保持して、各画素の輝度データを分離して出力する。
【００６２】分離出力された輝度データの例を図７に示す。図７は、図５（１）の光学フィルタを用いた場合に得られる分離された出力データを示したものである。
【００６３】図７（１）は、光学フィルタＡ（可視光カットフィルタ）が対応付けられた画素の輝度データを集積したデータである。各画素中（Ａ）が示されている部分が輝度データを有する画素であり、（－）が示されている部分は輝度データを持たない画素である。（Ａ）が示されている画素は光学フィルタＡ（可視光カットフィルタ）によってフィルタリングされた画像に基づく輝度データを有する。すなわち赤外光によって照射されたパターン光を撮り込んだ画像であるパターン付き画像が図７（１）の（Ａ）部分に撮り込まれている。
【００６４】一方、図７（２）は、光学フィルタＢ（赤外光カットフィルタ）が対応付けられた画素の輝度データを集積したデータである。各画素中（Ｂ）が示されている部分が輝度データを有する画素であり、（－）が示されている部分は輝度データを持たない画素である。（Ｂ）が示されている画素は光学フィルタＢ（赤外光カットフィルタ）によってフィルタリングされた画像に基づく輝度データを有する。すなわち赤外光によって照射されたパターンはフィルタＢによってカットされ、計測対象の本来の色データを反映したテクスチャ画像を撮り込んだ画像であるテクスチャ画像が図７（２）の（Ｂ）の部分に撮り込まれている。
【００６５】図４に示す輝度データ選択部４０７は、この図７に示す２つの分離画素データをそれぞれ出力する。図４に示す構成は、図３に示す少なくともカメラ１に構成されており、図７（１）に示す輝度データがパターン付き画像１，３０３として出力され、図７（２）に示す輝度データがテクスチャ画像１，３０４として出力されることになる。
【００６６】一方、カメラ２，３０２はカメラ１と同様の構成として距離画像生成用のパターン付き画像とテクスチャ画像を得る構成としてもよく、あるいは距離画像生成用のパターン付き画像のみを得る構成としてもよい。
【００６７】カメラ２，３０２をカメラ１と同様、距離画像生成用のパターン付き画像とテクスチャ画像を得る構成とした場合は、図７（１）に示すと同様の輝度データをパターン付き画像２，３０５として出力し、図７（２）に示すと同様の輝度データをテクスチャ画像２，３０６として出力する。カメラ２，３０２によって撮り込まれたパターン付き画像２，３０５は距離画像生成用データとして画像間対応付け手段３０７に出力され、カメラ２，３０２によって撮り込まれたテクスチャ画像２，３０６は、カメラ１，３０１によって撮り込まれたテクスチャ画像１，３０４の補間用データとして用いることができる。
【００６８】なお、テクスチャ画像はカメラ１，３０１によって撮り込まれており、カメラ２，３０６によってテクスチャ画像を撮り込む必要がない場合は、カメラ２は距離画像を生成するためのパターン付き画像のみを得る構成としてもよい。その場合は、カメラ２，３０２は図４に示す２つの種類の光学フィルタを画素毎に対応させた構成を持つ必要がなく、可視光カットフィルタを撮像素子の全画素に対応付けた構成とすることができる。
【００６９】図３に示す画像間対応付け手段３０７は、カメラ１，３０１によって撮り込まれたパターン付き画像１，３０３と、カメラ２，３０２によって撮り込まれたパターン付き画像２，３０５を入力する。これらのパターン付き画像は、図７（１）に示す画像データであり、全画素についてのデータを保有するものではないが、画像間対応付け手段３０７における画像間対応付け処理は、これらの画素データのみに基づいて行なうことが可能である。なお、必要であれば、輝度データを持たない画素について、周辺画素の輝度データに基づく補間処理を実行してもよい。あるいは、輝度データのない画素について、隣接のＸ軸方向、あるいはＹ軸方向にシフトした輝度データを使用することも可能である。この処理を行なうと、画像間対応付け処理において１画素ずれた異なった点を対応点とする可能性があるが、画像全体をマクロ的に観察する場合には、このミクロ的な誤差は問題とならない。
【００７０】また、カメラ１，３０１によって得られるテクスチャ画像１，３０４についても、距離画像生成用画像と同様、図７（２）に示すように、全画素についてのデータを保有するものとはならないが、これらの画素データに基づいて得られる画像をテクスチャ画像としてもマクロ的には問題となることはない。必要であれば、データを持たない画素について、周辺画素のデータに基づく補間処理を実行してもよい。また、カメラ２，３０２から得られるテクスチャ画像２，３０６を用いて補間処理を行なってもよい。
【００７１】なお、図４に示す構成は、カメラ部構成として説明したが、これらの構成のすべての構成要素をカメラ内の構成とする必要はなく、例えばフレームメモリ４０６、輝度データ選択部４０７等の構成をカメラ外に構成してカメラからデータ転送を行なうようにしてもよい。また、フレームメモリ４０６を介さずにＡ／Ｄ変換部４０５から直接輝度データを輝度データ選択部４０７に出力する構成としてもよい。この構成例を図８に示す。
【００７２】次に、本発明の画像処理装置を使用した具体的な画像処理例を図９を用いて説明する。図９において、計測対象９０１はカップであり、計測対象９０１に対してパターン投光手段９００から赤外光を用いてランダムパターンが照射される。このパターンは、画像間対応付け手段による画像間対応付け処理を精度よく実行可能とするためのパターンであり、例えば非周期的なパターンからなるランダムドットパターンが用いられる。
【００７３】カメラ１，９０２と、カメラ２，９０３によってパターンの照射された計測対象９０１の画像を異なる方向から撮り込む。カメラ１，９０２と、カメラ２，９０３は、それぞれ位置が固定されており、距離を求めるために必要なパラメータはキャリブレーションによって予め算出されている。
【００７４】カメラ１，９０２と、カメラ２，９０３は、図５で説明したように、２つの異なる光学フィルタＡ，Ｂが画素毎に対応付けられた撮像素子を有するものであり、赤外光カットフィルタと可視光カットフィルタとが画素毎に対応付けられたフィルタを介して画像を撮り込む。なお、光学フィルタＡ，Ｂの組合わせは、可視光カットフィルタと赤外光カットフィルタとに限らない。
【００７５】例えば、光学フィルタＡとして赤外光のみを通過させ可視光のみならず例えば紫外線等の他の波長の光もカットする帯域カットフィルタを用いてパターン画像を撮り込み、光学フィルタＢとして赤外光カットフィルタを用いてテクスチャ画像を撮り込む構成としてもよい。あるいは、光学フィルタＢとして赤外光カットフィルタを用いてテクスチャ画像を撮り込み、光学フィルタＡの部分にはフィルタを取り付けない構成としてパターン画像を撮り込む構成としてもよい。
【００７６】このような構成とすることにより、カメラ１，９０２から、照射パターンの取り除かれたテクスチャ画像１，９０４と、照射パターン付き画像１，９０６が撮り込まれ、カメラ２，９０３から、照射パターンの取り除かれたテクスチャ画像２，９０５と、照射パターン付き画像２，９０７が撮り込まれる。
【００７７】距離画像生成部９０８は、カメラ１，９０２の撮影した照射パターン付き画像１，９０６と、カメラ２，９０３の撮影した照射パターン付き画像２，９０７を入力して、予め実行されたキャリブレーションによって算出済みのパラメータを用いて画像間対応付け処理を実行して視差データを取得し距離画像を生成する。距離画像生成部９０８は、計測対象９０１にランダムパターンが投影された画像を用いて画像間対応付け処理を実行できるので、高精度な距離画像９０９を生成することが可能となる。
【００７８】また、パターンの投影されていないテクスチャ画像は、カメラ１，９０２の撮影したテクスチャ画像１，９０４と、カメラ２，９０３の撮影したテクスチャ画像２，９０５がパターン付き画像と同時に撮り込まれる。距離画像生成部９０８において生成された距離画像データとテクスチャ画像１，９０４により高精度な三次元画像データを生成することが可能となる。なお、カメラ１，９０２の撮影したテクスチャ画像１，９０４について、カメラ２，９０３の撮影したテクスチャ画像２，９０５を用いて補間処理を実行してもよい。
【００７９】図１０に本発明の画像処理装置における距離画像生成処理フローを示す。図１０のフローの各ステップについて説明する。
【００８０】ステップＳ１００１は、計測対象である物体に赤外光パターンを照射し、異なる方向に設置したカメラ１，カメラ２によって同時に計測対象の像を撮り込むステップである。
【００８１】ステップＳ１００２は、カメラ１からテクスチャ画像１と、パタン付き画像１を取得し、カメラ２からテクスチャ画像２と、パタン付き画像２を取得するステップである。これは、先に説明した図４、または図８に示す構成によって実行されるステップである。
【００８２】ステップＳ１００３は距離画像生成部において、カメラ１の撮影した照射パターン付き画像１と、カメラ２の撮影した照射パターン付き画像２を入力して、キャリブレーション・パラメータを用いて画像間対応付け処理を実行して視差データを取得し距離画像を生成するステップである。
【００８３】なお、上述の実施例においては、パターン照射光を赤外光を用いて計測対象に照射して、カメラのフィルタとして赤外光カットフィルタを設けた構成により、パターンを取り除いたテクスチャ画像を撮り込む構成について説明したが、例えばパターン照射光を紫外光を用いて計測対象に照射して、カメラのフィルタとして紫外光カットフィルタを用いて、紫外光カットフィルタを対応させた画素の撮り込み画像に基づいてテクスチャ画像を得る構成としてもよい。
【００８４】さらに、赤外光、紫外光のように波長帯域によって可視光と分離する手法のみならず、例えば、パターン照射を一定の偏波光として照射する構成とするとともに、撮像素子に設ける光学フィルタに偏光板を適用して、偏光板を通過した画素部分にはパターン光を入力させない構成としてもよい。
【００８５】あるいは、パターン光を光強度（輝度）の弱い照射光によって計測対象に照射する構成とするとともに、撮像素子に光強度を低減させる光強度低減フィルタを設けることにより、フィルタを通過した画素部分にはパターン光を入力させない、あるいはパターン光を目立たなくする構成としてもよい。
【００８６】このように、パターン光を照射する光特性に応じて撮像素子のフィルタ構成をパターン光入力画素と、パターン光非入力画素との組合わせ構成とし、パターン付き画像とテクスチャ画像とを同時に撮り込み、これら２つの種類の画像データを各画像データを取り込んだ画素に応じて分離し、パターン光を撮り込んだ画素データを距離画像生成用画像として用い、パターン光を撮り込まない画素データをテクスチャ画像として用いることで、従来のようなパターン光が写し込まれた画像からパターンを取り除くといった煩雑な画像処理が不要となる。
【００８７】なお、上述の実施例では、画像撮り込みを行なうカメラを２台として、２つの投光パターン画像から距離画像を求める構成について説明したが、さらに３台以上のカメラを用いたマルチベースラインステレオシステムにおいて本発明を適用することも可能である。さらに、本発明の構成は上述したステレオ法に基づく距離計測のみならず、パターン光を投影することによって距離計測を行なう光切断法や、空間コード（２次元コード化パターン）法による距離計測においても応用可能である。
【００８８】以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。また、上述の実施例を適宜組み合わせて構成したものも、本発明の範囲に含まれるものであり、本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【００８９】
【発明の効果】以上、詳記したように、本発明の画像処理装置および画像処理方法によれば、距離画像を生成する計測対象を撮影する撮像素子に２つの異なる画像を撮り込むためのフィルタを設け、撮像素子の一部の画素をパターン光入力画素とし、他の画素をパターン光非入力画素とする構成としたので、距離画像生成用のパターン画像と、パターンの取り除かれたテクスチャ画像の２つの画像を同時に撮り込むことが可能となり、パターン画像を用いた高精度な距離画像が生成可能となるとともに、生成した距離画像に基づく距離データとテクスチャ画像に基づいて容易に高精度な三次元画像データを生成することが可能となる。

【出願人】	【識別番号】０００００２１８５【氏名又は名称】ソニー株式会社
【出願日】	平成１２年１月１４日（２０００．１．１４）
【代理人】	【識別番号】１００１０１８０１【弁理士】【氏名又は名称】山田英治（外２名）
【公開番号】	特開２００１－１９４１１４（Ｐ２００１－１９４１１４Ａ）
【公開日】	平成１３年７月１９日（２００１．７．１９）
【出願番号】	特願２０００－１０１２７（Ｐ２０００－１０１２７）