奥行検出装置及び撮像装置

トップ :: G 物理学 :: G01 測定;試験

【発明の名称】	奥行検出装置及び撮像装置
【発明者】	【氏名】小野修司
【要約】	【課題】外界の所定の被写体についての奥行情報の分解能を向上することのできる奥行検出装置及び撮像装置を提供する。【解決手段】複数の視点から観察される外界の画像に基づいて、外界の所定の被写体についての奥行きを表す奥行情報を検出する奥行検出装置であって、視点から観察される外界の画像を結ぶ視差用結像部１４と、視差用結像部１４により結ばれた画像を取り込む視差用撮像部１６と、視差用撮像部１６により取り込まれた複数の画像に基づいて、外界の所定の被写体についての複数の検出視差量を検出する視差量検出部１８と、当該視差量検出部１８により検出された複数の検出視差量に基づいて、所定の被写体について奥行情報を推定する実質視差量推定部１９及び奥行算出部２０とを有するように構成する。

【特許請求の範囲】
【請求項１】複数の視点から観察される外界の画像に基づいて、前記外界の所定の被写体についての奥行きを表す奥行情報を検出する奥行検出装置であって、前記視点から観察される前記外界の画像を結ぶ視差用結像部と、前記視差用結像部により結ばれた前記画像を取り込む視差用撮像部と、前記視差用撮像部により取り込まれた複数の前記画像に基づいて、前記外界の所定の被写体についての複数の検出視差量を検出する視差量検出部と、前記視差量検出部により検出された前記複数の検出視差量に基づいて、前記所定の被写体について前記奥行情報を推定する奥行推定部とを有することを特徴とする奥行検出装置。
【請求項２】前記視差用撮像部は、少なくとも３つ以上の前記視点から観察される前記外界の画像を取り込むことを特徴とする請求項１に記載の奥行検出装置。
【請求項３】前記視差用結像部を移動させて前記視点を変更する視差用結像部駆動部を更に有することを特徴とする請求項２に記載の奥行検出装置。
【請求項４】前記視差用結像部は、単一光軸の光学系を有し、前記視差用結像部を透過した光を通過させる視点となる光通過部の位置を少なくとも３箇所以上有する光通過制御部を備え、前記視差用撮像部は、前記各位置の光通過部を介して結ばれる前記外界の画像を取り込むことを特徴とする請求項１に記載の奥行検出装置。
【請求項５】前記奥行推定部は、前記複数の検出視差量と、当該検出視差量を求めるために使用した前記画像における視点の間隔とに基づいて、所定の視点の間隔における実質視差量を決定する実質視差量推定部と、前記視点の間隔及び実質視差量に基づいて前記奥行情報を算出する奥行算出部とを有することを特徴とする請求項１乃至４のいずれかに記載の奥行検出装置。
【請求項６】前記少なくとも一つの視点において前記視差用結像部の光軸の向きを複数の向きに変更する光軸変更部を更に有し、前記視差量検出部は、前記少なくとも一つの視点において、前記視差用結像部の光軸を複数に向けた場合に得られる複数の画像のそれぞれと、他の前記視点において観察される画像とに基づいて、前記外界の所定の被写体について複数の視差量を検出することを特徴とする請求項１に記載の奥行検出装置。
【請求項７】前記奥行推定部は、前記複数の検出視差量と、当該検出視差量を求めるために使用した前記画像における光軸の位置関係とに基づいて、所定の光軸の位置関係における実質視差量を決定する実質視差量推定部と、前記所定の光軸の位置関係及び実質視差量に基づいて前記奥行情報を算出する奥行算出部とを有することを特徴とする請求項６に記載の奥行検出装置。
【請求項８】前記視差用結像部は、単一光軸の光学系を有し、前記視差用結像部を光軸に平行な方向に移動させる視差用結像部駆動部と、前記視差用結像部を透過した光を通過させる視点となる光通過部の位置を複数有する光通過制御部とを備え、前記視差用撮像部は、前記各位置の光通過部を介して結ばれる前記外界の画像を取り込み、前記視差量検出部は、前記視差用結像部が第１位置である場合における前記複数の視点から観察される画像に基づいて、前記外界の所定の被写体についての一の検出視差量を検出し、更に、前記視差用結像部が第２位置である場合における前記複数の視点から観察される前記画像に基づいて、前記外界の所定の被写体についての他の検出視差量を検出することを特徴とする請求項１に記載の奥行検出装置。
【請求項９】前記奥行推定部は、前記複数の検出視差量と、当該検出視差量を求めるために使用した前記画像における前記視差用結像部の焦点位置とに基づいて、所定の焦点位置における実質視差量を決定する実質視差量推定部と、前記所定の焦点位置及び実質視差量に基づいて前記奥行情報を算出する奥行算出部とを有することを特徴とする請求項８に記載の奥行検出装置。
【請求項１０】前記視差用撮像部により取り込まれた各視点における前記画像を縮小した縮小画像を生成する縮小画像生成部と、前記縮小画像生成部に、少なくとも一つの前記視点において得られた前記画像から複数の前記縮小画像を生成させる縮小画像生成制御部とを更に備え、前記視差量検出部は、前記縮小画像生成部により生成された一の視点における複数の縮小画像と、他方の視点における前記縮小画像とに基づいて、前記外界の所定の被写体についての複数の検出視差量を検出し、前記奥行推定部は、前記複数の検出視差量に基づいて、前記奥行情報を検出することを特徴とする請求項１に記載の奥行検出装置。
【請求項１１】前記縮小画像生成部は、前記画像における複数画素の複数組のそれぞれを前記縮小画像の１画素に変換することにより前記縮小画像を生成し、前記縮小画像生成制御部は、前記縮小画像生成部に、前記画像における前記組を切り出す範囲を複数の視点を結ぶ視点方向に異ならせて複数の縮小画像を生成させることを特徴とする請求項１０に記載の奥行検出装置。
【請求項１２】前記奥行推定部は、前記複数の検出視差量と、当該検出視差量を求めるために使用した前記画像における前記組の範囲の位置とに基づいて、実質視差量を決定する実質視差量推定部と、前記実質視差量に基づいて前記奥行情報を算出する奥行算出部とを有することを特徴とする請求項１１に記載の奥行検出装置。
【請求項１３】所望の外界を撮像する撮像装置であって、前記外界の画像を結ぶ結像系と、前記結像系により結ばれた前記画像を撮像する撮像系と、前記撮像系により取り込まれた複数の前記画像に基づいて、前記外界の所定の被写体についての複数の検出視差量を検出する視差量検出部と、前記視差量検出部により検出された前記複数の検出視差量に基づいて、前記所定の被写体についての奥行きを表す奥行情報を推定する奥行推定部と、前記奥行推定部により検出された奥行情報に基づいて、前記結像系又は前記撮像系を制御する制御部とを有することを特徴とする撮像装置。
【請求項１４】前記結像系は、前記外界の画像を結ぶ結像部と、複数の視点から観察される前記外界の画像を結ぶ視差用結像部とを有し、前記撮像系は、前記結像部により結ばれた前記画像を撮像する撮像部と、前記視差用結像部により結ばれた前記画像を取り込む視差用撮像部とを有し、前記視差用検出部は、前記視差用撮像部により取り込まれた複数の前記画像に基づいて、前記外界の所定の被写体についての複数の検出視差量を検出し、前記制御部は、前記奥行推定部により検出された奥行情報に基づいて、前記結像部又は前記撮像部を制御することを特徴とする請求項１３に記載の撮像装置。

【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、複数の視点から観察される外界の画像に基づいて、前記外界の所定の被写体の奥行きを示す奥行情報を検出する奥行検出装置及び撮像装置に関する。
【０００２】
【従来の技術】従来、被測定物体の３次元形状や奥行情報を非接触に測定する方法として、レンズ焦点法、単眼視、ステレオ法、動画像等の受動的な方法や、光レーダ法、アクティブステレオ法、照度差ステレオ法、モアレ法、干渉法等の能動的な方法が知られている。
【０００３】ステレオ法は、三角測量の原理を応用し、被測定物体を異なる位置（視点）から撮影して得られた複数の画像から、被測定物体の形状を測定する方法である。このステレオ法では、まず、被測定物体を異なる位置から撮影して複数の画像を取得する。次いで、１の画像中の所定の点（領域）に対応する他の画像の点（領域）を検出する処理、いわゆる対応点決定（マッチング）処理を行う。この対応点決定処理はステレオ法の最も重要な処理である。この対応点決定処理の方法としては、画像の相関を用いる方法等が提案されている。これらの詳細は、「コンピュータビジョン：技術論評と将来展望、（株）新技術コミュニケーションズ、１９９８、ＩＳＢＮ４－９１５８５１－１７－６」の「第８章ステレオ視」に詳しく記載されている。この文献には、対応点決定処理の方法は、画像の所定の領域を使ってマッチングする「area-based matching」と、画像からエッジ等を検出し、当該エッジの形状を使ってマッチングする「feature-based matching」とに大別されるといった内容が記述されている。
【０００４】次いで、複数の視差画像間での対応する点の位置の差である視差（disparity）量を求め、三角測量の原理、レンズの性質、幾何学の法則等に基づいて、当該視差量を使うことにより所定の被写体までの距離を算出する。ここで、例えば、複数の視点の光軸が交差する場合においては、視点間隔、視点位置から視点の光軸が交差する点（視差光軸交差点）までの距離、視点位置から被写体までの距離、視差量の４つの要素は、簡単な関係式で表せる。視点間隔及び視点位置から視点光軸交差点までの距離は、予め設定することができ、規定の値とすることができる。また、視差量は視差画像から算出することができる。このため、前記関係式により視点位置から被写体までの距離を求めることができる。
【０００５】図１は、上記したステレオ法を実施する従来例に係る奥行検出装置の構成を示す図である。奥行検出装置１００は、レンズ１０２と、シャッター部１０４と、ＣＣＤ（charge coupled device）１０６と、視差画像記憶部１０８と、奥行検出部１１０と、制御部１１２とを有する。レンズ１０２は外界からの光を集める。シャッター部１０４は、視点となる開閉自在な開閉部１０４Ａ、１０４Ｂを有している。シャッター部１０４の開閉部１０４Ａ又は１０４Ｂは制御部１１２の制御によりいずれか一方が開くようになっている。ＣＣＤ１０６は、自己の受光面上に結ばれた複数の視点からの外界の画像を取り込む。
【０００６】視差画像記憶部１０８はＣＣＤ１０６により取り込まれた画像データを記憶する。奥行検出部１１０は、視差画像記憶部１０８に記憶された複数の画像同士の対応点を検出し、当該対応点間の視差量を検出し、対応点に該当する被写体までの距離を検出する。制御部１１２は、各部を制御する。例えば、シャッター部１０４の開閉部１０４Ａ、１０４Ｂの開閉を制御する。
【０００７】奥行検出装置１００において、制御部１１２が一方の開閉部１０４Ａ又は１０４Ｂを開ける。これにより、レンズ１０２及び、開いている一方の開閉部１０４Ａ又は１０４Ｂを介して、外界の像がＣＣＤ１０６に結ばれる。ＣＣＤ１０６は、結ばれた像の画像を取り込んで、視差画像記憶部１０８に記憶する。次いで、制御部１１２が他方の開閉部１０４Ａ又は１０４Ｂのみを開ける。これにより、レンズ１０２及び、開いている開閉部１０４Ａ又は１０４Ｂを介して、外界の像がＣＣＤ１０６に結ばれる。ＣＣＤ１０６は、結ばれた像を取り込んで、視差画像記憶部１０８に記憶する。次いで、奥行検出部１１０がこれら視差画像記憶部１０８に記憶された異なる視点から見た外界の画像に基づいて、画像同士の対応点を検出し、当該対応点間の視差量を検出し、当該対応点の被写体までの距離を検出する。
【０００８】
【発明が解決しようとする課題】ところで、ＣＣＤ１０６で取り込まれたデジタル画像データの最小単位はＣＣＤ１０６の画素により定まる。このため、対応点決定処理により得られる視差量は、一般に１画素を単位とした整数値（１画素、２画素等）となる。この視差量は、離散的なサンプリングによって発生する丸め誤差を含んでいるので、本来の視差量を正確に表していない。このため、当該視差量に基づいて算出される被写体までの距離の値に対して、当該丸め誤差の影響が生じてしまうという問題が生じる。
【０００９】図２は、従来例に係る奥行検出装置により検出される視差量を説明する図である。図２（Ａ）は、各被写体Ａ～Ｄの奥行き位置を示し、図２（Ｂ）は、各被写体Ａ～Ｄの実際の視差量と視点の間隔との関係、及び実際の視差量と奥行検出装置により検出される視差量との関係を示す図である。ここで、図２（Ｂ）は、横軸に視点間隔をとり、縦軸に実際の視差量をとるものとする。図２（Ａ）に示すように、視点から遠い順に、被写体Ａ、Ｂ、Ｃ、Ｄが存在している。また、図２（Ｂ）に示すように、２つの視点から見た際における各被写体Ａ、Ｂ、Ｃ、Ｄについての実際の視差量は、視点に近い被写体ほど大きい。また、視点間隔が大きくなるほど各被写体についての実際の視差量は大きくなる。この奥行検出装置においては、視点間隔の広さと、実際の視差量とは比例関係を有している。
【００１０】ここで、視点間隔がＢＬの場合についての実際の視差量と、検出される視差量について説明する。視点間隔がＢＬの場合には、２つの視点から見た画像に発生する被写体Ａ、Ｂ、Ｃ、Ｄについての実際の視差量は、それぞれ０．３PIXEL、０．７PIXEL、１．３PIXEL、１．６PIXELである。しかしながら、図２（Ｂ）に示すように、デジタル画像データを使用した対応点決定処理によると、被写体Ａについては、視差量０PIXELと検出され、被写体Ｂ、Ｃについては、視差量１PIXELと検出され、被写体Ｄについては、視差量２PIXELと検出される。このため、被写体Ｂ、Ｃまでの距離は、当該視差量１PIXELに基づいて算出され、実際には異なる位置にある被写体が、同じ奥行き位置にあると扱われてしまうという問題が生じる。
【００１１】このような問題を解決する方法、すなわち、奥行を示す奥行情報についての分解能を向上させる方法としては、丸め誤差を無視できる程度にサンプリングを高密度にすることが考えられる。しかしながら、高密度なサンプリングを行うためには、画素が細かい高価な撮像素子や、画像スキャナー等が必要となり、コストが大きくなるという問題が生じる。また、高密度なサンプリングによって得られる画像データの量は膨大になるために、対応点決定処理等の処理時間の増大し、画像データを記憶するために必要な記憶容量が増大するという問題が生じる。また、上記問題を解決する他の方法としては、各視点間隔を広くする方法が考えられる。しかしなから、視点間隔を広くすると、装置のサイズが大きくなり、装置に係るコストが増大するという問題が生じる。
【００１２】そこで、本発明は、上記課題を解決しつつ、外界の所定の被写体の奥行情報の分解能を容易且つ効果的に向上することのできる奥行検出装置及び撮像装置を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【００１３】
【課題を解決するための手段】上記目的を達成するために、本発明の第１の形態に係る奥行検出装置は、複数の視点から観察される外界の画像に基づいて、外界の所定の被写体についての奥行きを表す奥行情報を検出する奥行検出装置であって、視点から観察される外界の画像を結ぶ視差用結像部と、視差用結像部により結ばれた画像を取り込む視差用撮像部と、視差用撮像部により取り込まれた複数の画像に基づいて、外界の所定の被写体についての複数の検出視差量を検出する視差量検出部と、視差量検出部により検出された複数の検出視差量に基づいて、所定の被写体について前記奥行情報を推定する奥行推定部とを有することを特徴とする。
【００１４】視差用撮像部は、少なくとも３つ以上の視点から観察される外界の画像を取り込むようにしてもよい。視差用結像部を移動させて視点を変更する視差用結像部駆動部を更に有するようにしてもよい。視差用結像部は、単一光軸の光学系を有し、視差用結像部を透過した光を通過させる視点となる光通過部の位置を少なくとも３箇所以上有する光通過制御部を備え、視差用撮像部は、各位置の光通過部を介して結ばれる外界の画像を取り込むようにしてもよい。奥行推定部は、複数の検出視差量と、当該検出視差量を求めるために使用した画像における視点の間隔とに基づいて、所定の視点の間隔における実質視差量を決定する実質視差量推定部と、視点の間隔及び実質視差量に基づいて奥行情報を算出する奥行算出部とを有するようにしてもよい。
【００１５】少なくとも一つの視点において視差用結像部の光軸の向きを複数の向きに変更する光軸変更部を更に有し、視差量検出部は、少なくとも一つの視点において、視差用結像部の光軸を複数に向けた場合に得られる複数の画像のそれぞれと、他の視点において観察される画像とに基づいて、外界の所定の被写体について複数の視差量を検出するようにしてもよい。奥行推定部は、複数の検出視差量と、当該検出視差量を求めるために使用した画像における光軸の位置関係とに基づいて、所定の光軸の位置関係における実質視差量を決定する実質視差量推定部と、所定の光軸の位置関係及び実質視差量に基づいて奥行情報を算出する奥行算出部とを有するようにしてもよい。
【００１６】視差用結像部は、単一光軸の光学系を有し、視差用結像部を光軸に平行な方向に移動させる視差用結像部駆動部と、視差用結像部を透過した光を通過させる視点となる光通過部の位置を複数有する光通過制御部とを備え、視差用撮像部は、各位置の光通過部を介して結ばれる外界の画像を取り込み、視差量検出部は、視差用結像部が第１位置である場合における複数の視点から観察される画像に基づいて、外界の所定の被写体についての一の検出視差量を検出し、更に、視差用結像部が第２位置である場合における複数の視点から観察される画像に基づいて、外界の所定の被写体についての他の検出視差量を検出するようにしてもよい。奥行推定部は、複数の検出視差量と、当該検出視差量を求めるために使用した画像における視差用結像部の焦点位置とに基づいて、所定の焦点位置における実質視差量を決定する実質視差量推定部と、所定の焦点位置及び実質視差量に基づいて奥行情報を算出する奥行算出部とを有するようにしてもよい。
【００１７】視差用撮像部により取り込まれた各視点における画像を縮小した縮小画像を生成する縮小画像生成部と、縮小画像生成部に、少なくとも一つの視点において得られた画像から複数の縮小画像を生成させる縮小画像生成制御部とを更に備え、視差量検出部は、縮小画像生成部により生成された一の視点における複数の縮小画像と、他方の視点における縮小画像とに基づいて、外界の所定の被写体についての複数の検出視差量を検出し、奥行推定部は、複数の検出視差量に基づいて、奥行情報を検出するようにしてもよい。
【００１８】縮小画像生成部は、画像における複数画素の複数組をそれぞれ縮小画像の１画素に変換することにより縮小画像を生成し、縮小画像生成制御部は、縮小画像生成部に、画像における組の切り出す範囲を複数の視点を結ぶ視点方向に異ならせて複数の縮小画像を生成させるようにしてもよい。奥行推定部は、複数の検出視差量と、当該検出視差量を求めるために使用した画像における組の範囲の位置とに基づいて、実質視差量を決定する実質視差量推定部と、実質視差量に基づいて奥行情報を算出する奥行算出部とを有するようにしてもよい。
【００１９】上記目的を達成するために、本発明の第１の形態に係る撮像装置は、所望の外界を撮像する撮像装置であって、外界の画像を結ぶ結像系と、結像系により結ばれた画像を撮像する撮像系と、撮像系により取り込まれた複数の画像に基づいて、外界の所定の被写体についての複数の検出視差量を検出する視差量検出部と、視差量検出部により検出された複数の検出視差量に基づいて、所定の被写体についての奥行きを表す奥行情報を推定する奥行推定部と、奥行推定部により検出された奥行情報に基づいて、結像系又は撮像系を制御する制御部とを有することを特徴とする。
【００２０】結像系は、外界の画像を結ぶ結像部と、複数の視点から観察される外界の画像を結ぶ視差用結像部とを有し、撮像系は、結像部により結ばれた画像を撮像する撮像部と、視差用結像部により結ばれた画像を取り込む視差用撮像部とを有し、視差用検出部は、視差用撮像部により取り込まれた複数の画像に基づいて、外界の所定の被写体についての複数の検出視差量を検出し、制御部は、奥行推定部により検出された奥行情報に基づいて、結像部又は撮像部を制御するようにしてもよい。なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。
【００２１】
【発明の実施の形態】以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。図３は、本発明の第１の実施形態に係る奥行検出装置を有する撮像装置１０の一例としてのデジタルカメラの構成を示す。ここで、デジタルカメラには、画像を一枚毎に取り込むカメラだけでなく、画像を連続して取り込むビデオカメラ等が含まれる。撮像装置１０は、奥行検出装置１２と、結像部２４と、撮像部２６と、記憶部２８と、制御部３０とを有する。奥行検出装置１２は、視差用結像部１４と、光通過制御部の一例としてのシャッター部４０及び視差用制御部４２と、視差用撮像部１６と、視差画像記憶部１７と、視差量検出部１８と、奥行推定部の一例としての実質視差量推定部１９及び奥行算出部２０と、奥行記憶部２２とを有する。ここで、本実施形態では、特許請求の範囲にいう結像系は、結像部２４及び視差用結像部１４によって構成され、撮像系は、撮像部２６及び視差用撮像部１６によって構成される。
【００２２】結像部２４は、例えば、単数或いは複数のレンズを有しており、外界からの光を集めることにより、撮像部２６の受光面上に外界の被写体の画像を結ぶ。本実施形態では、撮像部２６は、光電変換素子の一例としてのＣＣＤ（Charge Coupled Device）であり、受光面上に結ばれた画像を画像データに変換して取り込む。記憶部２８は、撮像部２６によって変換された画像データを記憶する。
【００２３】視差用結像部１４は、外界の画像を視差用撮像部１６の受光面上に結ぶ。シャッター部４０は、視点となる光通過部の一例としての複数の開閉自在な開閉部４０Ａ、４０Ｂ、４０Ｃ、４０Ｄ、４０Ｅを有している。シャッター部４０は視差用結像部１４の瞳面、或いはその近傍に配置されることが好ましい。本実施の形態では、最も外側に位置する開閉部４０Ａ及び開閉部４０Ｅの視点を結ぶ視差方向の間隔（視点間隔）は、ＢＬであり、その他の開閉部４０Ｂ、４０Ｃ及び４０Ｄは、開閉部４０Ａ及び開閉部４０Ｅの間に等間隔に設けられている。視差用撮像部１６は、シャッター部４０の開いている開閉部４０Ａ、４０Ｂ、４０Ｃ、４０Ｄ又は４０Ｅを介して結ばれた外界の画像を画像データに変換する。視差用制御部４２は、シャッター部４０の開閉部４０Ａ～４０Ｅのいずれか一つを順次開けて、各開閉部４０Ａ～４０Ｅを介して結ばれる外界の各画像を視差用撮像部１６に画像データに変換させる。視差画像記憶部１７は、視差用撮像部１６により変換された画像データを記憶する。
【００２４】視差量検出部１８は、視差画像記憶部１７に記憶された複数の画像に基づいて、外界の所定の被写体について対応点決定処理を行うことにより、複数の視点間隔における複数の視差量（検出視差量）を検出する。ここで、対応点決定処理は、従来より知られている技術であるので説明を省略する。
【００２５】本実施形態では、視差量検出部１８は、開閉部４０Ａ及び開閉部４０Ｅのそれぞれを介して結ばれた２つの画像を使って、視点間隔がＢＬの場合における外界の所定の被写体についての検出視差量を検出する。また、視差量検出部１８は、開閉部４０Ａ及び開閉部４０Ｄのそれぞれを介して結ばれた２つの画像を使って、視点間隔が３／４×ＢＬの場合における外界の所定の被写体についての検出視差量を検出する。また、視差量検出部１８は、開閉部４０Ａ及び開閉部４０Ｃのそれぞれを介して結ばれた２つの画像を使って、視点間隔が１／２×ＢＬの場合における外界の所定の被写体についての検出視差量を検出する。また、視差量検出部１８は、開閉部４０Ａ及び開閉部４０Ｂのそれぞれを介して結ばれた２つの画像を使って、視点間隔が１／４×ＢＬの場合における外界の所定の被写体についての検出視差量を検出する。
【００２６】実質視差量推定部１９は、複数の視点間隔における検出視差量に基づいて、所定の視点間隔における実質の視差量（実質視差量）を推定する。本実施形態においては、実質視差量推定部１９は、視点間隔と検出視差量とをそれぞれ軸とする座標系において、視差量検出部１８が検出した複数の視点間隔及び検出視差量の各点に基づいて、関数を推定し、当該関数に基づいて所定の視点間隔における実質視差量を推定する。ここで、本実施形態の撮像装置では、視点間隔と同一の被写体についての実際の視差量とが比例関係にあることに着目して、原点を通る直線の関数を推定する。ここで、例えば、最小２乗法により、すなわち、視点間隔及び検出視差量の各点での、関数に相当する線からの偏差の2乗の和を最小にする関数を検出することにより、関数を推定することが好ましい。
【００２７】図４は、本発明の第１の実施形態に係る実質視差量推定部の処理を説明する図である。図４は、横軸に視点間隔をとり、縦軸に視差量をとるものとし、図中小さい丸印は、実際の視差量を示し、大きい丸印は、検出視差量を示す。図４に示すように、外界の所定の被写体についての検出視差量は、整数PIXELとなる。図４中では、視点間隔がＢＬ、３／４×ＢＬ、及び１／２×ＢＬの時のそれぞれの検出視差量は１PIXELであり、視点間隔が１／４×ＢＬの時の検出視差量は０PIXELである。実質視差量推定部１９は、このような視点間隔及び検出視差量で示される各点に基づいて、図４に示す直線βを推定する。直線βは、視点間隔及び実際の視差量の関係を示す直線αに近い直線となる。したがって、当該関数βを使うと、実際の視差量に近似する、整数以下の単位を有する実質視差量を検出することができる。
【００２８】奥行算出部２０は、実質視差量推定部１９により算出された実質視差量及びその際の視点間隔に基づいて、外界の所定の被写体の奥行きを表す奥行情報を検出する。上記した実際の視差量に近似する、整数以下の単位を有する実質視差量に基づいて奥行情報を検出するので、奥行情報の分解能を向上することができる。実質視差量及びその際の視点間隔に基づいて、奥行情報を検出する方法は、例えば、従来より知られている三角測量の原理、レンズの性質、幾何学の法則等に基づいて表すことができるので、ここでは、説明を省略する。
【００２９】奥行記憶部２２は、奥行算出部２０により検出された被写体の奥行情報を記憶する。制御部３０は、奥行記憶部２２に記憶されている所定の被写体の奥行情報に基づいて、結像部２４のフォーカスや、撮像部２６による撮像動作のタイミングやスピード等を制御する。ここで、記憶部２８、視差画像記憶部１８、及び奥行記憶部２２は、それぞれ、撮像装置１０内に常設されているＲＡＭ（Random Access Memory）、フラッシュメモリであってもよく、また、撮像装置１０に対して着脱可能な、例えば、フロッピーディスク、ＭＤ（Mini Disk）、スマートメディア（商標）等の記録媒体であってもよい。
【００３０】次に、撮像装置１０の動作を説明する。撮像装置１０において、視差用制御部４２がシャッター部４０の開閉部４０Ａのみを開放する。これにより、開閉部４０Ａを介して、外界の画像が視差用撮像部１６の受光面上に結ばれる。視差用撮像部１６は、結ばれた外界の画像を画像データに変換して視差画像記憶部１７に格納する。同様にして、視差用制御部４２がシャッター部４０の開閉部４０Ｂ、４０Ｃ、４０Ｄ、及び４０Ｅのいずれか一つを順次開放し、視差用撮像部１６が開閉部４０Ｂ、４０Ｃ、４０Ｄ、又は４０Ｅを介して結ばれる外界の画像を画像データに変換して視差画像記憶部１７に格納する。
【００３１】次いで、視差量検出部１８は、視差画像記憶部１７に記憶された複数の画像に基づいて、外界の所定の被写体について対応点決定処理を行うことにより、複数の視点間隔における複数の検出視差量を検出する。次いで、実質視差量推定部１９が、複数の視点間隔における検出視差量に基づいて、所定の視点間隔における実質視差量を推定し、奥行算出部２０が当該実質視差量及びその際の視点間隔に基づいて、外界の所定の被写体の奥行きを表す奥行情報を検出する。そして、奥行検出部２２が検出された被写体についての奥行情報を記憶する。
【００３２】次いで、制御部３０が奥行記憶部２２に記憶されている被写体の奥行情報に基づいて、結像部２４及び撮像部２６を制御する。これにより、結像部２４が外界からの光を集め、撮像部６の受光面上に外界の被写体の画像を結ぶ。そして、撮像部２６が自己の受光面上に結ばれた画像を画像データに変換し、記憶部２８が撮像部２６によって変換された画像データを記憶する。
【００３３】このとき、記憶部２８は、自己が記憶する画像データと、当該画像データを取り込むに際して、視差用撮像部１６により取り込まれて視差画像記憶部１８に記憶された複数の視点からの画像と、当該複数の視点からの画像により算出されて奥行記憶部２２に記憶されている被写体の奥行情報とを対応付ける対応付け情報も記憶する。これにより、後に、画像データと、当該画像データに関する複数の視点からの画像と、当該画像データに含まれている被写体の奥行情報とを対応付けて利用することができる。上記したように、外界の所定の被写体の奥行情報の分解能を高めることができ、更に、このように分解能が高められた奥行情報に基づいて結像部２４及び撮像部２６を制御するので、画像を高精度に取り込むことができる。
【００３４】次に、本発明の第２の実施形態に係る奥行検出装置を有する撮像装置について説明する。本実施形態に係る撮像装置の構成は、図３に示す第１の実施形態に係る撮像装置と奥行検出装置１２の構成のみ異なるので、ここでは、奥行検出装置１２について説明することとし、他の構成については説明を省略する。
【００３５】図５は、本発明の第２の実施形態に係る奥行検出装置の構成を示す図である。ここで、図３に示す第１の実施形態に係る奥行検出装置と同一機能を有する構成については同一符号を付すこととする。本実施形態に係る奥行検出装置１２は、第１の実施形態に係る奥行検出装置において、シャッター部４０及び視差用制御部４２を備えず、駆動部１５を更に備える。駆動部１５は、視差用結像部１４及び視差用撮像部１６を移動させる。本実施形態では、駆動部１５は、視差用結像部１４及び視差用撮像部１６を視差用結像部１４の光軸を平行に維持したまま、当該光軸に垂直な方向の３カ所以上の位置に移動させる。
【００３６】次に、本撮像装置の動作を説明する。撮像装置において、駆動部１５が視差用結像部１４及び視差用撮像部１６を所定の視点位置に維持させる。これにより、当該視点位置において視差用結像部１４を介して外界の画像が視差用撮像部１６の受光面上に結ばれる。この時、視差用撮像部１６は受光面上に結ばれた画像を画像データに変換し、視差画像記憶部１７が画像データを記憶する。次いで、駆動部１５が視差用結像部１４及び視差用撮像部１６を他の視点位置に移動させ、当該視点位置において、視差用撮像部１６が受光面上に結ばれた画像を画像データに変換し、視差画像記憶部１７が画像データを記憶する。同様にして、更に他の視点位置においても、視差用撮像部１６が当該視点位置において受光面上に結ばれる画像を画像データに変換し、視差画像記憶部１７が画像データを記憶する。
【００３７】次いで、視差量検出部１８が、視差画像記憶部１７に記憶された複数の画像に基づいて、外界の所定の被写体について対応点決定処理を行うことにより、複数の視点間隔における複数の検出視差量を検出する。次いで、実質視差量推定部１９が、複数の視点間隔における検出視差量に基づいて、所定の視点間隔における実質視差量を推定する。これによって、整数以下の単位を有する高精度な実質視差量を検出することができる。次いで、奥行算出部２０が当該実質視差量及びその際の視点間隔に基づいて、外界の所定の被写体の奥行きを表す奥行情報を検出する。そして、奥行記憶部２２が検出された被写体についての奥行情報を記憶する。このように、本奥行検出装置では、整数以下の単位を有する高精度な実質視差量を検出することができ、さらに、当該実質視差量に基づいて奥行情報を検出するので、奥行情報の分解能を向上することができる。
【００３８】次に、本発明の第３の実施形態に係る奥行検出装置を有する撮像装置について説明する。本実施形態に係る撮像装置の構成は、図３に示す第１の実施形態に係る撮像装置と奥行検出装置１２の構成のみ異なるので、ここでは、奥行検出装置１２について説明することとし、他の構成については説明を省略する。
【００３９】図６は、本発明の第３の実施形態に係る奥行検出装置の構成を示す図である。ここで、図３に示す第１の実施形態に係る奥行検出装置と同一機能を有する構成については同一符号を付すこととする。本実施形態に係る奥行検出装置１２は、複数の視差用結像部１４及び視差用撮像部１６の組と、視差画像記憶部１７と、視差量検出部５５と、実質視差量推定部５６と、奥行算出部５７と、奥行記憶部２２と、駆動部５８とを有する。一の視差用結像部１４と、他の視差用結像部１４とは、各光軸が交差するようになっている。駆動部５８は、一の視差用結像部１４及び視差用撮像部１６の組を当該視差用結像部１４の主点位置を中心に回転させる。これにより、複数の視差用結像部１４の光軸が交差する位置（視点光軸交差点）が変わる。
【００４０】視差量検出部５５は、視差画像記憶部１７に記憶されている複数の画像中の異なる視点を介して取り込まれた複数の画像に基づいて、外界の所定の被写体についての複数の検出視差量を検出する。ここで、複数の画像から外界の所定の被写体についての検出視差量を検出する処理は、対応点決定処理として従来より知られているので説明を省略する。本実施形態では、視差量検出部５５は、一の視差用結像部１４の光軸を複数に変更させて得られた複数の画像のそれぞれと、他の視差用結像部１４の光軸を所定の向きにして得られた画像とに基づいて複数の検出視差量を検出する。
【００４１】図７は、本発明の第３の実施形態に係る視点交差位置の距離と実際の視差量との関係を示す図である。ここで、視点交差位置の距離は、複数の視差用結像部１４の主点を含む平面（基準面）から距離である。また、視点交差位置より奥行検出装置１２側に位置する被写体に発生する視差の方向をプラス方向とする。また、図７に示す被写体Ａ～Ｄは、図６に示すように、奥行検出装置１２から遠い方から順に被写体Ａ、Ｂ、Ｃ、Ｄが並んでいるものとし、被写体Ａは、複数の基準面から距離Ａの位置にあり、被写体Ｂは基準面から距離Ｂにあるものとする。
【００４２】図７に示すように、各被写体の像に発生する視差量は、基準面から遠いほど小さい、すなわち、被写体Ｄ、Ｃ、Ｂ、Ａの順に視差量が小さくなる。また、各被写体の像に発生する視差量は、視点交差位置の距離が長くなるほど大きくなる。また、被写体が視点交差位置を含む基準面に平行な面内にあるときに被写体の像に発生する視差量は０となる。すなわち、視点交差位置の距離が距離Ｂの時には、被写体Ｂの像に発生する視差量は０となり、視点交差位置の距離が距離Ａの時には、被写体Ａの像に発生する視差量は０となる。
【００４３】実質視差量推定部５６は、視差量検出部５５により検出された複数の検出視差量に基づいて、複数の視差用結像部１４の光軸交差点が所定の位置にある場合における所定の被写体の実質視差量を推定する。本実施形態では、実質視差量推定部５６は、検出視差量と、当該検出視差量を求めた画像を得た場合における視点交差位置の距離とをそれぞれ軸とする座標系において、検出視差量と視点交差位置の距離とで示される各点に基づいて関数を推定し、当該関数に基づいて所定の視点交差位置の距離における実質視差量を推定する。ここで、例えば、最小２乗法により、すなわち、視点交差位置の距離及び検出視差量の各点での、偏差の2乗の和を最小にする関数を検出することにより、関数を推定することが好ましい。このように関数を推定するので、実際の視差量により近似する、整数以下の単位を有する実質視差量を検出できる。
【００４４】図８は、本発明の第３の実施形態に係る実質視差量推定部の処理を説明する図である。図８は、横軸に視点交差位置の距離をとり、縦軸に視差量をとるものとする。図８中の×印は、各視点交差位置における視点交差位置の距離及び検出視差量を示す。図８に示すように、外界の所定の被写体についての検出視差量は、整数PIXELとなる。例えば、視線光軸交差点の距離を短くしていくと、検出視差量は、２PIXEL、１PIXEL、０PIXEL、－１PIXEL、－２PIXELのように変化する。実質視差量推定部１９は、図８の検出視差量及び視点交差位置距離で示される各点に基づいて、検出視差量と視点交差位置距離との関数を推定する。このようにして求められる関数は、図８に示すように、実際の視差量と視点交差位置距離との関数に近似したものとなる。したがって、当該関数によると、実際の視差量に近似する、整数以下の単位を有する実質視差量を検出することができる。
【００４５】奥行算出部５７は、実質視差量推定部５６により算出された実質視差量及びその際の視差交差位置の距離に基づいて、外界の所定の被写体の奥行きを表す奥行情報を検出する。このように、上記した整数以下の単位を有する実質視差量に基づいて奥行情報を検出するので、奥行情報の分解能を向上することができる。実質視差量及び視差交差位置の距離に基づいて、奥行情報を検出する処理は、例えば、従来より知られている三角測量の原理、レンズの性質、幾何学の法則等に基づいて表すことができるので、ここでは、説明を省略する。
【００４６】次に、本撮像装置の動作を説明する。撮像装置において、駆動部５８が一方の視差用結像部１４及び視差用撮像部１６の組を視差用結像部１４の光軸が所定の方向に向くように維持させる。次いで、視差用撮像部１６は受光面上に結ばれた画像を画像データに変換し、視差画像記憶部１７が画像データを記憶する。また、他方の視差用結像部１４を介して結ばれた外界の画像を視差用撮像部１６が画像データに変換し、視差画像記憶部１７が画像データを記憶する。次いで、駆動部５８が視差用結像部１４及び視差用撮像部１６の組を視差用結像部１４の光軸が他の方向に向くように回転させる。次いで、視差用撮像部１６は受光面上に結ばれた画像を画像データに変換し、視差画像記憶部１７が画像データを記憶する。このようにして、駆動部５８は、一方の視差用結像部１４及び視差用撮像部１６の組を視差用結像部１４の光軸を複数の異なる方向に向け、それぞれの場合において、視差用撮像部１６が受光面上に結ばれた画像を画像データに変換し、視差画像記憶部１７が画像データを記憶する。
【００４７】次いで、視差量検出部５５が、視差画像記憶部１７に記憶された、一の視差用結像部１４の光軸を複数に変更させて得られた複数の画像のそれぞれと、他の視差用結像部１４の光軸を所定の向きにして得られた画像とに基づいて、複数の視点交差位置におけるそれぞれの検出視差量を検出する。次いで、実質視差量推定部５６が、複数の視点交差位置における検出視差量に基づいて、所定の視点交差位置における実質視差量を推定する。これによって、整数以下の単位を有する高精度な実質視差量を検出することができる。次いで、奥行算出部５７が当該実質視差量及び視点交差位置の距離に基づいて、外界の所定の被写体の奥行きを表す奥行情報を検出する。そして、奥行記憶部２２が検出された被写体についての奥行情報を記憶する。このように、本奥行検出装置では、整数以下の単位を有する高精度な実質視差量を検出することができ、さらに、当該実質視差量に基づいて奥行情報を検出するので、奥行情報の分解能を向上することができる。
【００４８】次に、本発明の第４の実施形態に係る奥行検出装置を有する撮像装置について説明する。本実施形態に係る撮像装置の構成は、図３に示す第１の実施形態に係る撮像装置と奥行検出装置１２の構成のみ異なるので、ここでは、奥行検出装置１２について説明することとし、他の構成については説明を省略する。図９は、本発明の第４の実施形態に係る奥行検出装置の構成を示す図である。ここで、図３に示す第１の実施形態に係る奥行検出装置と同一機能を有する構成については同一符号を付すこととする。また、図に示すように、視点を結ぶ方向にＺ軸を取るものとする。本実施形態に係る奥行検出装置は、視差用結像部１４と、シャッター部５０と、視差用撮像部１６と、視差画像記憶部１７と、視差量検出部５９と、実質視差量推定部６０と、奥行算出部６１と、奥行記憶部２２と、視差用制御部６２とを有する。
【００４９】視差用制御部６２は、視差用結像部１４の位置を当該視差用結像部１４の光軸に平行な方向に移動させる。本実施形態では、視差用制御部６２は視差用結像部１４を例えば、４つの異なる位置に移動させる。これにより、視差用結像部１４による合焦点面の位置が変わる。例えば、視差用結像部１４をシャッター部５０に近づけることにより合焦点面を遠くに移動させることができ、逆に視差用結像部１４をシャッター部５０から遠ざけることにより合焦点面を近くに移動させることができる。
【００５０】また、視差用制御部６２は、シャッター部５０の開閉部５０Ａ又は５０Ｂのいずれか一方のみを開いた状態にする。ここで、視差用結像部１４を移動させると、視差用撮像部１６に結ばれる画像の大きさが変化するので、画像の大きさを補正することが好ましい。画像の大きさは、例えば、ズームレンズを使って光学的に補正するようにしてもよく、また取り込まれた画像データに画像処理を行うことにより補正するようにしてもよい。
【００５１】視差量検出部５９は、視差画像記憶部１７に記憶されている複数の画像中の異なる視点を介して取り込まれた複数の画像に基づいて、外界の所定の被写体についての複数の検出視差量を検出する。ここで、複数の画像から外界の所定の被写体についての検出視差量を検出する処理は、対応点決定処理として従来より知られているので説明を省略する。本実施形態では、視差量検出部５９は、視差用結像部１４を所定の位置においた場合に複数の視点を介して取り込まれた複数の画像に基づいて検出視差量を検出し、視差用結像部１４をおいたそれぞれの位置について検出視差量を検出する。
【００５２】図１０は、本発明の第４の実施形態に係る視差用撮像部１６に結ばれる被写体の像を説明する図である。ここで、図１０においては、図９に示すＺ軸と同一のＺ軸を取るものとする。また、図１０に示す被写体Ａ～Ｃは、図９に示すように、奥行検出装置１２から遠い方から順に被写体Ｃ、Ｂ、Ａが並んでいるものとし、被写体Ｃは合焦点面β上にあり、被写体Ｂは合焦点面α上にあるものとする。図１０（Ａ）は、合焦点面αにした場合における各被写体の視差量を示し、開閉部５０Ａを介して結ばれた被写体の像を波線で示し、開閉部５０Ｂを介して結ばれた被写体の像を実線で示す。図１０（Ｂ）は、合焦点面βにした場合における各被写体の視差量を示し、開閉部５０Ａを介して結ばれた被写体の像を波線で示し、開閉部５０Ｂを介して結ばれた被写体の像を実線で示す。
【００５３】図１０（Ａ）に示すように、合焦点面αにある被写体Ｂの像は、開閉部５０Ａのみが開いた状態から開閉部５０Ｂのみが開いた状態になった場合でも移動しない。また、合焦点面αより視差用結像部１４から近い被写体Ａの像は、開閉部５０Ａのみが開いた状態から開閉部５０Ｂのみが開いた状態になった場合には、Ｚ軸のマイナスの方向に移動する。また、合焦点面αより視差用結像部１４から遠い被写体Ｂの像は、開閉部５０Ａのみが開いた状態から開閉部５０Ｂのみが開いた状態になった場合には、Ｚ軸のプラスの方向に移動する。
【００５４】図１０（Ｂ）に示すように、合焦点面βにある被写体Ｃの像は、開閉部５０Ａのみが開いた状態から開閉部Ｂのみが開いた状態になった場合でも移動しない。また、合焦点面βより視差用結像部１４から近い被写体Ａ、Ｂの像は、開閉部Ａのみが開いた状態から開閉部Ｂのみが開いた状態になった場合には、Ｚ軸のマイナスの方向に移動し、視差用結像部１４に近い被写体ほど移動量が大きい。
【００５５】実質視差量推定部６０は、視差用結像部１４による合焦点面の距離が複数の場合における複数の検出視差量に基づいて、所定の合焦点面の距離における実質視差量を推定する。また、本実施形態においては、実質視差量推定部４４は、合焦点面の距離と検出視差量とをそれぞれ軸とする座標系において、視差量検出部５９が検出した複数の合焦点面の距離における複数の検出視差量を示す各点に基づいて、関数を推定し、当該関数に基づいて所定の合焦点面の距離における実質視差量を推定する。このように関数を推定するので、実際の視差量により近似する、整数以下の単位を有する実質視差量を検出できる。
【００５６】奥行算出部６１は、実質視差量推定部６０により算出された実質視差量及び合焦点面の距離に基づいて、外界の所定の被写体の奥行きを表す奥行情報を検出する。このように、上記した整数以下の単位を有する実質視差量に基づいて奥行情報を検出するので、奥行情報の分解能を向上することができる。実質視差量及び合焦点面の距離に基づいて、奥行情報を検出する処理は、例えば、従来より知られている三角測量の原理、レンズの性質、幾何学の法則等に基づいて表すことができるので、ここでは、説明を省略する。
【００５７】次に、本撮像装置の動作を説明する。撮像装置において、視差用制御部６２が視差用結像部１４の位置を第１の位置に維持すると共に、シャッター部５０の開閉部５０Ａのみを開けた状態にする。そして、視差用撮像部１６が、開閉部５０Ａを介して受光面上に結ばれる外界の画像を画像データに変換し、視差画像記憶部１７が変換された当該画像データを記憶する。次いで、制御部６２がシャッター部５０の開閉部５０Ｂのみを開けた状態にする。そして、視差用撮像部１６が開閉部５０Ｂを介して受光面上に結ばれる外界の画像を画像データに変換し、視差画像記憶部１７が変換された当該画像データを記憶する。
【００５８】次いで、視差用制御部６２が視差用結像部５４の位置を第２の位置に移動させ、上記同様に開閉部５０Ａ、開閉部５０Ｂのそれぞれを介して結ばれる画像を画像データとして視差画像記憶部１７に記憶する。更に、視差用結像部５４を第３の位置、第４の位置に移動させて上記同様な動作を行う。
【００５９】次いで、視差用結像部５４が第１乃至第４の位置のそれぞれの場合における開閉部５０Ａ及び開閉部５０Ｂを介して取り込まれた画像データに基づいて、視差量検出部５９が複数の合焦点面の距離である場合における外界の所定の被写体についての検出視差量を検出する。次いで、実質視差量推定部６０が、視差用結像部１４が各合焦点面の距離である場合における複数の検出視差量に基づいて、所定の合焦点面の距離における実質視差量を推定する。次いで、奥行算出部６１が、実質視差量推定部６０により算出された実質視差量及び合焦点面の距離に基づいて、外界の所定の被写体の奥行きを表す奥行情報を検出する。そして、奥行記憶部２２が検出された被写体についての奥行情報を記憶する。このように、本奥行検出装置では、整数以下の単位を有する高精度な実質視差量を検出することができる。また、当該実質視差量に基づいて奥行情報を検出するので、奥行情報の分解能を向上することができる。
【００６０】次に、本発明の第５の実施形態に係る奥行検出装置を有する撮像装置について説明する。本実施形態に係る撮像装置の構成は、図３に示す第１の実施形態に係る撮像装置と奥行検出装置１２の構成のみ異なるので、ここでは、奥行検出装置１２について説明することとし、他の構成については説明を省略する。図１１は、本発明の第５の実施形態に係る奥行検出装置の構成を示す図である。ここで、図３に示す第１の実施形態に係る奥行検出装置と同一機能を有する構成については同一符号を付すこととする。また、図に示すように、視点となる開閉部５０Ａ及び５０Ｂを結ぶ方向にＺ軸を取るものとする。本実施形態に係る奥行検出装置１２は、視差用結像部１４と、シャッター部５０と、視差用撮像部１６と、縮小画像生成部６６と、視差画像記憶部１７と、視差量検出部６８と、実質視差量推定部７０と、奥行算出部７２と、奥行記憶部２２と、視差用制御部６５とを有する。
【００６１】視差用制御部６５は、シャッター部５０の開閉部５０Ａ、５０Ｂの一方のみを開けた状態にして、視差用撮像部１６に外界の画像を画像データに変換させる。縮小画像生成部６６は、視差用撮像部１６により変換された各視点からの画像データから縮小画像を生成する。このように、縮小画像を生成することで、処理に使用するデータ量を削減することができる。本実施形態では、画像データの５×５画素の矩形の複数の組のそれぞれを１画素に変換することにより縮小画像を生成する。
【００６２】図１２は、本発明の第５の実施形態に係る縮小画像生成部による縮小画像の生成方法の一例を示す図である。図１２（Ａ）は、開閉部５０Ａを介して得られた画像を示し、図１２（Ｄ）は、開閉部５０Ｂを介して得られた画像を示している。縮小画像生成部６６は、図１２（Ａ）における所定のサンプル領域に属する複数の画素について、図１２（Ｂ）に示すように５×５画素の矩形の組に切り分ける。ここで、図中の小さい矩形が元の画像の１画素を示している。次いで、各組について縮小処理を行って図１２（Ｃ）に示すように、各組をそれぞれ１つの縮小画像の画素にする。縮小処理としては、例えば、５×５画素の各画素の画素データを加算して縮小画像の１画素の画素データにする、或いは、加算した後平均を取って縮小画像の１画素の画素データにする等がある。ここで、本説明においては、説明を簡略化するために、画像の１画素は白又は黒（斜線）であり、縮小処理においては、組の中の半数以上を占める色が当該縮小画像の画素の色になるものとする。図１２（Ｂ）に示す画像は、図１２（Ｃ）に示すように、縮小画像では左から１、２番目の画素が白画素となり、３～５番目の画素が黒画素となる。
【００６３】また、縮小画像生成部６６は、図１２（Ｄ）における上記サンプル領域に属する複数の画素について、図１２（Ｅ）に示すように５×５画素の矩形の組に切り出す。次いで、各組について縮小処理を行って図１２（Ｆ）に示すように、各組をそれぞれ１つの画素にする。これにより、図１２（Ｅ）に示す画像は、図１２（Ｆ）に示すように、縮小画像では左から１～３番目の画素が白画素となり、４、５番目の画素が黒画素となる。
【００６４】また、縮小画像生成部６６は、すくなくとも一の視点から得られた画像データに基づいて複数の縮小画像を生成する。本実施形態では、縮小画像生成部６６は、複数の画素の組を切り出す範囲を視点を結ぶ方向に異ならせることにより複数の縮小画像を生成する。具体的には、例えば、縮小画像生成部６６は、開閉部５０Ａを介して取り込まれた画像における複数の画素について、図１２（Ｅ）に示す矩形の組の切り出し範囲の位置を視差方向であるＺ軸方向に、－２画素、－１画素、＋１画素、＋２画素ずつずらして複数の縮小画像を生成する。
【００６５】図１３は、本発明の第５の実施形態に係る縮小画像生成部により生成される縮小画像の一例を示す図である。図１３（Ｃ）は、図１２（Ｅ）に示す切り出し範囲の位置（基準切り出し位置：位置Ｃ）における縮小画像を示す。図１３（Ａ）に示すように、基準切り出し位置から－２画素ずらした位置（位置Ａ）の範囲を組とした場合には、縮小画像の左から１～３番目の画素が白画素であり、４、５番目の画素が黒画素である縮小画像が生成される。図１３（Ｂ）に示すように、基準切り出し位置から－１画素ずらした位置（位置Ｂ）の範囲を組とした場合には、縮小画像の左から１～３番目の画素が白画素であり、４、５番目の画素が黒画素である縮小画像が生成される。
【００６６】図１３（Ｄ）に示すように、基準切り出し位置から＋１画素ずらした位置（位置Ｄ）の範囲を組とした場合には、縮小画像の左から１、２番目の画素が白画素であり、３～５番目の画素が黒画素である縮小画像が生成される。図１３（Ｅ）は、に示すように、基準切り出し位置から＋１画素ずらした位置（位置Ｅ）の範囲を組とした場合には、縮小画像の左から１、２番目の画素が白画素であり、３～５番目の画素が黒画素である縮小画像が生成される。
【００６７】視差量検出部６８は、縮小画像記憶部６６に記憶された、開閉部５０Ａを介して取り込まれた画像データから生成された複数の縮小画像のそれぞれと、開閉部５０Ｂを介して取り込まれた画像データから生成された縮小画像とに基づいて、外界の所定の被写体についての複数の検出視差量を検出する。本実施形態での具体的な例を示すと、視差量検出部６８は、図１２（Ｃ）に示す一の視点における縮小画像中の所定の被写体を示す特徴点位置（本実施形態では、白画像と黒画像との境とする。）を検出する。この例では、特徴点位置は、左から２番目と３番目の画素の間であると検出される。
【００６８】次いで、図１３（Ａ）～（Ｅ）に示す他の視点における縮小画像中の特徴点位置を検出し、前記位置の視点における特徴点位置との視差量を検出する。図１３（Ａ）に示す縮小画像では、特徴点位置は左から３番目と４番目の画素の間であると検出され、視差量は１pixelと検出される。図１３（Ｂ）に示す縮小画像では、特徴点位置は左から３番目と４番目の画素の間であると検出され、視差量は１pixelと検出される。図１３（Ｃ）に示す縮小画像では、特徴点位置は左から３番目と４番目の画素の間であると検出され、視差量は１pixelと検出される。図１３（Ｄ）に示す縮小画像では、特徴点位置は左から２番目と３番目の画素の間であると検出され、視差量は０pixelと検出される。図１３（Ｅ）に示す縮小画像では、特徴点位置は左から２番目と３番目の画素の間であると検出され、視差量は０pixelと検出される。
【００６９】実質視差量推定部７０は、複数の縮小画像についての複数の検出視差量に基づいて、所定の切り出し範囲の位置における実質視差量を推定する。本実施形態では、実質視差量推定部７０は、各位置の範囲の組における検出視差量を平均して、実質視差量を検出する。上記した例では、実質視差量を（１＋１＋１＋０＋０）／５＝０．６Pixelと検出する。
【００７０】図１４は、本発明の第５の実施形態に係る実質視差量推定部の処理を説明する図である。図１４では、切り出し位置Ｃの範囲の組における視差量０を基準として、他の位置Ａ、Ｂ、Ｄ、Ｅの範囲の組における視差量を並べた図である。図１４において、白丸は、真の視差量を示し、黒丸は観測（検出）される検出視差量を示す。実質視差量推定部７０により、各位置の範囲の組における検出視差量を平均して検出された実質視差量は、図１４の横線に示す実質視差量を検出したことと同じことを意味している。
【００７１】すなわち、図１４に示すように、各位置における視差量を位置Ｃを基準にした視差量とした後に、合計した値と各位置における視差量を合計した値は一致する。これは、各位置における検出視差量を位置Ｃを基準に補正する場合においては、位置Ａと位置Ｅについての位置Ｃからのずれ量は相殺され、位置Ｂと位置Ｅについての位置Ｃからのずれ量は相殺されるからである。ここで、図１２（Ｂ）に示す画像と、図１２（Ｅ）に示す画像との間で視差量を検出したとすると、図１２からわかるように３pixelと検出される。一方、実質視差量推定部７０によると縮小画像の０．６pixel、つまり、通常の画像の３pixelと検出される。このように、実質視差量推定部７０によると、細かい画素の画像により得られる視差量を、少ない処理量で得ることができる。
【００７２】奥行算出部７２は、実質視差量推定部７０により算出された実質視差量に基づいて、外界の所定の被写体の奥行きを表す奥行情報を検出する。このように、上記した整数以下の単位を有する実質視差量に基づいて奥行情報を検出するので、奥行情報の分解能を向上することができる。実質視差量に基づいて、奥行情報を検出する処理は、例えば、従来より知られている三角測量の原理、レンズの性質、幾何学の法則等に基づいて表すことができるので、ここでは、説明を省略する。
【００７３】次に、撮像装置１０の動作を説明する。本撮像装置において、視差用制御部６５がシャッター部５０の開閉部５０Ａのみを開放して、視差用撮像部１６に開閉部５０Ａを介して結ばれた外界の画像を画像データに変換させる。次いで、縮小画像生成部６６が前記画像データから複数の縮小画像を生成し、視差画像記憶部１８に画像データを格納させる。また、視差用制御部６５がシャッター部５０の開閉部５０Ｂのみを開放して、視差用撮像部１６に開閉部５０Ｂを介して結ばれた外界の画像を画像データに変換させる。次いで、縮小画像生成部６６が前記画像データから縮小画像を生成し、視差画像記憶部１８に画像データを格納させる。
【００７４】次いで、視差量検出部６８が開閉部５０Ａを介して取り込まれた画像データから生成された複数の縮小画像のそれぞれと、開閉部５０Ｂを介して取り込まれた画像データから生成された縮小画像とに基づいて、外界の所定の被写体についての複数の検出視差量を検出する。次いで、実質視差量推定部７０が複数の検出視差量に基づいて実質視差量を推定する。次いで、奥行算出部７２が実質視差量推定部７０により算出された実質視差量に基づいて、外界の所定の被写体の奥行きを表す奥行情報を検出する。そして、奥行記憶部２２が検出された被写体についての奥行情報を記憶する。
【００７５】上記したように、視差用結像部１４及び視差用撮像部１６を動かす機構を備えることなく、少ない処理量で外界の所定の被写体の位置を詳細に検出することができ、高い分解能の奥行情報を得ることができる。
【００７６】本発明は上記の実施形態に限定されるものではなく、種々の変形が可能である。例えば、上記の実施形態では、実質視差量推定部１９、６０は、関数を推定し、当該関数に基づいて実質視差量を推定していたが、本発明はこれに限られず、複数の検出視差量と、上記の実質視差量推定部１９、６０による処理により検出される実質視差量とを対応付けたテーブルを用意しておき、当該テーブルを使って、検出視差量に対応する実質視差量を検出するようにしてもよい。
【００７７】また、実質視差量推定部１９及び奥行算出部２０の構成、実質視差量推定部５６及び奥行算出部５７の構成、又は、実質視差量推定部６０及び奥行算出部６１の構成は、実質視差量推定部７０及び奥行算出部７２の構成は、上記に限らず、例えば、複数の検出視差量と、この場合において上記の実質視差量推定部１９（５６、６０、７０）及び奥行算出部２０（５７、６１、７２）の処理により検出される奥行情報とを対応付けたテーブルを用意しておき、当該テーブルを使って複数の視点間隔における検出視差量に対応する奥行情報を取り出す構成としてもよい。
【００７８】上記実施形態では、光通過部の一例として開口（開閉部）を用い、当該開口を３つ以上設けるようにしていたが、例えば、光通過部の一例としての開口を一つ用意し、当該開口自体を３つ以上の位置に移動させるようにしてもよい。また、光通過部は開口に限らず、例えば、光を通過させることができるものであればよい。また、上記第１の実施形態では、開口の位置を５箇所備えるようにしていたが、本発明にはこれに限られず、複数の視点間隔を実現することができればよい、すなわち、光通過部の位置が３箇所以上あればよい。
【００７９】また、上記第１及び第３の実施形態では、複数の開閉部のそれぞれを別々に開けるようにしていたが、本発明はこれに限られず、同時に２つの開閉部を開けるようにしてもよい。この場合には、一枚の画像中の所定の範囲或いは形状について、当該画像との相関を取り、相関度が最も高い部分に基づいて、同時に開けた開閉部による視差量を検出することができる。
【００８０】また、上記実施形態では、結像系は別構成の視差用結像部１４及び結像部２４を備えていたが、本発明はこれに限られず、結像系が単一のレンズ系のみを有していてもよい。この場合、単一のレンズ系によって視差用結像部１４及び結像部２４を構成してもよく、プリズム等の光分岐手段によって外界の画像を視差用撮像部１６及び撮像部２６に結ばせるようにしてもよい。また、視差用結像部１４及び結像部２４の一部を共通の構成にしてもよい。また、撮像系は、複数の撮像部、すなわち、視差用撮像部１６及び撮像部２６を有していたが、本発明はこれに限られず、撮像系が単一の撮像部のみを有していてもよい。この場合、単一の撮像部が視差用撮像部１６及び撮像部２６として機能してもよい。
【００８１】また、上記実施形態では、撮像部２６としてＣＣＤを用いて例を示したが、本発明はこれに限られず、撮像部２６に、例えば、光化学反応部材の一例としてのフィルムを設置する設置部を備え、設置部に設置されたフィルムにより画像を撮像するようにしてもよい。また、上記実施形態では、デジタルカメラを例に取って説明したが、本発明はこれに限られず、人間の体腔内を観察する内視鏡等の他の撮像装置に適用することもできる。
【００８２】また、上記実施形態では、視差用撮像部１６として、ＣＣＤを用いていたが、本発明はこれに限られず、視差用撮像部１６に、例えば、光化学反応部材の一例としてもフィルムを設置する設置部を備え、設置部に設置されたフィルムにより画像を撮像するようにしてもよい。このようにした場合には、当該フィルムに取り込まれた複数の視点からの画像を、例えばフィルムスキャナ等でデジタル画像データとして視差用画像記憶部１７に記憶させることにより、上記同様に、奥行情報の分解能を向上することができる。
【００８３】以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００８４】
【発明の効果】上記説明から明らかなように、本発明によれば、外界における奥行情報の分解能を容易且つ効果的に向上することができる。

【出願人】	【識別番号】０００００５２０１【氏名又は名称】富士写真フイルム株式会社
【出願日】	平成１１年６月３０日（１９９９．６．３０）
【代理人】	【識別番号】１００１０４１５６【弁理士】【氏名又は名称】龍華明裕
【公開番号】	特開２００１－１２９１９（Ｐ２００１－１２９１９Ａ）
【公開日】	平成１３年１月１９日（２００１．１．１９）
【出願番号】	特願平１１－１８６６２１