視差画像入力装置及び撮像装置

トップ :: G 物理学 :: G01 測定;試験

【発明の名称】	視差画像入力装置及び撮像装置
【発明者】	【氏名】小野修司
【要約】	【課題】外界における奥行き位置の分解能を向上することのできる視差画像入力装置及び撮像装置を提供する。【解決手段】第１及び第２視点から観察される外界の画像を結ぶ視差用結像部１４と、視差用結像部１４により結ばれた画像を取り込む視差用撮像部１６と、第１視点又は第２視点の少なくとも一方の視点において、視差用結像部１４又は視差用撮像部１６を移動させて視差用撮像部１６に外界の画像を取り込ませる視差用制御部３２とを有するように構成する。

【特許請求の範囲】
【請求項１】第１視点及び第２視点から観察される外界の画像を取得する視差画像入力装置であって、前記第１及び第２視点から観察される前記外界の画像を結ぶ視差用結像部と、前記視差用結像部により結ばれた前記画像を取り込む視差用撮像部と、前記第１視点又は前記第２視点の少なくとも一方の視点において、前記視差用結像部又は前記視差用撮像部を移動させて前記視差用撮像部に前記外界の画像を取り込ませる撮像制御部とを有することを特徴とする視差画像入力装置。
【請求項２】前記撮像制御部は、前記視差用撮像部を前記第１視点及び第２視点を結ぶ視差方向に移動させることを特徴とする請求項１に記載の視差画像入力装置。
【請求項３】前記視差用撮像部は、前記画像の一構成単位である画素のデータを検出するセルを複数有し、前記撮像制御部は、前記セルの視差方向の幅の整数倍の距離に、前記セルの視差方向の幅未満の距離を加算した距離だけ前記視差用撮像部を移動させることを特徴とする請求項２に記載の視差画像入力装置。
【請求項４】前記撮像制御部は、前記視差用結像部を前記第１視点及び第２視点を結ぶ視差方向に移動させることを特徴とする請求項１に記載の視差画像入力装置。
【請求項５】前記視差用撮像部により取り込まれた一方の視点における複数の画像と、他方の視点における前記画像とに基づいて、前記外界の所定の被写体についての奥行きを表す奥行情報を検出する奥行検出部を更に有することを特徴とする請求項１乃至４のいずれかに記載の視差画像入力装置。
【請求項６】前記奥行検出部は、前記視差用撮像部により取り込まれた複数の視点の画像に基づいて、前記外界の所定の被写体の視差量を検出し、一方の視点における複数の画像に基づいて視差量を補正し、当該補正した視差量に基づいて奥行情報を検出することを特徴とする請求項５に記載の視差画像入力装置。
【請求項７】前記奥行検出部は、前記視差用撮像部により取り込まれた一方の視点の複数の画像に基づいて、前記外界の所定の被写体の画像中の詳細な位置を検出し、当該画像中の詳細な位置に基づいて視差量を検出し、当該視差量に基づいて奥行情報を検出することを特徴とする請求項５に記載の視差画像入力装置。
【請求項８】所望の外界を撮像する撮像装置であって、前記外界の画像を結ぶ結像系と、前記結像系により結ばれた前記画像を撮像する撮像系と、複数の視点の少なくとも一つの視点において、前記結像系又は前記撮像系を移動させて前記撮像系に前記外界の画像を取り込ませる撮像制御部と、前記撮像系により取り込まれた一の視点における複数の画像と、他の視点における前記画像とに基づいて、前記外界の所定の被写体についての奥行きを表す奥行情報を検出する奥行検出部とを有することを特徴とする撮像装置。
【請求項９】前記結像系は、前記外界の画像を結ぶ結像部と、第１及び第２視点から観察される前記外界の画像を結ぶ視差用結像部とを有し、前記撮像系は、前記結像部により結ばれた前記画像を撮像する撮像部と、前記視差用結像部により結ばれた前記画像を取り込む視差用撮像部とを有し、前記撮像制御部は、前記第１視点又は前記第２視点の少なくとも一方の視点において、前記視差用結像部又は前記視差用撮像部を移動させて前記視差用撮像部に前記外界の画像を取り込ませ、前記奥行検出部は、前記視差用撮像部により取り込まれた一方の視点における複数の画像と、他方の視点における前記画像とに基づいて、前記外界の所定の被写体についての奥行きを表す奥行情報を検出することを特徴とする請求項８に記載の撮像装置。

【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、複数の視点から見た画像を取り込む視差画像入力装置及び撮像装置に関する。
【０００２】
【従来の技術】従来、被測定物体の３次元形状や奥行き情報を非接触に測定する方法として、レンズ焦点法、単眼視、ステレオ法、動画像等の受動的な方法や、光レーダ法、アクティブステレオ法、照度差ステレオ法、モアレ法、干渉法等の能動的な方法が知られている。
【０００３】ステレオ法は、三角測量の原理を応用し、被測定物体を異なる位置（視点）から撮影して得られた複数の画像から、被測定物体の形状を測定する方法である。このステレオ法では、まず、被測定物体を異なる位置から撮影して複数の画像を取得する。次いで、１の画像中の所定の点（領域）に対応する他の画像の点（領域）を検出する処理、いわゆる対応点決定（マッチング）処理を行う。この対応点決定処理はステレオ法の最も重要な処理である。この対応点決定処理の方法としては、画像の相関を用いる方法等が提案されている。これらの詳細は、「コンピュータビジョン：技術論評と将来展望、（株）新技術コミュニケーションズ、１９９８、ＩＳＢＮ４－９１５８５１－１７－６」の「第８章ステレオ視」に詳しく記載されている。この文献には、対応点決定処理の方法は、画像の所定の領域を使ってマッチングする「area-based matching」と、画像からエッジ等を検出し、当該エッジの形状を使ってマッチングする「feature-based matching」とに大別されるといった内容が記述されている。
【０００４】次いで、複数の視差画像間での対応する点の位置の差である視差（disparity）量を求め、三角測量の原理に基づいて、当該視差量を使うことにより所定の被写体までの距離を算出する。ここで、例えば、複数の視点の光軸が交差する場合においては、視点間隔、視点位置から視点の光軸が交差する点（視差光軸交差点）までの距離、視点位置から被写体までの距離、視差量の４つの要素は、簡単な関係式で表せる。視点間隔及び視点位置から視点光軸交差点までの距離は、予め設定することができ、規定の値とすることができる。また、視差量は視差画像から算出することができる。このため、前記関係式により視点位置から被写体までの距離を求めることができる。
【０００５】図１は、上記したステレオ法を実施する従来例に係る視差画像入力装置の構成を示す図である。視差画像入力装置１００は、レンズ１０２と、シャッター部１０４と、ＣＣＤ（charge coupled device）１０６と、視差画像記憶部１０８と、奥行検出部１１０と、制御部１１２とを有する。レンズ１０２は外界からの光を集める。シャッター部１０４は、視点となる開閉自在な開閉部１０４Ａ、１０４Ｂを有している。シャッター部１０４の開閉部１０４Ａ又は１０４Ｂは制御部１１２の制御によりいずれか一方が開くようになっている。ＣＣＤ１０６は、自己の受光面上に結ばれた複数の視点からの外界の画像を取り込む。
【０００６】視差画像記憶部１０８はＣＣＤ１０６により取り込まれた画像データを記憶する。奥行検出部１１０は、視差画像記憶部１０８に記憶された複数の画像同士の対応点を検出し、当該対応点間の視差量を検出し、対応点に該当する被写体までの距離を検出する。制御部１１２は、各部を制御する。例えば、シャッター部１０４の開閉部１０４Ａ、１０４Ｂの開閉を制御する。
【０００７】視差画像入力装置１００において、制御部１１２が一方の開閉部１０４Ａ又は１０４Ｂを開ける。これにより、レンズ１０２及び、開いている一方の開閉部１０４Ａ又は１０４Ｂを介して、外界の像がＣＣＤ１０６に結ばれる。ＣＣＤ１０６は、結ばれた像の画像を取り込んで、視差画像記憶部１０８に記憶する。次いで、制御部１１２が他方の開閉部１０４Ａ又は１０４Ｂのみを開ける。これにより、レンズ１０２及び、開いている開閉部１０４Ａ又は１０４Ｂを介して、外界の像がＣＣＤ１０６に結ばれる。ＣＣＤ１０６は、結ばれた像を取り込んで、視差画像記憶部１０８に記憶する。次いで、奥行検出部１１０がこれら視差画像記憶部１０８に記憶された異なる視点から見た外界の画像に基づいて、画像同士の対応点を検出し、当該対応点間の視差量を検出し、当該対応点の被写体までの距離を検出する。
【０００８】
【発明が解決しようとする課題】ところで、ＣＣＤ１０６で取り込まれたデジタル画像データの最小単位はＣＣＤ１０６の画素により定まる。このため、対応点決定処理により得られる視差量は、一般に１画素を単位とした整数値（１画素、２画素等）となる。この視差量は、離散的なサンプリングによって発生する丸め誤差を含んでいるので、本来の視差量を正確に表していない。このため、当該視差量に基づいて算出される被写体までの距離の値に対して、当該丸め誤差の影響が生じてしまうという問題が生じる。
【０００９】図２は、視差画像により検出される視差量及び奥行き位置を説明する図である。図２（Ａ）は、２つの視点及び各被写体Ａ～Ｆの奥行き位置を示し、図２（Ｂ）は、視差量と奥行き位置とを説明する図である。図２（Ａ）に示すように、視点から遠い順に、被写体Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆが存在し、これらの中の被写体Ｂが視点の焦点位置（focus）に存在している。
【００１０】これら被写体Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆに対する２つの視点から見た画像に発生する視差量は、実際には、それぞれ、－０．３PIXEL、０．０PIXEL、０．３PIXEL、０．７PIXEL、１．３PIXEL、１．６PIXELである。しかしながら、図２（Ｂ）に示すように、デジタル画像データを使用した対応点決定処理によると、被写体Ａ、Ｂ、Ｃについては、視差量０PIXELと検出され、被写体Ｄ、Ｅについては、視差量１PIXELと検出され、被写体Ｆについては、視差量２PIXELと検出される。このため、被写体Ａ、Ｂ、Ｃまでの距離は、当該視差量０PIXELに基づいて算出され、実際には異なる位置にある被写体が、同じ奥行き位置にあると扱われてしまう問題が生じる。
【００１１】このような問題を解決するためには、丸め誤差を無視できる程度にサンプリングを高密度にする必要があった。しかしながら、高密度なサンプリングを行うためには、画素が細かい高価な撮像素子や、画像スキャナー等が必要となり、コストが大きくなるという問題が生じる。また、高密度なサンプリングによって得られる画像データの量は膨大になるために、対応点決定処理等の処理時間の増大し、画像データを記憶するために必要な記憶容量が増大するという問題がある。そこで本発明は、上記の課題を解決しつつ、外界の被写体の奥行き位置の分解能を効果的に向上することのできる視差画像入力装置及び撮像装置を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【００１２】
【課題を解決するための手段】上記目的を達成するために、本発明の第１の形態に係る視差画像入力装置は、第１視点及び第２視点から観察される外界の画像を取得する視差画像入力装置であって、第１及び第２視点から観察される外界の画像を結ぶ視差用結像部と、視差用結像部により結ばれた画像を取り込む視差用撮像部と、第１視点又は第２視点の少なくとも一方の視点において、視差用結像部又は視差用撮像部を移動させて視差用撮像部に外界の画像を取り込ませる撮像制御部とを有することを特徴とする。
【００１３】撮像制御部は、視差用撮像部を第１視点及び第２視点を結ぶ視差方向に移動させるようにしてもよい。視差用撮像部は、画像の一構成単位である画素のデータを検出するセルを複数有し、撮像制御部は、セルの視差方向の幅の整数倍の距離に、セルの視差方向の幅未満の距離を加算した距離だけ視差用撮像部を移動させるようにしてもよい。撮像制御部は、視差用結像部を第１視点及び第２視点を結ぶ視差方向に移動させるようにしてもよい。
【００１４】視差用撮像部により取り込まれた一方の視点における複数の画像と、他方の視点における画像とに基づいて、外界の所定の被写体についての奥行きを表す奥行情報を検出する奥行検出部を更に有するようにしてもよい。奥行検出部は、視差用撮像部により取り込まれた複数の視点の画像に基づいて、外界の所定の被写体の視差量を検出し、一方の視点における複数の画像に基づいて視差量を補正し、当該補正した視差量に基づいて奥行情報を検出するようにしてもよい。
【００１５】奥行検出部は、視差用撮像部により取り込まれた一方の視点の複数の画像に基づいて、外界の所定の被写体の画像中の詳細な位置を検出し、当該画像中の詳細な位置に基づいて視差量を検出し、当該視差量に基づいて奥行情報を検出するようにしてもよい。
【００１６】上記目的を達成するために、本発明の第１の形態に係る撮像装置は、所望の外界を撮像する撮像装置であって、外界の画像を結ぶ結像系と、結像系により結ばれた画像を撮像する撮像系と、複数の視点の少なくとも一つの視点において、結像系又は撮像系を移動させて撮像系に外界の画像を取り込ませる撮像制御部と、撮像系により取り込まれた一の視点における複数の画像と、他の視点における画像とに基づいて、外界の所定の被写体についての奥行きを表す奥行情報を検出する奥行検出部とを有することを特徴とする。
【００１７】結像系は、外界の画像を結ぶ結像部と、第１及び第２視点から観察される外界の画像を結ぶ視差用結像部とを有し、撮像系は、結像部により結ばれた画像を撮像する撮像部と、視差用結像部により結ばれた画像を取り込む視差用撮像部とを有し、撮像制御部は、第１視点又は第２視点の少なくとも一方の視点において、視差用結像部又は視差用撮像部を移動させて視差用撮像部に外界の画像を取り込ませ、奥行検出部は、視差用撮像部により取り込まれた一方の視点における複数の画像と、他方の視点における画像とに基づいて、外界の所定の被写体についての奥行きを表す奥行情報を検出するようにしてもよい。なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。
【００１８】
【発明の実施の形態】以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。図３は、本発明の第１の実施形態に係る視差画像入力装置を有する撮像装置１０の一例としてのデジタルカメラの構成を示す。ここで、デジタルカメラには、画像を一枚毎に取り込むカメラだけでなく、画像を連続して取り込むビデオカメラ等が含まれる。撮像装置１０は、視差画像入力装置１２と、結像部２４と、撮像部２６と、記憶部２８と、制御部３０とを有する。視差画像入力装置１２は、視差用結像部１４と、シャッター部３４と、撮像制御部の一例としての視差用制御部３２と、視差用撮像部１６と、視差画像記憶部１８と、奥行検出部２０と、奥行記憶部２２とを有する。ここで、本実施形態では、特許請求の範囲にいう結像系は、結像部２４及び視差用結像部１４によって構成され、撮像系は、撮像部２６及び視差用撮像部１６によって構成される。
【００１９】結像部２４は、例えば、単数或いは複数のレンズを有しており、外界からの光を集めることにより、撮像部２６の受光面上に外界の被写体の画像を結ぶ。本実施形態では、撮像部２６は、光電変換素子の一例としてのＣＣＤ（Charge Coupled Device）であり、受光面上に結ばれた画像を画像データに変換して取り込む。記憶部２８は、撮像部２６によって変換された画像データを記憶する。
【００２０】視差用結像部１４は、外界の画像を視差用撮像部１６の受光面上に結ぶ。シャッター部３４は、視点となる複数の開閉自在な開閉部３４Ａ、３４Ｂを有する。シャッター部３４は視差用結像部１４の瞳面、或いはその近傍に配置されることが好ましい。視差用撮像部１６は、視差用結像部１４により結ばれた画像を画像データに変換する。本実施形態では、視差用撮像部１６は、画像データの１画素のデータを生成する構成単位であるセルを複数有するＣＣＤ（Charge Coupled Device）である。視差画像記憶部１８は、視差用撮像部１６により変換された画像データを記憶する。
【００２１】視差用制御部３２は、シャッター部３４の開閉部３４Ａ、３４Ｂの一方を開けた状態にして、視差用撮像部１６に外界の画像を画像データに変換させる。また、視差用制御部３２は、少なくとも一つの視点において、視差用撮像部１６を複数の視点を結ぶ方向（視差方向）に微少移動させて、当該位置において外界の画像を画像データに変換させる。本実施形態では、視差用制御部３２は、２つの視点のそれぞれにおいて、視差用撮像部１６を１つのセルの視差方向の幅（単位をPIXELという）未満（例えば、０．５PIXEL）の距離移動させる。
【００２２】奥行検出部２０は、視差画像記憶部１８に記憶された複数の視点における画像に基づいて、外界の所定の被写体について対応点決定処理を行うことにより視差量を求める。対応点決定処理は、従来より知られている技術であるので説明を省略する。次いで、奥行検出部２０は、各視点において視差用撮像部１６を移動させる前に取り込まれた画像と、移動後に取り込まれた画像とに基づいて、当該視点における所定の被写体の位置を詳細に検出する。
【００２３】図４は、本発明の第１の実施形態に係る奥行検出部における所定の被写体の位置を詳細に検出する処理を説明する図である。図４（Ａ）は、視差用撮像部１６を移動前における視差用撮像部１６の受光面上の様子を示し、図４（Ｂ）は、視差用撮像部１６を視差方向に、０．５PIXEL移動させた後における視差用撮像部１６の受光面上の様子を示す。なお、同図においては、視差用撮像部１６の図中最上部を基準としてPIXELを単位として距離を示し、被写体の存在する距離範囲の平均値を当該被写体の位置とする。
【００２４】図４（Ａ）に示すように、視差用撮像部１６の図中上から３番目のセル上に被写体α及び被写体βの像が結ばれている場合には、奥行検出部２０は視差用撮像部１６により変換される画像データに基づいて、被写体α及び被写体βは上から３番目の画素、すなわち、２．５（２．０～３．０）PIXELにあると把握する。
【００２５】この時に、視差用撮像部１６を視差方向に、０．５PIXEL移動させると、図４（Ｂ）に示すように被写体αは上から２番目のセル上に結ばれ、被写体βは上から３番目のセル上に結ばれる。この場合には、奥行検出部２０は視差用撮像部１６により変換される画像データに基づいて、被写体αは当該上から２番目の画素、すなわち、１．５（１．０～２．０）PIXELにあるとして把握し、被写体βは上から３番目の画素、すなわち、２．５（２．０～３．０）PIXELにあると把握する。
【００２６】ここで、奥行検出部２０は、移動後における各被写体の位置について、移動する前の視差用撮像部１６の最上部の位置を基準として修正する、すなわち、各位置に視差用撮像部１６の移動量を反映させる。この結果、被写体αは、２．０（１．５～２．５）PIXELにあると把握され、被写体βは３．０（２．５～３．５）PIXELにあると把握される。次いで、奥行検出部２０は、移動前後における各画像データから把握された各被写体の位置について統合する。この結果、被写体αは、２．２５（２．０～２．５）PIXELにあると把握され、被写体βは、２．７５（２．５～３．０）PIXELにあると把握される。このように、各被写体の位置をより詳細に把握することができる。
【００２７】また、奥行検出部２０は、詳細に検出した位置に基づいて、前記視差量を補正し、補正後の視差量に基づいて奥行き位置（奥行き情報）を検出する。視差量に基づいて奥行き位置を検出する処理は、従来より知られている三角測量の原理に基づいて行うことができるのでここでは説明を省略する。
【００２８】奥行記憶部２２は、奥行検出部２０により検出された被写体の奥行き位置を記憶する。制御部３０は、奥行記憶部２２に記憶されている被写体の奥行き位置に基づいて、光学系２４のフォーカスや、ＣＣＤ２６による撮像動作等を制御する。ここで、記憶部２８、視差画像記憶部１８、及び奥行記憶部２２は、それぞれ、撮像装置１０内に常設されているＲＡＭ（Random Access Memory）、フラッシュメモリであってもよく、また、撮像装置１０に対して着脱可能な、例えば、フロッピーディスク、ＭＤ（Mini Disk）、スマートメディア（商標）等の記録媒体であってもよい。
【００２９】次に、撮像装置１０の動作を説明する。撮像装置１０において、視差用制御部３２がシャッター部３４の開閉部３４Ａのみを開放して、視差用撮像部１６に開閉部３４Ａを介して結ばれた外界の画像を画像データに変換させ、視差画像記憶部１８に画像データを格納させる。また、視差用制御部３２がシャッター部３４の開閉部３４Ｂのみを開放して、視差用撮像部１６に開閉部３４Ｂを介して結ばれた外界の画像を画像データに変換させ、視差画像記憶部１８に画像データを格納させる。
【００３０】次いで、視差用制御部３２が視差用撮像部１６を視差方向に微少移動させる。その後、視差用制御部３２がシャッター部３４の開閉部３４Ａのみを開放して、視差用撮像部１６に開閉部３４Ａを介して結ばれた外界の画像を画像データに変換させ、視差画像記憶部１８に画像データを格納させる。また、視差用制御部３２がシャッター部３４の開閉部３４Ｂのみを開放して、視差用撮像部１６に開閉部３４Ｂを介して結ばれた外界の画像を画像データに変換させ、視差画像記憶部１８に画像データを格納させる。
【００３１】次いで、奥行検出部２０が、視差画像記憶部１８に記憶された複数の視点における画像に基づいて、外界の所定の被写体について対応点決定処理を行うことにより視差量を求める。次いで、奥行検出部２０は、各視点において視差用撮像部１６を移動させる前に取り込まれた画像と、移動後に取り込まれた画像とに基づいて、当該視点における所定の被写体の位置を詳細に検出する。次いで、奥行検出部２０は、詳細に検出した位置に基づいて、視差量を補正し、補正後の視差量に基づいて奥行情報を検出する。そして、奥行記憶部２２が検出された被写体についての奥行情報を記憶する。
【００３２】次いで、制御部３０が奥行記憶部２２に記憶されている被写体の奥行き位置に基づいて、結像部２４及び撮像部２６を制御する。これにより、結像部２４が外界からの光を集め、撮像部６の受光面上に外界の被写体の画像を結ぶ。そして、撮像部２６が自己の受光面上に結ばれた画像を画像データに変換し、記憶部２８が撮像部２６によって変換された画像データを記憶する。
【００３３】このとき、記憶部２８は、自己が記憶する画像データと、当該画像データを取り込むに際して、視差用撮像部１６により取り込まれて視差画像記憶部１８に記憶された複数の視点からの画像と、当該複数の視点からの画像により算出されて奥行記憶部２２に記憶されている被写体の奥行情報とを対応付ける対応付け情報も記憶する。これにより、後に、画像データと、当該画像データに関する複数の視点からの画像と、当該画像データに含まれている被写体の奥行情報とを対応付けて利用することができる。上記したように、外界の所定の被写体の位置を詳細に検出することができ、奥行情報の分解能を向上することができる。更に、奥行情報の分解能が向上したために、結像部２４及び撮像部２６を高精度に制御することができ、高品位な画像を取り込むことができる。
【００３４】次に、本発明の第２の実施形態に係る視差画像入力装置を有する撮像装置について説明する。本実施形態に係る撮像装置は、図３に示す第１の実施形態に係る撮像装置と視差画像入力装置１２の構成のみ異なるので、ここでは、視差画像入力装置１２について説明することとし、他の構成については説明を省略する。
【００３５】図５は、本発明の第２の実施形態に係る視差画像入力装置の構成を示す図である。ここで、図３に示す第１の実施形態に係る視差画像入力装置と同一機能を有する構成については同一符号を付すこととする。本視差画像入力装置１２は、第１の実施形態に係る視差画像入力装置において、視差用制御部３２に換えて視差用制御部３６を備え、奥行検出部２０に換えて奥行検出部３８を備える。
【００３６】視差用制御部３６は、シャッター部３４の開閉部３４Ａ、３４Ｂの一方を開けた状態にして、視差用撮像部１６に外界の画像を画像データに変換させる。また、視差用制御部３６は、少なくとも一つの視点において、視差用結像部１４を複数の視点を結ぶ方向（視差方向）に微少移動させて、外界の画像を画像データに変換させる。本実施形態では、視差用制御部３６は、２つの視点のそれぞれにおいて、視差用撮像部１４を移動させる。
【００３７】奥行検出部３８は、視差画像記憶部１８に記憶された複数の視点における画像に基づいて、外界の所定の被写体について対応点決定処理を行うことにより視差量を求める。対応点決定処理は、従来より知られている技術であるので説明を省略する。次いで、奥行検出部３８は、各視点において視差用結像部１４を移動させる前に取り込まれた画像と、移動後に取り込まれた画像とに基づいて、当該視点における所定の被写体の位置を詳細に検出する。図６は、本発明の第２の実施形態に係る奥行検出部における所定の被写体の位置を詳細に検出する処理を説明する図である。図６（Ａ）は、視差用結像部１４を移動前における視差用撮像部１６の受光面上の様子を示し、図６（Ｂ）は、視差用結像部１４を視差方向に移動させた後における視差用撮像部１６の受光面上の様子を示す。
【００３８】図６（Ａ）に示すように、視差用撮像部１６の図中上から３番目のセル上に被写体γ及び被写体δの像が結ばれている場合において、視差用結像部１４を視差方向に微少移動させると、例えば、図６（Ｂ）に示すように被写体γは上から３番目のセル上に結ばれ、被写体δは上から４番目のセル上に結ばれる。図示するように、視差用結像部１４の移動後における被写体γ及び被写体δの位置は、主に視差用結像部１４の移動距離及びセル内における被写体の位置により決まる。そこで、奥行検出部３８は、視差用結像部１４の移動後における被写体の位置を検出することにより、移動前における被写体のセル内の位置を詳細に検出する。また、奥行検出部３８は、詳細に検出した位置に基づいて、前記視差量を補正し、補正後の視差量に基づいて奥行情報を検出する。視差量に基づいて奥行情報を検出する処理は、従来より知られている三角測量の原理に基づいて行うことができるのでここでは説明を省略する。
【００３９】次に、撮像装置１０の動作を説明する。撮像装置１０において、視差用制御部３６がシャッター部３４の開閉部３４Ａのみを開放して、視差用撮像部１６に開閉部３４Ａを介して結ばれた外界の画像を画像データに変換させ、視差画像記憶部１８に画像データを格納させる。また、視差用制御部３６がシャッター部３４の開閉部３４Ｂのみを開放して、視差用撮像部１６に開閉部３４Ｂを介して結ばれた外界の画像を画像データに変換させ、視差画像記憶部１８に画像データを格納させる。
【００４０】次いで、視差用制御部３６が視差用結像部１４を視差方向に微少移動させる。その後、視差用制御部３６がシャッター部３４の開閉部３４Ａのみを開放して、視差用撮像部１６に開閉部３４Ａを介して結ばれた外界の画像を画像データに変換させ、視差画像記憶部１８に画像データを格納させる。また、視差用制御部３６がシャッター部３４の開閉部３４Ｂのみを開放して、視差用撮像部１６に開閉部３４Ｂを介して結ばれた外界の画像を画像データに変換させ、視差画像記憶部１８に画像データを格納させる。
【００４１】次いで、奥行検出部３８が、視差画像記憶部１８に記憶された複数の視点における画像に基づいて、外界の所定の被写体について対応点決定処理を行うことにより視差量を求める。次いで、奥行検出部３８が、各視点において視差用結像部１４を移動させる前に取り込まれた画像と、移動後に取り込まれた画像とに基づいて、当該視点における所定の被写体の位置を詳細に検出する。次いで、奥行検出部３８が、詳細に検出した位置に基づいて、視差量を補正し、補正後の視差量に基づいて奥行情報を検出する。そして、奥行記憶部２２が検出された被写体についての奥行情報を記憶する。
【００４２】次いで、制御部３０が奥行記憶部２２に記憶されている被写体の奥行き位置に基づいて、結像部２４及び撮像部２６を制御する。これにより、結像部２４が外界からの光を集め、撮像部６の受光面上に外界の被写体の画像を結ぶ。そして、撮像部２６が自己の受光面上に結ばれた画像を画像データに変換し、記憶部２８が撮像部２６によって変換された画像データを記憶する。
【００４３】上記したように、外界の所定の被写体の位置を詳細に検出することができ、奥行情報の分解能を向上することができる。更に、奥行情報の分解能が向上したために、結像部２４及び撮像部２６を高精度に制御することができ、高品位な画像を取り込むことができる。
【００４４】本発明は上記の実施形態に限定されるものではなく、種々の変形が可能である。例えば、上記実施形態では、視差用制御部３２は、視点において、視差用撮像部１６を視差方向に１つのセルの視差方向の幅未満の距離ずらすようにしていたが、本発明はこれに限られず、視差方向に１つのセルの視差方向の幅の整数倍の距離にセルの視差方向の幅未満の距離を加算した距離だけ視差用撮像部１６を動かすようにしてもよい。
【００４５】また、上記の実施形態では、奥行検出部２０、３８は、複数の視点における画像に基づいて視差量を求め、その後、各視点において視差用結像部１４又は視差用撮像部１６を移動させることにより得られた複数の画像に基づいて視差量を補正するようにしていたが、本発明はこれに限られず、少なくとも一つの視点において視差用結像部１４又は視差用撮像部１６を移動させることにより得られた複数の画像に基づいて当該画像中の所定の被写体の詳細な位置を求め、その後、当該詳細な位置に基づいて視差量を検出するようにしてもよい。この場合、各視点において視差用結像部１４又は視差用撮像部１６を移動させることにより得られた複数の画像に基づいて当該画像中の所定の被写体の詳細な位置を求め、その後、各視点における当該詳細な位置に基づいて、視差量を検出することが好ましい。
【００４６】また、上記実施形態では、別構成の視差用結像部１４及び結像部２４を備えていたが、本発明はこれに限られず、結像系が単一のレンズ系のみを有していてもよい。この場合、単一のレンズ系によって視差用結像部１４及び結像部２４を構成してもよく、プリズム等の光分岐手段によって外界の画像を視差用撮像部１６及び撮像部２６に結ばせるようにしてもよい。また、視差用結像部１４及び結像部２４の一部を共通の構成にしてもよい。また、撮像系は、複数の撮像部、すなわち、視差用撮像部１６及び撮像部２６を有していたが、本発明はこれに限られず、撮像系が単一の撮像部のみを有していてもよい。この場合、単一の撮像部が視差用撮像部１６及び撮像部２６として機能してもよい。
【００４７】上記の実施形態では、撮像部２６としてＣＣＤを用いて例を示したが、本発明はこれに限られず、撮像部２６に、例えば、光化学反応部材の一例としてのフィルムを設置する設置部を備え、設置部に設置されたフィルムにより画像を撮像するようにしてもよい。また、上記実施形態では、デジタルカメラを例に取って説明したが、本発明はこれに限られず、人間の体腔内を観察する内視鏡等の他の撮像装置に適用することもできる。
【００４８】また、上記実施形態では、視差用撮像部１６として、ＣＣＤを用いていたが、本発明はこれに限られず、視差用撮像部１６に、例えば、光化学反応部材の一例としてもフィルムを設置する設置部を備え、設置部に設置されたフィルムにより画像を撮像するようにしてもよい。このようにした場合には、当該フィルムに取り込まれた複数の視点からの画像を、例えばフィルムスキャナ等でデジタル画像データとして視差用画像記憶部１７に記憶させることにより、上記同様に、奥行情報の分解能を向上することができる。
【００４９】以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００５０】
【発明の効果】上記説明から明らかなように、本発明によれば、外界における奥行き位置の分解能を容易且つ効果的に向上することができる。

【出願人】	【識別番号】０００００５２０１【氏名又は名称】富士写真フイルム株式会社
【出願日】	平成１１年６月２９日（１９９９．６．２９）
【代理人】	【識別番号】１００１０４１５６【弁理士】【氏名又は名称】龍華明裕
【公開番号】	特開２００１－１２９４４（Ｐ２００１－１２９４４Ａ）
【公開日】	平成１３年１月１９日（２００１．１．１９）
【出願番号】	特願平１１－１８４４６３