視差画像入力装置及び撮像装置

トップ :: G 物理学 :: G01 測定;試験

【発明の名称】	視差画像入力装置及び撮像装置
【発明者】	【氏名】小野修司
【要約】	【課題】容易に視差画像を得ることができ、また、容易に被写体の奥行き情報を得ることができる視差画像入力装置及び撮像装置を提供する。【解決手段】複数の視点から見た外界の画像を取得する視差画像入力装置１０であって、視点から見た外界の画像を結ぶ視差用結像部１４と、筐体１１と、筐体１１に対して視差用結像部１４を移動させて視点を変更する駆動部１５と、視差用結像部１４により結ばれた異なる視点から見た複数の外界の画像を取り込む視差用撮像部１６とを有するように構成する。

【特許請求の範囲】
【請求項１】複数の視点から見た外界の画像を取得する視差画像入力装置であって、前記視点から見た外界の画像を結ぶ視差用結像部と、前記視差用結像部により結ばれた前記視点から見た前記外界の画像を取り込む視差用撮像部と、前記視差用撮像部に対して、前記視差用結像部を移動させて前記視点を変更する視差用結像部駆動部とを有することを特徴とする視差画像入力装置。
【請求項２】複数の視点から見た外界の画像を取得する視差画像入力装置であって、前記視点から見た外界の画像を結ぶ視差用結像部と、筐体と、前記筐体に対して、前記視差用結像部を移動させて前記視点を変更する視差用結像部駆動部と、前記視差用結像部により結ばれた異なる視点から見た複数の前記外界の画像を取り込む視差用撮像部とを有することを特徴とする視差画像入力装置。
【請求項３】前記筐体に対して、前記視差用撮像部を移動する視差用撮像部駆動部を更に有し、前記視差用撮像部駆動部により前記視差用撮像部の位置を前記視点毎に異ならせることを特徴とする請求項２に記載の視差画像入力装置。
【請求項４】前記視差用撮像部駆動部は、前記視差用結像部駆動部による視差用結像部の視差方向の移動の間隔に基づいて、前記視差用撮像部を移動させることを特徴とする請求項３に記載の視差画像入力装置。
【請求項５】前記視差用撮像部の受光面上における画像を取り込む範囲を前記視点毎に異ならせる取込制御部を更に有することを特徴とする請求項１又は２に記載の視差画像入力装置。
【請求項６】複数の視点から見た外界の画像を取得する視差画像入力装置であって、前記外界の画像を結ぶ単一光軸の視差用結像部と、前記視差用結像部を透過した光を通過させる視点となる第１開口及び第２開口を有する光通過制御部と、前記光通過制御部の第１開口を通過した光による外界の第１画像と第２開口を通過した光による外界の第２画像とを取り込む視差用撮像部と、前記第１開口及び第２開口との間隔に基づいて、前記第１開口から見た画像と、前記第２開口から見た画像とで、前記視差用撮像部の受光面上における画像を取り込む範囲を異ならせる取込制御部を備えることを特徴とする視差画像入力装置。
【請求項７】前記視差用撮像部により取り込まれた画像に基づいて、前記外界の所定の被写体の奥行き情報を検出する奥行検出部を更に備えることを特徴とする請求項１乃至６のいずれかに記載の視差画像入力装置。
【請求項８】所望の外界を撮像する撮像装置であって、複数の視点から見た前記外界の画像を結ぶ結像系と、前記結像系により結ばれた前記画像を撮像する撮像系と、前記撮像系に対して、前記結像系を移動させて前記視点を変更する結像系駆動部と、前記撮像系により撮像された異なる前記視点から見た前記外界の画像に基づいて、前記外界の所定の被写体までの距離に対応する奥行き情報を検出する奥行検出部と、前記奥行検出部により検出された奥行き情報に基づいて、前記結像系又は前記撮像系を制御する制御部とを有することを特徴とする撮像装置。
【請求項９】前記結像系は、前記視点からの外界の画像を結ぶ結像部と、複数の前記視点から見た外界の画像を結ぶ視差用結像部とを有し、前記撮像系は、前記結像部により結ばれた前記画像を撮像する撮像部と、前記視差用結像部により結ばれた前記視点から見た前記外界の画像を取り込む視差用撮像部とを有し、前記結像系駆動部は、前記視差用撮像部に対して、前記視差用結像部を移動させて前記視点を変更する視差用結像部駆動部を有し、前記奥行検出部は、前記視差用撮像部により撮像された異なる視点から見た前記外界の画像に基づいて、前記外界の所定の被写体までの距離に対応する奥行き情報を検出し、前記制御部は、前記奥行検出部により検出された奥行き情報に基づいて、前記結像部又は前記撮像部を制御することを特徴とする請求項８に記載の撮像装置。
【請求項１０】所望の外界を撮像する撮像装置であって、複数の視点から見た前記外界の画像を結ぶ結像系と、前記結像部により結ばれた前記画像を撮像する撮像系と、筐体と、前記筐体に対して、前記結像系を移動させて前記視点を変更する結像系駆動部と、前記撮像系により撮像された異なる視点から見た前記外界の画像に基づいて、前記外界の所定の被写体までの距離に対応する奥行き情報を検出する奥行検出部と、前記奥行検出部により検出された奥行き情報に基づいて、前記結像系又は前記撮像系を制御する制御部とを有することを特徴とする撮像装置。
【請求項１１】前記結像系は、前記外界の画像を結ぶ結像部と、前記視点から見た外界の画像を結ぶ視差用結像部とを有し、前記撮像系は、前記結像部により結ばれた前記画像を撮像する撮像部と、前記視差用結像部により結ばれた異なる視点から見た複数の前記外界の画像を取り込む視差用撮像部とを有し、前記結像系駆動部は、前記筐体に対して、前記視差用結像部を移動させて前記視点を変更する視差用結像部駆動部を有し、前記奥行き検出部は、前記視差用撮像部により撮像された異なる視点から見た前記外界の画像に基づいて、前記外界の所定の被写体までの距離に対応する奥行き情報を検出し、前記制御部は、前記奥行検出部により検出された奥行き情報に基づいて、前記結像部又は前記撮像部を制御することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】所望の外界を撮像する撮像装置であって、前記外界の画像を結ぶ結像系と、前記結像系を透過した光を通過させる視点となる第１開口及び第２開口を有する光通過制御部と、前記結像系により結ばれた前記画像を撮像する撮像系と、前記第１開口及び第２開口との間隔に基づいて、前記第１開口から見た画像と、前記第２開口から見た画像とで、前記撮像系の受光面上における画像を取り込む範囲を異ならせる取込制御部と、前記取込制御部により取り込む範囲が異ならされた前記画像に基づいて、前記外界の所定の被写体までの距離に対応する奥行き情報を検出する奥行検出部と、前記奥行検出部により検出された奥行き情報に基づいて、前記結像系又は前記撮像系を制御する制御部とを備えることを特徴とする撮像装置。
【請求項１３】前記結像系は、前記外界の画像を結ぶ結像部と、前記視点から見た外界の画像を結ぶ単一光軸の視差用結像部とを有し、前記光通過制御部は、前記視差用結像部を透過した光を通過させる視点となる第１開口及び第２開口を有し、前記撮像系は、前記結像部により結ばれた前記画像を撮像する撮像部と、前記光通過制御部の第１開口を通過した光による外界の第１画像と第２開口を通過した光による外界の第２画像とを取り込む視差用撮像部とを有し、前記取込制御部は、前記第１開口及び第２開口との間隔に基づいて、前記第１開口から見た画像と、前記第２開口から見た画像とで、前記視差用撮像部の受光面上における画像を取り込む範囲を異ならせ、前記奥行検出部は、前記視差用撮像部により取り込まれた前記画像に基づいて、前記外界の所定の被写体までの距離に対応する奥行き情報を検出し、前記制御部は、前記奥行検出部により検出された奥行き情報に基づいて、前記結像部又は前記撮像部を制御することを特徴とする請求項１２に記載の撮像装置。
【請求項１４】前記撮像系は、光電変換素子を有することを特徴とする請求項８乃至１３のいずれかに記載の撮像装置。
【請求項１５】前記撮像系は、光化学反応部材を設置する設置部を有することを特徴とする請求項８乃至１３のいずれかに記載の撮像装置。

【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、複数の視点から見た画像を取り込む視差画像入力装置及び撮像装置に関する。
【０００２】
【従来の技術】従来、複数の異なる視点にカメラを置き、各視点において同一の被写体の画像を取り込み、取り込んだ複数の画像間の対応点を抽出して被写体までの距離マップを求め、この距離マップに基づいて被写体の３次元形状を求める技術が知られている。このように異なる視点から画像を取り込む装置としては、撮影系全体を移動させながら視差画像を撮影する装置が知られている。例えば、特開平９－４４６７７号公報（文献１という）には、カメラ全体を移動させるカメラ移動機構が開示されている。
【０００３】また、特開平１０－２２９５６６号公報（文献２という）には、移動しながら同一の被写体を連続撮影して複数の画像を保存する手段と、保存された複数の画像間の画像要素の移動量を被写体の奥行き情報として抽出する手段とを有することを特徴とするデジタルカメラシステムが開示されている。このシステムにおいては、視差画像を撮影するために、カメラを動画撮影モードに切り替え、当該カメラを静止画像を撮影したときの光軸方向に直行する方向に移動しながら同じ被写体を連続撮影すると記載されている。
【０００４】これに対して、特開平１０－４２３１４号公報（文献３という）には、光学レンズの瞳面における光透過範囲を定める光量制御手段と、光量制御手段の光透過範囲を前記光学レンズの瞳面に平行な方向に移動させ、光学レンズの特定の位置を通過する画像情報だけを選択的に伝達する光量制御手段の光透過範囲制御手段と、光量制御手段によって伝達された画像情報を撮像して画像データ列に変換する撮像手段とからなることを特徴とする単レンズ方式の視差画像入力装置が開示されている。
【０００５】また、特開平１０－２７１５３４号公報（文献４という）には、被写体の光を撮像板に結像させる光学系と、光学系の光軸途中を中心として、所定の距離だけ離れた位置に配置され、被写体からの光を透過又は遮光する複数の光変調機構とを備え、所定の時間間隔で、前記各光変調機構の１つを透過状態にし、残りを遮光状態にする立体画像撮影装置が開示されている。
【０００６】
【発明が解決しようとする課題】上記の文献１に記載された発明においては、カメラ移動機構と制御装置とが大がかりになるという問題があった。また、文献２に記載された発明においては、視差画像を撮影するために、カメラを動画撮影モードに切り替え、静止画像を撮影したときの光軸方向に直行する方向に移動しながら同じ被写体を連続撮影するとの記載があるが、どのようにカメラを移動させるかについては記載されていない。また、この場合には、例えば、高精度に制御することのできる移動機構や、カメラ移動の軌跡を三次元的に計測して記録する手段や、カメラの移動の軌跡を推定する機構等が必要となると考えられるが、このような装置を用意することは非常に困難であり、現実的でない。
【０００７】また、文献３又は４に記載されている装置においては、得られる画像に、レンズの屈折力の効果で視差と共に、光軸の角度変化が含まれており、画像から所定の被写体についての視差量や、当該被写体の奥行き情報（奥行き位置）を算出する演算が複雑になり、処理時間が長いという問題が生じていた。そこで本発明は、容易に視差画像を得ることができ、また、容易に被写体の奥行き情報を得ることができる視差画像入力装置及び撮像装置を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【０００８】
【課題を解決するための手段】上記目的を達成するために、本発明の第１の形態に係る視差画像入力装置は、複数の視点から見た外界の画像を取得する視差画像入力装置であって、視点から見た外界の画像を結ぶ視差用結像部と、視差用結像部により結ばれた視点から見た外界の画像を取り込む視差用撮像部と、視差用撮像部に対して、視差用結像部を移動させて視点を変更する視差用結像部駆動部とを有することを特徴とする。
【０００９】また、上記目的を達成するために、本発明の第２の形態に係る視差画像入力装置は、複数の視点から見た外界の画像を取得する視差画像入力装置であって、視点から見た外界の画像を結ぶ視差用結像部と、筐体と、筐体に保持され、視差用結像部を移動させて視点を変更する視差用結像部駆動部と、視差用結像部により結ばれた異なる視点から見た複数の外界の画像を取り込む視差用撮像部とを有することを特徴とする。
【００１０】筐体に対して、視差用撮像部を移動する視差用撮像部駆動部を更に有し、視差用撮像部駆動部により視差用撮像部の位置を視点毎に異ならせるようにしてもよい。視差用撮像部駆動部は、視差用結像部駆動部による視差用結像部の視差方向の移動の間隔に基づいて、視差用撮像部を移動させるようにしてもよい。また、取込制御部は、視差用撮像部の受光面上における画像を取り込む範囲を視点毎に異ならせる取込制御部を備えるようにしてもよい。
【００１１】上記目的を達成するために、本発明の第３の形態に係る視差画像入力装置は、複数の視点から見た外界の画像を取得する視差画像入力装置であって、外界の画像を結ぶ単一光軸の視差用結像部と、視差用結像部を透過した光を通過させる視点となる第１開口及び第２開口を有する光通過制御部と、光通過制御部の第１開口を通過した光による外界の第１画像と第２開口を通過した光による外界の第２画像とを取り込む視差用撮像部と、第１開口及び第２開口との間隔に基づいて、第１開口から見た画像と、第２開口から見た画像とで、視差用撮像部の受光面上における画像を取り込む範囲を異ならせる取込制御部とを備えることを特徴とする。本発明に係る視差用画像入力装置において、視差用撮像部により取り込まれた画像に基づいて、外界の所定の被写体の奥行き情報を検出する奥行検出部を更に備えるようにしてもよい。
【００１２】上記目的を達成するために、本発明の第１の形態に係る撮像装置は、所望の外界を撮像する撮像装置であって、複数の視点から見た外界の画像を結ぶ結像系と、結像系により結ばれた画像を撮像する撮像系と、撮像系に対して、結像系を移動させて視点を変更する結像系駆動部と、撮像系により撮像された異なる視点から見た外界の画像に基づいて、外界の所定の被写体までの距離に対応する奥行き情報を検出する奥行検出部と、奥行検出部により検出された奥行き情報に基づいて、結像系又は撮像系を制御する制御部とを有することを特徴とする。
【００１３】結像系は、視点からの外界の画像を結ぶ結像部と、複数の視点から見た外界の画像を結ぶ視差用結像部とを有し、撮像系は、結像部により結ばれた画像を撮像する撮像部と、視差用結像部により結ばれた視点から見た外界の画像を取り込む視差用撮像部とを有し、結像系駆動部は、視差用撮像部に対して、視差用結像部を移動させて視点を変更する視差用結像部駆動部を有し、奥行検出部は、視差用撮像部により撮像された異なる視点から見た外界の画像に基づいて、外界の所定の被写体までの距離に対応する奥行き情報を検出し、制御部は、奥行検出部により検出された奥行き情報に基づいて、結像部又は撮像部を制御するようにしてもよい。
【００１４】上記目的を達成するために、本発明の第２の形態に係る撮像装置は、所望の外界を撮像する撮像装置であって、複数の視点から見た外界の画像を結ぶ結像系と、結像部により結ばれた画像を撮像する撮像系と、筐体と、筐体に対して、結像系を移動させて視点を変更する結像系駆動部と、撮像系により撮像された異なる視点から見た外界の画像に基づいて、外界の所定の被写体までの距離に対応する奥行き情報を検出する奥行検出部と、奥行検出部により検出された奥行き情報に基づいて、結像系又は撮像系を制御する制御部とを有することを特徴とする。
【００１５】結像系は、外界の画像を結ぶ結像部と、視点から見た外界の画像を結ぶ視差用結像部とを有し、撮像系は、結像部により結ばれた画像を撮像する撮像部と、視差用結像部により結ばれた異なる視点から見た複数の外界の画像を取り込む視差用撮像部とを有し、結像系駆動部は、筐体に対して、視差用結像部を移動させて視点を変更する視差用結像部駆動部を有し、奥行き検出部は、視差用撮像部により撮像された異なる視点から見た外界の画像に基づいて、外界の所定の被写体までの距離に対応する奥行き情報を検出し、制御部は、奥行検出部により検出された奥行き情報に基づいて、結像部又は撮像部を制御するようにしてもよい。
【００１６】また、上記目的を達成するために、本発明の第３の形態に係る撮像装置は、所望の外界を撮像する撮像装置であって、外界の画像を結ぶ結像系と、結像系を透過した光を通過させる視点となる第１開口及び第２開口を有する光通過制御部と、結像系により結ばれた画像を撮像する撮像系と、第１開口及び第２開口との間隔に基づいて、第１開口から見た画像と、第２開口から見た画像とで、撮像系の受光面上における画像を取り込む範囲を異ならせる取込制御部と、取込制御部により取り込む範囲が異ならされた画像に基づいて、外界の所定の被写体までの距離に対応する奥行き情報を検出する奥行検出部と、奥行検出部により検出された奥行き情報に基づいて、結像系又は撮像系を制御する制御部とを備えることを特徴とする。
【００１７】結像系は、外界の画像を結ぶ結像部と、視点から見た外界の画像を結ぶ単一光軸の視差用結像部とを有し、光通過制御部は、視差用結像部を透過した光を通過させる視点となる第１開口及び第２開口を有し、撮像系は、結像部により結ばれた画像を撮像する撮像部と、光通過制御部の第１開口を通過した光による外界の第１画像と第２開口を通過した光による外界の第２画像とを取り込む視差用撮像部とを有し、取込制御部は、第１開口及び第２開口との間隔に基づいて、第１開口から見た画像と、第２開口から見た画像とで、視差用撮像部の受光面上における画像を取り込む範囲を異ならせ、奥行検出部は、視差用撮像部により取り込まれた画像に基づいて、外界の所定の被写体までの距離に対応する奥行き情報を検出し、制御部は、奥行検出部により検出された奥行き情報に基づいて、結像部又は撮像部を制御するようにしてもよい。
【００１８】撮像部は、光電変換素子を有するようにしてもよく、また、光化学反応部材を設置する設置部を有するようにしてもよい。なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。
【００１９】
【発明の実施の形態】以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。図１は、本発明の第１の実施形態に係る視差画像入力装置を含む撮像装置の一例としてのデジタルカメラの構成を示す。ここで、デジタルカメラには、画像を一枚毎に撮像するカメラだけでなく、画像を連続して撮像するビデオカメラ等が含まれる。撮像装置１０は、筐体１１を有し、当該筐体１１内に、結像部２４と、撮像部２６と、記憶部２８と、視差用結像部１４、結像系駆動部及び視差用結像部駆動部の一例としての駆動部１５、視差用撮像部１６、取込制御部の一例としての画像切出部１７、視差画像記憶部１８、奥行検出部２０、及び奥行記憶部２２を有する視差画像入力装置本体部１２と、制御部３０とを備える。ここで、本実施形態では、特許請求の範囲にいう結像系は、結像部２４及び視差用結像部１４によって構成され、撮像系は、撮像部２６及び視差用撮像部１６によって構成される。
【００２０】結像部２４は、例えば、単数或いは複数のレンズを有しており、外界からの光を集めることにより、撮像部２６の受光面上に外界の画像を結ぶ。撮像部２６は、受光面上に結ばれた画像を取り込む。本実施形態では、撮像部２６は、光電変換素子の一例としてのＣＣＤ（Charge Coupled Device）であり、受光面上に結ばれた画像を画像データに変換して取り込む。記憶部２８は、撮像部２６によって変換された画像データを記憶する。
【００２１】視差用結像部１４は、例えば、単数或いは複数のレンズを有しており、外界の画像を視差用撮像部１６の受光面上に結ぶ。駆動部１５は、筐体１１に対して視差用結像部１４を移動させる。これにより、複数の視点から見た画像を得ることができる。本実施形態では、駆動部１５は、視差用結像部１４を光軸を平行に維持しつつ、当該光軸に垂直な方向に移動させる。また、本実施形態では、駆動部１５により視差用結像部１４を予め決められた２つの視点位置（一方を第１視点位置、他方を第２視点位置という）の間で移動させる。このようにすると、駆動部１５の構成を簡易にすることができると共に、視点位置を結ぶ視差方向の間隔を常に固定することができ、視点位置の視差方向の間隔を測定する構成を備える必要がない。
【００２２】視差用撮像部１６は、視差用結像部１４により結ばれた複数の視点から見た外界の画像を取り込む。本実施形態では、視差用撮像部１６は、光電変換素子の一例としてのＣＣＤであり、受光面上に結ばれた画像を画像データに変換して取り込む。また、本実施形態では視差用撮像１６は、筐体１１に固定されて移動できないようになっている。画像切出部１７は、複数の視点から見た複数の画像データについて、複数の視点についての、視点を結ぶ視差方向の間隔に基づいてそれぞれ異なる切り出し（クロッピング）範囲を決定し、当該範囲にしたがって各画像データを切り出す。
【００２３】ここで、画像切出部１７による複数の視点から見た複数の画像データの切り出し範囲を、これらの視点間隔を変数とする所定の線形な関数によって得られる値分異ならせるようにしてもよい。このようにすると、従来例に示すようなカメラ全体をカメラレンズの光軸に平行に移動させて得られる複数の視点からの画像データと同様な画像データを得ることができる。したがって、得られた画像データに対して、従来例と同様な処理を実行することにより容易に画像中の所定の被写体の奥行き位置を求めることができる。
【００２４】また、画像切出部１７による複数の視点から見た複数の画像データの切り出し範囲を、視点間隔を変数とする所定の非線形な関数によって得られる値分異ならせるようにしてもよい。このようにすると、カメラ全体をカメラレンズの光軸を所定の点を中心にして回転させ、さらに、カメラ全体をカメラレンズの光軸に平行に移動させることにより得られる複数の視点からの画像データと同様な画像データを得ることができる。
【００２５】本実施形態では、画像切出部１７は、視差用結像部１４が第１視点位置にある場合の画像データについては、当該視差用結像部１４の光軸（光軸１）に相当する視差用撮像部１６の受光面の位置を中心とする所定の幅の範囲を切り出し、視差用結像部１４が第２視点位置にある場合の画像データについては、当該視差用撮像部１の光軸（光軸２）に相当する視差用撮像部１６の受光面の位置を中心とする前記所定の幅の範囲、すなわち、前記視差用結像部１４が第１視点位置にある場合の切り出し範囲を第１及び第２視点位置の間隔分ずらした範囲を切り出している。これは、上記した切り出し範囲を線形な関数によって得られる値分異ならせた場合の一例である。
【００２６】また、画像切出部１７が画像データから所定の範囲の画像データを切り出す方法としては、視差用撮像部１６に変換されたアナログ信号の画像データから所定の範囲の画像データを切り出すようにしてもよく、視差用撮像部１６がアナログ信号の画像データをデジタル信号の画像データに変換した後に、当該画像データから所定の範囲を示す画像データを切り出すようにしてもよい。
【００２７】視差画像記憶部１８は、画像切出部１７により切り出された複数の視点から見た外界の画像データを記憶する。奥行検出部２０は、視差画像記憶部１８に記憶された異なる視点から見た画像データに基づいて、外界の所定の被写体について対応点決定処理を行うことによりずれ量を求める。対応点決定処理は、従来より知られている技術であるので説明を省略する。なお、対応点決定処理は、「コンピュータビジョン：技術論評と将来展望、（株）新技術コミュニケーションズ、１９９８、ＩＳＢＮ４－９１５８５１－１７－６」の「第８章ステレオ視」等に記載されている。
【００２８】また、奥行検出部２０は、当該ずれ量に基づいて被写体の奥行き位置（奥行き情報）を検出する奥行き位置検出処理を行う。奥行き位置検出処理においては、ずれ量と奥行き位置との関係を示す関数を予め求めておき、当該関数にずれ量を代入して奥行き位置を算出するようにしてもよい。また、ずれ量と奥行き位置との対応関係をテーブルとして保持しておき、当該テーブルからずれ量に対応する奥行き位置を取り出すようにしてもよい。ここで、ずれ量と奥行き位置との関係は、例えば、従来より知られている三角測量の原理、レンズの性質、幾何学の法則等に基づいて表すことができるので、ここでは、説明を省略する。
【００２９】奥行記憶部２２は、奥行検出部２０により検出された被写体の奥行き位置を記憶する。制御部３０は、奥行記憶部２２に記憶されている所定の被写体の奥行き位置に基づいて、結像部２４のフォーカスや、撮像部２６による撮像動作等を制御する。ここで、記憶部２８、視差画像記憶部１８、及び奥行記憶部２２は、それぞれ、撮像装置１０内に常設されているＲＡＭ（Random Access Memory）、フラッシュメモリであってもよく、また、撮像装置１０に対して着脱可能な、例えば、フロッピーディスク、ＭＤ（Mini Disk）、スマートメディア（商標）等の記録媒体であってもよい。
【００３０】図２は、本発明の第１の実施形態に係る撮像装置による画像の撮影動作を説明する図である。図２（Ａ）は、視差用結像部１４が第１視点位置にある場合における撮影を説明する図であり、図２（Ｂ）は、視差用結像部１４が第２視点位置にある場合における撮影を説明する図である。ここで、視差用結像部１４の移動方向に平行にＸ軸を取るものとする。また、外界には、視差用結像部１４から光軸に平行な距離が距離Ａである被写体Ａと、視差用結像部１４から光軸に平行な距離が距離Ｂである被写体Ｂと、視差用結像部１４から光軸に平行な距離が無限大（∞）である被写体Ｃとがあり、図中Ｘ軸の値が大きい方から順に被写体Ａ、Ｂ、Ｃが並んでいるものとする。
【００３１】撮像装置１０において、まず、駆動部１５が視差用結像部１４を第１視点位置に維持させる。なお、第１視点位置における視差用結像部１４の光軸を光軸１とする。これにより、第１視点位置において視差用結像部１４を介して外界の画像が視差用撮像部１６の受光面上に結ばれる。視差用撮像部１６には、例えば、図２（Ａ）に示すように、Ｘ軸の値の大きい方から順に被写体Ｃ、Ｂ、Ａの順に各被写体の像が結ばれる。視差用撮像部１６は受光面上に結ばれた画像を画像データに変換する。
【００３２】次いで、駆動部１５が視差用結像部１４の光軸を光軸１に平行に維持しつつ、第２視点位置に移動させる。ここで、第２視点位置における視差用結像部１４の光軸を光軸２とする。これにより、第２視点位置において視差用結像部１４を介して外界の画像が視差用撮像部１６の受光面上に結ばれる。視差用撮像部１６には、図２（Ｂ）に示すように、Ｘ軸の値の大きい方から順に被写体Ｃ、Ｂ、Ａの順に各被写体の像が結ばれる。図２（Ｂ）に示した像の位置は、図２（Ａ）に示した像の位置と比較すると、被写体Ａ、Ｂ、Ｃのすべてが、Ｘ軸の値が小さくなる方向にずれた位置に結ばれ、被写体Ｃ、Ｂ、Ａの順にずれ量が多い。視差用撮像部１６は受光面上に結ばれた画像を画像データに変換する。
【００３３】図３は、本発明の第１の実施形態に係る画像の切り出し動作を説明する図である。図３は、図２に示すように第１視点位置及び第２視点位置において画像が結ばれた場合における画像の切り出し動作を説明する図である。画像切出部１７は、図３（Ａ）に示すように第１視点位置において視差用結像部１６に結ばれた像に対して、光軸１に相当する視差用結像部１６の受光面の位置を中心に所定の幅に含まれる図３（Ｃ）に示す第１画像データを切り出す。また、画像切出部１７は、図３（Ｂ）に示すように第２視点位置において視差用結像部１６に結ばれた像に対して、光軸２に相当する視差用結像部１６の受光面の位置を中心に所定の幅に含まれる図３（Ｄ）に示す第２画像データを切り出す。
【００３４】このように切り出された第１画像データと、第２画像データとを重ね合わせると、図３（Ｅ）に示すように、距離が無限大の同一の被写体Ｃが一致し、被写体の距離が近くなるほど両画像データ間の同一の被写体のずれ量が大きくあらわれる。図３（Ｅ）に示す画像データは、従来例に示すカメラ全体をカメラレンズの光軸に平行に移動させて得られる複数の視点からの画像データと同様な画像データであり、得られた画像データに対して、従来例と同様な処理を実行することにより容易に画像中の所定の被写体の奥行き位置を求めることができる。なお、これら画像データは、視差画像記憶部１８に記憶される。
【００３５】次に、撮像装置１０における画像データを記憶させた以降の処理について説明する。撮像装置１０では、上記のように、画像切出部１７により切り出されて視差画像記憶部１８に記憶された画像データに基づいて、奥行検出部２０が対応点決定処理により外界の所定の被写体についてのずれ量を検出し、当該ずれ量に基づいて当該被写体についての奥行き位置を検出し、奥行記憶部２２が検出された当該被写体の奥行き位置を記憶する。
【００３６】次いで、制御部３０が奥行記憶部２２に記憶されている被写体の奥行き位置に基づいて、結像部２４及び撮像部２６を制御する。これにより、結像部２４が外界からの光を集め、撮像部２６の受光面上に外界の被写体の画像を結ぶ。そして、撮像部２６が自己の受光面上に結ばれた画像を画像データに変換し、記憶部２８が撮像部２６によって変換された画像データを記憶する。
【００３７】このとき、記憶部２８は、自己が記憶する画像データと、当該画像データを取り込むに際して、視差用撮像部１６により取り込まれて視差画像記憶部１８に記憶された複数の視点からの画像と、当該複数の視点からの画像により算出されて奥行記憶部２２に記憶されている被写体の奥行き位置とを対応付ける対応付け情報も記憶する。これにより、後に、画像データと、当該画像データに関する複数の視点からの画像と、当該画像データに含まれている被写体の奥行き情報とを対応付けて利用することができる。
【００３８】上記のように、撮像装置１０全体を動かすことなく、視差用結像部１４のみを動かすだけで、複数の視点から見た外界の画像を取り込むことができるので、撮像装置１０全体を動かす駆動系を備える必要がなく、撮像装置及び視差画像入力装置のサイズを小型化することできると共に、撮像装置及び視差画像入力装置に係るコストを低減することができる。また、容易に画像中の所定の被写体の奥行き位置を求めることができる。
【００３９】図４は、本発明の第２の実施形態に係る視差画像入力装置を含む撮像装置の構成を示す図である。ここで、図１に示す第１の実施形態の撮像装置の要素と同一な機能を有する要素には、同一符号を付す。本撮像装置１０は、第１の実施形態の撮像装置１０において、駆動部１５に変えて視差用撮像部駆動部の一例としての駆動部３２を備え、画像切出部１７を取り除いた構成となっている。ここで、本実施形態では、特許請求の範囲にいう結像系は、結像部２４及び視差用結像部１４によって構成され、撮像系は、撮像部２６及び視差用撮像部１６によって構成される。
【００４０】駆動部３２は、第１の実施形態の駆動部１５の機能に加えて、更に、視差用撮像部１６を駆動させる機能を備えるものである。駆動部３２は、複数の視点の視点を結ぶ視差方向の間隔に基づいて、各視点から見た画像を取り込む視差用撮像部１６の位置を変更する。ここで、駆動部３２は、複数の視点から見た各画像データを取り込む際のそれぞれの視差用撮像部１６の位置を、これらの視点の視差方向の間隔を変数とする所定の線形な関数によって得られる値分異ならせるようにしてもよい。このようにすると、従来例に示すようなカメラ全体をカメラレンズの光軸に平行に移動させて得られる複数の視点からの画像データと同様な画像データを得ることができる。したがって、得られた画像データに対して、従来例と同様な処理を実行することにより容易に画像中の所定の被写体の奥行き位置を求めることができる。
【００４１】また、駆動部３２は、複数の視点から見た各画像データを取り込む際のそれぞれの視差用撮像部１６の位置を、これらの視点間隔を変数とする所定の非線形な関数によって得られる値分異ならせるようにしてもよい。このようにすると、カメラ全体をカメラレンズの光軸を所定の点を中心にして回転させ、さらに、カメラ全体をカメラレンズの光軸に平行に移動させることにより得られる複数の視点からの画像データと同様な画像データを得ることができる。
【００４２】本実施形態では、駆動部３２は、視差用結像部１４が第１視点位置にある場合には、視差用撮像部１６の受光面のＸ軸方向の中心と当該視差用結像部１４の光軸（光軸１）とが一致するように、視差用撮像部１６を移動させ、視差用結像部１４が第２視点位置にある場合には、視差用撮像部１６の受光面のＸ軸方向の中心と当該視差用結像部１４の光軸（光軸２）とが一致するように、視差用撮像部１６を移動させる。これは、上記した切り出し範囲を線形な関数によって得られる値分異ならせた場合の一例である。
【００４３】図５は、本発明の第２の実施形態に係る撮像装置による視差画像の撮影動作を説明する図である。図５（Ａ）は、視差用結像部１４が第１視点位置にある場合における撮影を説明する図であり、図５（Ｂ）は、視差用結像部１４が第２視点位置にある場合における撮影を説明する図である。ここで、外界には、視差用結像部１４から光軸に平行な距離が距離Ａである被写体Ａと、視差用結像部１４から光軸に平行な距離が距離Ｂである被写体Ｂと、視差用結像部１４から光軸に平行な距離が無限大（∞）である被写体Ｃとがあり、図中Ｘ軸の値が大きい方から順に被写体Ａ、Ｂ、Ｃが並んでいるものとする。
【００４４】撮像装置１０において、まず、駆動部３２が視差用結像部１４を第１視点位置に維持させるとともに、第１視点位置における当該視差用結像部１４の光軸（光軸１）と受光面のＸ軸の中心とが一致するように視差用撮像部１６を維持させる。これにより、第１視点位置において視差用結像部１４を介して外界の画像が視差用撮像部１６の受光面上に結ばれる。視差用撮像部１６には、例えば、図５（Ａ）に示すように、Ｘ軸の値の大きい方から順に被写体Ｃ、Ｂ、Ａの順に各被写体の像が結ばれる。視差用撮像部１６は受光面上に結ばれた画像を画像データに変換する。
【００４５】次いで、駆動部３２が視差用結像部１４の光軸を光軸１に平行に維持しつつ、第２視点位置に移動させるとともに、第２視点位置における当該視差用結像部１４の光軸（光軸２）と受光面のＸ軸の中心とが一致するように視差用撮像部１６を移動させる。これにより、第２視点位置において視差用結像部１４を介して外界の画像が視差用撮像部１６の受光面上に結ばれる。視差用撮像部１６には、図５（Ｂ）に示すように、Ｘ軸の値の大きい方から順に被写体Ｃ、Ｂ、Ａの順に各被写体の像が結ばれる。視差用撮像部１６は受光面上に結ばれた画像を画像データに変換する。
【００４６】このように視差用撮像部１６に変換された第１画像データと、第２画像データとを重ね合わせると、図５（Ｃ）に示すように、距離が無限大の同一の被写体Ｃが一致し、被写体の距離が近いほど両画像データ間の同一の被写体のずれ量が大きくあらわれる。図５（Ｃ）に示す画像データは、従来例に示すカメラ全体をカメラレンズの光軸に平行に移動させて得られる複数の視点からの画像データと同様な画像データであり、得られた画像データに対して、従来例と同様な処理を実行することにより容易に画像中の所定の被写体の奥行き位置を求めることができる。この第１画像データ及び第２画像データは視差画像記憶部１８に記憶される。なお、撮像装置１０における画像データを記憶させた以降の処理については、上記した第１の実施形態と同様であるので、ここでは説明を省略する。
【００４７】このように、撮像装置１０全体を動かすことなく、視差用結像部１４及び視差用撮像部１６を動かすだけで、複数の視点からの画像を取り込むことができるので、撮像装置１０全体を動かす駆動系の装置を備える必要がなく、撮像装置及び視差画像入力装置のサイズを小型化することできると共に、撮像装置及び視差画像入力装置に係るコストを低減することができる。また、視差用撮像部１６の受光面に余裕を持たせておく必要がなく、視差用撮像部１６を小型化でき、コストを低減することができる。また、容易に画像中の所定の被写体の奥行き位置を求めることができる。
【００４８】次に、本発明の第３の実施形態に係る撮像装置について説明する。図６は、本発明の第３の実施形態に係る撮像装置の視差画像入力装置の構成を示す図である。第３の実施形態に係る撮像装置は、図１に示す第１の実施形態に係る撮像装置の視差画像入力装置本体部１２の構成を異ならせたものである。ここで、図１に示す視差画像入力装置本体部１２内の構成と同様な機能要素については、同一の符号を付し、重複する説明を省略する。本視差画像入力装置本体部１２は、視差用結像部１４と、シャッター部５０と、視差用撮像部１６と、画像切出部１７と、視差画像記憶部１８と、奥行検出部２０と、奥行記憶部２２と、制御部５２とを有する。ここで、本実施形態では、特許請求の範囲にいう結像系は、結像部２４及び視差用結像部１４によって構成され、撮像系は、撮像部２６及び視差用撮像部１６によって構成される。シャッター部５０は、視点となる開閉自在な開閉部５０Ａ、５０Ｂを有している。シャッター部５０は視差用結像部１４の瞳面、或いはその近傍に配置されることが好ましい。制御部５２は、各部を制御する。例えば、シャッター部５２の開閉部５０Ａ、５０Ｂの開閉を制御していずれか一方を開くようにしている。
【００４９】図７は、本発明の第３の実施形態に係る撮像装置による複数の視点から見た画像の撮影動作を説明する図である。図７（Ａ）は、開閉部５０Ａから見た画像の撮影を説明する図であり、図７（Ｂ）は、開閉部５０Ｂから見た画像の撮影を説明する図である。ここで、外界には、視差用結像部１４から光軸に平行な距離が距離Ａである被写体Ａと、視差用結像部１４から光軸に平行な距離が距離Ｂである被写体Ｂと、視差用結像部１４から光軸に平行な距離が距離Ｃである被写体Ｃとがあり、図中Ｘ軸の値が大きい方から順に被写体Ａ、Ｂ、Ｃが並んでいるものとする。また、視差用結像部１４から光軸に平行な距離が距離Ｂの面は、視差用結像部１４の合焦点面である。
【００５０】視差画像入力装置本体部１２において、まず、制御部５２がシャッター部５０の開閉部５０Ａを開け、開閉部５０Ｂを閉じる。これにより、開閉部５０Ａを介して、外界の画像が視差用撮像部１６の受光面上に結ばれる。視差用撮像部１６には、例えば、図７（Ａ）に示すように、Ｘ軸の値の大きい方から順に被写体Ｃ、Ｂ、Ａの順に各被写体の像が結ばれる。視差用撮像部１６は受光面上に結ばれた画像を画像データに変換する。
【００５１】次いで、制御部５２がシャッター部５０の開閉部５０Ｂを開け、開閉部５０Ａを閉じる。これにより、開閉部５０Ｂを介して、外界の画像が視差用撮像部１６の受光面上に結ばれる。視差用撮像部１６には、例えば、図７（Ｂ）に示すように、Ｘ軸の値の大きい方から順に被写体Ｃ、Ｂ、Ａの順に各被写体の像が結ばれる。図７（Ｂ）に示した像の位置は、図７（Ａ）に示した像の位置と比較すると、合焦点面上に位置する被写体Ｂの像の位置は変わらず、合焦点面より視差用結像部１４側に位置する被写体Ａの像が、Ｘ軸の値が小さくなる方向にずれた位置に結ばれ、合焦点面より遠くに位置する被写体Ｃの像が、Ｘ軸の値が大きくなる方向にずれた位置に結ばれる。視差用撮像部１６は受光面上に結ばれた画像を画像データに変換する。
【００５２】図８は、本発明の第３の実施形態に係る画像の切り出し動作を説明する図である。図８は、図７に示すように開閉部５０Ａ又は開閉部５０Ｂを介して結ばれた画像の切り出しを説明する図である。画像切出部１７は、図８（Ａ）に示すように開閉部５０Ａを介して結ばれた像に対して、所定の範囲に含まれる図８（Ｃ）に示す第１画像データを切り出す。また、画像切出部１７は、図８（Ｂ）に示すように開閉部５０Ｂを介して結ばれた像に対して、前記範囲をＸ軸の値が小さくなる方向に所定の距離移動させて、図８（Ｄ）に示す第２画像データを切り出す。
【００５３】このように切り出された第１画像データと、第２画像データとを重ね合わせると、図８（Ｅ）に示すように、被写体の距離が遠いほど両画像データ間の同一の被写体のずれ量が大きくあらわれる。このように、被写体が遠いほどずれ量が大きくあらわれるので、複数の視点から見た画像データに基づいて被写体の相対的なずれ量を求めるだけで奥行きを特定することができ、処理量を削減することができる。これに比して、図８（Ａ）、（Ｂ）を用いて、各被写体のずれ量を求めるとすると、相対的なずれ量だけでは、被写体が合焦点面の前後のいずれにあるかを特定することができず、ずれが発生する方向をも認識しておく必要があり、このため処理が複雑になってしまう。なお、このようにして切り出された第１画像データ及び第２画像データは視差画像記憶部１８に記憶される。なお、撮像装置１０における画像データを記憶させた以降の処理については、上記した第１の実施形態と同様であるので、ここでは説明を省略する。
【００５４】本発明は上記の実施形態に限定されるものではなく、種々の変形が可能である。例えば、上記の実施形態では、撮像部２６としてＣＣＤを用いて例を示したが、本発明はこれに限られず、撮像部２６に、例えば、光化学反応部材の一例としてのフィルムを設置する設置部を備え、設置部に設置されたフィルムにより画像を撮像するようにしてもよい。また、上記実施形態では、デジタルカメラを例に取って説明したが、本発明はこれに限られず、人間の体腔内を観察する内視鏡等の他の撮像装置に適用することもできる。
【００５５】また、上記実施形態では、切り出す画像データの範囲を異ならせて、又は、画像を取り込む視差用撮像部１６を移動させることにより、画像を取り込む範囲を異ならせていたが、本発明はこれに限られず、切り出す画像の範囲を異ならせると共に、画像を取り込む視差用撮像部を移動させることにより画像を取り込む範囲を異ならせるようにしてもよい。
【００５６】また、上記実施形態では、別構成の視差用結像部１４及び結像部２４を備えていたが、本発明はこれに限られず、結像系が単一のレンズ系のみを有していてもよい。この場合、単一のレンズ系によって視差用結像部１４及び結像部２４を構成してもよく、プリズム等の光分岐手段によって外界の画像を視差用撮像部１６及び撮像部２６に結ばせるようにしてもよい。また、視差用結像部１４及び結像部２４の一部を共通の構成にしてもよい。また、撮像系は、複数の撮像部、すなわち、視差用撮像部１６及び撮像部２６を有していたが、本発明はこれに限られず、撮像系が単一の撮像部のみを有していてもよい。この場合、単一の撮像部が視差用撮像部１６及び撮像部２６として機能してもよい。
【００５７】上記実施の形態では、視差用撮像部１６として、ＣＣＤを用いていたが、本発明はこれに限られず、視差用撮像部１６に、例えば、光化学反応部材の一例としてもフィルムを設置する設置部を備え、設置部に設置されたフィルムにより画像を撮像するようにしてもよい。このようにすると、フィルムを現像し、フィルムに取り込まれた複数の視点からの画像を、例えばフィルムスキャナ等でデジタル画像データとして取り込む場合に、取り込む画像データをこれら画像を取り込んだ際の視点間の間隔に応じて切り出すようにすれば、当該画像データから所定の被写体への奥行き位置を検出する際の処理を容易にすることができる。
【００５８】以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００５９】
【発明の効果】上記説明から明らかなように、本発明によれば、容易に視差画像を取り込むことができる。また、外界の被写体の奥行き情報を容易に得ることができる。

【出願人】	【識別番号】０００００５２０１【氏名又は名称】富士写真フイルム株式会社
【出願日】	平成１１年６月２９日（１９９９．６．２９）
【代理人】	【識別番号】１００１０４１５６【弁理士】【氏名又は名称】龍華明裕
【公開番号】	特開２００１－１２９２７（Ｐ２００１－１２９２７Ａ）
【公開日】	平成１３年１月１９日（２００１．１．１９）
【出願番号】	特願平１１－１８４４６２