トップ :: G 物理学 :: G01 測定;試験




【発明の名称】 視差画像撮像装置、視差画像処理装置、視差画像撮像方法、及び視差画像処理方法
【発明者】 【氏名】小野 修司
【要約】 【課題】複数の物体が重なって見える被写体の複数の奥行き値を獲得することのできる視差画像撮像装置、視差画像処理装置、視差画像撮像方法、及び視差画像処理方法を提供する。

【解決手段】被写体を見る視点を移動させた場合に得られる複数の視差画像を順次撮像させる制御部３９と、制御部３９により撮像された複数の視差画像の特定画素が、視点の移動に従って複数の視差画像上で移動した軌跡を表す視差ラインを検出する視差ライン検出部２４と、特定画素の視差ラインと交差する複数の交差視差ラインを抽出し、特定画素の視差ラインの傾き及び交差視差ラインの傾きに基づいて、特定画素に撮像された被写体の領域までの複数の距離を算出する距離成分算出部２８とを備えた。
【特許請求の範囲】
【請求項１】 被写体の奥行きに関する情報を獲得する視差画像撮像装置であって、前記被写体を見る視点を移動させた場合に得られる複数の視差画像を順次撮像させる制御部と、前記制御部により撮像された前記複数の視差画像の特定の画素が、前記視点の移動方向及び移動量に従って、前記複数の視差画像上で移動した軌跡を表す視差ラインを検出する視差ライン検出部と、前記特定の画素の前記視差ラインと交差する複数の交差視差ラインを抽出し、前記特定の画素の前記視差ラインの傾き及び前記複数の交差視差ラインの傾きに基づいて、前記特定の画素に撮像された前記被写体の領域までの複数の距離を算出する距離成分算出部とを備えたことを特徴とする視差画像撮像装置。
【請求項２】 前記被写体を結像する第１の光学結像部と、複数の受光素子が配置され、前記第１の光学結像部により前記被写体の前記複数の視差画像が撮像される第１の受光部と、前記第１の光学結像部を移動させる駆動部とをさらに備え、前記制御部が前記視点の前記移動方向及び前記移動量を指定し、前記駆動部は前記移動方向及び前記移動量に基づいて前記第１の光学結像部を移動させることを特徴とする請求項１に記載の視差画像撮像装置。
【請求項３】 前記視差ライン検出部は、前記制御部が指定する前記視点の前記移動方向と略同一の方向に、前記制御部が指定する前記視点の前記移動量だけ、前記特定の画素の前記軌跡を追跡することにより、前記視差ラインを検出することを特徴とする請求項２に記載の視差画像撮像装置。
【請求項４】 前記視点の前記移動方向及び前記移動量を検出する視点移動検出部をさらに備え、前記視差ライン検出部は、前記視点移動検出部が検出した前記視点の前記移動方向と略同一の方向に、前記視点移動検出部が検出した前記視点の前記移動量だけ、前記特定の画素の前記軌跡を追跡することにより、前記視差ラインを検出することを特徴とする請求項１に記載の視差画像撮像装置。
【請求項５】 前記視点移動検出部が、方向センサー及び加速度センサーの少なくとも一方を有し、前記視点の前記移動方向及び前記移動量を、前記方向センサー及び前記加速度センサーの少なくとも一方によって検出することを特徴とする請求項４に記載の視差画像撮像装置。
【請求項６】 前記視点移動検出部は、前記複数の視差画像の特定の領域が、前記複数の視差画像上で移動した移動方向及び移動量を検出することによって、前記視点の前記移動方向及び前記移動量を検出することを特徴とする請求項４に記載の視差画像撮像装置。
【請求項７】 前記被写体を結像する第２の光学結像部と、前記第２の光学結像部により前記被写体の画像が撮像される第２の受光部と、前記第１の受光部に撮像された前記複数の視差画像、前記距離算出部が算出した前記複数の距離、及び前記第２の受光部に撮像された前記被写体の画像を記録する記録部とをさらに備え、前記制御部が、前記距離成分算出部が算出した前記複数の距離に基づいて、前記第２の光学結像部のフォーカス、絞り、及び前記第２の受光部の露光時間の少なくとも一つを制御することを特徴とする請求項２に記載の視差画像撮像装置。
【請求項８】 前記第１の光学結像部により前記被写体の画像が撮像される第２の受光部と、前記第１の受光部に撮像された前記複数の視差画像、前記距離算出部が算出した前記複数の距離、及び前記第２の受光部に撮像された前記被写体の画像を記録する記録部とをさらに備え、前記制御部が、前記距離成分算出部が算出した前記複数の距離に基づいて、前記第１の光学結像部のフォーカス、絞り、及び前記第２の受光部の露光時間の少なくとも一つを制御することを特徴とする請求項２に記載の視差画像撮像装置。
【請求項９】 被写体の奥行きに関する情報を算出する視差画像処理装置であって、前記被写体の画像及び前記被写体を見る視点を移動させた場合に得られる複数の視差画像を入力する視差画像入力部と、前記複数の視差画像の特定の画素が、前記視点の移動方向及び移動量に従って、前記複数の視差画像上で移動した軌跡を表す視差ラインを検出する視差ライン検出部と、前記特定の画素の前記視差ラインと交差する複数の交差視差ラインを抽出し、前記特定の画素の前記視差ラインの傾き及び前記複数の交差視差ラインの傾きに基づいて、前記特定の画素に撮像された前記被写体の領域までの複数の距離を算出する距離成分算出部と、前記距離成分算出部が算出した前記複数の距離に基づいて、前記被写体の前記画像を処理する画像処理部と、前記画像処理部が作成して得られた画像を出力する画像出力部とを備えたことを特徴とする視差画像処理装置。
【請求項１０】 前記視点の前記移動方向及び前記移動量を検出する視点移動検出部をさらに備え、前記視差ライン検出部は、前記視点移動検出部が検出した前記視点の前記移動方向と略同一の方向に、前記視点移動検出部が検出した前記視点の前記移動量だけ、前記特定の画素の前記軌跡を追跡することにより、前記視差ラインを検出することを特徴とする請求項９に記載の視差画像処理装置。
【請求項１１】 前記視点移動検出部は、前記複数の視差画像の特定の領域が、前記複数の視差画像上で移動した移動方向及び移動量を検出することによって、前記視点の前記移動方向及び前記移動量を検出することを特徴とする請求項１０に記載の視差画像処理装置。
【請求項１２】 被写体の奥行きに関する情報を算出するコンピュータ用のプログラムを格納した記録媒体であって、前記プログラムが、前記コンピュータに働きかけて、前記被写体の画像及び前記被写体を見る視点を移動させた場合に得られる複数の視差画像を入力させる視差画像入力モジュールと、前記コンピュータに働きかけて、前記被写体の画像及び前記複数の視差画像を記憶させる視差画像記憶モジュールと、前記コンピュータに働きかけて、前記複数の視差画像の特定の画素が、前記視点の移動方向及び移動量に従って、前記複数の視差画像上で移動した軌跡を表す視差ラインを検出させる視差ライン検出モジュールと、前記コンピュータに働きかけて、前記特定の画素の前記視差ラインと交差する複数の交差視差ラインを抽出し、前記特定の画素の前記視差ラインの傾き及び前記複数の交差視差ラインの傾きに基づいて、前記特定の画素に撮像された前記被写体の領域までの複数の距離を算出させる距離成分算出モジュールと、前記コンピュータに働きかけて、前記距離成分算出モジュールが算出した前記複数の距離に基づいて、前記被写体の前記画像を処理させる画像処理モジュールと、前記コンピュータに働きかけて、前記画像処理モジュールが作成して得られた画像を出力させる画像出力モジュールとを備えたことを特徴とする記録媒体。
【請求項１３】 前記プログラムが、前記コンピュータに働きかけて、前記視点の前記移動方向及び前記移動量を検出させる視点移動検出モジュールをさらに備え、前記視差ライン検出モジュールは、前記視点移動検出モジュールが検出した前記視点の前記移動方向と略同一の方向に、前記視点移動検出モジュールが検出した前記視点の前記移動量だけ、前記特定の画素の前記軌跡を追跡することにより、前記視差ラインを検出することを特徴とする請求項１２に記載の記録媒体。
【請求項１４】 前記視点移動検出モジュールは、前記複数の視差画像の特定の領域が、前記複数の視差画像上で移動した移動方向及び移動量を検出することによって、前記視点の前記移動方向及び前記移動量を検出させることを特徴とする請求項１３に記載の記録媒体。
【請求項１５】 被写体の奥行きに関する情報を算出する視差画像処理方法であって、前記被写体の画像及び前記被写体を見る視点を移動させた場合に得られる複数の視差画像を入力し、前記複数の視差画像の特定の画素が、前記視点の移動方向及び移動量に従って、前記複数の視差画像上で移動した軌跡を表す視差ラインを検出し、前記特定の画素の前記視差ラインと交差する複数の交差視差ラインを抽出し、前記特定の画素の前記視差ラインの傾き及び前記複数の交差視差ラインの傾きに基づいて、前記特定の画素に撮像された前記被写体の領域までの複数の距離を算出することを特徴とする視差画像処理方法。
【請求項１６】 被写体の奥行きに関する情報を獲得する視差画像撮像方法であって、前記被写体を見る視点を移動させた場合に得られる複数の視差画像を撮像し、前記複数の視差画像の特定の画素が、前記視点の移動方向及び移動量に従って、前記複数の視差画像上で移動した軌跡を表す視差ラインを検出し、前記特定の画素の前記視差ラインと交差する複数の交差視差ラインを抽出し、前記特定の画素の前記視差ラインの傾き及び前記複数の交差視差ラインの傾きに基づいて、前記特定の画素に撮像された前記被写体の領域までの複数の距離を算出し、前記距離算出部が算出した前記複数の距離に基づいて、前記被写体を撮像するときの撮影条件を調整し、前記被写体を前記撮影条件で撮像することを特徴とする視差画像撮像方法。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、異なる視点から被写体を見た場合に得られる複数の視差画像に基づいて、被写体の奥行き値を獲得する視差画像撮像装置、視差画像処理装置、視差画像撮像方法、及び視差画像処理方法に関する。特に本発明は、複数の物体が重なって見える被写体の複数の視差画像に基づいて、被写体の複数の奥行き値を獲得する視差画像撮像装置、視差画像処理装置、視差画像撮像方法、及び視差画像処理方法に関する。
【０００２】
【従来の技術】画像処理や画像認識の分野において、被写体の奥行き方向の情報を抽出する手法として、異なる視点から被写体を見た場合に得られる複数の視差画像を用いて、視差画像間の視差を検出し、視差から被写体の奥行き値を計算する方法が一般に取られている。
【０００３】複数の視差画像間の視差を検出するためには、ある視差画像に撮像された被写体の点が、他の視差画像のどこに対応しているかを探し出す処理が必要である。この処理は対応点決定（マッチング）処理と呼ばれる。対応点が決定されると、被写体の点が、複数の視差画像上を移動した距離、すなわち視差量が得られる。視差量が得られると、三角測量の原理より、被写体の点の奥行き値を計算することができる。
【０００４】また、対応点決定処理を必要としない、被写体の奥行き測定手法として、ハフ変換処理によって、複数の視差画像からある奥行きの部分のみの画像を抽出する手法がある（特開平５−２７２９４２号公報）。
【０００５】
【発明が解決しようとする課題】しかしながら、上記のような方法では、複数の撮像系で立体物を撮像した際、一方の撮像系では撮像されているが他方の撮像系では撮像されていない部分、すなわちオクルージョン部が生じる場合、このオクルージョン部においては対応点が抽出できない。したがって、オクルージョン部では、視差を検出することができず、オクルージョン部を含む被写体の奥行き値を測定することができないという問題が生じていた。
【０００６】オクルージョン部が存在する場合、被写体の形状を推定してオクルージョン部の補間処理を行う方法（特開平６−２６５３２２号公報）や、オクルージョン部や被写体の輪郭付近の視差を、周囲の前景や背景の視差から推定する方法（特開平１０−１９１３９６号公報）がある。これらの方法は、視差画像から計算される被写体の点の奥行き値は一つであるという前提で視差を計算する。
【０００７】しかし、複数の物体が重なって見える被写体の場合、被写体のある点の奥行き値は一つであると考えるよりも、複数の値を持つと考える方が適切であることが多い。たとえば、木の枝の間を通して向こう側に物体が見える場合、窓のブラインド越しに外の景色が見える場合、又は半透明のガラスを通して物体を透かして見た場合に、重なり合った部分の被写体の領域は、前景と背景の複数の奥行き値を同時に持つ。
【０００８】このような複数の物体が重なって見える被写体の視差画像を撮像すると、オクルージョン部が多数発生し、対応点の検出が著しく困難になる。このような場合、被写体のある点の奥行き値がただ一つであるという前提で、視差の推定処理を進めると、正しい視差を検出できず、したがって被写体の正しい奥行き値が得られないことが多い。
【０００９】そこで本発明は、上記の課題を解決するために、複数の物体が重なって見える被写体を撮像する場合、被写体の複数の奥行き値を正確に獲得することのできる視差画像撮像装置、視差画像処理装置、視差画像撮像方法、及び視差画像処理方法を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【００１０】
【課題を解決するための手段】即ち、本発明の第１の形態における視差画像撮像装置は、被写体の奥行きに関する情報を獲得する視差画像撮像装置であって、被写体を見る視点を移動させた場合に得られる複数の視差画像を順次撮像させる制御部と、制御部により撮像された複数の視差画像の特定の画素が、視点の移動方向及び移動量に従って、複数の視差画像上で移動した軌跡を表す視差ラインを検出する視差ライン検出部と、特定の画素の視差ラインと交差する複数の交差視差ラインを抽出し、特定の画素の視差ラインの傾き及び複数の交差視差ラインの傾きに基づいて、特定の画素に撮像された被写体の領域までの複数の距離を算出する距離成分算出部とを備えたことを特徴とする。
【００１１】被写体を結像する第１の光学結像部と、複数の受光素子が配置され、第１の光学結像部により被写体の複数の視差画像が撮像される第１の受光部と、第１の光学結像部を移動させる駆動部とをさらに備え、制御部が視点の移動方向及び移動量を指定し、駆動部は移動方向及び移動量に基づいて第１の光学結像部を移動させてもよい。
【００１２】視差ライン検出部は、制御部が指定する視点の移動方向と略同一の方向に、制御部が指定する視点の移動量だけ、特定の画素の軌跡を追跡することにより、視差ラインを検出してもよい。
【００１３】視点の移動方向及び移動量を検出する視点移動検出部をさらに備え、視差ライン検出部は、視点移動検出部が検出した視点の移動方向と略同一の方向に、視点移動検出部が検出した視点の移動量だけ、特定の画素の軌跡を追跡することにより、視差ラインを検出してもよい。
【００１４】視点移動検出部が、方向センサー及び加速度センサーの少なくとも一方を有し、視点の移動方向及び移動量を、方向センサー及び加速度センサーの少なくとも一方によって検出してもよい。
【００１５】視点移動検出部は、複数の視差画像の特定の領域が、複数の視差画像上で移動した移動方向及び移動量を検出することによって、視点の移動方向及び移動量を検出してもよい。
【００１６】被写体を結像する第２の光学結像部と、第２の光学結像部により被写体の画像が撮像される第２の受光部と、第１の受光部に撮像された複数の視差画像、距離算出部が算出した複数の距離、及び第２の受光部に撮像された被写体の画像を記録する記録部とをさらに備え、制御部が、距離成分算出部が算出した複数の距離に基づいて、第２の光学結像部のフォーカス、絞り、及び第２の受光部の露光時間の少なくとも一つを制御してもよい。
【００１７】第１の光学結像部により被写体の画像が撮像される第２の受光部と、第１の受光部に撮像された複数の視差画像、距離算出部が算出した複数の距離、及び第２の受光部に撮像された被写体の画像を記録する記録部とをさらに備え、制御部が、距離成分算出部が算出した複数の距離に基づいて、第１の光学結像部のフォーカス、絞り、及び第２の受光部の露光時間の少なくとも一つを制御してもよい。
【００１８】本発明の第２の形態における視差画像処理装置は、被写体の奥行きに関する情報を算出する視差画像処理装置であって、被写体の画像及び被写体を見る視点を移動させた場合に得られる複数の視差画像を入力する視差画像入力部と、複数の視差画像の特定の画素が、視点の移動方向及び移動量に従って、複数の視差画像上で移動した軌跡を表す視差ラインを検出する視差ライン検出部と、特定の画素の視差ラインと交差する複数の交差視差ラインを抽出し、特定の画素の視差ラインの傾き及び複数の交差視差ラインの傾きに基づいて、特定の画素に撮像された被写体の領域までの複数の距離を算出する距離成分算出部と、距離成分算出部が算出した複数の距離に基づいて、被写体の画像を処理する画像処理部と、画像処理部が作成して得られた画像を出力する画像出力部とを備えたことを特徴とする。
【００１９】視点の移動方向及び移動量を検出する視点移動検出部をさらに備え、視差ライン検出部は、視点移動検出部が検出した視点の移動方向と略同一の方向に、視点移動検出部が検出した視点の移動量だけ、特定の画素の軌跡を追跡することにより、視差ラインを検出してもよい。
【００２０】視点移動検出部は、複数の視差画像の特定の領域が、複数の視差画像上で移動した移動方向及び移動量を検出することによって、視点の移動方向及び移動量を検出してもよい。
【００２１】本発明の第３の形態における記録媒体は、被写体の奥行きに関する情報を算出するコンピュータ用のプログラムを格納した記録媒体であって、プログラムが、コンピュータに働きかけて、被写体の画像及び被写体を見る視点を移動させた場合に得られる複数の視差画像を入力させる視差画像入力モジュールと、コンピュータに働きかけて、被写体の画像及び複数の視差画像を記憶させる視差画像記憶モジュールと、コンピュータに働きかけて、複数の視差画像の特定の画素が、視点の移動方向及び移動量に従って、複数の視差画像上で移動した軌跡を表す視差ラインを検出させる視差ライン検出モジュールと、コンピュータに働きかけて、特定の画素の視差ラインと交差する複数の交差視差ラインを抽出し、特定の画素の視差ラインの傾き及び複数の交差視差ラインの傾きに基づいて、特定の画素に撮像された被写体の領域までの複数の距離を算出させる距離成分算出モジュールと、コンピュータに働きかけて、距離成分算出モジュールが算出した複数の距離に基づいて、被写体の画像を処理させる画像処理モジュールと、コンピュータに働きかけて、画像処理モジュールが作成して得られた画像を出力させる画像出力モジュールとを備えたことを特徴とする。
【００２２】プログラムが、コンピュータに働きかけて、視点の移動方向及び移動量を検出させる視点移動検出モジュールをさらに備え、視差ライン検出モジュールは、視点移動検出モジュールが検出した視点の移動方向と略同一の方向に、視点移動検出モジュールが検出した視点の移動量だけ、特定の画素の軌跡を追跡することにより、視差ラインを検出してもよい。
【００２３】視点移動検出モジュールは、複数の視差画像の特定の領域が、複数の視差画像上で移動した移動方向及び移動量を検出することによって、視点の移動方向及び移動量を検出させてもよい。
【００２４】本発明の第３の形態における視差画像処理方法は、被写体の奥行きに関する情報を算出する視差画像処理方法であって、被写体の画像及び被写体を見る視点を移動させた場合に得られる複数の視差画像を入力し、複数の視差画像の特定の画素が、視点の移動方向及び移動量に従って、複数の視差画像上で移動した軌跡を表す視差ラインを検出し、特定の画素の視差ラインと交差する複数の交差視差ラインを抽出し、特定の画素の視差ラインの傾き及び複数の交差視差ラインの傾きに基づいて、特定の画素に撮像された被写体の領域までの複数の距離を算出することを特徴とする。
【００２５】本発明の第４の形態における視差画像処理方法は、被写体の奥行きに関する情報を獲得する視差画像撮像方法であって、被写体を見る視点を移動させた場合に得られる複数の視差画像を撮像し、複数の視差画像の特定の画素が、視点の移動方向及び移動量に従って、複数の視差画像上で移動した軌跡を表す視差ラインを検出し、特定の画素の視差ラインと交差する複数の交差視差ラインを抽出し、特定の画素の視差ラインの傾き及び複数の交差視差ラインの傾きに基づいて、特定の画素に撮像された被写体の領域までの複数の距離を算出し、距離算出部が算出した複数の距離に基づいて、被写体を撮像するときの撮影条件を調整し、被写体を撮影条件で撮像することを特徴とする。
【００２６】なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【００２７】
【発明の実施の形態】以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００２８】（実施形態１）図１は、本発明の第１の実施形態に係る視差画像撮像装置の一例としてのカメラの構成図である。本実施形態のカメラは、光学結像部１２と、カラーフィルター１９と、受光部２０と、レンズ５２と、絞り５４と、シャッター５６と、カラーフィルター５８と、ＣＣＤ（電荷結合素子）６０と、マルチプレクサー３２と、Ａ／Ｄ変換部３４と、メモリ３６と、距離計算部３８と、制御部３９と、記録部４０と、駆動部４２とを有する。
【００２９】レンズ５２は被写体を結像し、絞り５４は絞り量を調整し、シャッター５６は露光時間を調整する。カラーフィルター５８はレンズ５２を通して受光される光のＲＧＢ成分を分解する。ＣＣＤ６０はレンズ５２によって結像された被写体の画像を受光して、電気信号に変換し、マルチプレクサー３２に出力する。
【００３０】光学結像部１２は被写体の視差画像を結像する。カラーフィルター１９は光学結像部１２を通して受光される光のＲＧＢ成分を分解する。受光部２０は光学結像部１２によって結像された被写体の画像を受光して、電気信号に変換し、マルチプレクサー３２に出力する。
【００３１】受光部２０は、複数の受光素子がマトリックス状に配置され、光学結像部により被写体が結像される。カラーフィルター１９は受光部２０の表面を覆い、光のＲＧＢ成分を透過させ、受光部２０の受光素子に受光させる。受光部２０の受光素子は、たとえばＣＣＤ（電荷結合素子）のような光電変換素子であってもよく、受光部２０は、複数のＣＣＤが配列された光電変換撮像体であってもよい。
【００３２】駆動部４２は、制御部３９によって指定された視点の移動方向及び移動量に基づいて、光学結像部１２を移動させる。これにより、光学結像部１２は被写体を異なる視点から見た場合に得られる視差画像を受光部２０に結像する。
【００３３】マルチプレクサー３２は、受光部２０またはＣＣＤ６０の出力信号のどちらかを選択し、Ａ／Ｄ変換部３４に出力する。Ａ／Ｄ変換部３４は入力されたアナログ信号をデジタル信号に変換し、メモリ３６に出力する。メモリ３６は入力されたデジタル信号を格納する。メモリ３６は、レンズ５２がＣＣＤ６０に撮像した被写体の画像、及び光学結像部１２が撮像した被写体の視差画像を記憶する。
【００３４】距離計算部３８はメモリ３６から視差画像を読み出し、視差画像に基づいて、視差画像の任意の画素について、当該カメラからその画素に撮像された被写体の領域までの距離を計算し、視差画像の全領域について距離を格納した被写体の距離分布情報を出力する。特に重なりのある複数の物体を撮像した場合や、半透明のガラスを通して被写体を撮像した場合には、距離計算部３８は、首位差画像の画像の特定の画素について、複数の距離成分を計算する。
【００３５】制御部３９は、所望の視差画像を撮像するために、視点の移動方向及び移動量を指定して、駆動部４２を制御する。制御部３９はまた、メモリ３６から読み出した被写体の画像の色情報、明度、彩度、及び距離計算部３８が出力した被写体の距離分布情報に基づいて、レンズ５２のフォーカス、絞り５４の絞り量及びシャッター５６の露光時間の少なくとも一つを制御する。
【００３６】記録部４０は、メモリ３６から読み出した被写体の画像及び距離計算部３８が出力した被写体の距離情報を記録する。記録部４０はフロッピィディスクのような磁気記録媒体やフラッシュメモリのような不揮発性メモリであってもよい。
【００３７】本実施形態のカメラによれば、複数の物体が重なって見える被写体を撮像する場合、被写体の複数の奥行き値を獲得することができる。このため、被写体の複数の奥行き値のいずれかに基づいて、カメラのフォーカス、絞り、露光時間などの撮影条件を合わせて、被写体を撮像することができる。たとえば、木の枝の間を通して向こう側に物体が見える場合や、窓のブラインド越しに外の景色が見える場合に、被写体を撮像するとき、前景と背景の両方の奥行き値を獲得できる。このため、たとえば、前景又は背景のみにフォーカスを合わせたり、前景と背景の両方が鮮明に写るように被写界深度を調整することができる。
【００３８】また、半透明のショーウインドウを通してショーウインドウ内にある物体を撮影する場合や、電車や自動車などの車窓から外の風景を撮影する場合、ショーウインドウのガラスの模様や、車窓のガラスに映り込んだ撮影者の姿が同時にカメラに撮像される。このような場合でも、本実施形態のカメラによれば、ガラスの向こう側の物体とガラス上の物体の両方の奥行き値を獲得できる。そのため、たとえば、ガラスの向こう側に見える物体や景色に合わせて、撮影条件を調整し、被写体を撮像することができる。
【００３９】また、平面鏡に映された被写体を撮像する場合、鏡に映された被写体であっても、鏡の反対側に被写体の虚像があると想定して、被写体の奥行きを検出することができる。したがって本実施形態のカメラは、平面鏡に映された被写体の奥行き値を獲得するためにも用いることができる。
【００４０】また、本実施形態のカメラでは、被写体を撮像する光学系と、視差画像を撮像する光学系を有するが、実施形態はこれに限られない。レンズ５２、カラーフィルター５８、ＣＣＤ６０に、それぞれ光学結像部１２、カラーフィルター１９、受光部２０の機能を兼ねさせ、被写体を撮像する光学系と、視差画像を撮像する光学系を共通にし、同一の光学系を用いて、被写体の撮像と視差画像の撮像を行ってもよい。
【００４１】図２は、光学結像部１２を移動させた場合に撮像される視差画像の説明図である。図２において、前景８０及び背景９０は、複数の物体が重なって見える被写体の一例である。光学結像部１２を移動面２に沿って移動させた場合に、結像面４には、被写体の視差画像が撮像される。
【００４２】光学結像部１２から結像面４までの距離（焦点距離）をＦ、光学結像部１２から前景８０までの距離をＲ０、光学結像部１２から背景９０までの距離をＲ１とする。光学結像部１２を１２ａの位置から１２ｂの位置へ移動させたときの移動距離（視点間隔）をＬとする。
【００４３】光学結像部１２が移動面２の１２ａの位置にあるとき、前景８０の点８１、８３、８５は、結像面４のそれぞれ８１ａ、８３ａ、８５ａの位置に撮像される。また背景９０の点９１、９３、９５は、結像面４のそれぞれ９１ａ、９３ａ、９５ａの位置に撮像される。
【００４４】光学結像部１２が移動面２の１２ｂの位置にあるとき、前景８０の点８１、８３、８５は、結像面４のそれぞれ８１ｂ、８３ｂ、８５ｂの位置に撮像される。また背景９０の点９１、９５は、結像面４のそれぞれ９１ｂ、９５ｂの位置に撮像される。しかし背景９０の領域９３は、ちょうど前景８０の陰に隠れ、前景８０の領域８１の像８１ｂと重なるため、結像面４には撮像されない。
【００４５】光学結像部１２が１２ａの位置にあるとき、結像面４に撮像された視差画像を基準画像と呼び、光学結像部１２が１２ｂの位置にあるとき、結像面に撮像された視差画像を参照画像と呼ぶ。基準画像の特定の位置にある画素を基準点とし、基準点に撮像された被写体の同一の点が撮像されている参照画像の画素を参照点と呼ぶ。基準画像における基準点の位置と、参照画像における参照点の位置には一定のずれがある。このずれを視差量と呼ぶ。視差量は基準画像のすべての画素に対して定義される。
【００４６】図３は、図２に示した光学結像部１２を移動面２に沿って移動しながら、前景８０及び背景９０を撮像した場合に、前景８０及び背景９０の結像面における像が視差画像上で移動した軌跡を示すグラフである。グラフの横軸は結像位置を示し、縦軸は光学結像部１２を移動させた距離（視点間隔）を示す。
【００４７】図３において、視点間隔Ｌだけ離れた視点から撮像した基準画像及び参照画像を比較すると、背景９０の点９５の像は９５ａから９５ｂへ移動する。点９５の像の移動した軌跡を表す線を視差ラインと呼ぶ。９５ａと９５ｂの結像位置のずれ、すなわち視差量はｄ１である。このとき、背景９０の点９５の距離Ｒ１は、視点間隔Ｌ、焦点距離Ｆを用いて、式Ｒ１＝Ｆ×Ｌ／ｄ１によって計算できる。ここでＫ１＝Ｌ／ｄ１とおくと、Ｋ１は基準点９５ａについての視差ラインの傾きであり、Ｒ１＝Ｆ×Ｋ１とかける。
【００４８】また前景８０の点８５の像は８５ａから８５ｂへ移動する。８５ａと８５ｂの結像位置のずれ、すなわち視差量はｄ０である。このとき、前景８０の点８５の距離Ｒ０は、式Ｒ０＝Ｆ×Ｌ／ｄ０によって計算できる。視差ラインの傾きをＫ０＝Ｌ／ｄ０とおくと、Ｒ０＝Ｆ×Ｋ０とかける。
【００４９】一般に、基準画像のある画素を基準点として、基準点に対する参照画像の対応点を探し出し、視差ラインを抽出し、視差ラインの傾きＫを求めれば、基準点に撮像された被写体の点の距離Ｒは、式Ｒ＝Ｆ×Ｋによって求めることができる。
【００５０】ここで、基準画像の前景８０における点８１の像８１ａを基準点とすると、参照画像における対応する参照点は像８１ｂであり、前述のように視差量ｄ０を検出することができる。しかし基準画像の背景９０における点９３の像９３ａを基準点とすると、参照画像における参照点は参照画像には存在せず（像８１ｂと重なる）、視差量を検出することができない。この場合、基準点の８１ａ、９３ａの両方に対して、参照点８１ｂが対応していると考えることもできる。このように前景と背景の境界でオクルージョン部が発生する場合、視差量として、参照点８１ｂを基準点９３ａに対応させた時の視差量ｄ１と、参照点８１ｂを基準点８１ａに対応させた時の視差量ｄ０の二つが存在する。
【００５１】従来の視差量の算出方法では、このような場合、どちらかの被写体の点の奥行き値はただ一つであるという前提で視差量を検出するため、どちらか一方の視差量を選択しなければならなかった。そのため、たとえば参照点８１ｂを基準点９３ａに過って対応させた場合、前景８０の点８１の視差量をｄ１と検出し、点８１の距離をＲ１と計算する。
【００５２】従来の視差量算出方法では、被写体の画像に複数の奥行き値があっても、他の奥行き値を捨てていた。そのため、複数の物体が複雑に重なり合って見える被写体の奥行きを獲得する際、画素の奥行き情報の多くを破棄することになる。これは、被写体の画像の画像処理をする際、被写体の奥行き情報が少なくなり、適正な画像処理が困難になるという問題を生じさせる。
【００５３】そこで、本発明では、被写体のある領域について視差を求める場合に、被写体のその領域内の画素について、傾きの異なる視差ラインが検出された時、被写体のその領域は、複数の物体が重なり合っていると判断し、その領域の画素については、複数の奥行き値を求める。たとえば、図３において、点８１には距離Ｒ０とＲ１の両方の奥行き値が算出される。
【００５４】このようにして、本実施形態のカメラによれば、複数の物体が複雑に重なって見える被写体を撮像する場合でも、被写体の複数の奥行き値を求めることができ、被写体の奥行きに関する豊富な情報を獲得することができる。
【００５５】図４は、メモリ３６及び距離計算部３８の構成図である。図４を用いて、本実施形態のメモリ３６及び距離計算部３８が、複数の視差画像から被写体の距離分布情報を作成する動作を説明する。図４では、マルチプレクサー３２とＡ／Ｄ変換部３４を省略するが、実際の動作では、受光部２０に撮像された画像は、マルチプレクサー３２を介してＡ／Ｄ変換部３４に送られ、デジタル信号に変換されてからメモリ３６に格納される。
【００５６】図４において、メモリ３６は、受光部２０に撮像された被写体の複数の視差画像３７を格納する。距離計算部３８は、視差画像の各画素の視差ラインを検出する視差ライン検出部２４と、視差ライン検出部２４が検出した視差ラインから視差画像の各画素について距離成分を算出する距離成分算出部２８とを有する。
【００５７】以下、一例として、図４に示した被写体Ａ、Ｂ及びＣの視差画像を撮像した場合について、メモリ３６、視差ライン検出部２４及び距離成分算出部２８の動作を説明する。
【００５８】光学結像部１２から被写体Ａ、Ｂ、Ｃまでの距離はそれぞれＲ１、Ｒ２、Ｒ３である。被写体Ｃは被写体Ａの後部にあるが、被写体Ａの隙間から一部を見ることができる。メモリ３６は、光学結像部１２を移動させた時に受光部２０に撮像される被写体Ａ、Ｂ及びＣの複数の視差画像３７を格納する。
【００５９】視差ライン検出部２４は、メモリ３６から視差画像３７を読み出し、視差画像３７の一つを基準画像とし、他の視差画像３７を参照画像とする。被写体Ａ、Ｂ及びＣが撮像されている基準画像のそれぞれの領域について、ある画素を基準点とした場合、その基準点に対応する参照画像中の参照点を検出する。参照点の検出には、従来の対応点決定（マッチング）処理を用いる。基準点と複数の参照点が検出されると、基準画像の参照点が画像上で移動した軌跡を表す視差ラインを検出することができる。
【００６０】距離成分算出部２８は、被写体Ａ、Ｂ及びＣが撮像されている基準画像のそれぞれの領域のすべての画素について、視差ライン検出部２４が検出した視差ラインの傾きを検出する。
【００６１】被写体Ａ、Ｂが重なって撮像されている基準画像の領域では、傾きの異なる二つの視差ラインが存在する。交差する視差ラインを有する基準画像の画素について、視差ラインの傾き成分として二つのＫ１、Ｋ２が検出され、距離成分Ｒ１、Ｒ２が、式Ｒ１＝Ｆ×Ｋ１、Ｒ２＝Ｆ×Ｋ２によって求められる。交差する視差ラインを有しない基準画像の画素については、Ｒ１又はＲ２のいずれか一つの距離成分だけが求められる。
【００６２】被写体Ｃが撮像されている基準画像の領域では、視差ラインの傾きとして、ただ一つの傾き成分Ｋ３だけが検出され、距離成分Ｒ３が、式Ｒ３＝Ｆ×Ｋ３によって求められる。
【００６３】距離成分算出部２８は、被写体Ａ、Ｂ、Ｃが撮像されている基準画像のすべての画素に関する距離成分を格納した距離分布情報３０を出力する。
【００６４】このように距離計算部３８は、一般に、複数の物体が重なって見える被写体を撮像した場合、被写体の奥行き値として、複数の距離成分を算出する。
【００６５】上記では、基準点に対応する参照点を探す対応点決定方法に基づいて、視差ラインを検出し、視差ラインの傾き成分を抽出し、複数の距離成分を求めたが、距離成分の検出方法はこの方法に限られない。たとえば、画像をハフ変換処理することによって、視差ラインの特定の傾き成分を抽出し、距離成分を算出してもよい。
【００６６】図５は、複数の視差画像から被写体の距離分布情報を求める処理のフローチャートである。
【００６７】視差ライン検出部２４は、Ｓ１００からＳ１１０までの処理を行う。複数の視差画像を入力し、いずれか一つの視差画像を基準画像、他の視差画像を参照画像とする（Ｓ１００）。基準画像の特定領域を選択し（Ｓ１０２）、特定領域内の特定画素を基準点として選択する（Ｓ１０４）。参照画像内に基準点に対応する参照点を検出し（Ｓ１０６）、基準点と参照点を結ぶ視差ラインを抽出する（Ｓ１０８）。特定領域内のすべての画素について、視差ラインを抽出したかどうかを判定し（Ｓ１１０）、そうでないなら、Ｓ１０４の処理に戻り、他の特定画素を選択して、Ｓ１０６及びＳ１０８の処理を繰り返す。特定領域内のすべての画素について、視差ラインを抽出したなら、Ｓ１１２の処理に進む。
【００６８】距離成分算出部２８は、Ｓ１１２からＳ１２０までの処理を行う。特定領域内の特定画素の視差ラインを選択し（Ｓ１１２）、特定画素の視差ラインと交差する他の視差ラインを検出する（Ｓ１１４）、特定画素の視差ラインの傾きＫ１及び交差するすべての視差ラインの傾きＫ２、…、Ｋｎを検出し、特定画素の距離成分Ｒ１、Ｒ２、…、Ｒｎを式Ｒｉ＝Ｆ×Ｋｉ（ｉ＝１，…、ｎ）によって算出する（Ｓ１１６）。ここでＦは焦点距離である。交差する視差ラインがない場合は、距離成分はＲ１のみである。特定領域内のすべての画素について、距離成分を算出したかどうかを判定し（Ｓ１１８）、そうでないなら、Ｓ１１２の処理に戻り、他の特定画素の視差ラインを選択して、Ｓ１１４及びＳ１１６の処理を繰り返す。特定領域内のすべての画素について、距離成分を算出したなら、基準画像の特定領域の距離分布情報を出力する（Ｓ１２０）。
【００６９】図６は、本実施形態の制御部３９の動作を示すフローチャートである。制御部３９が視点の移動方向及び移動量を指定し（Ｓ２００）、駆動部４２が光学結像部１２を指定された移動方向及び移動量に基づいて移動させ、受光部２０に視差画像を撮像させる（Ｓ２０２）。
【００７０】制御部３９がマルチプレクサー３２を制御して、受光部２０に撮像された視差画像を順次メモリ３６に格納させる（Ｓ２０４）。距離計算部３８がメモリ３６から視差画像を読み取り、被写体の距離分布情報を算出する（Ｓ２０６）。制御部３９は、カメラの撮影モードが前景優先であれば（Ｓ２０８）、被写体の距離分布情報から最短距離成分を選択し（Ｓ２１０）、撮影モードが背景優先であれば（Ｓ２１２）、被写体の距離分布情報から最長距離成分を選択し（Ｓ２１４）、カメラの撮影モードがそれ以外であれば、被写体の距離分布情報から最多距離成分を選択する（Ｓ２１６）。
【００７１】制御部３９は、選択された距離成分と、被写体の画像の色分布、輝度分布、テクスチャ分布等の情報に基づいて、レンズ５２のフォーカス、絞り５４の絞り量、シャッター５６の露光時間等の撮影条件を設定し（Ｓ２１８）、被写体をＣＣＤ６０に撮像させる（Ｓ２２０）。
【００７２】尚、上述のカメラの撮影モード及び距離分布成分の選択は、カメラの撮影条件の一例を示すものであって、実施形態はこれに限られない。
【００７３】（実施形態２）図７は、本発明の第２の実施形態に係る視差画像処理装置の一例としてのカメラの構成図である。本実施形態のカメラは、図１に示した第１の実施形態のカメラと比べて、駆動部４２が省かれ、方向センサー４４及び加速度センサー４６を有する点だけが異なる。図１と同一の符号を付したものについては、第１の実施形態と同じであるから説明を省略する。
【００７４】本実施形態では、光学結像部１２を駆動させないが、当該カメラを移動させた場合に、方向センサー４４及び加速度センサー４６がカメラの移動方向と移動距離を測定することができる。
【００７５】本実施形態によれば、撮影者がカメラを手動で移動させた場合、方向センサー４４及び加速度センサー４６の少なくとも一つが、カメラの移動方向と移動距離を検出し、視差を算出することができる。
【００７６】（実施形態３）図８は、本発明の第３の実施形態に係る視差画像処理装置の一例としてのデジタルラボシステムの構成図である。本実施形態のデジタルラボシステムは、視差画像入力部７０と、視差画像処理部７４と、画像処理部７６と、画像出力部７８とを有する。
【００７７】視差画像処理部７４は、メモリ３６と、距離計算部３８を有し、これらは第１の実施形態のメモリ３６及び距離計算部３８と同じ構成と動作であるから、説明を省略する。視差画像処理部７４はＣＰＵ、メモリ、記録媒体を有するコンピュータであってもよい。
【００７８】視差画像処理部７４は、視点移動検出部をさらに備えてもよく、視点移動検出部は、複数の視差画像から視点の移動方向及び移動量を読みとる。視点の移動方向及び移動量は予め視差画像に書き込まれていてもよい。また複数の視差画像に基づいて、画像処理によって視点の移動方向を調べてもよい。たとえば、視差画像の特定の領域が、視差画像上で移動した移動方向を検出することにより、視点の移動方向を検出することができる。
【００７９】視差画像入力部７０は、被写体の画像及び被写体の複数の視差画像を入力する。視差画像入力部７０は写真又は感光フィルムを読みとりデジタル信号に置き換えるスキャナ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどの記録媒体から画像データを読みとる読み込み装置であってもよい。
【００８０】画像処理部７６は、被写体の画像、及び距離計算部３８が出力した被写体の距離分布情報を用いて、被写体の画像を処理する。
【００８１】画像出力部７８は、画像処理部７６が作成して得られた画像を出力する。画像出力部７８は、現像機又はプリンタであってもよい。
【００８２】本実施形態のデジタルラボシステムでは、被写体の複数の視差画像を用いて、被写体の距離分布情報を獲得する。被写体の奥行き情報を利用して、被写体を撮像したネガフィルムや写真に対して、被写体の濃度やコントラストを自動補正したり、主要被写体を抽出して、主要被写体の濃度やコントラストを部分補正するなど、より美しい被写体の画像を再構成することができる。
【００８３】特に、複数の物体が重なって見える被写体を撮像した場合、重なって見える被写体の領域については、複数の奥行き値を有するので、主要被写体と背景を区別して、画像の色補正を行ったり、前景または背景だけの画像を切り出して再構成するなど、より高度な画像処理が可能である。
【００８４】（実施形態４）図９は、本発明の第４の実施形態に係るコンピュータ用のプログラムの機能構成図である。図９において、コンピュータ１８０は、視差画像入力モジュール１８４と、視差画像記憶モジュール１８６と、視差ライン検出モジュール１８８と、距離成分算出モジュール１９０と、画像処理モジュール１９２と、画像出力モジュール１９４とを有する。これらの機能構成は、記録媒体１８２に格納されたプログラムによってソフトウエアとして提供されてもよい。
【００８５】視差画像入力モジュール１８４は、被写体の画像及び被写体を異なる視点から見た場合に得られる複数の視差画像を入力する。視差画像入力モジュール１８４は、スキャナなどの画像読み取り装置や、ＣＤ−ＲＯＭなどの記憶デバイスから画像を読み込んでもよい。視差画像記憶モジュール１８６は、被写体の画像及び複数の視差画像を記憶する。
【００８６】視差ライン検出モジュール１８８は、複数の視差画像の特定の画素が、視点の移動方向及び移動量に従って、複数の視差画像上で移動した軌跡を表す視差ラインを検出する。
【００８７】視差ライン検出モジュール１８８は、視点移動検出モジュールをさらに備えてもよく、視点移動検出モジュールは、複数の視差画像から視点の移動方向及び移動量を読みとる。視点の移動方向及び移動量は予め視差画像に書き込まれていてもよい。また複数の視差画像に基づいて、画像処理によって視点の移動方向を調べてもよい。たとえば、視差画像の特定の領域が、視差画像上で移動した移動方向を検出することにより、視点の移動方向を検出することができる。
【００８８】距離成分算出モジュール１９０は、特定の画素の視差ラインと交差する複数の交差視差ラインを抽出し、特定の画素の視差ラインの傾き及び複数の交差視差ラインの傾きに基づいて、特定の画素に撮像された被写体の領域までの複数の距離を算出する。
【００８９】視差ラインの検出方法、距離分布の算出方法は第１の実施形態と同じであるから説明を省略する。
【００９０】画像処理モジュール１９２は、距離成分算出モジュール１９０が算出した距離分布情報を用いて、被写体の画像に画像処理を施す。
【００９１】画像出力モジュール１９４は、画像処理モジュール１９２が作成した画像をコンピュータに接続されたディスプレイに出力する。画像出力モジュール１９４は、画像処理モジュール１９２が作成した画像をプリンタに出力してもよい。
【００９２】本実施形態の記録媒体に格納されたプログラムによれば、被写体の複数の視差画像から被写体の距離分布情報を獲得できる。特に複数の物体が重なって見える被写体を撮像した画像の場合、被写体の複数の奥行き値を用いることができる。そのため、たとえば、被写体の前景と背景を別々に切り出した被写体の分離画像や、重なって見える物体を別々に切り出して作成した被写体の立体フレームモデルなどを作成できる。
【００９３】以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００９４】
【発明の効果】上記説明から明らかなように、本発明によれば複数の物体が重なって見える被写体の視差画像から、複数の物体の奥行き値を求めることができる。
【出願人】 【識別番号】０００００５２０１
【氏名又は名称】富士写真フイルム株式会社
【出願日】 平成１１年６月２３日（１９９９．６．２３）
【代理人】 【識別番号】１００１０４１５６
【弁理士】
【氏名又は名称】龍華 明裕
【公開番号】 特開２００１−４３７０（Ｐ２００１−４３７０Ａ）
【公開日】 平成１３年１月１２日（２００１．１．１２）
【出願番号】 特願平１１−１７６２６４