トップ :: G 物理学 :: G01 測定;試験




【発明の名称】 視差画像撮像装置、視差画像処理装置、視差画像撮像方法、及び視差画像処理方法
【発明者】 【氏名】小野 修司
【要約】 【課題】鏡面反射成分又は透過光成分が含まれた被写体の複数の視差画像に基づいて、被写体の正確な奥行き値を獲得することのできる視差画像撮像装置、視差画像処理装置、視差画像撮像方法、及び視差画像処理方法を提供する。

【解決手段】被写体を見る視点を略直線上に移動させた場合に得られる複数の視差画像を順次撮像させる制御部３９と、制御部３９により撮像された複数の視差画像を視点の移動の順に時間軸方向に並べた時空間画像において、略直線性を有する直線成分を検出する直線成分検出部２２と、略直線性を有する直線成分の傾きに基づいて、略直線性を有する直線成分上の画素に撮像された被写体の領域までの距離を算出する距離計算部３８とを備えた。
【特許請求の範囲】
【請求項１】 被写体の奥行きに関する情報を獲得する視差画像撮像装置であって、前記被写体を見る視点を略直線上に移動させた場合に得られる複数の視差画像を順次撮像させる制御部と、前記制御部により撮像された前記複数の視差画像を前記視点の移動の順に時間軸方向に並べた時空間画像において、略直線性を有する直線成分を検出する直線成分検出部と、前記略直線性を有する直線成分の傾きに基づいて、前記略直線性を有する直線成分上の画素に撮像された前記被写体の領域までの距離を算出する距離成分算出部とを備えたことを特徴とする視差画像撮像装置。
【請求項２】 前記直線成分検出部は、前記時空間画像において、曲線成分を有する連続した線分を除外した後に、前記略直線性を有する直線成分を検出することを特徴とする請求項１に記載の視差画像撮像装置。
【請求項３】 前記直線成分検出部は、前記複数の視差画像の特定の画素が、前記視点の移動に従って、前記複数の視差画像上で移動した軌跡を表す視差ラインの内、略直線性を有する前記視差ラインを検出することにより、前記略直線性を有する直線成分を検出することを特徴とする請求項１に記載の視差画像撮像装置。
【請求項４】 前記被写体を結像する第１の光学結像部と、複数の受光素子が配置され、前記第１の光学結像部により前記被写体の前記複数の視差画像が撮像される第１の受光部と、前記第１の光学結像部を移動させる駆動部とをさらに備え、前記制御部が前記視点の移動方向及び移動量を指定し、前記駆動部は前記移動方向及び前記移動量に基づいて前記第１の光学結像部を略直線上に移動させることを特徴とする請求項１に記載の視差画像撮像装置。
【請求項５】 前記直線成分検出部は、前記制御部が指定する前記視点の前記移動方向と略同一の方向に、前記制御部が指定する前記視点の前記移動量に基づいて、連続する線分を検出することにより、前記略直線性を有する直線成分を検出することを特徴とする請求項４に記載の視差画像撮像装置。
【請求項６】 前記被写体を結像する第２の光学結像部と、前記第２の光学結像部により前記被写体の画像が撮像される第２の受光部と、前記第１の受光部に撮像された前記複数の視差画像、前記距離成分算出部が算出した前記距離、及び前記第２の受光部に撮像された前記被写体の画像を記録する記録部とをさらに備え、前記制御部が、前記距離成分算出部が算出した前記距離に基づいて、前記第２の光学結像部のフォーカス、絞り、及び前記第２の受光部の露光時間の少なくとも一つを制御することを特徴とする請求項４に記載の視差画像撮像装置。
【請求項７】 前記第１の光学結像部により前記被写体の画像が撮像される第２の受光部と、前記第１の受光部に撮像された前記複数の視差画像、前記距離成分算出部が算出した前記距離、及び前記第２の受光部に撮像された前記被写体の画像を記録する記録部とをさらに備え、前記制御部が、前記距離成分算出部が算出した前記距離に基づいて、前記第１の光学結像部のフォーカス、絞り、及び前記第２の受光部の露光時間の少なくとも一つを制御することを特徴とする請求項４に記載の視差画像撮像装置。
【請求項８】 被写体の奥行きに関する情報を算出する視差画像処理装置であって、前記被写体の画像及び前記被写体を見る視点を略直線上に移動させた場合に得られる複数の視差画像を入力する視差画像入力部と、前記被写体の画像及び前記複数の視差画像を記憶する視差画像記憶部と、前記複数の視差画像を前記視点の移動の順に時間軸方向に並べた時空間画像において、略直線性を有する直線成分を検出する直線成分検出部と、前記略直線性を有する直線成分の傾きに基づいて、前記略直線性を有する直線成分上の画素に撮像された前記被写体の領域までの距離を算出する距離成分算出部と、前記距離成分算出部が算出した前記距離に基づいて、前記被写体の前記画像を処理する画像処理部と、前記画像処理部が作成して得られた画像を出力する画像出力部とを備えたことを特徴とする視差画像処理装置。
【請求項９】 前記直線成分検出部は、前記時空間画像において、曲線成分を有する連続した線分を除外した後に、前記略直線性を有する直線成分を検出することを特徴とする請求項８に記載の視差画像処理装置。
【請求項１０】 前記直線成分検出部は、前記複数の視差画像の特定の画素が、前記視点の移動に従って、前記複数の視差画像上で移動した軌跡を表す視差ラインの内、略直線性を有する前記視差ラインを検出することにより、前記略直線性を有する直線成分を検出することを特徴とする請求項８に記載の視差画像処理装置。
【請求項１１】 被写体の奥行きに関する情報を算出するコンピュータ用のプログラムを格納した記録媒体であって、前記プログラムが、前記コンピュータに働きかけて、前記被写体の画像及び前記被写体を見る視点を略直線上に移動させた場合に得られる複数の視差画像を入力させる視差画像入力モジュールと、前記コンピュータに働きかけて、前記被写体の画像及び前記複数の視差画像を記憶させる視差画像記憶モジュールと、前記コンピュータに働きかけて、前記複数の視差画像を前記視点の移動の順に時間軸方向に並べた時空間画像において、略直線性を有する直線成分を検出させる直線成分検出モジュールと、前記コンピュータに働きかけて、前記略直線性を有する直線成分の傾きに基づいて、前記略直線性を有する直線成分上の画素に撮像された前記被写体の領域までの距離を算出させる距離成分算出モジュールと、前記コンピュータに働きかけて、前記距離成分算出モジュールが算出した距離に基づいて、前記被写体の前記画像を処理させる画像処理モジュールと、前記コンピュータに働きかけて、前記画像処理モジュールが作成して得られた画像を出力させる画像出力モジュールとを備えたことを特徴とする記録媒体。
【請求項１２】 前記直線成分検出モジュールは、前記時空間画像において、曲線成分を有する連続した線分を除外した後に、略直線性を有する直線成分を検出することを特徴とする請求項１１に記載の記録媒体。
【請求項１３】 前記直線成分検出モジュールは、前記複数の視差画像の特定の画素が、前記視点の移動に従って、前記複数の視差画像上で移動した軌跡を表す視差ラインの内、略直線性を有する前記視差ラインを検出することにより、前記略直線性を有する直線成分を検出することを特徴とする請求項１１に記載の記録媒体。
【請求項１４】 被写体の奥行きに関する情報を算出する視差画像処理方法であって、前記被写体の画像及び前記被写体を見る視点を略直線上に移動させた場合に得られる複数の視差画像を入力し、前記複数の視差画像を前記視点の移動の順に時間軸方向に並べた時空間画像において、略直線性を有する直線成分を検出し、前記略直線性を有する直線成分の傾きに基づいて、前記略直線性を有する直線成分上の画素に撮像された前記被写体の領域までの距離を算出することを特徴とする視差画像処理方法。
【請求項１５】 前記時空間画像において、曲線成分を有する連続した線分を除外した後に、前記略直線性を有する直線成分を検出することを特徴とする請求項１４に記載の視差画像処理方法。
【請求項１６】 前記複数の視差画像の特定の画素が、前記視点の移動に従って、前記複数の視差画像上で移動した軌跡を表す視差ラインの内、略直線性を有する前記視差ラインを検出することにより、前記略直線性を有する直線成分を検出することを特徴とする請求項１４に記載の視差画像処理方法。
【請求項１７】 被写体の奥行きに関する情報を獲得する視差画像撮像方法であって、前記被写体を見る視点を略直線上に移動させた場合に得られる複数の視差画像を撮像し、前記複数の視差画像を前記視点の移動の順に時間軸方向に並べた時空間画像において、略直線性を有する直線成分を検出し、前記略直線性を有する直線成分の傾きに基づいて、前記略直線性を有する直線成分上の画素に撮像された前記被写体の領域までの距離を算出し、前記距離算出部が算出した前記距離に基づいて、前記被写体を撮像するときの撮影条件を調整し、前記被写体を前記撮影条件で撮像することを特徴とする視差画像撮像方法。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、異なる視点から被写体を見た場合に得られる複数の視差画像に基づいて、被写体の奥行き値を獲得する視差画像撮像装置、視差画像処理装置、視差画像撮像方法、及び視差画像処理方法に関する。
【０００２】
【従来の技術】画像処理や画像認識の分野において、被写体の奥行き方向の情報を抽出する手法として、異なる視点から被写体を見た場合に得られる複数の視差画像を用いて、視差画像間の視差を検出し、視差から被写体の奥行き値を計算する方法が一般に取られている。
【０００３】複数の視差画像間の視差を検出するためには、ある視差画像に撮像された被写体の点が、他の視差画像のどこに対応しているかを探し出す処理が必要である。被写体を見る視点を直線移動させ、視差画像を連続撮像した場合、対応点は連続視差画像上で直線上に位置する。この直線を視差ラインと呼び、従来、この視差ラインの傾きに基づいて、三角測量の原理から被写体の点の奥行き値を求めていた。
【０００４】
【発明が解決しようとする課題】被写体の連続視差画像において、上述のように奥行き値に応じた傾きの直線が現れるのは、被写体表面が拡散反射面である場合に限られる。しかし、実際の被写体では、物体の表面に鏡面反射成分が多く含まれていたり、ガラス製品のように物体が光を透過することも少なくない。このような場合、被写体の連続視差画像の視差ラインは直線にはならない。連続視差画像から被写体の奥行き値を求める従来の方法は、被写体の表面は拡散反射成分しか含まないという前提で視差の検出を行っている。そのため、連続視差画像に含まれる鏡面反射成分や透過光成分が、視差の検出の際、ノイズ要因となり、視差量の検出を誤り、被写体の正確な奥行き値を計算することができないという問題が生じていた。
【０００５】そこで本発明は、上記の課題を解決するために、被写体の連続視差画像に鏡面反射成分又は透過光成分が含まれた場合であっても、被写体の連続視差画像から被写体の奥行き値を正確に獲得することのできる視差画像撮像装置、視差画像処理装置、視差画像撮像方法、及び視差画像処理方法を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【０００６】
【課題を解決するための手段】即ち、本発明の第１の形態における視差画像撮像装置は、被写体の奥行きに関する情報を獲得する視差画像撮像装置であって、被写体を見る視点を略直線上に移動させた場合に得られる複数の視差画像を順次撮像させる制御部と、制御部により撮像された複数の視差画像を視点の移動の順に時間軸方向に並べた時空間画像において、略直線性を有する直線成分を検出する直線成分検出部と、略直線性を有する直線成分の傾きに基づいて、略直線性を有する直線成分上の画素に撮像された被写体の領域までの距離を算出する距離成分算出部とを備えたことを特徴とする。
【０００７】直線成分検出部は、時空間画像において、曲線成分を有する連続した線分を除外した後に、略直線性を有する直線成分を検出してもよい。
【０００８】直線成分検出部は、複数の視差画像の特定の画素が、視点の移動に従って、複数の視差画像上で移動した軌跡を表す視差ラインの内、略直線性を有する視差ラインを検出することにより、略直線性を有する直線成分を検出してもよい。
【０００９】被写体を結像する第１の光学結像部と、複数の受光素子が配置され、第１の光学結像部により被写体の複数の視差画像が撮像される第１の受光部と、第１の光学結像部を移動させる駆動部とをさらに備え、制御部が視点の移動方向及び移動量を指定し、駆動部は移動方向及び移動量に基づいて第１の光学結像部を略直線上に移動させてもよい。
【００１０】直線成分検出部は、制御部が指定する視点の移動方向と略同一の方向に、制御部が指定する視点の移動量に基づいて、連続する線分を検出することにより、略直線性を有する直線成分を検出してもよい。
【００１１】被写体を結像する第２の光学結像部と、第２の光学結像部により被写体の画像が撮像される第２の受光部と、第１の受光部に撮像された複数の視差画像、距離成分算出部が算出した距離、及び第２の受光部に撮像された被写体の画像を記録する記録部とをさらに備え、制御部が、距離成分算出部が算出した距離に基づいて、第２の光学結像部のフォーカス、絞り、及び第２の受光部の露光時間の少なくとも一つを制御してもよい。
【００１２】第１の光学結像部により被写体の画像が撮像される第２の受光部と、第１の受光部に撮像された複数の視差画像、距離成分算出部が算出した距離、及び第２の受光部に撮像された被写体の画像を記録する記録部とをさらに備え、制御部が、距離成分算出部が算出した距離に基づいて、第１の光学結像部のフォーカス、絞り、及び第２の受光部の露光時間の少なくとも一つを制御してもよい。
【００１３】本発明の第２の形態における視差画像処理装置は、被写体の奥行きに関する情報を算出する視差画像処理装置であって、被写体の画像及び被写体を見る視点を略直線上に移動させた場合に得られる複数の視差画像を入力する視差画像入力部と、被写体の画像及び複数の視差画像を記憶する視差画像記憶部と、複数の視差画像を視点の移動の順に時間軸方向に並べた時空間画像において、略直線性を有する直線成分を検出する直線成分検出部と、略直線性を有する直線成分の傾きに基づいて、略直線性を有する直線成分上の画素に撮像された被写体の領域までの距離を算出する距離成分算出部と、距離成分算出部が算出した距離に基づいて、被写体の画像を処理する画像処理部と、画像処理部が作成して得られた画像を出力する画像出力部とを備えたことを特徴とする。
【００１４】直線成分検出部は、時空間画像において、曲線成分を有する連続した線分を除外した後に、略直線性を有する直線成分を検出してもよい。
【００１５】直線成分検出部は、複数の視差画像の特定の画素が、視点の移動に従って、複数の視差画像上で移動した軌跡を表す視差ラインの内、略直線性を有する視差ラインを検出することにより、略直線性を有する直線成分を検出してもよい。
【００１６】本発明の第３の形態における記録媒体は、被写体の奥行きに関する情報を算出するコンピュータ用のプログラムを格納した記録媒体であって、プログラムが、コンピュータに働きかけて、被写体の画像及び被写体を見る視点を略直線上に移動させた場合に得られる複数の視差画像を入力させる視差画像入力モジュールと、コンピュータに働きかけて、被写体の画像及び複数の視差画像を記憶させる視差画像記憶モジュールと、コンピュータに働きかけて、複数の視差画像を視点の移動の順に時間軸方向に並べた時空間画像において、略直線性を有する直線成分を検出させる直線成分検出モジュールと、コンピュータに働きかけて、略直線性を有する直線成分の傾きに基づいて、略直線性を有する直線成分上の画素に撮像された被写体の領域までの距離を算出させる距離成分算出モジュールと、コンピュータに働きかけて、距離成分算出モジュールが算出した距離に基づいて、被写体の画像を処理させる画像処理モジュールと、コンピュータに働きかけて、画像処理モジュールが作成して得られた画像を出力させる画像出力モジュールとを備えたことを特徴とする。
【００１７】直線成分検出モジュールは、時空間画像において、曲線成分を有する連続した線分を除外した後に、略直線性を有する直線成分を検出してもよい。
【００１８】直線成分検出モジュールは、複数の視差画像の特定の画素が、視点の移動に従って、複数の視差画像上で移動した軌跡を表す視差ラインの内、略直線性を有する視差ラインを検出することにより、略直線性を有する直線成分を検出してもよい。
【００１９】本発明の第４の形態における視差画像処理方法は、被写体の奥行きに関する情報を算出する視差画像処理方法であって、被写体の画像及び被写体を見る視点を略直線上に移動させた場合に得られる複数の視差画像を入力し、複数の視差画像を視点の移動の順に時間軸方向に並べた時空間画像において、略直線性を有する直線成分を検出し、略直線性を有する直線成分の傾きに基づいて、略直線性を有する直線成分上の画素に撮像された被写体の領域までの距離を算出することを特徴とする。
【００２０】時空間画像において、曲線成分を有する連続した線分を除外した後に、略直線性を有する直線成分を検出してもよい。
【００２１】複数の視差画像の特定の画素が、視点の移動に従って、複数の視差画像上で移動した軌跡を表す視差ラインの内、略直線性を有する視差ラインを検出することにより、略直線性を有する直線成分を検出してもよい。
【００２２】本発明の第５の形態における視差画像撮像方法は、被写体の奥行きに関する情報を獲得する視差画像撮像方法であって、被写体を見る視点を略直線上に移動させた場合に得られる複数の視差画像を撮像し、複数の視差画像を視点の移動の順に時間軸方向に並べた時空間画像において、略直線性を有する直線成分を検出し、略直線性を有する直線成分の傾きに基づいて、略直線性を有する直線成分上の画素に撮像された被写体の領域までの距離を算出し、距離算出部が算出した距離に基づいて、被写体を撮像するときの撮影条件を調整し、被写体を撮影条件で撮像することを特徴とする。
【００２３】なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【００２４】
【発明の実施の形態】以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００２５】（実施形態１）図１は、本発明の第１の実施形態に係る視差画像撮像装置の一例としてのカメラの構成図である。本実施形態のカメラは、光学結像部１２と、カラーフィルター１９と、受光部２０と、レンズ５２と、絞り５４と、シャッター５６と、カラーフィルター５８と、ＣＣＤ（電荷結合素子）６０と、マルチプレクサー３２と、Ａ／Ｄ変換部３４と、メモリ３６と、距離計算部３８と、制御部３９と、記録部４０と、駆動部４２とを有する。
【００２６】レンズ５２は被写体を結像し、絞り５４は絞り量を調整し、シャッター５６は露光時間を調整する。カラーフィルター５８はレンズ５２を通して受光される光のＲＧＢ成分を分解する。ＣＣＤ６０はレンズ５２によって結像された被写体の画像を受光して、電気信号に変換し、マルチプレクサー３２に出力する。
【００２７】光学結像部１２は被写体の視差画像を結像する。カラーフィルター１９は光学結像部１２を通して受光される光のＲＧＢ成分を分解する。受光部２０は光学結像部１２によって結像された被写体の画像を受光して、電気信号に変換し、マルチプレクサー３２に出力する。
【００２８】受光部２０は、複数の受光素子がマトリックス状に配置され、光学結像部により被写体が結像される。カラーフィルター１９は受光部２０の表面を覆い、光のＲＧＢ成分を透過させ、受光部２０の受光素子に受光させる。受光部２０の受光素子は、たとえばＣＣＤ（電荷結合素子）のような光電変換素子であってもよく、受光部２０は、複数のＣＣＤが配列された光電変換撮像体であってもよい。
【００２９】駆動部４２は、制御部３９によって指定された視点の移動方向及び移動量に基づいて、光学結像部１２を略直線上に移動させる。これにより、光学結像部１２は、被写体を見る視点を略直線上に移動させた場合に得られる複数の視差画像を受光部２０に結像させる。
【００３０】マルチプレクサー３２は、受光部２０またはＣＣＤ６０の出力信号のどちらかを選択し、Ａ／Ｄ変換部３４に出力する。Ａ／Ｄ変換部３４は入力されたアナログ信号をデジタル信号に変換し、メモリ３６に出力する。メモリ３６は入力されたデジタル信号を格納する。メモリ３６は、レンズ５２がＣＣＤ６０に撮像した被写体の画像、及び光学結像部１２が撮像した被写体の視差画像を記憶する。
【００３１】距離計算部３８はメモリ３６から複数の視差画像を読み出し、複数の視差画像に基づいて、視差画像の任意の画素に撮像された被写体の領域の奥行き値を計算し、視差画像の全領域について奥行き値を格納した被写体の距離分布情報を出力する。距離計算部３８は、複数の視差画像を視点の移動の順に時間軸方向に並べた時空間画像において、略直線性を有する直線成分を奥行き値の計算に利用し、略直線でない成分は奥行き値の計算には利用しない。
【００３２】制御部３９は、所望の視差画像を撮像するために、視点の移動方向及び移動量を指定して、駆動部４２を制御する。制御部３９はまた、メモリ３６から読み出した被写体の画像の色情報、明度、彩度、及び距離計算部３８が出力した被写体の距離分布情報に基づいて、レンズ５２のフォーカス、絞り５４の絞り量及びシャッター５６の露光時間の少なくとも一つを制御する。
【００３３】記録部４０は、メモリ３６から読み出した被写体の画像及び距離計算部３８が出力した被写体の距離情報を記録する。記録部４０はフロッピィディスクのような磁気記録媒体やフラッシュメモリのような不揮発性メモリであってもよい。
【００３４】本実施形態のカメラによれば、被写体の連続視差画像が作る時空間画像において、略直線性を有する成分のみを奥行き値の計算に用い、略直線でない成分は奥行き値の計算に用いない。略直線でない成分は、鏡面反射成分又は透過光成分である。したがって、被写体の物体の表面に鏡面反射成分が多く含まれる場合や、ガラス製品のように物体が光を透過する場合であっても、視差の検出の際、ノイズ要因となる鏡面反射成分又は透過光成分を排除して、正しい視差量を検出し、正確な奥行き値を計算することができる。
【００３５】尚、本実施形態のカメラでは、被写体を撮像する光学系と、視差画像を撮像する光学系を有するが、実施形態はこれに限られない。レンズ５２、カラーフィルター５８、ＣＣＤ６０に、それぞれ光学結像部１２、カラーフィルター１９、受光部２０の機能を兼ねさせ、被写体を撮像する光学系と、視差画像を撮像する光学系を共通にし、同一の光学系を用いて、被写体の撮像と視差画像の撮像を行ってもよい。
【００３６】図２は、光学結像部１２を移動させた場合に撮像される視差画像の説明図である。図２において、前景８０及び背景９０は、被写体の一例である。前景８０は、前面に曲面部を有する半透明の物体であり、前景８０を通して背景９０が透かして見える。光学結像部１２を移動面２に沿って移動させた場合に、結像面４には、被写体の視差画像が撮像される。
【００３７】光学結像部１２から結像面４までの距離（焦点距離）をＦ、光学結像部１２から前景８０の後部までの距離をＲ０、光学結像部１２から背景９０までの距離をＲ１とする。光学結像部１２を１２ａの位置から１２ｂの位置へ移動させたときの移動距離（視点間隔）をＬとする。
【００３８】光学結像部１２が移動面２の１２ａの位置にあるとき、前景８０の点８３及び８５は、結像面４のそれぞれ８３ａ及び８５ａの位置に撮像される。また背景９０の点９１及び９５は、結像面４のそれぞれ９１ａ及び９５ａの位置に撮像される。
【００３９】光学結像部１２が移動面２の１２ｂの位置にあるとき、前景８０の点８３及び８５は、結像面４のそれぞれ８３ｂ及び８５ｂの位置に撮像される。また背景９０の点９１及び９５は、結像面４のそれぞれ９１ｂ及び９５ｂの位置に撮像される。
【００４０】前景８０は表面が曲面である半透明の物体であるため、前景８０を通して見た背景９０は光の屈折により歪んで見える。そのため、結像面４には前景８０の像に重なるように、背景９０の歪んだ像が撮像される。
【００４１】光学結像部１２が１２ａの位置にあるとき、結像面４に撮像された視差画像を基準画像と呼び、光学結像部１２が１２ｂの位置にあるとき、結像面に撮像された視差画像を参照画像と呼ぶ。基準画像の特定の位置にある画素を基準点とし、基準点に撮像された被写体の同一の点が撮像されている参照画像の画素を参照点と呼ぶ。基準画像における基準点の位置と、参照画像における参照点の位置には一定のずれがある。このずれを視差量と呼ぶ。視差量は基準画像のすべての画素に対して定義される。
【００４２】図３は、図２に示した光学結像部１２を移動面２に沿って移動しながら、前景８０及び背景９０を撮像した場合に、前景８０及び背景９０の結像面における像が視差画像上で移動した軌跡を示すグラフである。グラフの横軸は結像位置を示し、縦軸は光学結像部１２を移動させた距離（視点間隔）を示す。
【００４３】図３において、視点間隔Ｌだけ離れた視点から撮像した基準画像及び参照画像を比較すると、背景９０の点９５の像は９５ａから９５ｂへ移動する。点９５の像の移動した軌跡を表す線を視差ラインと呼ぶ。９５ａと９５ｂの結像位置のずれ、すなわち視差量はｄ１である。このとき、背景９０の点９５の距離Ｒ１は、視点間隔Ｌ、焦点距離Ｆを用いて、式Ｒ１＝Ｆ×Ｌ／ｄ１によって計算できる。ここでＫ１＝Ｌ／ｄ１とおくと、Ｋ１は基準点９５ａについての視差ラインの傾きであり、Ｒ１＝Ｆ×Ｋ１とかける。
【００４４】また前景８０の点８５の像は８５ａから８５ｂへ移動する。８５ａと８５ｂの結像位置のずれ、すなわち視差量はｄ０である。このとき、前景８０の点８５の距離Ｒ０は、式Ｒ０＝Ｆ×Ｌ／ｄ０によって計算できる。視差ラインの傾きをＫ０＝Ｌ／ｄ０とおくと、Ｒ０＝Ｆ×Ｋ０とかける。
【００４５】一般に、基準画像のある画素を基準点として、基準点に対する参照画像の対応点を探し出し、視差ラインを抽出し、視差ラインの傾きＫを求めれば、基準点に撮像された被写体の点の距離Ｒは、式Ｒ＝Ｆ×Ｋによって求めることができる。
【００４６】このように前景８０及び背景９０の像の位置のずれに基づいて、前景８０の点及び背景９０の点までの距離を計算できる。しかし、前景８０の曲面部を透過した背景９０の点は、光の屈折により歪んで見えるため、視差画像上の像の軌跡は直線にならない。図３の曲線９３は、前景８０の曲面部を透過した背景９０の点の像の軌跡の例である。
【００４７】視差の検出の際、曲線９３のような直線でない像の軌跡が現れると、ノイズ要因となり、正しい視差量の検出の妨げとなる。このような直線でない像の軌跡が現れるのは、被写体の物体の表面に鏡面反射成分が多く含まれる場合や、ガラス製品のように物体が光を透過する場合である。そこで、本実施形態のカメラでは、被写体の視差画像から視差を検出する際、ノイズ要因となる略直線でない成分を廃棄し、略直線性を有する直線成分の傾きから、奥行き値を算出する。
【００４８】以下、本実施形態のカメラが、ノイズ要因となる略直線でない成分を廃棄し、略直線性を有する直線成分の傾きから奥行き値を算出する方法を説明する。
【００４９】図４は、図１に示した本実施形態のカメラのメモリ３６及び距離計算部３８の構成図である。図４を参照しながら、本実施形態のメモリ３６及び距離計算部３８が、複数の視差画像から被写体の距離分布情報を作成する動作を説明する。図４では、マルチプレクサー３２とＡ／Ｄ変換部３４を省略するが、実際の動作では、受光部２０に撮像された画像は、マルチプレクサー３２を介してＡ／Ｄ変換部３４に送られ、デジタル信号に変換されてからメモリ３６に格納される。
【００５０】メモリ３６は、受光部２０に撮像された被写体の複数の視差画像３７を格納する。距離計算部３８は、複数の視差画像を視点の移動の順に時間軸方向に並べた時空間画像において、略直線性を有する直線成分を検出する直線成分検出部２２と、略直線性を有する直線成分から被写体の距離を算出する距離成分算出部２８とを有する。
【００５１】以下、一例として、図４に示した被写体Ａ及びＢの視差画像を撮像した場合について、メモリ３６、直線成分検出部２２及び距離成分算出部２８の動作を説明する。
【００５２】光学結像部１２から被写体Ａ及びＢまでの距離はそれぞれＲ１及びＲ２である。被写体Ａは表面が球面の半透明の物体であり、被写体Ａを通して、被写体Ｂを透かして見ることができる。メモリ３６は、光学結像部１２を移動させた時に受光部２０に撮像される被写体Ａ及びＢの複数の視差画像３７を格納する。
【００５３】直線成分検出部２２は、メモリ３６から複数の視差画像３７を読み出し、視差画像３７の一つを基準画像とし、他の視差画像３７を参照画像とする。直線成分検出部２２は、複数の視差画像３７を視点の移動の順に時間軸方向に並べた時空間画像において、連続する一定の長さの線分を抽出し、連続線分の曲率が所定の閾値以下であるかどうか判定する。曲率が所定の閾値を超えているなら、その連続線分を破棄し、曲率が所定の閾値以下であるなら、その連続線分を略直線性を有する直線成分とする。
【００５４】直線成分検出部２２は、視差画像の時空間画像において、被写体Ａ及びＢが撮像された領域内のすべての連続する線分について、略直線性を判定し、略直線性を有する直線成分を抽出する。
【００５５】直線成分検出部２２は、制御部３９が駆動部４２に対して指定した視点の移動方向及び移動量を用いて、視点の移動方向と略同一の方向に、視点の移動量の長さだけ、連続する線分を抽出してもよい。
【００５６】直線成分検出部２２は、略直線性を有する直線成分を抽出する方法として、特定の直線成分を検出するハフ変換処理などの従来手法を用いてもよい。
【００５７】距離成分算出部２８は、基準画像の特定領域の特定画素が、直線成分検出部２２が抽出した略直線性を有する直線成分上にあるかどうかを判定する。特定画素が略直線性を有する直線成分上にあるなら、その直線成分の傾きから特定画素の奥行き値を計算する。特定画素が略直線性を有する直線成分上にないなら、その特定画素については奥行き値を計算しない。
【００５８】被写体Ａが撮像されている基準画像の領域では、視差ラインの傾きＫ１が検出され、距離Ｒ１が、式Ｒ１＝Ｆ×Ｋ１によって求められる。被写体Ｂが撮像されている基準画像の領域では、視差ラインの傾きＫ２が検出され、距離Ｒ２が、式Ｒ２＝Ｆ×Ｋ２によって求められる。
【００５９】距離成分算出部２８は、被写体Ａ及びＢが撮像された特定領域内のすべての画素について、直線成分検出部２２が抽出した略直線性を有する直線成分にある場合にのみ、奥行き値を計算する。距離成分算出部２８は、被写体Ａ及びＢが撮像された基準画像のすべての画素に関する奥行き値を格納した距離分布情報３０を出力する。
【００６０】直線成分検出部２２は、視差画像の時空間画像において、曲線成分を有する連続線分は破棄するため、距離成分算出部２８は、曲線成分を有する連続線分から被写体の奥行き値を算出することはない。したがって、表面が球面である半透明の物体である被写体Ａの視差画像を撮像した場合でも、透過光成分による曲線成分を奥行き値の計算から除去することができるので、被写体の正確な奥行き値を算出することができる。
【００６１】図５は、本実施形態の距離計算部３８の処理のフローチャートである。図５を参照しながら、本実施形態の距離計算部３８が複数の視差画像から被写体の距離分布情報を求める処理を説明する。
【００６２】直線成分検出部２２は、Ｓ１００からＳ１１２までの処理を行う。複数の視差画像を入力し、いずれか一つの視差画像を基準画像、他の視差画像を参照画像とし（Ｓ１００）、基準画像の特定領域を選択する（Ｓ１０２）。
【００６３】特定領域について、複数の視差画像を視点の移動の順に時間軸方向に並べた時空間画像を作成し（Ｓ１０４）、連続する線分を抽出する（Ｓ１０６）。連続する線分の曲率が所定の閾値以下であるかどうかを判定し（Ｓ１０８）、曲率が所定の閾値以下であるなら、その連続する線分を直線成分として登録する（Ｓ１１０）。曲率が所定の閾値以下でないなら、Ｓ１１２の処理に進む。
【００６４】時空間画像におけるすべての連続する線分を調べたかどうか判定し（Ｓ１１２）、そうでないならＳ１０６の処理に戻り、他の連続する線分を抽出し、Ｓ１０８及びＳ１１０の処理を繰り返す。時空間画像におけるすべての連続する線分を調べたなら、Ｓ１１４の処理に進む。
【００６５】距離成分算出部２８は、Ｓ１１４からＳ１２２までの処理を行う。基準画像の特定領域内の特定画素を選択し（Ｓ１１４）、その特定画素が直線成分検出部２２によって抽出された直線成分上にあるかどうかを判定し（Ｓ１１６）、そうであるなら、その直線成分の傾きＫを検出し、特定画素の距離Ｒを式Ｒ＝Ｆ×Ｋによって算出する（Ｓ１１８）。ここでＦは焦点距離である。その特定画素が直線成分上にないなら、Ｓ１２０の処理に進む。
【００６６】特定領域内のすべての画素について距離を算出したかどうかを判定し（Ｓ１２０）、そうでないなら、Ｓ１１４の処理に戻り、他の特定画素を選択して、Ｓ１１６及びＳ１１８の処理を繰り返す。特定領域内のすべての画素について距離を算出したなら、基準画像の特定領域の距離分布情報を出力する（Ｓ１２２）。
【００６７】このように、直線成分検出部２２は、曲線成分をあらかじめ破棄し、直線成分のみを抽出するため、距離成分算出部２８は、直線成分だけから特定画素の奥行き値を計算し、曲線成分は奥行き値の計算に用いない。したがって、距離成分算出部２８は、被写体の正確な距離分布情報を算出することができる。
【００６８】以上述べたように、本実施形態のカメラでは、被写体の複数の視差画像が作る時空間画像から曲線成分を視差画像から予め除去する。このため、被写体の物体の表面に、鏡面反射成分が多く含まれる場合や、ガラス製品のように透過光成分を含む場合であっても、視差の検出の際、ノイズ要因となる鏡面反射成分又は透過光成分を排除して、正しい視差量を検出し、正確な奥行き値を計算することができる。
【００６９】（実施形態２）本発明の第２の実施形態に係る視差画像撮像装置の一例としてのカメラは、図１及び図４に示した第１の実施形態のカメラと同じ構成であり、距離計算部３８の処理だけが異なる。第１の実施形態と共通部分の説明は省略し、異なる部分だけを説明する。
【００７０】第１の実施形態のカメラでは、直線成分検出部２２が、視差画像の時空間画像において、略直線性を有する直線成分を抽出したが、本実施形態のカメラでは、視差画像の特定画素が視差画像上を移動した軌跡を表す視差ラインの内、略直線性を有する視差ラインを抽出する。
【００７１】直線成分検出部２２は、基準画像のある特定画素を基準点とした場合、その基準点に対応する参照画像中の参照点を検出する。参照点の検出には、従来の対応点決定（マッチング）処理を用いる。基準点と複数の参照点が検出されると、基準画像の参照点が画像上で移動した軌跡を表す視差ラインを抽出することができる。
【００７２】直線成分検出部２２は、抽出された視差ラインの曲率が所定の閾値以下であるかどうか判定する。曲率が所定の閾値以下であるなら、その視差ラインを略直線性を有する直線成分とし、曲率が所定の閾値以上であるなら、その視差ラインを破棄する。
【００７３】直線成分検出部２２は、制御部３９が駆動部４２に対して指定した視点の移動方向及び移動量を用いて、視点の移動方向と略同一の方向に、視点の移動量の長さだけ、視差ラインを抽出してもよい。
【００７４】距離成分算出部２８は、直線成分検出部２２が抽出した略直線性を有する視差ラインの傾きを検出し、その傾きから基準画像の特定画素の奥行き値を算出する。
【００７５】距離成分算出部２８は、基準画像のすべての画素に関する奥行き値を格納した距離分布情報３０を出力する。
【００７６】直線成分検出部２２は、視差ラインが略直線でない場合にはその視差ラインを破棄するため、距離成分算出部２８は、視差ラインが略直線でない場合には、基準画像の特定画素の奥行き値を算出することはない。したがって、たとえば、表面が球面である半透明の物体である被写体の視差画像を撮像した場合でも、透過光成分による非直線成分を奥行き値の計算から除去することができるので、被写体の正確な奥行き値を算出することができる。
【００７７】図６は、本実施形態のカメラにおける距離計算部３８の処理のフローチャートである。図６を参照しながら、本実施形態の距離計算部３８が複数の視差画像から被写体の距離分布情報を求める処理を説明する。
【００７８】直線成分検出部２２は、Ｓ２００からＳ２１０までの処理を行う。複数の視差画像を入力し、いずれか一つの視差画像を基準画像、他の視差画像を参照画像とする（Ｓ２００）。基準画像の特定領域を選択し（Ｓ２０２）、特定領域内の特定画素を基準点として選択する（Ｓ２０４）。
【００７９】参照画像内に基準点に対応する参照点を検出し（Ｓ２０６）、基準点と参照点を結ぶ視差ラインを抽出する（Ｓ２０８）。抽出された視差ラインの曲率が所定の閾値以下であるかどうかを判定し（Ｓ２１０）、曲率が所定の閾値以下であるなら、Ｓ２１２の処理に進み、そうでないなら、Ｓ２１４の処理に進む。
【００８０】距離成分算出部２８は、Ｓ２１２からＳ２１６までの処理を行う。特定画素の視差ラインの傾きＫを検出し、特定画素の距離Ｒを式Ｒ＝Ｆ×Ｋによって算出する（Ｓ２１２）。ここでＦは焦点距離である。
【００８１】特定領域内のすべての画素について、距離を算出したかどうかを判定し（Ｓ２１４）、そうでないなら、Ｓ２０４の処理に戻り、他の特定画素を選択して、Ｓ２０４からＳ２１２までの処理を繰り返す。特定領域内のすべての画素について、距離を算出したなら、基準画像の特定領域の距離分布情報を出力する（Ｓ２１６）。
【００８２】このように、直線成分検出部２２は、曲線成分を有する視差ラインをあらかじめ破棄し、直線成分のみを有する視差ラインを抽出するため、距離成分算出部２８は、直線成分を有する視差ラインだけから特定画素の奥行き値を計算し、曲線成分を有する視差ラインは奥行き値の計算に用いない。したがって、距離成分算出部２８は、被写体の正確な距離分布情報を算出することができる。
【００８３】（実施形態３）図７は、本発明の第３の実施形態に係る視差画像処理装置の一例としてのデジタルラボシステムの構成図である。本実施形態のデジタルラボシステムは、視差画像入力部６８と、視差画像記憶部７０と、直線成分検出部７２と、距離成分算出部７４と、画像処理部７６と、画像出力部７８とを有する。
【００８４】視差画像入力部６８は、被写体の画像及び被写体を見る視点を移動した場合に得られる複数の視差画像を入力する。視差画像入力部６８は写真又は感光フィルムを読みとりデジタル信号に置き換えるスキャナ、又はＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどの記録媒体から画像データを読みとる読み込み装置であってもよい。
【００８５】視差画像記憶部７０は、視差画像入力部６８が入力した被写体の画像及び被写体の複数の視差画像を記憶する。
【００８６】直線成分検出部７２及び距離成分算出部７４は、第１又は第２の実施形態のカメラの直線成分検出部２２及び距離成分算出部２８と同じ動作をするので、説明を省略する。
【００８７】画像処理部７６は、距離成分算出部７４が出力した被写体の距離分布情報を用いて、被写体の画像を処理する。
【００８８】画像出力部７８は、画像処理部７６が作成して得られた画像を出力する。画像出力部７８は、現像機又はプリンタであってもよい。
【００８９】本実施形態のデジタルラボシステムは、被写体の複数の視差画像を用いて、被写体の距離分布情報を獲得する。特に、表面に鏡面反射成分が多く含まれる被写体や、ガラス製品のように光を透過する被写体を撮像した視差画像であっても、視差の検出の際、ノイズ要因となる鏡面反射成分又は透過光成分を排除して、正しい視差量を検出し、正確な奥行き値を計算することができる。
【００９０】本実施形態のデジタルラボシステムは、得られた被写体の奥行き情報を利用して、被写体を撮像したネガフィルムや写真に対して、被写体の濃度やコントラストを自動補正したり、主要被写体を抽出して、主要被写体の濃度やコントラストを部分補正するなど、より美しい被写体の画像を再構成することができる。
【００９１】（実施形態４）図８は、本発明の第４の実施形態に係るコンピュータ用のプログラムの機能構成図である。図８において、コンピュータ１８０は、視差画像入力モジュール１８４と、視差画像記憶モジュール１８６と、直線成分検出モジュール１８８と、距離成分算出モジュール１９０と、画像処理モジュール１９２と、画像出力モジュール１９４とを有する。これらの機能構成は、記録媒体１８２に格納されたプログラムによってソフトウエアとして提供されてもよい。
【００９２】視差画像入力モジュール１８４は、被写体の画像及び被写体を異なる視点から見た場合に得られる複数の視差画像を入力する。視差画像入力モジュール１８４は、スキャナなどの画像読み取り装置や、ＣＤ−ＲＯＭなどの記憶デバイスから画像を読み込んでもよい。視差画像記憶モジュール１８６は、被写体の画像及び複数の視差画像を記憶する。
【００９３】直線成分検出モジュール１８８及び距離成分算出モジュール１９０は、第１又は第２の実施形態のカメラの直線成分検出部２２及び距離成分算出部２８と同じ動作をするので、説明を省略する。
【００９４】画像処理モジュール１９２は、距離成分算出モジュール１９０が算出した距離分布情報を用いて、被写体の画像に画像処理を施す。
【００９５】画像出力モジュール１９４は、画像処理モジュール１９２が作成した画像をコンピュータに接続されたディスプレイに出力する。画像出力モジュール１９４は、画像処理モジュール１９２が作成した画像をプリンタに出力してもよい。
【００９６】本実施形態の記録媒体に格納されたプログラムによれば、被写体の複数の視差画像から被写体の距離分布情報を獲得できる。特に、表面に鏡面反射成分が多く含まれる被写体や、ガラス製品のように光を透過する成分を含む被写体を撮像した視差画像であっても、視差の検出の際、ノイズ要因となる鏡面反射成分又は透過光成分を排除して、正しい視差量を検出し、正確な奥行き値を計算することができる。
【００９７】以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００９８】
【発明の効果】上記説明から明らかなように、本発明によれば、被写体の複数の視差画像から、被写体の奥行き値を正確に求めることができる。
【出願人】 【識別番号】０００００５２０１
【氏名又は名称】富士写真フイルム株式会社
【出願日】 平成１１年６月２９日（１９９９．６．２９）
【代理人】 【識別番号】１００１０４１５６
【弁理士】
【氏名又は名称】龍華 明裕
【公開番号】 特開２００１−１２９１２（Ｐ２００１−１２９１２Ａ）
【公開日】 平成１３年１月１９日（２００１．１．１９）
【出願番号】 特願平１１−１８４１１２