トップ :: G 物理学 :: G01 測定;試験




【発明の名称】 画像撮像装置及び画像処理装置
【発明者】 【氏名】小野 修司
【要約】 【課題】簡便に精度よく被写体の奥行きに関する情報を取得することのできる画像撮像装置及び画像処理装置を提供する。

【解決手段】光を投射して、被写体に形状パターンを投影する投影部１４と、投影部１４が投射した形状パターンを伝達する光の発散中心とは光学的に異なる位置において、形状パターンが投影された被写体における光を収斂させ、被写体を撮像する撮像部１２と、撮像部１２が撮像する被写体の特定領域に投影された形状パターンの像の大きさを検出する形状パターン検出部３０４と、形状パターン検出部３０４が検出した大きさに基づいて、被写体の特定領域の奥行き値を算出する奥行き算出部３０８とを備えた。
【特許請求の範囲】
【請求項１】 被写体の奥行きに関する情報を取得する画像撮像装置であって、光を投射して、前記被写体に形状パターンを投影する投影部と、前記投影部が投射した前記形状パターンを伝達する光の発散中心とは光学的に異なる位置において、前記形状パターンが投影された前記被写体における光を収斂させ、前記被写体を撮像する撮像部とを備えたことを特徴とする画像撮像装置。
【請求項２】 前記撮像部が撮像する前記被写体の特定領域に投影された前記形状パターンの像の大きさを検出する形状パターン検出部と、前記形状パターン検出部が検出した前記大きさに基づいて、前記被写体の前記特定領域の奥行き値を算出する奥行き算出部とをさらに備えたことを特徴とする請求項１に記載の画像撮像装置。
【請求項３】 前記投影部が前記被写体に光を投射するときの光軸と、前記撮像部が前記被写体を撮像するときの光軸とが略同一であることを特徴とする請求項２に記載の画像撮像装置。
【請求項４】 前記撮像部及び前記投影部は同一光軸の光学素子を用いて、それぞれ前記被写体の撮像及び前記被写体への光の投射を行うことを特徴とする請求項３に記載の画像撮像装置。
【請求項５】 前記形状パターンは２次元に配置された複数の図形パターンであり、前記投影部は、前記複数の図形パターンを前記被写体上に同時に投影し、前記撮影部は、前記複数の図形パターンが投影された前記被写体を撮像し、前記形状パターン検出部は、前記複数の図形パターンの像の大きさをそれぞれ検出し、前記奥行き算出部は、前記形状パターン検出部が検出した前記複数の図形パターンの像のそれぞれの大きさに基づいて、前記複数の図形パターンが投影された前記被写体の各領域の前記奥行き値を算出することを特徴とする請求項２に記載の画像撮像装置。
【請求項６】 前記図形パターンは、点、線、円、または多角形のいずれかであることを特徴とする請求項５に記載の画像撮像装置。
【請求項７】 被写体の奥行きに関する情報を取得する画像撮像装置であって、光軸に対して垂直な２つの方位によって２つの異なる光学的な発散中心を有する光を投射して、前記被写体に形状パターンを投影する投影部と、前記２つの発散中心のいずれか１つと光学的に略同一位置にある収斂位置において、前記形状パターンが投影された前記被写体における光を収斂させ、前記被写体を撮像する撮像部とを備えたことを特徴とする画像撮像装置。
【請求項８】 前記収斂位置とは光学的に異なる位置にある前記発散中心における光の発散方位について、前記撮像部が撮像する前記被写体の特定領域に投影された前記形状パターンの像の大きさを検出する形状パターン検出部と、前記形状パターン検出部が検出した前記形状パターンの像の前記発散方位の前記大きさに基づいて、前記被写体の前記特定領域の奥行き値を算出する奥行き算出部とをさらに備えたことを特徴とする請求項７に記載の画像撮像装置。
【請求項９】 前記投影部が前記被写体に光を投影するときの光軸と、前記撮像部が前記被写体を撮像するときの光軸とが略同一であることを特徴とする請求項８に記載の画像撮像装置。
【請求項１０】 前記投影部は、一方向にのみパワーを有する光学素子を用いて、前記２つの方位によって前記２つの異なる光学的な発散中心を有する光を投射することを特徴とする請求項９に記載の画像撮像装置。
【請求項１１】 前記一方向にのみパワーを有する光学素子を光軸周りに回転させる駆動部をさらに備えることを特徴とする請求項１０に記載の画像撮像装置。
【請求項１２】 前記形状パターン検出部は、前記駆動部が前記光学素子を光軸周りに９０度回転させる前後で、前記光学素子のパワーの方向において、前記形状パターンの像の大きさをそれぞれ検出し、前記奥行き算出部は、前記形状パターン検出部が、前記光学素子の回転前後に検出した前記形状パターンの像の前記大きさを用いて、前記被写体の前記特定領域の奥行き値を算出することを特徴とする請求項１１に記載の画像撮像装置。
【請求項１３】 被写体の奥行きに関する情報を取得する画像撮像装置であって、光軸に対して垂直な２つの方位によって２つの異なる光学的な発散中心を有する光を投射して、前記被写体に形状パターンを投影する投影部と、前記２つの発散中心のいずれとも光学的に異なる位置にある収斂位置において、前記形状パターンが投影された前記被写体における光を収斂させ、前記被写体を撮像する撮像部とを備えたことを特徴とする画像撮像装置。
【請求項１４】 前記２つの発散中心における光の前記２つの方位において、前記撮像部が撮像する前記被写体の特定領域に投影された前記形状パターンの像の２つの大きさを検出する形状パターン検出部と、前記形状パターン検出部が検出した前記形状パターンの像の前記２つの方位における前記２つの大きさを斟酌して、前記被写体の前記特定領域の奥行き値を算出する奥行き算出部とをさらに備えたことを特徴とする請求項１３に記載の画像撮像装置。
【請求項１５】 前記投影部が前記被写体に光を投影するときの光軸と、前記撮像部が前記被写体を撮像するときの光軸とが略同一であることを特徴とする請求項１４に記載の画像撮像装置。
【請求項１６】 前記投影部は、光軸に対して垂直な２方向に独立なパワーを有する光学素子を用いて、前記２つの方位によって前記２つの異なる光学的な発散中心を有する光を投射することを特徴とする請求項１５に記載の画像撮像装置。
【請求項１７】 被写体の奥行きに関する情報を取得する画像処理方法であって、光を投射して、前記被写体に形状パターンを投影し、前記形状パターンを伝達する光の発散中心とは光学的に異なる位置において、前記形状パターンが投影された前記被写体における光を収斂させ、前記被写体の像を撮像し、前記被写体の特定領域に投影された前記形状パターンの像の大きさを検出し、前記大きさに基づいて、前記被写体の前記特定領域の奥行き値を算出することを特徴とする画像処理方法。
【請求項１８】 被写体の奥行きに関する情報を取得する画像処理方法であって、光軸に対して垂直な２つの方位によって２つの異なる光学的な発散中心を有する光を投射して、前記被写体に形状パターンを投影し、前記２つの発散中心のいずれか１つと光学的に略同一位置にある収斂位置において、前記形状パターンが投影された前記被写体における光を収斂させ、前記被写体を撮像し、前記収斂位置とは光学的に異なる位置にある前記発散中心における光の発散方位について、前記撮像部が撮像する前記被写体の特定領域に投影された前記形状パターンの像の大きさを検出し、前記形状パターン検出部が検出した前記形状パターンの像の前記発散方位の前記大きさに基づいて、前記被写体の前記特定領域の奥行き値を算出することを特徴とする画像処理方法。
【請求項１９】 被写体の奥行きに関する情報を取得する画像処理方法であって、光軸に対して垂直な２つの方位によって２つの異なる光学的な発散中心を有する光を投射して、前記被写体に形状パターンを投影し、前記２つの発散中心のいずれとも光学的に異なる位置にある収斂位置において、前記形状パターンが投影された前記被写体における光を収斂させ、前記被写体を撮像し、前記２つの発散中心における光の前記２つの方位において、前記撮像部が撮像する前記被写体の特定領域に投影された前記形状パターンの像の２つの大きさを検出し、前記形状パターン検出部が検出した前記形状パターンの像の前記２つの方位における前記２つの大きさを斟酌して、前記被写体の前記特定領域の奥行き値を算出することを特徴とする画像処理方法。
【請求項２０】 被写体の奥行きに関する情報を取得する画像処理装置であって、形状パターンが投影された前記被写体の画像を入力する入力部と、前記被写体の特定領域に投影された前記形状パターンの像の大きさを検出する形状パターン検出部と、前記形状パターン検出部が検出した前記大きさに基づいて、前記被写体の前記特定領域の奥行き値を算出する奥行き算出部とを備えたことを特徴とする画像処理装置。
【請求項２１】 被写体の奥行きに関する情報を取得するコンピュータ用のプログラムを格納した記録媒体であって、前記プログラムが、形状パターンが投影された前記被写体の画像を入力させる入力モジュールと、前記被写体の特定領域に投影された前記形状パターンの像の大きさを検出させる形状パターン検出モジュールと、前記形状パターン検出モジュールが検出した前記大きさに基づいて、前記被写体の前記特定領域の奥行き値を算出させる奥行き算出モジュールとを備えたことを特徴とする記録媒体。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、被写体の奥行きに関する情報を取得する画像撮像装置、画像処理装置、画像処理方法、及び記録媒体に関する。特に本発明は、投影パターンを撮影して被写体の奥行きに関する情報を取得する画像撮像装置、画像処理装置、画像処理方法、及び記録媒体に関する。
【０００２】
【従来の技術】物体までの距離情報や物体の位置情報を得るために、物体にスリットや縞模様などのパターン光を投影し、物体に投影されたパターンを撮影して解析する三次元画像計測の手法が知られている。代表的な計測手法として、スリット光投影法（別名、光切断法）、コード化パターン光投影法などがあり、井口征士、佐藤宏介著『三次元画像計測』（昭晃堂）に詳しい。
【０００３】また、河北他「三次元撮像装置Axi-Vision Cameraの開発」（３次元画像コンファレンス９９、1999年）には、投影光に超高速の強度変調を加え、強度変調光で照明された被写体を高速シャッター機能を備えたカメラで撮影し、被写体までの距離によって変化する強度変調度合いから、距離を測定する方法が開示されている。
【０００４】
【発明が解決しようとする課題】従来の光投影法による計測手法は、３角測量の原理に基づいて、投影パターンが投影された被写体の領域までの距離を測定する。したがって、距離測定の高い分解能を得るためには、原理的に投影光学系と撮影光学系を十分に離して配置する必要があり、測定装置の大型化が避けられないという問題が生じていた。また、投影光学系と撮影光学系の光軸が離れているために、撮影光学系から見た場合に、投影されたパターンが被写体の陰に隠れて観察されない場所ができ、距離情報が得られない「死角」となるという問題も生じていた。
【０００５】また、前述の強度変調を用いた手法は、非常に高速に光変調や光シャッター操作を行う必要があり、測定装置は大型で高価になり、簡便に測定することができないという問題がある。
【０００６】そこで本発明は、上記の課題を解決するために、簡便に効率よく被写体の奥行きに関する情報を取得することのできる画像撮像装置、画像処理装置、画像処理方法、及び記録媒体を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【０００７】
【課題を解決するための手段】上記課題を解決するために、本発明の第１の形態においては、被写体の奥行きに関する情報を取得する画像撮像装置であって、光を投射して、被写体に形状パターンを投影する投影部と、投影部が投射した形状パターンを伝達する光の発散中心とは光学的に異なる位置において、形状パターンが投影された被写体における光を収斂させ、被写体を撮像する撮像部とを備えたことを特徴とする。
【０００８】撮像部が撮像する被写体の特定領域に投影された形状パターンの像の大きさを検出する形状パターン検出部と、形状パターン検出部が検出した大きさに基づいて、被写体の特定領域の奥行き値を算出する奥行き算出部とをさらに備えてもよい。
【０００９】投影部が被写体に光を投射するときの光軸と、撮像部が被写体を撮像するときの光軸とが略同一であってもよい。撮像部及び投影部は同一光軸の光学素子を用いて、それぞれ被写体の撮像及び被写体への光の投射を行ってもよい。
【００１０】形状パターンは２次元に配置された複数の図形パターンであり、投影部は、複数の図形パターンを被写体上に同時に投影し、撮影部は、複数の図形パターンが投影された被写体を撮像し、形状パターン検出部は、複数の図形パターンの像の大きさをそれぞれ検出し、奥行き算出部は、形状パターン検出部が検出した複数の図形パターンの像のそれぞれの大きさに基づいて、複数の図形パターンが投影された被写体の各領域の奥行き値を算出してもよい。図形パターンは、点、線、円、または多角形のいずれかであってもよい。
【００１１】本発明の第２の形態においては、被写体の奥行きに関する情報を取得する画像撮像装置であって、光軸に対して垂直な２つの方位によって２つの異なる光学的な発散中心を有する光を投射して、被写体に形状パターンを投影する投影部と、２つの発散中心のいずれか１つと光学的に略同一位置にある収斂位置において、形状パターンが投影された被写体における光を収斂させ、被写体を撮像する撮像部とを備えたことを特徴とする。
【００１２】収斂位置とは光学的に異なる位置にある発散中心における光の発散方位について、撮像部が撮像する被写体の特定領域に投影された形状パターンの像の大きさを検出する形状パターン検出部と、形状パターン検出部が検出した形状パターンの像の発散方位の大きさに基づいて、被写体の特定領域の奥行き値を算出する奥行き算出部とをさらに備えてもよい。
【００１３】投影部が被写体に光を投影するときの光軸と、撮像部が被写体を撮像するときの光軸とが略同一であってもよい。投影部は、一方向にのみパワーを有する光学素子を用いて、２つの方位によって２つの異なる光学的な発散中心を有する光を投射してもよい。一方向にのみレンズパワーを有する光学素子を光軸周りに回転させる駆動部をさらに備えてもよい。
【００１４】形状パターン検出部は、駆動部が光学素子を光軸周りに９０度回転させる前後で、光学素子のパワーの方向において、形状パターンの像の大きさをそれぞれ検出し、奥行き算出部は、形状パターン検出部が、光学素子の回転前後に検出した形状パターンの像の大きさを用いて、被写体の特定領域の奥行き値を算出してもよい。
【００１５】本発明の第３の形態においては、被写体の奥行きに関する情報を取得する画像撮像装置であって、光軸に対して垂直な２つの方位によって２つの異なる光学的な発散中心を有する光を投射して、被写体に形状パターンを投影する投影部と、２つの発散中心のいずれとも光学的に異なる位置にある収斂位置において、形状パターンが投影された被写体における光を収斂させ、被写体を撮像する撮像部とを備えたことを特徴とする。
【００１６】２つの発散中心における光の２つの方位において、撮像部が撮像する被写体の特定領域に投影された形状パターンの像の２つの大きさを検出する形状パターン検出部と、形状パターン検出部が検出した形状パターンの像の２つの方位における２つの大きさを斟酌して、被写体の特定領域の奥行き値を算出する奥行き算出部とをさらに備えてもよい。
【００１７】投影部が被写体に光を投影するときの光軸と、撮像部が被写体を撮像するときの光軸とが略同一であってもよい。投影部は、光軸に対して垂直な２方向に独立なパワーを有する光学素子を用いて、２つの方位によって２つの異なる光学的な発散中心を有する光を投射してもよい。
【００１８】本発明の第３の形態においては、被写体の奥行きに関する情報を取得する画像処理方法であって、光を投射して、被写体に形状パターンを投影し、形状パターンを伝達する光の発散中心とは光学的に異なる位置において、形状パターンが投影された被写体における光を収斂させ、被写体の像を撮像し、被写体の特定領域に投影された形状パターンの像の大きさを検出し、大きさに基づいて、被写体の特定領域の奥行き値を算出することを特徴とする。
【００１９】本発明の第４の形態においては、被写体の奥行きに関する情報を取得する画像処理方法であって、光軸に対して垂直な２つの方位によって２つの異なる光学的な発散中心を有する光を投射して、被写体に形状パターンを投影し、２つの発散中心のいずれか１つと光学的に略同一位置にある収斂位置において、形状パターンが投影された被写体における光を収斂させ、被写体を撮像し、収斂位置とは光学的に異なる位置にある発散中心における光の発散方位について、撮像部が撮像する被写体の特定領域に投影された形状パターンの像の大きさを検出し、形状パターン検出部が検出した形状パターンの像の発散方位の大きさに基づいて、被写体の特定領域の奥行き値を算出することを特徴とする。
【００２０】本発明の第５の形態においては、被写体の奥行きに関する情報を取得する画像処理方法であって、光軸に対して垂直な２つの方位によって２つの異なる光学的な発散中心を有する光を投射して、被写体に形状パターンを投影し、２つの発散中心のいずれとも光学的に異なる位置にある収斂位置において、形状パターンが投影された被写体における光を収斂させ、被写体を撮像し、２つの発散中心における光の２つの方位において、撮像部が撮像する被写体の特定領域に投影された形状パターンの像の２つの大きさを検出し、形状パターン検出部が検出した形状パターンの像の２つの方位における２つの大きさを斟酌して、被写体の特定領域の奥行き値を算出することを特徴とする。
【００２１】本発明の第６の形態においては、被写体の奥行きに関する情報を取得する画像処理装置であって、形状パターンが投影された被写体の画像を入力する入力部と、被写体の特定領域に投影された形状パターンの像の大きさを検出する形状パターン検出部と、形状パターン検出部が検出した大きさに基づいて、被写体の特定領域の奥行き値を算出する奥行き算出部とを備えたことを特徴とする画像処理装置。
【００２２】本発明の第７の形態においては、被写体の奥行きに関する情報を取得するコンピュータ用のプログラムを格納した記録媒体であって、プログラムが、形状パターンが投影された被写体の画像を入力させる入力モジュールと、被写体の特定領域に投影された形状パターンの像の大きさを検出させる形状パターン検出モジュールと、形状パターン検出モジュールが検出した大きさに基づいて、被写体の特定領域の奥行き値を算出させる奥行き算出モジュールとを備えたことを特徴とする。
【００２３】なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【００２４】
【発明の実施の形態】以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００２５】（実施形態１）本発明の第１の実施形態を説明する。図１は、画像撮像装置の一例としてのデジタルカメラ１０の構成図である。デジタルカメラ１０には、デジタルスチルカメラや静止画像を撮影できるデジタルビデオカメラ等が含まれる。デジタルカメラ１０は、主に投影撮像ユニット２０、制御ユニット４０、処理ユニット６０、表示ユニット１００、および操作ユニット１１０を含む。
【００２６】投影撮像ユニット２０は、投影、撮影および結像に関する機構部材および電気部材を含む。投影撮像ユニット２０は、被写体を結像して撮影する撮像部１２と、被写体に光を投影する投影部１４とを有する。撮像部１２は、映像を取り込んで処理を施す撮影レンズ２２、光路分割素子２３、絞り２４、シャッタ２６、光学ＬＰＦ（ローパスフィルタ）２８、固体撮像素子の一例であるＣＣＤ３０、および撮像信号処理部３２を含む。投影部１４は、投影レンズ３４、コード化パターン３６、および光源３８を含む。
【００２７】撮影レンズ２２は、フォーカスレンズやズームレンズ等からなる。撮影レンズ２２を通る光は、光路分割素子２３を透過して、光学ＬＰＦ２８によってフィルタリングされ、ＣＣＤ３０に受光される。この構成により、被写体像がＣＣＤ３０の受光面上に結像する。結像した被写体像の光量に応じ、ＣＣＤ３０の各センサエレメント（図示せず）に電荷が蓄積される（以下その電荷を「蓄積電荷」という）。蓄積電荷は、リードゲートパルスによってシフトレジスタ（図示せず）に読み出され、レジスタ転送パルスによって電圧信号として順次読み出される。
【００２８】デジタルカメラ１０は一般に電子シャッタ機能を有するので、シャッタ２６のような機械式シャッタは必須ではない。電子シャッタ機能を実現するために、ＣＣＤ３０にシャッタゲートを介してシャッタドレインが設けられる。シャッタゲートを駆動すると蓄積電荷がシャッタドレインに掃き出される。シャッタゲートの制御により、各センサエレメントに電荷を蓄積するための時間、すなわちシャッタ速度が制御できる。
【００２９】ＣＣＤ３０から出力される電圧信号、すなわちアナログ信号は撮像信号処理部３２でＲ、Ｇ、Ｂ成分に色分解され、まずホワイトバランスが調整される。つづいて撮像信号処理部３２はガンマ補正を行い、必要なタイミングでＲ、Ｇ、Ｂ信号を順次Ａ／Ｄ変換し、その結果得られたデジタルの画像データ（以下単に「デジタル画像データ」とよぶ）を処理ユニット６０へ出力する。
【００３０】投影部１４は、パターン光を被写体に投影する。光源３８によってコード化パターン３６を照射し、投影レンズ３４及び撮影レンズ２２によってパターンを伝達する光を被写体に投影する。ここで光路分割素子２３は、投影レンズ３４を通る光源３８の光を反射させて、撮影レンズ２２に入射させる。光路分割素子２３は、たとえばハーフミラーであってもよい。投影部１４は光源３８の光を集光する図示しないコンデンサーレンズを備えてもよい。
【００３１】投影撮像ユニット２０はさらに、図示しないファインダとストロボを有する。ファインダには図示しないＬＣＤを内装してもよく、その場合、後述のメインＣＰＵ６２等からの各種情報をファインダ内に表示できる。ストロボは、コンデンサに蓄えられたエネルギが放電管に供給されたときそれが発光することで機能する。
【００３２】本実施形態のＣＣＤ３０は、固体撮像素子の一例である。固体撮像素子は、半導体化および集積化された撮像素子で、構造上、半導体基板上に光電変換と電荷の蓄積機能をもった画素群を二次元的に配列したものである。固体撮像素子は、撮影レンズ２２によって結像された光を受光し、光電変換作用によって電荷を蓄積する。蓄積された電荷像は一定の順序に走査され、電気信号として読み出される。
【００３３】固体撮像素子は、基本的に、外部から入射する光を受光して光電変換を行うための受光素子部を含む半導体素子と、半導体素子を収納するパッケージと、受光素子部への光の入射を可能にするため、パッケージの半導体素子と対向する位置に配置された透明保護部材と、透明保護部材の外側表面あるいは内側において、透明保護部材よりも高い遮光性を有する遮光部材から構成されていることが好ましい。これにより、撮像される画像の品質を向上させることができる。さらに透明保護部はマイクロレンズの機能を持つことにより、結像される画像の解像度を向上させてもよい。受光素子部と透明保護部の間に、または、透明保護部の上または透明保護部中にカラーフィルタを設け、カラーの画像を撮像できるようにしてもよい。
【００３４】本実施形態のＣＣＤ３０は、パターン光により被写体に投影された投影パターンの像の大きさを高い精度で検出できるように、解像度が十分に高い電荷結合素子（ＣＣＤ）１次元イメージセンサ（リニアセンサ）又は２次元イメージセンサ（エリアセンサ）イメージセンサであることが望ましい。固体撮像素子としてＣＣＤ以外に、ＭＯＳイメージセンサ、ＣｄＳ−Ｓｅ密着型イメージセンサ、ａ−Ｓｉ（アモルファスシリコン）密着型イメージセンサ、又はバイポーラ密着型イメージセンサのいずれかを用いてもよい。
【００３５】制御ユニット４０は、ズーム駆動部４２、フォーカス駆動部４４、絞り駆動部４６、シャッタ駆動部４８、それらを制御する制御系ＣＰＵ５０、測距センサ５２、および測光センサ５４をもつ。ズーム駆動部４２などの駆動部は、それぞれステッピングモータ等の駆動手段を有する。後述のレリーズスイッチ１１４の押下に応じ、測距センサ５２は被写体までの距離を測定し、測光センサ５４は被写体輝度を測定する。測定された距離のデータ（以下単に「測距データ」という）および被写体輝度のデータ（以下単に「測光データ」という）は制御系ＣＰＵ５０へ送られる。制御系ＣＰＵ５０は、ユーザから指示されたズーム倍率等の撮影情報に基づき、ズーム駆動部４２とフォーカス駆動部４４を制御して撮影レンズ２２のズーム倍率とピントの調整を行う。
【００３６】制御系ＣＰＵ５０は、１画像フレームのＲＧＢのデジタル信号積算値、すなわちＡＥ情報に基づいて絞り値とシャッタ速度を決定する。決定された値にしたがい、絞り駆動部４６とシャッタ駆動部４８がそれぞれ絞り量の調整とシャッタ２６の開閉を行う。
【００３７】制御系ＣＰＵ５０はまた、測光データに基づいてストロボの発光を制御し、同時に絞り２６の絞り量を調整する。ユーザが映像の取込を指示したとき、ＣＣＤ３０が電荷蓄積を開始し、測光データから計算されたシャッタ時間の経過後、蓄積電荷が撮像信号処理部３２へ出力される。制御系ＣＰＵ５０はまた、投影撮像ユニット２０の投影部１４を制御してパターン光を被写体に投影させ、投影撮像ユニット２０の撮影部１２を制御してパターン光が投影された被写体の像を撮像させる。
【００３８】処理ユニット６０は、デジタルカメラ１０全体、とくに処理ユニット６０自身を制御するメインＣＰＵ６２と、これによって制御されるメモリ制御部６４、ＹＣ処理部７０、オプション装置制御部７４、圧縮伸張処理部７８、通信Ｉ／Ｆ部８０を有する。メインＣＰＵ６２は、シリアル通信などにより、制御系ＣＰＵ５０との間で必要な情報をやりとりする。メインＣＰＵ６２の動作クロックは、クロック発生器８８から与えられる。クロック発生器８８は、制御系ＣＰＵ５０、表示ユニット１００に対してもそれぞれ異なる周波数のクロックを提供する。
【００３９】メインＣＰＵ６２には、キャラクタ生成部８４とタイマ８６が併設されている。タイマ８６は電池でバックアップされ、つねに日時をカウントしている。このカウント値から撮影日時に関する情報、その他の時刻情報がメインＣＰＵ６２に与えられる。キャラクタ生成部８４は、撮影日時、タイトル等の文字情報を発生し、この文字情報が適宜撮影画像に合成される。
【００４０】メモリ制御部６４は、不揮発性メモリ６６とメインメモリ６８を制御する。不揮発性メモリ６６は、ＥＥＰＲＯＭ（電気的消去およびプログラム可能なＲＯＭ）やＦＬＡＳＨメモリなどで構成され、ユーザーによる設定情報や出荷時の調整値など、デジタルカメラ１０の電源がオフの間も保持すべきデータが格納されている。不揮発性メモリ６６には、場合によりメインＣＰＵ６２のブートプログラムやシステムプログラムなどが格納されてもよい。一方、メインメモリ６８は一般にＤＲＡＭのように比較的安価で容量の大きなメモリで構成される。メインメモリ６８は、撮像ユニット２０から出力されたデータを格納するフレームメモリとしての機能、各種プログラムをロードするシステムメモリとしての機能、その他ワークエリアとしての機能をもつ。不揮発性メモリ６６とメインメモリ６８は、処理ユニット６０内外の各部とメインバス８２を介してデータのやりとりを行う。
【００４１】ＹＣ処理部７０は、デジタル画像データにＹＣ変換を施し、輝度信号Ｙと色差（クロマ）信号Ｂ−Ｙ、Ｒ−Ｙを生成する。輝度信号と色差信号はメモリ制御部６４によってメインメモリ６８に一旦格納される。圧縮伸張処理部７８はメインメモリ６８から順次輝度信号と色差信号を読み出して圧縮する。こうして圧縮されたデータ（以下単に「圧縮データ」という）は、オプション装置制御部７４を介してオプション装置７６の一種であるメモリカードへ書き込まれる。
【００４２】処理ユニット６０はさらにエンコーダ７２をもつ。エンコーダ７２は輝度信号と色差信号を入力し、これらをビデオ信号（ＮＴＳＣやＰＡＬ信号）に変換してビデオ出力端子９０から出力する。オプション装置７６に記録されたデータからビデオ信号を生成する場合、そのデータはまずオプション装置制御部７４を介して圧縮伸張処理部７８へ与えられる。つづいて、圧縮伸張処理部７８で必要な伸張処理が施されたデータはエンコーダ７２によってビデオ信号へ変換される。
【００４３】オプション装置制御部７４は、オプション装置７６に認められる信号仕様およびメインバス８２のバス仕様にしたがい、メインバス８２とオプション装置７６の間で必要な信号の生成、論理変換、または電圧変換などを行う。デジタルカメラ１０は、オプション装置７６として前述のメモリカードのほかに、例えばＰＣＭＣＩＡ準拠の標準的なＩ／Ｏカードをサポートしてもよい。その場合、オプション装置制御部７４は、ＰＣＭＣＩＡ用バス制御ＬＳＩなどで構成してもよい。
【００４４】通信Ｉ／Ｆ部８０は、デジタルカメラ１０がサポートする通信仕様、たとえばＵＳＢ、ＲＳ−２３２Ｃ、イーサネット、Ｂｌｕｅｔｏｏｔｈ、ＩｒＤＡなどの仕様に応じたプロトコル変換等の制御を行う。通信Ｉ／Ｆ部８０は、必要に応じてドライバＩＣを含み、ネットワークを含む外部機器とコネクタ９２を介して通信する。そうした標準的な仕様のほかに、例えばプリンタ、カラオケ機、ゲーム機等の外部機器との間で独自のＩ／Ｆによるデータ授受を行う構成としてもよい。
【００４５】表示ユニット１００は、ＬＣＤモニタ１０２とＬＣＤパネル１０４を有する。それらはＬＣＤドライバであるモニタドライバ１０６、パネルドライバ１０８によってそれぞれ制御される。ＬＣＤモニタ１０２は、例えば２インチ程度の大きさでカメラ背面に設けられ、現在の撮影や再生のモード、撮影や再生のズーム倍率、電池残量、日時、モード設定のための画面、被写体画像などを表示する。ＬＣＤパネル１０４は例えば小さな白黒ＬＣＤでカメラ上面に設けられ、画質（ＦＩＮＥ／ＮＯＲＭＡＬ／ＢＡＳＩＣなど）、ストロボ発光／発光禁止、標準撮影可能枚数、画素数、電池容量などの情報を簡易的に表示する。
【００４６】操作ユニット１１０は、ユーザーがデジタルカメラ１０の動作やそのモードなどを設定または指示するために必要な機構および電気部材を含む。パワースイッチ１１２は、デジタルカメラ１０の電源のオンオフを決める。レリーズスイッチ１１４は、半押しと全押しの二段階押し込み構造になっている。一例として、半押しでＡＦおよびＡＥがロックし、全押しで撮影画像の取込が行われ、必要な信号処理、データ圧縮等の後、メインメモリ６８、オプション装置７６等に記録される。操作ユニット１１０はこれらのスイッチの他、回転式のモードダイヤルや十字キーなどによる設定を受け付けてもよく、それらは図１において機能設定部１１６と総称されている。操作ユニット１１０で指定できる動作または機能の例として、「ファイルフォーマット」、「特殊効果」、「印画」、「決定／保存」、「表示切換」等がある。ズームスイッチ１１８は、ズーム倍率を決める。
【００４７】以上の構成による主な動作は以下のとおりである。まずデジタルカメラ１０のパワースイッチ１１２がオンされ、カメラ各部に電力が供給される。メインＣＰＵ６２は、機能設定部１１６の状態を読み込むことで、デジタルカメラ１０が撮影モードにあるか再生モードにあるかを判断する。
【００４８】カメラが撮影モードにあるとき、メインＣＰＵ６２はレリーズスイッチ１１４の半押し状態を監視する。半押し状態が検出されたとき、メインＣＰＵ６２は測光センサ５４および測距センサ５２からそれぞれ測光データと測距データを得る。得られたデータに基づいて制御ユニット４０が動作し、撮影レンズ２２のピント、絞りなどの調整が行われる。調整が完了すると、ＬＣＤモニタ１０２に「スタンバイ」などの文字を表示してユーザーにその旨を伝え、つづいてレリーズスイッチ１１４の全押し状態を監視する。レリーズスイッチ１１４が全押しされると、所定のシャッタ時間をおいてシャッタ２６が閉じられ、ＣＣＤ３０の蓄積電荷が撮像信号処理部３２へ掃き出される。撮像信号処理部３２による処理の結果生成されたデジタル画像データはメインバス８２へ出力される。デジタル画像データは一旦メインメモリ６８へ格納され、この後ＹＣ処理部７０と圧縮伸張処理部７８で処理を受け、オプション装置制御部７４を経由してオプション装置７６へ記録される。記録された画像は、フリーズされた状態でしばらくＬＣＤモニタ１０２に表示され、ユーザーは撮影画像を知ることができる。以上で一連の撮影動作が完了する。
【００４９】一方、デジタルカメラ１０が再生モードの場合、メインＣＰＵ６２は、メモリ制御部６４を介してメインメモリ６８から最後に撮影した画像を読み出し、これを表示ユニット１００のＬＣＤモニタ１０２へ表示する。この状態でユーザーが機能設定部１１６にて「順送り」、「逆送り」を指示すると、現在表示している画像の前後に撮影された画像が読み出され、ＬＣＤモニタ１０２へ表示される。
【００５０】本実施形態において、投影撮像ユニット２０は、被写体にパターン光を投影し、パターン光が投影された被写体の画像を撮像する。図２は、投影撮像ユニット２０によるパターン光の投影と撮像を説明する図である。図では投影撮像ユニット２０の撮像部１２及び投影部１４の主要部のみを図示する。
【００５１】投影部１４は、パターン光を被写体に投影する。コード化パターン３６は、２次元に配置された複数の図形パターンであり、一例として、図３に示すように、２次元に配置された円形の図形パターンである。光源３８がコード化パターン３６を照射した光（以下単に「投影パターン光」と呼ぶ）は、投影レンズ３４を通り、光路分割素子２３で反射して撮影レンズ２２を通り、被写体に投射される。投影レンズ３４として凹レンズを用いると、投影パターン光は、投影レンズ３４及び撮影レンズ２２によって発散中心Ｐ０に収斂し、発散中心Ｐ０から放射されて被写体に投影される。投影レンズ３４として凸レンズを用いると、投影パターン光の発散中心Ｐ０は光路上で撮影レンズ２２より手前の位置になるが、本発明の効果は同じであるから、以下では投影レンズ３４として凹レンズを用いた場合について説明する。
【００５２】投影パターン光により、撮影レンズ２２の位置Ｏから距離Ｚ1の位置に被写体があれば、被写体上にパターンＰ１が投影され、距離Ｚ２の位置に被写体があれば、被写体上にパターンＰ２が投影される。
【００５３】次に、撮像部１２は、投影パターン光によりパターンが投影された被写体を撮像する。撮影レンズ２２は、パターンが投影された被写体における光を撮影レンズ２２の中心Ｏにおいて収斂させ、光路分割素子２３を透過して、ＣＣＤ３０に結像させる。撮影レンズ２２の位置Ｏから距離Ｚ1の位置にある被写体上の投影パターンＰ１のＣＣＤ３０における撮影像は、Ｉ１であり、撮影レンズ２２の位置Ｏから距離Ｚ２の位置にある被写体上の投影パターンＰ２のＣＣＤ３０における撮影像は、Ｉ２である。
【００５４】撮影レンズ２２の収斂位置Ｏと、投影パターン光の発散中心Ｐ０とは異なる位置にあるため、同一の発散中心Ｐ０から放射された光による投影パターンＰ１、Ｐ２であっても、その撮影像Ｉ１、Ｉ２は異なる。本発明は、投影パターンＰ１、Ｐ２の撮影像Ｉ１、Ｉ２に違いが生じることを利用して、被写体の奥行きＺ１、Ｚ２を測定する。被写体の投影レンズ３４が平面ガラスであり、ＣＣＤ３０及びコード化パターン３６が光学的に等価な位置にあれば、投影パターン光の発散中心Ｐ０が撮影レンズ２２の収斂位置Ｏと一致するため、投影パターン光による投影パターンＰ１、Ｐ２の撮影像Ｉ１、Ｉ２は同一になり、本発明の効果が失われる。
【００５５】次に投影パターンが投影された被写体の撮影像を用いて、被写体の奥行きを算出する方法を述べる。投影パターンＰ１、Ｐ２の撮影像Ｉ１、Ｉ２は図４に示すように、円形の図形パターンの大きさが異なる。撮影像Ｉ１における円形の図形の大きさはＳ１であるのに対して、撮影像Ｉ２における円形の図形の大きさはＳ２である。撮影レンズ２２から投影パターンＰ１、Ｐ２までの距離Ｚ１、Ｚ２によって図形パターンの大きさＳ１、Ｓ２が異なり、距離が大きくなるほど、図形パターンの大きさが大きくなる。
【００５６】図５は、投影パターンの距離と投影パターンの撮影像の大きさの関係を説明する図である。撮影レンズ２２の位置Ｏから投影パターン光の発散中心Ｐ０までの距離をＺ０、撮影レンズ２２の位置ＯからＣＣＤ３０までの距離をｄとおく。撮影レンズ２２の半径をＳ０とし、投影パターン光が発散中心Ｐ０から放射する角度をαとする。また、投影パターンＰ１、Ｐ２の図形パターンの被写体上での大きさをＴ１、Ｔ２とする。投影パターンＰ１、Ｐ２の図形パターンのＣＣＤ３０上での撮影像の大きさは、先の説明の通りＳ１、Ｓ２である。投影パターンＰ１の図形パターンを撮影レンズ２２から見た場合の角度をβとする。投影パターン光による投影パターンＰ１に注目すると、【００５７】
Ｔ０／Ｚ０＝Ｔ１／（Ｚ１−Ｚ０）＝ｔａｎα （１）
が成り立つ。
【００５８】また、投影パターンＰ１の撮影像に注目すると、Ｔ１／Ｚ１＝Ｓ１／ｄ＝ｔａｎβ （２）
が成り立つ。（１）、（２）より未知数Ｔ１を消去すると、【００５９】
（Ｚ１−Ｚ０）・Ｔ０／Ｚ０＝Ｓ１・Ｚ１／ｄ （３）
を得る。（３）をＺ１について解いて、【００６０】
Ｚ１＝Ｔ０／（Ｔ０／Ｚ０−Ｓ１／ｄ） （４）
を得る。したがって、投影パターンＰ１の像の大きさＳ１を検出すると、（４）式から、撮影レンズ２２から投影パターンＰ１までの距離Ｚ１を求めることができる。
【００６１】上記の実施形態において、投影撮像ユニット２０の撮影部１２及び投影部１４に用いられる、撮影レンズ２２及び投影レンズ３４は、光学素子の一例としての光学レンズである。光学レンズは複数枚の光学レンズを組み合わせた光学レンズ系であってもよい。光学レンズは、厚いレンズの光学的性質をもつように、表面の形状をのこぎり刃状にして斜め成分を加えた薄いレンズであるフレネルレンズであってもよい。光学レンズは、表面が一般に平坦で、内部で屈折率を場所毎にだからにしかし一定ではなく変わるようにつくられた屈折率分布型レンズであってもよい。また、光学素子として、光学レンズ以外に、凹面ミラー、凸面ミラーをレンズの代わりに使ってもよい。また、光学素子は、ホログラム光学素子であってもよい。
【００６２】本実施形態の処理ユニット６０は、投影撮像ユニット２０の撮像部１２が撮像した被写体の画像に基づいて、被写体の奥行き情報を獲得する。図６は、処理ユニット６０の機能ブロック図である。処理ユニット６０は、画像記憶部３０２と、形状パターン検出部３０４と、奥行き算出部３０８と、記録部３１０とを有する。
【００６３】画像記憶部３０２は、撮像部１２が撮像した被写体の画像を記憶する。撮像部１２が撮像した被写体の画像には、投影撮像ユニット２０の投影部１４が投影した図形パターンの像が含まれる。形状パターン検出部３０４は、画像記憶部３０２が記憶する被写体の画像において、被写体の特定領域に投影された図形パターンの像を抽出し、図形パターンの像の大きさを検出する。投影される図形パターンの形状は、コード化パターン３６によって決まっているから、画像処理技術によって、図形パターンの像を容易に抽出できる。
【００６４】奥行き算出部３０８は、形状パターン検出部３０４が検出した図形パターンの大きさを用いて、式（４）より被写体の特定領域の奥行き値を算出する。形状パターン検出部３０４及び奥行き算出部３０８によって、図形パターンが投影された被写体の一部の領域または全部の領域について、被写体の奥行き値が算出される。
【００６５】奥行き算出部３０８は算出した被写体の奥行き情報を制御ユニット４０へ入力し、制御ユニット４０は、被写体の奥行き情報に基づいて、フォーカス駆動部４４、絞り駆動部４６及びシャッタ駆動部４８を制御して、フォーカス、絞り、シャッター速度を調整してもよい。
【００６６】記録部３１０は、奥行き算出部３０８が算出した被写体の奥行き情報、及び画像記憶部３０２が記憶する被写体の画像をオプション装置７６に記録させる。
【００６７】形状パターン検出部３０４は、画像処理技術によって投影パターンの像を抽出し、投影パターンの像の大きさを検出するため、投影パターンはできるだけ画像処理上、大きさを検出しやすい図形パターンであることが好ましい。図７は、コード化パターン３６の他の例である、スリットパターンである。スリットパターンは図形として最も単純で、画像処理で抽出しやすい。スリットパターンの縦方向の高さを大きさとして検出すればよい。
【００６８】図８は、コード化パターン３６の他の例である、多角形パターンである。多角形の場合、画像処理によってエッジ抽出して、大きさを算出する。スリットパターンの場合は、線の端点を検出する必要があり、誤差が生じやすい。それに対して、多角形パターンの場合は、形を頼りにエッジを見つけることができるため、大きさ検出に誤差を小さくすることができる。図９は、コード化パターン３６の他の例である、十文字パターンである。十文字パターンの場合、画像処理によって、十文字の形状と中心を抽出して、十文字の大きさを検出する。
【００６９】投影パターンは、必ずしも図形である必要はなく、点の集合であってもよい。図１０は、コード化パターン３６の他の例である、点パターンである。点パターンが格子状に一様に配置されており、画像処理によって正方形の格子の４点を抽出し、正方形の１辺の長さから大きさを検出すればよい。しかし、点の検出は画像処理上、困難であることも多い。そこで点の色を特徴的な色にすることで画像処理によって投影された点パターンの抽出を容易にすることができる。
【００７０】また、投影パターンの像を被写体の画像から抽出しやすくするために、投影パターンの図形は、被写体に含まれない図形を用いることが好ましい。たとえば被写体が縞模様や水玉模様である場合に、スリットパターンや円形パターンのような投影パターンを被写体に投影すると、画像処理で投影パターンの像を被写体の画像から抽出することが難しくなったり、ノイズが多くなったりする。したがって被写体の模様に含まれない図形パターンを人為的に作成して投影することが好ましい。また、投影パターンの色についても、同様のことが言える。被写体の色に含まれない色で投影パターンを投影することが、画像処理で投影パターンの像の抽出を容易にする上で好ましい。
【００７１】処理ユニット６０の形状パターン検出部３０４及び奥行き算出部３０８の機能は一例として、図１のメインＣＰＵ６２と、メインメモリ６８や不揮発性メモリ６６に格納またはロードされたプログラムとの連携によって実現することができる。メインＣＰＵ６２が内蔵メモリをもつ場合にはそのメモリに必要なプログラムを格納し、諸機能をファームウエアとして実現してもよい。処理ユニット６０の画像記憶部３０２が記憶すべき画像データは、メインメモリ６８または不揮発性メモリ６６に記憶させることができる。また画像データは圧縮伸張処理部７８によって圧縮されてもよい。処理ユニット６０の記録部３１０の機能は一例として、オプション装置制御部７４によって実現することができる。また、ユーザの指示を受け付ける操作ユニット１１０が被写体の画像の特定領域を処理ユニット６０に指示し、奥行き算出部３０８は、ユーザが指定する特定領域について奥行き値を算出してもよい。デジタルカメラ１０において処理ユニット６０の上述の機能を実現する設計には相当の自由度がある。
【００７２】図１１は、本実施形態の画像撮像方法のフローチャートである。投影撮像ユニット２０の投影部１４が形状パターンを伝達する光を被写体に投影し（Ｓ１００）、投影撮像ユニット２０の撮像部１２が、投影部１４が投影した投影パターン光の発散中心とは光学的に異なる位置で、形状パターンが投影された被写体における光を収斂させ、被写体の画像を撮像する（Ｓ１０２）。被写体の画像の特定領域を選択する（Ｓ１０４）。特定領域の選択は、被写体の画像の領域を適当に分割し、自動的に分割された領域を順次選択してもよいし、ユーザが操作ユニット１１０を用いて指定した被写体の画像の領域を選択してもよい。形状パターン検出部３０４は、被写体の特定領域に投影された形状パターンの像を画像処理技術によって抽出し、抽出した形状パターンの像の大きさを検出する（Ｓ１０６）。奥行き算出部３０８は、検出された形状パターンの像の大きさを用いて、特定領域の奥行き値を算出する（Ｓ１０８）。
【００７３】形状パターン検出部３０４による投影パターン像の抽出や投影パターン像の大きさの検出についての精度や処理コストは、撮像部１２のＣＣＤ３０の解像度や画像処理を行う処理ユニット６０のメインＣＰＵ６２、不揮発性メモリ６６、メインメモリ６８、メインバス８２等の処理性能等、ハードウエア性能に依存する面と、図形パターン像やその大きさを検出する画像処理手法のアルゴリズム性能等、システムの機能構成に依存する。したがって投影パターン像を抽出して奥行き値を算出するまでの画像処理方法や計算方法には、デジタルカメラ１０のハードウエア構成やソフトウエア構成によって、相当の変形がありうる。いずれにしても、本実施形態の画像撮像装置によれば、パターンを投影する投影パターン光の発散中心と、投影されたパターンを撮像する光の収斂位置とを異ならせることにより、被写体に投影されたパターン像に、被写体の奥行き値に応じた大きさの違いが生じることを利用して、被写体の奥行き値を効率良く算出することができることに本質的な特徴を有し、画像処理方法や計算方法はいろいろな変形がありうる。
【００７４】以上述べたように、本実施形態の画像撮像装置によれば、被写体に形状パターンを投影し、形状パターンが投影された被写体の画像から、被写体の奥行き分布を算出することができる。本実施形態によれば、被写体の全体に形状パターンを投影し、その投影像を撮像し、撮像された画像から簡単な画像処理技術を用いて、被写体全体の奥行き分布を算出できる。したがって、スリット光などの投影光を被写体の領域に順次走査させる従来の手法に比べて、簡便に効率よく被写体の奥行き分布を算出することができる。
【００７５】また、本実施形態によれば、投影光学系と撮影光学系の光軸を同軸にすることができ、光学レンズの一部を共有して、投影と撮影の両方ができ、装置全体を小型化し、安価に製造することができる。また、投影光学系と撮影光学系の光軸が同軸であるため、投影パターンが投影された被写体の全領域の奥行き情報を算出することができ、奥行きを算出できない死角が生じることはない。
【００７６】（実施形態２）本発明の第２の実施形態を説明する。本実施形態の画像撮像装置は、第１の実施形態の画像撮像装置と比較して、投影撮像ユニット２０の投影部１４の構成の一部が異なるだけであるから、同一の構成要素については説明を省略し、異なる構成要素についてのみ説明する。
【００７７】図１２は、投影撮像ユニット２０によるパターン光の投影と撮像を説明する図である。本実施形態では、投影部１４の投影レンズとして、シリンドリカルレンズ３３０を用いる。シリンドリカルレンズ３３０は、垂直方向にのみレンズパワーを有し、水平方向の焦線を有する凹のシリンドリカルレンズである。光源３８がコード化パターン３６を照射した光（以下単に「投影パターン光」と呼ぶ）は、シリンドリカルレンズ３３０を通り、光路分割素子２３で反射して撮影レンズ２２を通り、被写体に投射される。
【００７８】シリンドリカルレンズ３３０によって、投影パターン光は垂直方向では発散中心Ｐ０に収斂する。一方、シリンドリカルレンズ３３０は水平方向には光を拡散しないため、投影パターン光は水平方向では撮影レンズ２２の中心Ｏに収斂する。シリンドリカルレンズ３３０として、凸のシリンドリカルレンズを用いた場合、垂直方向の収斂位置（発散中心）が光路上で撮影レンズ２２より手前の位置になるが、本発明の効果は同じであるから、以下ではシリンドリカルレンズ３３０として凹のシリンドリカルレンズを用いた場合について説明する。
【００７９】投影パターン光により、撮影レンズ２２の位置Ｏから距離Ｚ1の位置に被写体があれば、被写体上にパターンＰ１が投影され、距離Ｚ２の位置に被写体があれば、被写体上にパターンＰ２が投影される。シリンドリカルレンズ３３０の効果によって、投影パターンＰ１、Ｐ２は水平方向に比べて垂直方向により大きな倍率で拡大される。
【００８０】次に、撮像部１２は、投影パターン光によりパターンが投影された被写体を撮像する。撮影レンズ２２は、パターンが投影された被写体における光を撮影レンズ２２の中心Ｏにおいて収斂させ、光路分割素子２３を透過して、ＣＣＤ３０に結像させる。撮影レンズ２２の位置Ｏから距離Ｚ1の位置にある被写体上の投影パターンＰ１のＣＣＤ３０における撮影像は、Ｉ１であり、撮影レンズ２２の位置Ｏから距離Ｚ２の位置にある被写体上の投影パターンＰ２のＣＣＤ３０における撮影像は、Ｉ２である。
【００８１】図１３は、投影パターンＰ１、Ｐ２の撮影像Ｉ１、Ｉ２を説明する図である。撮影レンズ２２の収斂位置Ｏと、投影パターン光の垂直方向の発散中心Ｐ０とは異なる位置にあるため、垂直方向には、投影パターンＰ１、Ｐ２の撮影像Ｉ１、Ｉ２は異なる。シリンドリカルレンズ３３０の垂直方向の拡散効果により、垂直方向に大きさの違いが生じ、撮影像Ｉ１における円形の図形の大きさはＳ１であるのに対して、撮影像Ｉ２における円形の図形の大きさはＳ１より大きいＳ２である。一方、投影パターン光の水平方向の発散中心は撮影レンズ２２の収斂位置Ｏと同一の位置にあるため、水平方向には、投影パターンＰ１、Ｐ２の撮影像Ｉ１、Ｉ２に違いが生じない。したがって、撮影像Ｉ１における円形の図形の水平方向の大きさＬ１と撮影像Ｉ２における円形の図形の水平方向の大きさはＬ２の値は同一である。
【００８２】このようにシリンドリカルレンズ３３０の効果によって、投影パターンの撮影像は、コード化パターン３６の図形パターンが被写体の奥行きによって垂直方向にのみ伸張したものになる。投影パターンの像の垂直方向の大きさから、第１の実施形態と同様に、投影パターンが投影された被写体の領域の奥行き値を求めることができる。
【００８３】被写体までの距離が大きくなればなるほど、垂直方向に投影パターンの像が大きく伸張するため、垂直方向には奥行き情報を算出できる測定点の密度が粗になる。一方、水平方向には投影パターンの撮影像は伸張しないため、水平方向では、被写体までの距離が大きくなっても、奥行き情報を算出できる測定点の密度が粗になることはない。したがって水平方向にはコード化パターン３６の図形パターンの配置密度を高くすることが好ましい。また、投影パターン像は垂直方向にのみ伸張するから、図形パターンは垂直方向にのみ大きさを検出しやすい形状であればよく、図形パターンを単純化できる。また、垂直方向にのみ注目して大きさ検出をすることができるため、画像処理が容易になる。
【００８４】シリンドリカルレンズ３３０の効果により、垂直方向には奥行き値の算出の精度は高くなるものの、奥行き値の測定点の密度は粗になりため、本実施形態では、水平方向には測定点密度が高く、垂直方向には測定点密度が低い被写体の奥行き分布情報が得られる。投影部１４はシリンドリカルレンズ３３０を光軸方向に回転させる駆動部３４０を有してもよい。駆動部３４０は、シリンドリカルレンズ３３０を光軸方向に９０度回転させることにより、垂直方向には測定点密度が高く、水平方向には測定点密度が低い被写体の奥行き分布情報を獲得することもできる。
【００８５】このようにシリンドリカルレンズ３３０を回転されることにより任意の方向で測定点密度が高く、その方向とは垂直な方向では測定点密度が低い奥行き分布情報を得ることができる。そこで、シリンドリカルレンズ３３０を９０度だけ回転させることにより、回転の前後に得られる２つの奥行き分布情報を合成することにより、水平・垂直の両方で測定点密度が高い奥行き分布情報を獲得することができる。また、駆動部３４０はシリンドリカルレンズ３３０とともにコード化パターン３６を回転させてもよい。
【００８６】図１４は、本実施形態の画像撮像方法のフローチャートである。シリンドリカルレンズ３３０が、垂直方向にパワーを有する場合について説明する。投影撮像ユニット２０の投影部１４が、水平・垂直方向の２つの発散中心をもつ形状パターンを伝達する光を被写体に投影し（Ｓ２００）、投影撮像ユニット２０の撮像部１２が、投影部１４が投影した投影パターン光の水平方向の発散中心と光学的に同一の位置において、形状パターンが投影された被写体における光を収斂させ、被写体の画像を撮像する（Ｓ２０２）。被写体の画像の特定領域を選択する（Ｓ２０４）。特定領域の選択は、被写体の画像の領域を適当に分割し、自動的に分割された領域を順次選択してもよいし、ユーザが操作ユニット１１０を用いて指定した被写体の画像の領域を選択してもよい。形状パターン検出部３０４は、被写体の特定領域に投影された形状パターンの像を画像処理技術によって抽出し（Ｓ２０６）、抽出した形状パターンの像の垂直方向の大きさを検出する（Ｓ２０８）。奥行き算出部３０８は、検出された形状パターンの像の大きさを用いて、特定領域の奥行き値を算出する（Ｓ２１０）。
【００８７】シリンドリカルレンズ３３０が、水平方向にレンズパワーを有する場合、撮像部１２は、投影部１４が投影した投影パターン光の垂直方向の発散中心と光学的に同一の位置において、形状パターンが投影された被写体における光を収斂させ、被写体の画像を撮像する。形状パターン検出部３０４は形状パターンの水平方向の大きさを検出する。その他の処理は同様である。
【００８８】図１５は、本実施形態の他の画像撮像方法のフローチャートである。投影部１４は駆動部３４０を有し、シリンドリカルレンズ３３０を光軸方向に９０度回転させて、パターン光を投影することができる。投影撮像ユニット２０の投影部１４が、水平・垂直方向の２つの発散中心をもつ形状パターンを伝達する光を被写体に投影し（Ｓ３００）、投影撮像ユニット２０の撮像部１２が、投影部１４が投影した投影パターン光の水平方向の発散中心と光学的に同一の位置において、形状パターンが投影された被写体における光を収斂させ、被写体の画像を撮像する（Ｓ３０２）。形状パターン検出部３０４は、被写体に投影された形状パターンの像を画像処理技術によって抽出し（Ｓ３０４）、抽出した形状パターンの像の垂直方向の大きさを検出する（Ｓ３０６）。奥行き算出部３０８は、検出された形状パターンの像の大きさを用いて、形状パターンが投影された被写体全体の第１の奥行き分布を算出する（Ｓ３０８）。投影部１４が、水平・垂直方向の２つの発散中心をもつ形状パターンを伝達する光を被写体に投影し（Ｓ３１０）、投影撮像ユニット２０の撮像部１２が、投影部１４が投影した投影パターン光の垂直方向の発散中心と光学的に同一の位置において、形状パターンが投影された被写体における光を収斂させ、被写体の画像を撮像する（Ｓ３１２）。形状パターン検出部３０４は、被写体に投影された形状パターンの像を画像処理技術によって抽出し（Ｓ３１４）、抽出した形状パターンの像の水平方向の大きさを検出する（Ｓ３１６）。奥行き算出部３０８は、検出された形状パターンの像の大きさを用いて、形状パターンが投影された被写体全体の第２の奥行き分布を算出する（Ｓ３１８）。第１の奥行き分布と第２の奥行き分布を合成して、被写体の奥行き分布を得る（Ｓ３２０）。
【００８９】第１の奥行き分布は、水平方向には測定点密度が高く、垂直方向には測定点密度が低い。第２の奥行き分布は、逆に垂直方向には測定点密度が高く、水平方向には測定点密度が低い。したがって、第１の奥行き分布と第２の奥行き分布とを組み合わせることにより、水平方向にも垂直方向にも測定点密度が高い被写体の奥行き分布が得られる。
【００９０】さらに、シリンドリカルレンズ３３０の代わりに、水平方向及び垂直方向に異なるレンズパワーを有するアナモルフィック光学レンズ系を用いてもよい。アナモルフィック光学系は、垂直方向にパワーを有するシリンドリカルレンズと水平方向にパワーを有するシリンドリカルレンズを組み合わせて構成してもよく、図１６、図１７、図１８のように垂直方向及び水平方向にそれぞれ異なるレンズパワーを有するアナモルフィックレンズを用いても良い。図１６は、前面が凸、背面が凹のアナモルフィックレンズの斜視図である。図１７は、前面が弱凸、背面が強凸のアナモルフィックレンズの斜視図である。図１８は、前面が弱凹、背面が強凹のアナモルフィックレンズの斜視図である。
【００９１】図１６〜１８のいずれのアナモルフィックレンズでも垂直方向と水平方向に異なるレンズパワーを有する。このためアナモルフィック光学系を用いた投影部１４が投射する投影パターン光は、撮影レンズ２２の中心Ｏとは光学的に異なる位置で、垂直方向及び水平方向の発散中心を有する。したがって、撮影部１２が撮影する投影パターン像は、被写体の奥行きに応じて垂直方向にも水平方向にも異なる倍率で伸張するので、投影パターン像の垂直方向、水平方向のいずれの大きさを用いても奥行き値を算出することができる。
【００９２】図１９は、本実施形態の他の画像撮像方法のフローチャートである。投影撮像ユニット２０の投影部１４の投影レンズとしてアナモルフィックレンズを用いる。投影部１４が、水平・垂直方向の２つの発散中心をもつ形状パターンを伝達する光を被写体に投影し（Ｓ４００）、投影撮像ユニット２０の撮像部１２が、投影部１４が投影した投影パターン光の水平・垂直方向の発散中心のいずれとも光学的に異なる位置において、形状パターンが投影された被写体における光を収斂させ、被写体の画像を撮像する（Ｓ４０２）。被写体の画像の特定領域を選択する（Ｓ４０４）。形状パターン検出部３０４は、被写体の特定領域に投影された形状パターンの像を画像処理技術によって抽出し（Ｓ４０６）、抽出した形状パターンの像の水平・垂直方向の大きさをそれぞれ検出する（Ｓ４０８）。奥行き算出部３０８は、検出された形状パターンの像の水平・垂直方向の大きさに基づいて、特定領域の奥行き値を算出する（Ｓ２１０）。水平・垂直方向の大きさの平均を計算し、奥行き値の算出に用いてもよく、水平・垂直方向の大きさの検出精度のよい方を奥行き値の算出に用いてもよい。
【００９３】このように、水平・垂直方向にレンズパワーを有するアナモルフィックレンズを用いた場合、水平・垂直の両方向において大きさを検出して、奥行き値の算出に用いることにより、奥行き値計算の精度を向上させることができる。
【００９４】上記の実施形態において、シリンドリカルレンズ、アナモルフィックレンズは、光学素子の一例としての光学レンズである。シリンドリカルレンズ、アナモルフィックレンズは、円柱形のレンズである必要はなく、シリンドリカルレンズ、アナモルフィックレンズの光学的性質をもつように、表面の形状をのこぎり刃状にして斜め成分を加えた薄いレンズであるフレネルレンズであってもよい。
【００９５】以上述べたように、本実施形態の画像撮像装置によれば、水平・垂直方向の２つの発散中心をもつ投影光によって被写体に形状パターンを投影し、形状パターンが投影された被写体の画像から、被写体の奥行き分布を算出することができる。水平または垂直方向にのみ投影パターンを伸張させることができるため、大きさ検出の画像処理が容易になる。また、水平・垂直の両方向に投影パターンを異なる倍率で伸張させることもでき、水平・垂直の両方向で大きさ検出をして、奥行き値の算出の精度を向上させることができる。
【００９６】（実施形態３）本発明の第３の実施形態を説明する。図２０は、画像処理装置の一例としての、写真画像の現像や編集等を行うラボシステム２００の構成図である。本実施形態のラボシステム２００は、入力部２１０と、処理部２２０と、記録部２４０と、出力部２５０とを有する。
【００９７】入力部２１０は、被写体の画像データを入力する。画像データとして、形状パターンが投影された被写体の画像を入力する。デジタルカメラ等で撮影された被写体のデジタル画像を入力する場合、入力部２１０には、半導体メモリカード等の着脱自在な記録媒体から画像データを読み取るための読み取り装置が用いられる。また、フロッピーディスク、ＭＯ、ＣＤ−ＲＯＭ等から画像データを読み取る場合は、入力部２１０として、それぞれフロッピードライブ、ＭＯドライブ、ＣＤドライブ等が用いられてもよい。
【００９８】処理部２２０は、入力部２１０が入力した被写体の画像を記憶し、被写体の奥行き情報を算出する。処理部２２０は算出した奥行き情報を被写体の画像とともに記録部２４０に出力する。また処理部２２０は算出した奥行き情報をもとに、被写体の画像を処理して、記録部２４０と出力部２５０に出力してもよい。
【００９９】記録部２４０は、処理部２２０が出力した奥行き情報または画像データを着脱自在な記録媒体に記録する。記録媒体として、書き込み可能なＣＤ−ＲＯＭ、ＤＶＤ等の光記録媒体や、ＭＯ等の光磁気記録媒体、フロッピーディスク等の磁気記録媒体等が用いられる。記録部２４０として、ＣＤ−Ｒドライブ、ＤＶＤドライブ、ＭＯドライブ、フロッピードライブ等が用いられる。また、記録部２４０は、フラッシュメモリ、メモリカード等の半導体メモリに奥行き情報または画像データを記録してもよい。
【０１００】出力部２５０は、処理部２２０が出力した被写体の処理された画像データを画像として出力する。例えば画像を画面表示する場合、出力部２５０には画像を表示するモニタが用いられる。また例えば画像を印刷する場合、出力部２５０にはデジタルプリンタやレーザプリンタ等のプリンタが用いられる。
【０１０１】図２１は、処理部２２０の機能構成図である。処理部２２０は、画像記憶部３０２と、形状パターン検出部３０４と、奥行き算出部３０８と、画像処理部３１２とを有する。
【０１０２】画像記憶部３０２は、入力部２１０が入力した被写体の画像データをＲＡＭ等の半導体メモリまたはハードディスク等の磁気記録媒体に記憶する。形状パターン検出部３０４は、画像記憶部３０２が記憶する被写体の特定領域に投影された形状パターンの像を抽出し、形状パターンの像の大きさを検出する。奥行き算出部３０８は、形状パターン検出部３０４が検出した大きさを用いて、被写体の特定領域の奥行き値を算出する。
【０１０３】形状パターン検出部３０４及び奥行き算出部３０８が、被写体の画像に撮像された被写体の一部の領域または全部の領域について、被写体の奥行き情報を算出する処理については、第１の実施形態と同じであるから、説明を省略する。
【０１０４】画像処理部３１２は、奥行き算出部３０８が算出した被写体の奥行き情報に基づいて、被写体の画像を処理する。画像処理部３１２は、被写体の奥行き情報、被写体の画像、または処理された画像を記憶部２４０と出力部２５０に出力する。
【０１０５】画像処理部３１２は、被写体の奥行き情報に基づいて被写体の特定部分、たとえば、主要被写体や背景の画像を抽出してもよい。
【０１０６】本実施形態の画像処理装置によれば、形状パターンが投影された被写体の画像を入力して、被写体の奥行き情報を算出することができる。また算出された奥行き情報に基づいて、画像処理を行い、主要被写体や背景の画像を抽出することができる。
【０１０７】（実施形態４）本発明の第４の実施形態を説明する。図２２は、画像処理装置の構成図である。本実施形態の画像処理装置の基本的な構成及び動作は、第２の実施形態の画像処理装置と同様である。本実施形態では、画像処理装置の処理部２２０として、パーソナルコンピュータやワークステーション等の電子計算機を用いる点が、第２の実施形態と異なる。
【０１０８】図２２を参照しながら、本実施形態の処理部２２０のハードウエア構成を説明する。ＣＰＵ２３０はＲＯＭ２３２及びＲＡＭ２３４に格納されたプログラムに基づいて動作する。キーボード、マウス等の入力装置２３１を介して利用者によりデータが入力される。ハードディスク２３３は、画像等のデータ、及びＣＰＵ２３０を動作させるプログラムを格納する。ＣＤ−ＲＯＭドライブ２３５はＣＤ−ＲＯＭ２９０からデータ又はプログラムを読み取り、ＲＡＭ２３４、ハードディスク２３３及びＣＰＵ２３０の少なくともいずれかに提供する。
【０１０９】ＣＰＵ２３０が実行するプログラムの機能構成は、第３の実施形態の画像処理装置の処理部２２０の機能構成と同じであり、画像記憶モジュールと、形状パターン検出モジュールと、奥行き算出モジュールと、画像処理モジュールとを有する。
【０１１０】画像記憶モジュール、形状パターン検出モジュール、奥行き算出モジュール、及び画像処理モジュールが、ＣＰＵ２３０に行わせる処理は、それぞれ、第３の実施形態の画像処理装置の処理部２２０における、視差画像記憶部３０２、形状パターン検出部３０４、奥行き算出部３０８、及び画像処理部３１２の機能及び動作と同じであるから、説明を省略する。これらのプログラムは、ＣＤ−ＲＯＭ２９０等の記録媒体に格納されて利用者に提供される。記録媒体の一例としてのＣＤ−ＲＯＭ２９０には、本出願で説明した画像処理装置の動作の一部又は全ての機能を格納することができる。
【０１１１】上記のプログラムは記録媒体から直接ＲＡＭ２３４に読み出されてＣＰＵ２３０により実行されてもよい。あるいは、上記のプログラムは記録媒体からハードディスク２３３にインストールされ、ＲＡＭ２３４に読み出されてＣＰＵ２３０により実行されてもよい。
【０１１２】記録媒体としては、ＣＤ−ＲＯＭ２９０の他にも、ハードディスク、ＲＯＭやＲＡＭ等のメモリ、ＤＶＤやＰＤ等の光学記録媒体、フロッピーディスクやミニディスク（ＭＤ）等の磁気記録媒体、ＭＯ等の光磁気記録媒体、テープ状記録媒体、不揮発性の半導体メモリカード等を用いることができる。
【０１１３】上記のプログラムは、単一の記録媒体に格納されてもよいし、複数の記録媒体に分割されて格納されてもよい。また、上記プログラムは記録媒体に圧縮されて格納されてもよい。圧縮されたプログラムは伸張され、ＲＡＭ２３４等の別の記録媒体に読み出され、実行されてもよい。さらに、圧縮されたプログラムはＣＰＵ２３０によって伸張され、ハードディスク２３３等にインストールされた後、ＲＡＭ２３４等の別の記録媒体に読み出され、実行されてもよい。
【０１１４】さらに、記録媒体の一例としてのＣＤ−ＲＯＭ２９０は、通信ネットワークを介して、ホストコンピュータによって提供される上記のプログラムを格納してもよい。記録媒体に格納された上記のプログラムは、ホストコンピュータのハードディスクに格納され、通信ネットワークを介してホストコンピュータから当該コンピュータに送信され、ＲＡＭ２３４等の別の記録媒体に読み出され、実行されてもよい。
【０１１５】上記のプログラムを格納した記録媒体は、本出願の画像処理装置を製造するためにのみ使用されるものであり、そのような記録媒体の業としての製造および販売等が本出願に基づく特許権の侵害を構成することは明らかである。
【０１１６】以上述べたように、本発明の画像撮像装置及び画像処理装置によれば、被写体の奥行き情報を簡便に効率よく高い精度で算出することができる。
【０１１７】以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１１８】
【発明の効果】上記説明から明らかなように、本発明によれば被写体の奥行きに関する情報を簡便に効率良く取得することができる。
【出願人】 【識別番号】０００００５２０１
【氏名又は名称】富士写真フイルム株式会社
【出願日】 平成１１年１１月１６日（１９９９．１１．１６）
【代理人】 【識別番号】１００１０４１５６
【弁理士】
【氏名又は名称】龍華 明裕
【公開番号】 特開２００１−１４１４３０（Ｐ２００１−１４１４３０Ａ）
【公開日】 平成１３年５月２５日（２００１．５．２５）
【出願番号】 特願平１１−３２６１８５