トップ :: G 物理学 :: G01 測定;試験




【発明の名称】 画像撮像装置及び画像処理装置
【発明者】 【氏名】小野 修司
【要約】 【課題】広い視野にわたって被写体の奥行きに関する情報を取得することのできる画像撮像装置及び画像処理装置を提供する。

【解決手段】２つの異なる視点位置から被写体を見た場合に得られる被写体の視差画像を撮像する撮像部２０と、視差画像における被写体の特定領域の像の大きさの比を検出する大きさ比検出部３０６と、視差画像における被写体の特定領域の像の位置のずれを検出する位置ずれ検出部３０４と、位置ずれ及び大きさ比に基づいて、被写体の特定領域の奥行き値を算出する奥行き算出部３０８とを備えた。
【特許請求の範囲】
【請求項１】 被写体の奥行きに関する情報を取得する画像撮像装置であって、２つの異なる視点位置から前記被写体を見た場合に得られる前記被写体の視差画像を撮像する撮像部と、前記視差画像における前記被写体の特定領域の像の大きさの比を検出する大きさ比検出部と、前記大きさ比に基づいて、前記被写体の前記特定領域の奥行き値を算出する奥行き算出部とを備えたことを特徴とする画像撮像装置。
【請求項２】 前記視差画像における前記被写体の前記特定領域の像の位置のずれを検出する位置ずれ検出部をさらに備え、前記奥行き算出部は、前記位置ずれ及び前記大きさ比に基づいて、前記被写体の前記特定領域の奥行き値を算出することを特徴とする請求項１に記載の画像撮像装置。
【請求項３】 前記奥行き算出部は、前記被写体の前記特定領域毎に、前記位置ずれ及び前記大きさ比を考慮する割合を変えて、前記被写体の前記特定領域の前記奥行き値を算出することを特徴とする請求項２に記載の画像撮像装置。
【請求項４】 前記奥行き算出部は、前記被写体の前記特定領域を前記２つの視点位置の中点から見た場合の方位によって、前記位置ずれ及び前記大きさ比を考慮する割合を変えて、前記被写体の前記特定領域の前記奥行き値を算出することを特徴とする請求項３に記載の画像撮像装置。
【請求項５】 前記奥行き算出部は、前記被写体の前記特定領域が、前記２つの視点位置を結ぶ直線の方向に近いほど、前記大きさ比を考慮する割合を増やし、前記被写体の前記特定領域が、前記２つの視点位置の中点を通り、前記２つの視点位置を結ぶ直線に垂直な平面に近いほど、前記位置ずれを考慮する割合を増やして、前記被写体の前記特定領域の前記奥行き値を算出することを特徴とする請求項４に記載の画像撮像装置。
【請求項６】 前記撮像部は、視野角の広い光学レンズを有し、前記光学レンズを移動させる駆動部をさらに備え、前記撮像部は、前記駆動部が前記光学レンズを移動させた位置を前記視点位置として、前記被写体の前記視差画像を撮像することを特徴とする請求項１に記載の画像撮像装置。
【請求項７】 前記撮像部は、視点位置の異なる２つの視野角の広い光学レンズを有し、前記２つの光学レンズによって前記被写体の前記視差画像を撮像することを特徴とする請求項１に記載の画像撮像装置。
【請求項８】 前記光学レンズは魚眼レンズであり、前記奥行き算出部は、前記撮像部が前記魚眼レンズによって撮像する前記被写体の全方位の領域について前記奥行き値を算出することを特徴とする請求項６または７に記載の画像撮像装置。
【請求項９】 前記撮像部は、固体撮像素子を有し、前記光学レンズによって前記被写体の前記視差画像を前記固体撮像素子に撮像することを特徴とする請求項６または７に記載の画像撮像装置。
【請求項１０】 被写体の奥行きに関する情報を取得する画像処理装置であって、複数の異なる視点位置から前記被写体を見た場合に得られる前記被写体の複数の視差画像を入力する入力部と、前記複数の視差画像における前記被写体の特定領域の像の大きさの比を検出する大きさ比検出部と、前記大きさ比に基づいて、前記被写体の前記特定領域の奥行き値を算出する奥行き算出部とを備えたことを特徴とする画像処理装置。
【請求項１１】 前記複数の視差画像における前記被写体の前記特定領域の像の位置のずれを検出する位置ずれ検出部をさらに備え、前記奥行き算出部は、前記位置ずれ及び前記大きさ比に基づいて、前記被写体の前記特定領域の奥行き値を算出することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】 前記奥行き算出部は、前記被写体の前記特定領域毎に、前記位置ずれ及び前記大きさ比を考慮する割合を変えて、前記被写体の前記特定領域の前記奥行き値を算出することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】 前記奥行き算出部は、前記被写体の前記特定領域を前記２つの視点位置の中点から見た場合の方位によって、前記位置ずれ及び前記大きさ比を考慮する割合を変えて、前記被写体の前記特定領域の前記奥行き値を算出することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】 前記被写体の前記特定領域が、前記２つの視点位置を結ぶ直線の方向に近づくにつれて、前記大きさ比を考慮する割合を増やし、前記被写体の前記特定領域が、前記２つの視点位置の中点を通り、前記２つの視点位置を結ぶ直線に垂直な平面に近づくにつれて、前記位置ずれを考慮する割合を増やして、前記被写体の前記特定領域の前記奥行き値を算出することを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】 前記奥行き算出部が算出した前記被写体の前記特定領域の前記奥行き値に基づいて、前記入力部が入力する前記被写体の画像の座標変換を行うことにより前記画像を変換する画像変換部をさらに備えたことを特徴とする請求項１０に記載の画像処理装置。
【請求項１６】 前記入力部が入力する前記被写体の前記画像が魚眼レンズによって前記被写体を撮像した全方位画像である場合に、前記画像変換部は、前記座標変換によって、前記全方位画像を透視投影画像に変換することを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】 前記画像変換部は、前記座標変換によって、前記被写体の正投影画像を生成することを特徴とする請求項１５に記載の画像処理装置。
【請求項１８】 被写体の奥行きに関する情報を取得する画像処理方法であって、複数の異なる視点位置から前記被写体を見た場合に得られる前記被写体の複数の視差画像を入力し、前記複数の視差画像における前記被写体の特定領域の像の位置のずれ及び大きさの比を検出し、前記被写体の前記特定領域毎に、前記位置ずれ及び前記大きさ比を考慮する割合を変えて、前記被写体の前記特定領域の奥行き値を算出することを特徴とする画像処理方法。
【請求項１９】 被写体の奥行きに関する情報を取得するコンピュータ用のプログラムを格納した記録媒体であって、前記プログラムが、複数の異なる視点位置から前記被写体を見た場合に得られる前記被写体の複数の視差画像を入力させる入力モジュールと、前記複数の視差画像における前記被写体の特定領域の像の位置のずれを検出する位置ずれ検出モジュールと、前記複数の視差画像における前記被写体の前記特定領域の像の大きさの比を検出する大きさ比検出モジュールと、前記被写体の前記特定領域毎に、前記位置ずれ及び前記大きさ比を考慮する割合を変えて、前記被写体の前記特定領域の前記奥行き値を算出する奥行き算出モジュールとを備えたことを特徴とする記録媒体。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、被写体の奥行きに関する情報を取得する画像撮像装置、画像処理装置、画像処理方法、及び記録媒体に関する。特に本発明は、視差画像に基づいて被写体の奥行きに関する情報を取得する画像撮像装置、画像処理装置、画像処理方法、及び記録媒体に関する。
【０００２】
【従来の技術】被写体の位置情報を得るために、人間の両眼立体視の機能を真似て、カメラを２台並べて、異なる２つの視点から被写体を見た場合の視差画像を撮影し、被写体の奥行き値を測定するステレオ撮影の技法が古くからある。視点位置の違いから、被写体の像が視差画像上で位置がずれることを検出し、像の位置ずれとカメラのレンズの焦点距離に基づいて、３角測量の原理によりカメラから被写体までの距離を測定する方法が採られている。
【０００３】
【発明が解決しようとする課題】しかしながら、カメラを２台並べても、レンズの視野角の限界のため、視点の移動方向に視差の死角領域が発生し、広い視野にわたる被写体の奥行き情報を高い精度で得ることができないという問題を生じていた。
【０００４】そこで本発明は、上記の課題を解決するために、広い視野にわたって被写体の奥行きに関する情報を取得することのできる画像撮像装置、画像処理装置、画像処理方法、及び記録媒体を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【０００５】
【課題を解決するための手段】上記課題を解決するために、本発明の第１の形態においては、被写体の奥行きに関する情報を取得する画像撮像装置であって、２つの異なる視点位置から被写体を見た場合に得られる被写体の視差画像を撮像する撮像部と、視差画像における被写体の特定領域の像の大きさの比を検出する大きさ比検出部と、大きさ比に基づいて、被写体の特定領域の奥行き値を算出する奥行き算出部とを備えたことを特徴とする。
【０００６】視差画像における被写体の特定領域の像の位置のずれを検出する位置ずれ検出部をさらに備え、奥行き算出部は、位置ずれ及び大きさ比に基づいて、被写体の特定領域の奥行き値を算出してもよい。
【０００７】奥行き算出部は、被写体の特定領域毎に、位置ずれ及び大きさ比を考慮する割合を変えて、被写体の特定領域の奥行き値を算出してもよい。奥行き算出部は、被写体の特定領域を２つの視点位置の中点から見た場合の方位によって、位置ずれ及び大きさ比を考慮する割合を変えて、被写体の特定領域の奥行き値を算出してもよい。被写体の特定領域が、２つの視点位置を結ぶ直線の方向に近づくにつれて、大きさ比を考慮する割合を増やし、被写体の特定領域が、２つの視点位置の中点を通り、２つの視点位置を結ぶ直線に垂直な平面に近づくにつれて、位置ずれを考慮する割合を増やして、被写体の特定領域の奥行き値を算出してもよい。
【０００８】撮像部は、視野角の広い光学レンズを有し、光学レンズを移動させる駆動部をさらに備え、撮像部は、駆動部が光学レンズを移動させた位置を視点位置として、被写体の視差画像を撮像してもよい。撮像部は、視点位置の異なる２つの視野角の広い光学レンズを有し、２つの光学レンズによって被写体の視差画像を撮像してもよい。光学レンズは魚眼レンズであり、奥行き算出部は、撮像部が魚眼レンズによって撮像する被写体の全方位の領域について奥行き値を算出してもよい。撮像部は、固体撮像素子を有し、光学レンズによって被写体の視差画像を固体撮像素子に撮像してもよい。
【０００９】本発明の第２の形態においては、被写体の奥行きに関する情報を取得する画像処理装置であって、複数の異なる視点位置から被写体を見た場合に得られる被写体の複数の視差画像を入力する入力部と、複数の視差画像における被写体の特定領域の像の大きさの比を検出する大きさ比検出部と、大きさ比に基づいて、被写体の特定領域の奥行き値を算出する奥行き算出部とを備えたことを特徴とする。
【００１０】奥行き算出部が算出した被写体の特定領域の奥行き値に基づいて、入力部が入力する被写体の画像の座標変換を行うことにより画像を変換する画像変換部をさらに備えてもよい。入力部が入力する被写体の画像が魚眼レンズによって被写体を撮像した全方位画像である場合に、画像変換部は、座標変換によって、全方位画像を透視投影画像に変換してもよい。画像変換部は、座標変換によって、被写体の正投影画像を生成してもよい。
【００１１】本発明の第３の形態においては、被写体の奥行きに関する情報を取得する画像処理方法であって、複数の異なる視点位置から被写体を見た場合に得られる被写体の複数の視差画像を入力し、複数の視差画像における被写体の特定領域の像の位置のずれ及び大きさの比を検出し、被写体の特定領域毎に、位置ずれ及び大きさ比を考慮する割合を変えて、被写体の特定領域の奥行き値を算出することを特徴とする。
【００１２】本発明の第４の形態においては、被写体の奥行きに関する情報を取得するコンピュータ用のプログラムを格納した記録媒体であって、プログラムが、複数の異なる視点位置から被写体を見た場合に得られる被写体の複数の視差画像を入力させる入力モジュールと、複数の視差画像における被写体の特定領域の像の位置のずれを検出する位置ずれ検出モジュールと、複数の視差画像における被写体の特定領域の像の大きさの比を検出する大きさ比検出モジュールと、被写体の特定領域毎に、位置ずれ及び大きさ比を考慮する割合を変えて、被写体の特定領域の奥行き値を算出する奥行き算出モジュールとを備えたことを特徴とする。
【００１３】なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【００１４】
【発明の実施の形態】以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１５】（実施形態１）本発明の第１の実施形態を説明する。図１は、画像撮像装置の一例としてのデジタルカメラ１０の構成図である。デジタルカメラ１０には、デジタルスチルカメラや静止画像を撮影できるデジタルビデオカメラ等が含まれる。デジタルカメラ１０は、主に撮像ユニット２０、撮像制御ユニット４０、処理ユニット６０、表示ユニット１００、および操作ユニット１１０を含む。
【００１６】撮像ユニット２０は、撮影および結像に関する機構部材および電気部材を含む。撮像ユニット２０はまず、映像を取り込んで処理を施す撮影レンズ２２、絞り２４、シャッタ２６、光学ＬＰＦ（ローパスフィルタ）２８、固体撮像素子の一例であるＣＣＤ３０、および撮像信号処理部３２を含む。撮影レンズ２２は、フォーカスレンズやズームレンズ等からなる。この構成により、被写体像がＣＣＤ３０の受光面上に結像する。結像した被写体像の光量に応じ、ＣＣＤ３０の各センサエレメント（図示せず）に電荷が蓄積される（以下その電荷を「蓄積電荷」という）。蓄積電荷は、リードゲートパルスによってシフトレジスタ（図示せず）に読み出され、レジスタ転送パルスによって電圧信号として順次読み出される。
【００１７】デジタルカメラ１０は一般に電子シャッタ機能を有するので、シャッタ２６のような機械式シャッタは必須ではない。電子シャッタ機能を実現するために、ＣＣＤ３０にシャッタゲートを介してシャッタドレインが設けられる。シャッタゲートを駆動すると蓄積電荷がシャッタドレインに掃き出される。シャッタゲートの制御により、各センサエレメントに電荷を蓄積するための時間、すなわちシャッタ速度が制御できる。
【００１８】ＣＣＤ３０から出力される電圧信号、すなわちアナログ信号は撮像信号処理部３２でＲ、Ｇ、Ｂ成分に色分解され、まずホワイトバランスが調整される。つづいて撮像信号処理部３２はガンマ補正を行い、必要なタイミングでＲ、Ｇ、Ｂ信号を順次Ａ／Ｄ変換し、その結果得られたデジタルの画像データ（以下単に「デジタル画像データ」とよぶ）を処理ユニット６０へ出力する。
【００１９】撮像ユニット２０はさらに、ファインダ３４とストロボ３６を有する。ファインダ３４には図示しないＬＣＤを内装してもよく、その場合、後述のメインＣＰＵ６２等からの各種情報をファインダ３４内に表示できる。ストロボ３６は、コンデンサ（図示せず）に蓄えられたエネルギが放電管３６ａに供給されたときそれが発光することで機能する。
【００２０】撮像制御ユニット４０は、レンズ駆動部４２、フォーカス駆動部４４、絞り駆動部４６、シャッタ駆動部４８、それらを制御する撮像系ＣＰＵ５０、測距センサ５２、および測光センサ５４をもつ。レンズ駆動部４２などの駆動部は、それぞれステッピングモータ等の駆動手段を有する。後述のレリーズスイッチ１１４の押下に応じ、測距センサ５２は被写体までの距離を測定し、測光センサ５４は被写体輝度を測定する。測定された距離のデータ（以下単に「測距データ」という）および被写体輝度のデータ（以下単に「測光データ」という）は撮像系ＣＰＵ５０へ送られる。撮像系ＣＰＵ５０は、ユーザから指示されたズーム倍率等の撮影情報に基づき、レンズ駆動部４２とフォーカス駆動部４４を制御して撮影レンズ２２のズーム倍率とピントの調整を行う。また撮像系ＣＰＵ５０は、視差画像を撮像するために、レンズ駆動部４２を制御して撮影レンズ２２の位置を移動させる。
【００２１】撮像系ＣＰＵ５０は、１画像フレームのＲＧＢのデジタル信号積算値、すなわちＡＥ情報に基づいて絞り値とシャッタ速度を決定する。決定された値にしたがい、絞り駆動部４６とシャッタ駆動部４８がそれぞれ絞り量の調整とシャッタ２６の開閉を行う。
【００２２】撮像系ＣＰＵ５０はまた、測光データに基づいてストロボ３６の発光を制御し、同時に絞り２６の絞り量を調整する。ユーザが映像の取込を指示したとき、ＣＣＤ３０が電荷蓄積を開始し、測光データから計算されたシャッタ時間の経過後、蓄積電荷が撮像信号処理部３２へ出力される。
【００２３】処理ユニット６０は、デジタルカメラ１０全体、とくに処理ユニット６０自身を制御するメインＣＰＵ６２と、これによって制御されるメモリ制御部６４、ＹＣ処理部７０、オプション装置制御部７４、圧縮伸張処理部７８、通信Ｉ／Ｆ部８０を有する。メインＣＰＵ６２は、シリアル通信などにより、撮像系ＣＰＵ５０との間で必要な情報をやりとりする。メインＣＰＵ６２の動作クロックは、クロック発生器８８から与えられる。クロック発生器８８は、撮像系ＣＰＵ５０、表示ユニット１００に対してもそれぞれ異なる周波数のクロックを提供する。
【００２４】メインＣＰＵ６２には、キャラクタ生成部８４とタイマ８６が併設されている。タイマ８６は電池でバックアップされ、つねに日時をカウントしている。このカウント値から撮影日時に関する情報、その他の時刻情報がメインＣＰＵ６２に与えられる。キャラクタ生成部８４は、撮影日時、タイトル等の文字情報を発生し、この文字情報が適宜撮影画像に合成される。
【００２５】メモリ制御部６４は、不揮発性メモリ６６とメインメモリ６８を制御する。不揮発性メモリ６６は、ＥＥＰＲＯＭ（電気的消去およびプログラム可能なＲＯＭ）やＦＬＡＳＨメモリなどで構成され、ユーザーによる設定情報や出荷時の調整値など、デジタルカメラ１０の電源がオフの間も保持すべきデータが格納されている。不揮発性メモリ６６には、場合によりメインＣＰＵ６２のブートプログラムやシステムプログラムなどが格納されてもよい。一方、メインメモリ６８は一般にＤＲＡＭのように比較的安価で容量の大きなメモリで構成される。メインメモリ６８は、撮像ユニット２０から出力されたデータを格納するフレームメモリとしての機能、各種プログラムをロードするシステムメモリとしての機能、その他ワークエリアとしての機能をもつ。不揮発性メモリ６６とメインメモリ６８は、処理ユニット６０内外の各部とメインバス８２を介してデータのやりとりを行う。
【００２６】ＹＣ処理部７０は、デジタル画像データにＹＣ変換を施し、輝度信号Ｙと色差（クロマ）信号Ｂ−Ｙ、Ｒ−Ｙを生成する。輝度信号と色差信号はメモリ制御部６４によってメインメモリ６８に一旦格納される。圧縮伸張処理部７８はメインメモリ６８から順次輝度信号と色差信号を読み出して圧縮する。こうして圧縮されたデータ（以下単に「圧縮データ」という）は、オプション装置制御部７４を介してオプション装置７６の一種であるメモリカードへ書き込まれる。
【００２７】処理ユニット６０はさらにエンコーダ７２をもつ。エンコーダ７２は輝度信号と色差信号を入力し、これらをビデオ信号（ＮＴＳＣやＰＡＬ信号）に変換してビデオ出力端子９０から出力する。オプション装置７６に記録されたデータからビデオ信号を生成する場合、そのデータはまずオプション装置制御部７４を介して圧縮伸張処理部７８へ与えられる。つづいて、圧縮伸張処理部７８で必要な伸張処理が施されたデータはエンコーダ７２によってビデオ信号へ変換される。
【００２８】オプション装置制御部７４は、オプション装置７６に認められる信号仕様およびメインバス８２のバス仕様にしたがい、メインバス８２とオプション装置７６の間で必要な信号の生成、論理変換、または電圧変換などを行う。デジタルカメラ１０は、オプション装置７６として前述のメモリカードのほかに、例えばＰＣＭＣＩＡ準拠の標準的なＩ／Ｏカードをサポートしてもよい。その場合、オプション装置制御部７４は、ＰＣＭＣＩＡ用バス制御ＬＳＩなどで構成してもよい。
【００２９】通信Ｉ／Ｆ部８０は、デジタルカメラ１０がサポートする通信仕様、たとえばＵＳＢ、ＲＳ−２３２Ｃ、イーサネット、Ｂｌｕｅｔｏｏｔｈ、ＩｒＤＡなどの仕様に応じたプロトコル変換等の制御を行う。通信Ｉ／Ｆ部８０は、必要に応じてドライバＩＣを含み、ネットワークを含む外部機器とコネクタ９２を介して通信する。そうした標準的な仕様のほかに、例えばプリンタ、カラオケ機、ゲーム機等の外部機器との間で独自のＩ／Ｆによるデータ授受を行う構成としてもよい。
【００３０】表示ユニット１００は、ＬＣＤモニタ１０２とＬＣＤパネル１０４を有する。それらはＬＣＤドライバであるモニタドライバ１０６、パネルドライバ１０８によってそれぞれ制御される。ＬＣＤモニタ１０２は、例えば２インチ程度の大きさでカメラ背面に設けられ、現在の撮影や再生のモード、撮影や再生のズーム倍率、電池残量、日時、モード設定のための画面、被写体画像などを表示する。ＬＣＤパネル１０４は例えば小さな白黒ＬＣＤでカメラ上面に設けられ、画質（ＦＩＮＥ／ＮＯＲＭＡＬ／ＢＡＳＩＣなど）、ストロボ発光／発光禁止、標準撮影可能枚数、画素数、電池容量などの情報を簡易的に表示する。
【００３１】操作ユニット１１０は、ユーザーがデジタルカメラ１０の動作やそのモードなどを設定または指示するために必要な機構および電気部材を含む。パワースイッチ１１２は、デジタルカメラ１０の電源のオンオフを決める。レリーズスイッチ１１４は、半押しと全押しの二段階押し込み構造になっている。一例として、半押しでＡＦおよびＡＥがロックし、全押しで撮影画像の取込が行われ、必要な信号処理、データ圧縮等の後、メインメモリ６８、オプション装置７６等に記録される。操作ユニット１１０はこれらのスイッチの他、回転式のモードダイヤルや十字キーなどによる設定を受け付けてもよく、それらは図１において機能設定部１１６と総称されている。操作ユニット１１０で指定できる動作または機能の例として、「ファイルフォーマット」、「特殊効果」、「印画」、「決定／保存」、「表示切換」等がある。ズームスイッチ１１８は、ズーム倍率を決める。
【００３２】以上の構成による主な動作は以下のとおりである。まずデジタルカメラ１０のパワースイッチ１１２がオンされ、カメラ各部に電力が供給される。メインＣＰＵ６２は、機能設定部１１６の状態を読み込むことで、デジタルカメラ１０が撮影モードにあるか再生モードにあるかを判断する。
【００３３】カメラが撮影モードにあるとき、メインＣＰＵ６２はレリーズスイッチ１１４の半押し状態を監視する。半押し状態が検出されたとき、メインＣＰＵ６２は測光センサ５４および測距センサ５２からそれぞれ測光データと測距データを得る。得られたデータに基づいて撮像制御ユニット４０が動作し、撮影レンズ２２のピント、絞りなどの調整が行われる。調整が完了すると、ＬＣＤモニタ１０２に「スタンバイ」などの文字を表示してユーザーにその旨を伝え、つづいてレリーズスイッチ１１４の全押し状態を監視する。レリーズスイッチ１１４が全押しされると、所定のシャッタ時間をおいてシャッタ２６が閉じられ、ＣＣＤ３０の蓄積電荷が撮像信号処理部３２へ掃き出される。撮像信号処理部３２による処理の結果生成されたデジタル画像データはメインバス８２へ出力される。デジタル画像データは一旦メインメモリ６８へ格納され、この後ＹＣ処理部７０と圧縮伸張処理部７８で処理を受け、オプション装置制御部７４を経由してオプション装置７６へ記録される。記録された画像は、フリーズされた状態でしばらくＬＣＤモニタ１０２に表示され、ユーザーは撮影画像を知ることができる。以上で一連の撮影動作が完了する。
【００３４】一方、デジタルカメラ１０が再生モードの場合、メインＣＰＵ６２は、メモリ制御部６４を介してメインメモリ６８から最後に撮影した画像を読み出し、これを表示ユニット１００のＬＣＤモニタ１０２へ表示する。この状態でユーザーが機能設定部１１６にて「順送り」、「逆送り」を指示すると、現在表示している画像の前後に撮影された画像が読み出され、ＬＣＤモニタ１０２へ表示される。
【００３５】本実施形態において、撮像ユニット２０は、被写体の画像、特に被写体の視差画像を撮像する。図２は、デジタルカメラ１０の撮像ユニット２０の撮影レンズ２２及び固体撮像素子の一例であるＣＣＤ３０の構成の一例である。図において撮像ユニット２０に含まれる他の構成要素は省略し、撮像ユニット２０の撮影レンズ２２及びＣＣＤ３０の構成のみを示す。この例では、撮影レンズ２２とＣＣＤ３０が２つ設けられ、それぞれの撮影レンズ２２が結像する被写体の像がＣＣＤ３０に受光される。ＣＣＤ３０は２つ設ける必要はなく、２つの撮影レンズ２２が結像する被写体の像を受光できる共通のＣＣＤ３０を１つ設けてもよい。
【００３６】撮影レンズ２２は、視野角の広い光学レンズであることが望ましく、広角レンズまたは魚眼レンズ等であってもよい。魚眼レンズは視野角が１８０度に達するように設計されており、広い視野の被写体を撮影する上で最も好ましい。
【００３７】本実施形態のＣＣＤ３０は、固体撮像素子の一例である。固体撮像素子は、半導体化および集積化された撮像素子で、構造上、半導体基板上に光電変換と電荷の蓄積機能をもった画素群を二次元的に配列したものである。固体撮像素子は、撮影レンズ２２によって結像された光を受光し、光電変換作用によって電荷を蓄積する。蓄積された電荷像は一定の順序に走査され、電気信号として読み出される。
【００３８】固体撮像素子は、基本的に、外部から入射する光を受光して光電変換を行うための受光素子部を含む半導体素子と、半導体素子を収納するパッケージと、受光素子部への光の入射を可能にするため、パッケージの半導体素子と対向する位置に配置された透明保護部材と、透明保護部材の外側表面あるいは内側において、透明保護部材よりも高い遮光性を有する遮光部材から構成されていることが好ましい。これにより、撮像される画像の品質を向上させることができる。さらに透明保護部はマイクロレンズの機能を持つことにより、結像される画像の解像度を向上させてもよい。受光素子部と透明保護部の間に、または、透明保護部の上または透明保護部中にカラーフィルタを設け、カラーの画像を撮像できるようにしてもよい。
【００３９】本実施形態のＣＣＤ３０は、視差画像における視差を正確に検出できるように、解像度が十分に高い電荷結合素子（ＣＣＤ）１次元イメージセンサ（リニアセンサ）又は２次元イメージセンサ（エリアセンサ）イメージセンサであることが望ましい。固体撮像素子としてＣＣＤ以外に、ＭＯＳイメージセンサ、ＣｄＳ−Ｓｅ密着型イメージセンサ、ａ−Ｓｉ（アモルファスシリコン）密着型イメージセンサ、又はバイポーラ密着型イメージセンサのいずれかを用いてもよい。
【００４０】図３は、撮像ユニット２０の撮影レンズ２２及びＣＣＤ３０の構成の他の例である。この例では、撮影レンズ２２が１つ設けられ、レンズ駆動部４２が撮影レンズ２２を移動させて、被写体を異なる視点から見た場合の視差画像をＣＣＤ３０に撮像する。
【００４１】図４は、撮像ユニット２０の撮影レンズ２２及びＣＣＤ３０の構成の他の例である。撮影レンズ２２は本撮影用と視差撮影用に２つ設けられ、本撮影用の撮影レンズ２２は、被写体の画像をＣＣＤ３０に撮像し、視差撮影用の撮影レンズ２２は、被写体の視差画像をＣＣＤ３０に撮像する。本撮影用の撮影レンズ２２は、標準の光学レンズであってもよく、視野角の広い広角レンズまたは魚眼レンズであってもよい。視差撮影用の撮影レンズ２２は、視差画像を撮像するために、レンズ駆動部４２によって位置が移動する。本撮影用の撮影レンズ２２が像を受光させるＣＣＤ３０と、視差撮影用の撮影レンズ２２が像を受光させるＣＣＤ３０とで、ＣＣＤの解像度や感度が異なっていてもよい。
【００４２】本実施形態の処理ユニット６０は、撮像ユニット２０が撮像した被写体の視差画像に基づいて、被写体の奥行き情報を獲得する。図５は、処理ユニット６０の機能ブロック図である。処理ユニット６０は、視差画像記憶部３０２と、位置ずれ検出部３０４と、大きさ比検出部３０６と、奥行き算出部３０８と、記録部３１０とを有する。
【００４３】視差画像記憶部３０２は、撮像ユニット２０が撮像した被写体の複数の視差画像を記憶する。位置ずれ検出部３０４は、視差画像記憶部３０２が記憶する複数の視差画像において、被写体の特定領域の像の位置が視差によってずれる量を検出する。大きさ比検出部３０６は、視差画像記憶部３０２が記憶する視差画像において、被写体の特定領域の像の大きさが視差によって変化する比率を検出する。
【００４４】奥行き算出部３０８は、位置ずれ検出部３０４が検出した位置ずれと、大きさ比検出部３０６が検出した大きさ比とを用いて、被写体の特定領域の奥行き値を算出する。
【００４５】位置ずれ検出部３０４、大きさ比検出部３０６、及び奥行き算出部３０８によって、視差画像に撮像された被写体の一部の領域または全部の領域について、被写体の奥行き値が算出される。
【００４６】奥行き算出部３０８は算出した被写体の奥行き情報を撮像制御ユニット４０へ入力し、撮像制御ユニット４０は、被写体の奥行き情報に基づいて、フォーカス駆動部４４、絞り駆動部４６及びシャッタ駆動部４８を制御して、フォーカス、絞り、シャッター速度を調整してもよい。
【００４７】記録部３１０は、奥行き算出部３０８が算出した被写体の奥行き情報、及び視差画像記憶部３０２が記憶する被写体の視差画像をオプション装置７６に記録させる。
【００４８】処理ユニット６０の位置ずれ検出部３０４、大きさ比検出部３０６、及び奥行き算出部３０８の機能は一例として、図１のメインＣＰＵ６２と、メインメモリ６８や不揮発性メモリ６６に格納またはロードされたプログラムとの連携によって実現することができる。メインＣＰＵ６２が内蔵メモリをもつ場合にはそのメモリに必要なプログラムを格納し、諸機能をファームウエアとして実現してもよい。処理ユニット６０の視差画像記憶部３０２が記憶すべき視差画像データは、メインメモリ６８または不揮発性メモリ６６に記憶させることができる。また視差画像データは圧縮伸張処理部７８によって圧縮されてもよい。処理ユニット６０の記録部３１０の機能は一例として、オプション装置制御部７４によって実現することができる。また、ユーザの指示を受け付ける操作ユニット１１０が被写体の画像の特定領域を処理ユニット６０に指示し、奥行き算出部３０８は、ユーザが指定する特定領域について奥行き値を算出してもよい。デジタルカメラ１０において処理ユニット６０の上述の機能を実現する設計には相当の自由度がある。
【００４９】次に、撮影レンズ２２の最も望ましい形態である、視野角の広い光学レンズの一例としての魚眼レンズのレンズ特性を説明する。図６は、魚眼レンズ３２０が結像する被写体の点の入射角θと、全方位画像３２２における被写体の点の像の位置との関係を説明する図である。魚眼レンズ３２０の中心はｘｙ平面の原点の位置にある。被写体の点の方位は、被写体の点から魚眼レンズ３２０への入射光が魚眼レンズ３２０の光軸となす入射角θで表される。入射角θは被写体の点の半画角である。全方位画像３２２の中心はＸＹ平面の原点の位置にある。被写体の点の全方位画像３２２上での位置を、ＸＹ平面の原点からの距離ｒで表す。この距離ｒは像高とも呼ばれる。魚眼レンズの焦点距離をｆとすると、被写体の点の位置ｒと入射角θの間には、ｒ＝ｆ・θの関係がある。
【００５０】このように、魚眼レンズは、視野角が１８０度であり、被写体の全方位の画像を撮像面に結像することができる。特に、被写体の点の位置ｒと入射角θの間に成り立つレンズ特性を示す関係式がｒ＝ｆ・θとなる魚眼レンズは「ｆθレンズ」と呼ばれ、広く用いられている。撮影レンズ２２として、ｆθレンズの代わりに、レンズ特性を示す関係式がｒ＝ｆ・ｓｉｎθとなる「ｆｓｉｎθレンズ」と呼ばれる魚眼レンズを用いてもよい。また、一般に位置ｒが入射角θに対して単調に増加し、被写体の全方位の領域の点が、有限の位置ｒに撮像される魚眼レンズであればよく、必ずしもｆθレンズ、ｆｓｉｎθレンズの特性を示す魚眼レンズでなくてもよい。魚眼レンズは視野角が１８０度に達するように設計されており、広い視野の被写体を撮影する上で最も好ましい。しかし、撮影レンズ２２は、視野角が十分に広く、広い視野にわたって被写体を撮像することができる光学レンズであれば、必ずしも魚眼レンズである必要はなく、視野角の広い広角レンズを用いてもよい。
【００５１】図７は、２つの魚眼レンズを用いて被写体を見た場合の視差の説明図である。魚眼レンズ３２４及び３２６は、それぞれ点Ｌ、Ｒの位置を視点位置とするように置かれている。点Ｌと点Ｒは距離２ｄだけ離れている。線３２８及び３３０はそれぞれ魚眼レンズ３２４及び３２６の光軸である。点Ｌ、Ｒの中点を点Ｏとする。被写体の奥行き値は、点Ｏからの距離によって定義する。被写体の点Ａの奥行き値は、線分ＯＡの長さＺである。また線分ＯＡが、点Ｏから引いた垂線３２９となす角をθとする。角θは点Ｏから点Ａを見た場合の点Ａの方位角（半画角）である。
【００５２】線分ＬＡが魚眼レンズ３２４の光軸３２８となす角、すなわち点Ａの魚眼レンズ３２４への入射角をθ１とし、線分ＲＡが魚眼レンズ３２６の光軸３３０となす角、すなわち点Ａの魚眼レンズ３２６への入射角をθ２とする。入射角θ１は視点Ｌから点Ａを見た場合の点Ａの方位、入射角θ２は視点Ｒから点Ａを見た場合の点Ａの方位である。視点が異なるために、点Ａの方位に差θ１−θ２が生じる。これを視差角と呼ぶ。線分ＬＡと線分ＲＡのなす角をθＡとすると、θＡ＝θ１−θ２であるから、便宜上、θＡを、点Ａを異なる視点Ｌ、Ｒから見た場合の視差角と考えてもよい。
【００５３】魚眼レンズ３２２及び３２４がｆθレンズである場合、像高ｒと入射角θの間にｒ＝ｆ・θの関係が成立するので、視点Ｌ、Ｒから点Ａを見た場合の像高ｒＬ、ｒＲの差と、入射角θ１、θ２の差との間には、次の比例関係【００５４】ｒＬ−ｒＲ＝ｆ・（θ１−θ２）
が成り立つ。
【００５５】したがって、魚眼レンズ３２４及び３２６で写した視差画像において、点Ａの像高の差ｒＬ−ｒＲを検出すると、魚眼レンズの焦点距離ｆが既知である場合、入射角の差θ１−θ２を計算することができ、視差角θＡを算出できる。
【００５６】次に、視差角θＡと奥行き値Ｚ、方位角θの間に成り立つ関係式を導く。角ＬＡＯをθＬ、角ＲＡＯをθＲとおく。３角形ＬＡＨ及び３角形ＲＡＨに注目すると、【００５７】ｔａｎ（θ＋θＬ）＝（Ｚ・ｓｉｎθ＋ｄ）／（Ｚ・ｃｏｓθ）
ｔａｎ（θ−θＲ）＝（Ｚ・ｓｉｎθ−ｄ）／（Ｚ・ｃｏｓθ）
が成り立つ。
【００５８】したがって、視差角θＡは、 θＡ＝θＬ＋θＲ ＝ｔａｎ−１（Ｚ・ｓｉｎθ＋ｄ）／（Ｚ・ｃｏｓθ）
−ｔａｎ−１（Ｚ・ｓｉｎθ−ｄ）／（Ｚ・ｃｏｓθ） （１）
と書ける。
【００５９】図８は、視差角θＡの式（１）のグラフである。視点間距離２ｄ、及び奥行き値Ｚをある値に固定して、方位角θの値を変えて、視差角θＡの値をグラフにした。方位角θ＝０のとき、視差角θＡは最大である。方位角θ＝π／２のとき、視差角θＡは０になる。
【００６０】図８のグラフから明らかなように、魚眼レンズの並びの横方向に近い領域にある被写体に対しては、視差角が非常に小さくなるため、視差画像上での像の位置のずれは極めて小さくなる。図９は、被写体の視差角の大きさの違いを説明する図である。点Ａ、Ｂのように、方位角θが０に近い領域にある被写体の点については視差角θＡ、θＢが十分に大きく、視差画像上での像の位置のずれを検出することは容易である。点Ａよりも点Ｂの方が視差角が大きいから、位置ずれも大きい。これは点Ｏからの距離が近い被写体ほど、視差画像上での像の位置ずれが大きいことを意味する。点Ｃ、Ｄのように、方位角θがπ／２に近い領域にある被写体の点については視差角θＣ、θＤは小さく、視差画像上での像の位置のずれを検出することは困難になる。点Ｃよりも点Ｄの方が視差角がさらに小さくなっており、点Ｏからの距離が遠い被写体ほど、視差画像上での像の位置ずれが小さくなる。
【００６１】このように魚眼レンズの並びの横方向には、視差画像において位置のずれが小さくなる領域が存在する。この領域を「死角」領域と呼ぶ。死角領域では、位置ずれによって、被写体の奥行き値を求めることは困難であるため、別の方法を用いて奥行き値を求める。魚眼レンズの横方向では、視差画像において、被写体のある部分領域の大きさが変化することを用いる。
【００６２】図１０は、異なる視点から被写体の領域を見た場合の大きさの違いを説明する図である。被写体の特定領域３３２は図の位置にあり、特定領域３３２上のある１点をＣとする。点Ｏから見た点Ｃの方位角をθとする。魚眼レンズ３２４が撮像面３３４に特定領域３３２を結像した像の大きさをＳＬとする。魚眼レンズ３２６が撮像面３３６に特定領域３３２を結像した像の大きさをＳＲとする。視点Ｌ、視点Ｒから特定領域３３２を見た場合の見かけの角度をそれぞれθＬ、θＲとする。また、点Ｏから点Ｃまでの距離をＺとし、点Ｌ、Ｒから点Ｃまでの距離をそれぞれＺＬ、ＺＲとする。
【００６３】異なる視点位置Ｌ、Ｒで特定領域３３２を見た場合に、見かけの角度θＬ、θＲ、像の大きさＳＬ、ＳＲには違いが生じる。ｆθレンズの特性から【００６４】ＳＬ＝ｆ・θＬ， ＳＲ＝ｆ・θＲが成り立つ。したがって【００６５】
ＳＬ／ＳＲ＝θＬ／θＲ （２）
であり、像の大きさの比ＳＬ／ＳＲは見かけの角度の比θＬ／θＲに等しい。
【００６６】一方、被写体までの距離と、見かけの角度との間には反比例の関係があり、距離が近いほど、見かけの角度が大きくなる。したがって、距離の比ＺＬ／ＺＲは見かけの角度の比θＬ／θＲの逆数に等しい。すなわち【００６７】
ＺＬ／ＺＲ＝θＲ／θＬ （３）
である。したがって（２）、（３）より、【００６８】
ＳＬ／ＳＲ＝ＺＲ／ＺＬ （４）
が成り立ち、像の大きさの比ＳＬ／ＳＲは距離の比ＺＬ／ＺＲの逆数である。これにより、視差画像における像の大きさの比を検出すれば、距離の比を算出できる。
【００６９】次に距離比ＺＬ／ＺＲ、被写体の奥行き値Ｚ、及び視点間距離２ｄの間に成り立つ関係式を導く。図１１は、異なる視点から見た場合の被写体の点までの距離の違いを説明する図である。点Ｃは図１０の被写体の特定領域３３２の１点である。図１０と同じ記号を用いて説明する。３角形ＣＲＨ及び３角形ＣＬＨに注目すると、【００７０】
ＺＲ２＝（Ｚ・ｃｏｓθ）２＋（Ｚ・ｓｉｎθ−ｄ）２ＺＬ２＝（Ｚ・ｃｏｓθ）２＋（Ｚ・ｓｉｎθ＋ｄ）２が成り立つ。これより、距離の比ＺＬ／ＺＲは【００７１】
（ＺＬ／ＺＲ）２＝｛（Ｚ・ｃｏｓθ）２＋（Ｚ・ｓｉｎθ＋ｄ）２｝
／｛（Ｚ・ｃｏｓθ）２＋（Ｚ・ｓｉｎθ−ｄ）２｝ （５）
と書ける。したがって、（４）、（５）により、像の大きさ比を検出すると、被写体の方位角θ、視点間距離２ｄから、被写体の奥行き値を算出することができる。
【００７２】図１２は、像の大きさ比ＳＬ／ＳＲのグラフである。式（４）、（５）により定まる大きさ比ＳＬ／ＳＲの式において、ｄが５０ミリメートルであり、Ｚが１００、２００、４００、８００ミリメートルのいずれかである場合に、方位角θの値を変えて、大きさ比ＳＬ／ＳＲの変化をグラフにした。図から明らかなように、方位角θ＝０の場合には、左右の魚眼レンズで見た場合の大きさ比は１であり、視差画像において像の大きさは同じである。方位角θ＝π／２の場合には、大きさ比が１より小さくなり、視差画像において像の大きさに違いが生じる。
【００７３】このように、魚眼レンズの並びの横方向では、視差画像において像の大きさが大きく異なるので、大きさ比から奥行き値を容易に算出できる。一方、方位角θが０に近い領域では、視差画像において像の大きさにほとんど違いがないため、大きさ比から奥行き値を求めることは困難になる。
【００７４】像の位置のずれ及び像の大きさの比について、以上述べたことより、方位角θが０に近い領域では、位置ずれの検出が容易であるが、大きさ比の検出が困難である。一方、方位角θがπ／２に近い領域では、大きさ比の検出が容易であるが、位置ずれの検出が困難である。
【００７５】次に、位置ずれと大きさ比の関係を調べる。図１３は、位置ずれと大きさ比の関係を天球上で説明した図である。天球は視野の無限遠方であり、図では上半球のみ示す。魚眼レンズ３２４、３２６の視点Ｌ、Ｒの中点Ｏを通り、直線ＬＲに垂直な平面を半円３５０とする。また、視点Ｌ、Ｒを結ぶ直線と天球が交わる点を点３５２及び３５４とする。
【００７６】天球において、被写体の点を中点Ｏから見た場合の方位角θは、被写体の点と中点Ｏを結ぶ直線が半円３５０となす角である。方位角θが０（ゼロ）となる領域では、位置ずれが最も強く現れ、大きさ比が完全に消失する。この領域は半円３５０である。
【００７７】一方、中点Ｏから見た場合の方位角θがπ／２すなわち直角である領域では、大きさ比が最も強く現れ、位置ずれが完全に消失する。この領域は、点３５２と視点Ｒを結ぶ線分、及び点３５４と視点Ｌを結ぶ線分上の点である。
【００７８】位置ずれ及び大きさ比の値は、視点Ｌ、Ｒを結ぶ直線、すなわちｘ軸の周りで対称である。半円３５０と平行な面で天球を切った場合の断面を考えると、この断面は半円であり、半円の円周上の点は同一の位置ずれ、大きさ比の値を持つ。したがって、位置ずれ及び大きさ比の値は、ｘ軸を通る任意の平面で天球を切った断面で、議論することができる。ｘ軸を通る平面の一例として天球の地平面であるｘｙ平面を考える。
【００７９】図１４は、位置ずれと大きさ比の関係をｘｙ平面で説明した図である。被写体の点Ａが方位角θの方位にあるとして、３角形ＯＡＨをｘ軸の周りに回転してできる円錐を考える。このように、ある方位角θが決められたとき、円錐の頂点を中点Ｏとし、円錐角がπ／２−θである円錐が規定される。
【００８０】方位角θがπ／２に近い場合、円錐内の点はｘ軸の近傍の領域にある。この円錐内の点については、大きさ比が強く現れ、位置ずれはほとんど消失する。一方、方位角θが０に近い場合、円錐角がπ／２であり、円錐内にはｙ軸近傍の点を除くほとんどの点を含むようになる。円錐外にあるｙ軸近傍の点については、位置ずれが強く現れ、大きさ比はほとんど消失する。
【００８１】このように、位置ずれと大きさ比の強弱は、被写体の方位によって相互に補完し合う関係にある。したがって、被写体の方位によって、位置ずれと大きさ比のいずれかを用いて奥行き値を算出したり、位置ずれから求めた奥行き値と大きさ比から求めた奥行き値を適当な重み付けで合成して、奥行き値を算出することができる。
【００８２】たとえば、被写体の領域の方位角θが０に近いほど、位置ずれを考慮する割合を増やし、方位角がπ／２に近いほど、大きさ比を考慮する割合を増やすように、重み付けをする。また、所定の値の方位角θＭ、θＮを決めて、θＭより大きい方位角θにある領域については、大きさ比によって奥行き値を求め、θＮより小さい方位角θにある領域については、位置ずれによって奥行き値を求めてもよい。θＭより小さく、θＮより大きい方位角θにある領域については、位置ずれと大きさ比を考慮する割合を適当に決めて、奥行き値を求めてもよい。
【００８３】また、他の方法として、視差画像に写された被写体の特定領域の奥行き値を求める際、その特定領域の位置ずれと大きさ比の両方を検出して、検出精度が高い方を奥行き値計算に用いてもよい。特に重なりのある被写体を撮影した場合は、方位だけでなく、被写体の奥行き分布によって、位置ずれと大きさ比のどちらの検出精度が高くなるかが変わることがある。そのため、被写体の方位だけ位置ずれと大きさ比の考慮の割合を決めるのではなく、視差画像に写された被写体の領域毎に、位置ずれと大きさ比のどちらを用いるか、あるいは位置ずれと大きさ比を考慮する割合を決めることがより好ましい。
【００８４】視差角の式（１）、及び大きさ比ＳＬ／ＳＲの式（４）、（５）を詳しく解析すると、位置ずれと大きさ比の検出精度の比が一定となる被写体の領域は、被写体の方位だけでは決まらず、被写体の奥行き値にも依存することがわかる。したがって、より正確には、被写体の方位が同じでも、被写体までの距離が違えば、位置ずれと大きさ比の考慮の割合を変える必要が生じる。このため、視差画像に写された被写体の特定領域の奥行き値を求める際、その特定領域の位置ずれと大きさ比を検出して、位置ずれと大きさ比の検出精度の高い方を優先して用いて、特定領域の仮の奥行き値を算出する。その後、特定領域の方位と仮の奥行き値に基づいて、位置ずれと大きさ比の考慮の割合を決めて、奥行き値を再度求め直すことがより好ましい。
【００８５】このように、位置ずれと大きさ比を用いて、被写体の奥行き値を求める計算方法にはいくつもの変形が考えられるが、いずれにしても位置ずれと大きさ比を組み合わせて、被写体の領域毎の奥行き値を求めることに本質的な特徴がある。
【００８６】図１５は、被写体の奥行き値の算出処理のフローチャートである。撮像ユニット２０が撮像した視差画像を入力し（Ｓ１００）、視差画像に写された被写体の特定領域を選択する（Ｓ１０２）。特定領域の選択は、視差画像の領域を適当に分割し、自動的に分割された領域を順次選択してもよいし、ユーザが操作ユニット１１０を用いて指定した被写体の領域を選択してもよい。位置ずれ検出部３０４は、被写体の特定領域の像の位置のずれを検出する（Ｓ１０４）。大きさ比検出部３０６は、被写体の特定領域の像の大きさ比を検出する（Ｓ１０６）。奥行き算出部３０８は、位置ずれと大きさ比を用いて、特定領域の奥行き値を算出する（Ｓ１０８）。
【００８７】図１６は、奥行き値算出処理Ｓ１０８のフローチャートである。視点間の中点から見た被写体の特定領域の方位角θに基づいて、位置ずれと大きさ比を考慮する割合γを決める（Ｓ２００）。方位角θが０に近いほど、位置ずれを考慮する割合が大きく、方位角θがπ／２に近いほど、大きさ比を考慮する割合が大きい。位置ずれに基づいて、式（１）を用いて特定領域の奥行き値Ｚ１を算出する（Ｓ２０２）。大きさ比に基づいて、式（４）、（５）を用いて特定領域の奥行き値Ｚ２を算出する（Ｓ２０４）。位置ずれと大きさ比を考慮する割合γに基づいて、奥行き値Ｚ１及びＺ２を合成して、特定領域の奥行き値Ｚを算出する。奥行き値Ｚ１及びＺ２を合成して奥行き値Ｚを算出する方法として、たとえば、割合γでＺ１とＺ２の重み付け平均を計算してＺとする。
【００８８】奥行き値算出処理Ｓ１０８には、いくつかの変形が考えられる。図１７は、奥行き値算出処理Ｓ１０８の変形例のフローチャートである。被写体の特定領域の位置ずれと大きさ比の検出精度を比較して、位置ずれと大きさ比を考慮する割合γを決める（Ｓ２０１）。それ以降のＳ２０２、Ｓ２０４、Ｓ２０６の処理は図１６と同じである。この変形例では、被写体の特定領域の方位角θで割合γを決めるのではなく、特定領域の位置ずれと大きさ比の検出精度の良い方の考慮の度合いを大きくするように割合γを決める。
【００８９】図１８は、奥行き値算出処理Ｓ１０８の他の変形例のフローチャートである。被写体の特定領域の位置ずれと大きさ比の検出精度を比較し、どちらか精度の良い方の値から、特定領域の仮の奥行き値Ｚ３を算出する（Ｓ２１０）。特定領域の方位角θと仮の奥行き値Ｚ３に基づいて、位置ずれと大きさ比を考慮する割合γを決める（Ｓ２１２）。それ以降のＳ２０２、Ｓ２０４、Ｓ２０６の処理は図１６と同じである。この変形例では、割合γを、方位角θと仮の奥行き値Ｚ３から決める点が異なる。
【００９０】図１９は、奥行き値算出処理Ｓ１０８の他の変形例のフローチャートである。被写体の特定領域の方位角θが所定の値θＭより大きいなら（Ｓ２２０）、大きさ比に基づいて特定領域の奥行き値Ｚを計算し（Ｓ２２２）、そうでないなら、Ｓ２２４に進む。特定領域の方位角θがθＮより小さいなら（Ｓ２２４）、位置ずれに基づいて特定領域の奥行き値Ｚを計算し（Ｓ２２６）、そうでないなら、Ｓ２２８に進む。Ｓ２２８では、位置ずれと大きさ比を考慮する割合を決めて特定領域の奥行き値Ｚを計算する。Ｓ２２８の処理は、図１６、１７、１８のいずれかの処理を用いることができる。
【００９１】位置ずれと大きさ比の検出の精度や処理コストは、撮像ユニット２０のＣＣＤ３０の解像度や画像処理を行う処理ユニット６０のメインＣＰＵ６２、不揮発性メモリ６６、メインメモリ６８、メインバス８２等の処理性能等、ハードウエア性能に依存する面と、位置や大きさを検出する画像処理手法のアルゴリズム性能等、システムの機能構成に依存する面がある。そのため、一概に、位置ずれと大きさ比の考慮の割合を、式（１）、（４）及び（５）から理論的に導出される検出精度の割合だけで決めることはできない。
【００９２】さらに、視差画像における位置ずれと大きさ比とでは、検出の容易さが異なる。位置ずれの場合は、被写体のある大きさを持った特定領域を、複数の視差画像に見つけ、その特定領域内のある１点、たとえば中心や重心、あるいは特徴的な１点について、視差画像間での位置のずれを検出する。一方、大きさ比の場合は、被写体のある大きさを持った特定領域を、複数の視差画像間で見つけ、その特定領域の大きさの変化を検出する必要があり、１点の位置ずれを検出する場合よりも、画像処理上のコストが大きくなることがある。また、位置ずれと大きさ比が検出された後の奥行き値の計算においても、大きさ比を用いた計算の方が、一般に演算処理のコストが大きい。そのため、位置ずれと大きさ比の考慮の割合を決定する際、検出精度だけでなく、処理コストも含めて決定することが好ましい。
【００９３】このように、位置ずれと大きさ比を用いて、被写体の奥行き値を求める計算方法には、被写体の領域の方位角、被写体の奥行きの推定値、位置ずれと大きさ比の検出精度と処理コスト、ハードウエア性能やシステムの機能構成等に基づいて、いくつものバリエーションが考えられる。いずれにしても、本実施形態の画像撮像装置によれば、位置ずれと大きさ比のいずれかの精度が低くなる場合や、いずれかの処理コストが高くなる場合に、他方によって補完することで、被写体の全方位の領域の奥行き情報を高い精度で効率良く算出できる。
【００９４】以上述べたように、本実施形態の画像撮像装置によれば、２つの視野角の広いレンズを用いて被写体の視差画像を撮影し、被写体の像の位置のずれと大きさの比を検出し、位置ずれと大きさ比を用いて被写体の奥行き値を求めることができる。位置ずれの検出精度が落ちる領域では大きさ比を用い、大きさ比の検出精度が落ちる領域では位置ずれを用いることができるため、広い視野にわたって被写体の奥行き情報を高い精度で算出することができる。
【００９５】また、本実施形態の画像撮像装置は、監視用カメラとして利用することもできる。従来の監視用カメラは、全方位の画像を得るために、カメラを駆動させなければならなかった。本実施形態の画像撮像装置を監視カメラとして用いた場合、カメラを駆動させなくても、全方位の被写体を撮影し、奥行き情報を算出することができる。得られた奥行き情報から、人物等の主要被写体を容易に抽出することができるため、銀行や小売店に設置して、防犯に利用することができる。
【００９６】（実施形態２）本発明の第２の実施形態を説明する。図２０は、画像処理装置の一例としての、写真画像の現像や編集等を行うラボシステム２００の構成図である。本実施形態のラボシステム２００は、入力部２１０と、処理部２２０と、記録部２４０と、出力部２５０とを有する。
【００９７】入力部２１０は、被写体の画像データを入力する。画像データとして、被写体を異なる視点から見た場合の視差画像を入力する。デジタルカメラ等で撮影された対象物のデジタル画像を入力する場合、入力部２１０には、半導体メモリカード等の着脱自在な記録媒体から画像データを読み取るための読み取り装置が用いられる。また、フロッピーディスク、ＭＯ、ＣＤ−ＲＯＭ等から画像データを読み取る場合は、入力部２１０として、それぞれフロッピードライブ、ＭＯドライブ、ＣＤドライブ等が用いられてもよい。
【００９８】処理部２２０は、入力部２１０が入力した視差画像を記憶し、被写体の奥行き情報を算出する。処理部２２０は算出した奥行き情報を視差画像とともに記録部２４０に出力する。また処理部２２０は算出した奥行き情報をもとに、被写体の画像を処理して、記録部２４０と出力部２５０に出力してもよい。
【００９９】記録部２４０は、処理部２２０が出力した奥行き情報または画像データを着脱自在な記録媒体に記録する。記録媒体として、書き込み可能なＣＤ−ＲＯＭ、ＤＶＤ等の光記録媒体や、ＭＯ等の光磁気記録媒体、フロッピーディスク等の磁気記録媒体等が用いられる。記録部２４０として、ＣＤ−Ｒドライブ、ＤＶＤドライブ、ＭＯドライブ、フロッピードライブ等が用いられる。また、記録部２４０は、フラッシュメモリ、メモリカード等の半導体メモリに奥行き情報または画像データを記録してもよい。
【０１００】出力部２５０は、処理部２２０が出力した被写体の処理された画像データを画像として出力する。例えば画像を画面表示する場合、出力部２５０には画像を表示するモニタが用いられる。また例えば画像を印刷する場合、出力部２５０にはデジタルプリンタやレーザプリンタ等のプリンタが用いられる。
【０１０１】図２１は、処理部２２０の機能構成図である。処理部２２０は、視差画像記憶部３０２と、位置ずれ検出部３０４と、大きさ比検出部３０６と、奥行き算出部３０８と、画像変換部３１２とを有する。
【０１０２】視差画像記憶部３０２は、入力部２１０が入力した被写体の複数の視差画像のデータをＲＡＭ等の半導体メモリまたはハードディスク等の磁気記録媒体に記憶する。位置ずれ検出部３０４は、視差画像記憶部３０２が記憶する複数の視差画像において、被写体の特定領域の像の位置が視差によってずれる量を検出する。大きさ比検出部３０６は、視差画像記憶部３０２が記憶する視差画像において、被写体の特定領域の像の大きさが視差によって変化する比率を検出する。奥行き算出部３０８は、位置ずれ検出部３０４が検出した位置ずれと大きさ比検出部３０６が検出した大きさ比を用いて、被写体の特定領域の奥行き値を算出する。
【０１０３】位置ずれ検出部３０４、大きさ比検出部３０６、及び奥行き算出部３０８が、視差画像に撮像された被写体の一部の領域または全部の領域について、被写体の奥行き情報を算出する処理については、第１の実施形態と同じであるから、説明を省略する。
【０１０４】画像変換部３１２は、奥行き算出部３０８が算出した被写体の奥行き情報に基づいて、被写体の画像を処理する。画像変換部３１２は、被写体の奥行き情報、視差画像、または処理された画像を記憶部２４０と出力部２５０に出力する。
【０１０５】画像変換部３１２は、被写体の奥行き情報に基づいて魚眼レンズで撮影された被写体の全方位画像を透視投影画像に変形してもよい。図２２は、全方位画像から透視投影画像への変換を説明する図である。魚眼レンズで撮影された被写体の全方位画像３５６上の点または領域について、奥行き値が算出されているので、座標変換を行うことにより、その点または領域を透視投影画像３５８上に写像することができる。透視投影画像３５８は、通常の標準レンズで被写体を撮影したときの画像である。
【０１０６】画像変換部３１２は、被写体の奥行き情報に基づいて、魚眼レンズで撮影された被写体の全方位画像から、被写体の正面図、側面図、上面図等の正投影図法の画像を生成してもよい。図２３は、魚眼レンズで撮影された部屋の間取りの模式図である。魚眼レンズにより部屋の天井付近から部屋の全方位を撮影している。図２４は、全方位画像を座標変換して得られた部屋の平面図である。部屋の全方位の奥行き情報を利用することにより、全方位画像はこのような平面図に変換することができる。図２５は、全方位画像を座標変換して得られた部屋の側面図である。このように、画像変換部３１２は、被写体の全方位の奥行き情報に基づいて、被写体の全方位画像から、被写体の正面図、側面図、上面図等の正投影画像を生成し、設計図等の作成に役立てることができる。このような画像変換処理は、建築や都市計画の場面で広く使われる。
【０１０７】本実施形態の画像処理装置によれば、視野角の広いレンズで撮影された被写体の視差画像を入力して、広い視野にわたる被写体の奥行き情報を算出することができる。また算出された奥行き情報に基づいて、画像処理を行い、ＣＡＤ等の図面データを作成することができる。また、全方位の奥行き情報のある画像データは、ＣＧ（コンピュータグラフィックス）やシミュレーションに利用することができる。
【０１０８】（実施形態３）次に、本発明の第３の実施形態を説明する。図２６は、画像処理装置の構成図である。本実施形態の画像処理装置の基本的な構成及び動作は、第２の実施形態の画像処理装置と同様である。本実施形態では、画像処理装置の処理部２２０として、パーソナルコンピュータやワークステーション等の電子計算機を用いる点が、第２の実施形態と異なる。
【０１０９】図２６を参照しながら、本実施形態の処理部２２０のハードウエア構成を説明する。ＣＰＵ２３０はＲＯＭ２３２及びＲＡＭ２３４に格納されたプログラムに基づいて動作する。キーボード、マウス等の入力装置２３１を介して利用者によりデータが入力される。ハードディスク２３３は、画像等のデータ、及びＣＰＵ２３０を動作させるプログラムを格納する。ＣＤ−ＲＯＭドライブ２３５はＣＤ−ＲＯＭ２９０からデータ又はプログラムを読み取り、ＲＡＭ２３４、ハードディスク２３３及びＣＰＵ２３０の少なくともいずれかに提供する。
【０１１０】ＣＰＵ２３０が実行するプログラムの機能構成は、第２の実施形態の画像処理装置の処理部２２０の機能構成と同じであり、視差画像記憶モジュールと、位置ずれ検出モジュールと、大きさ比検出モジュールと、奥行き算出モジュールと、画像変換モジュールとを有する。
【０１１１】視差画像記憶モジュール、位置ずれ検出モジュール、大きさ比検出モジュール、奥行き算出モジュール、及び画像変換モジュールが、ＣＰＵ２３０に行わせる処理は、それぞれ、第２の実施形態の画像処理装置の処理部２２０における、視差画像記憶部３０２、位置ずれ検出部３０４、大きさ比検出部３０６、奥行き算出部３０８、及び画像変換部３１２の機能及び動作と同じであるから、説明を省略する。これらのプログラムは、ＣＤ−ＲＯＭ２９０等の記録媒体に格納されて利用者に提供される。記録媒体の一例としてのＣＤ−ＲＯＭ２９０には、本出願で説明した画像処理装置の動作の一部又は全ての機能を格納することができる。
【０１１２】上記のプログラムは記録媒体から直接ＲＡＭ２３４に読み出されてＣＰＵ２３０により実行されてもよい。あるいは、上記のプログラムは記録媒体からハードディスク２３３にインストールされ、ＲＡＭ２３４に読み出されてＣＰＵ２３０により実行されてもよい。
【０１１３】記録媒体としては、ＣＤ−ＲＯＭ２９０の他にも、ハードディスク、ＲＯＭやＲＡＭ等のメモリ、ＤＶＤやＰＤ等の光学記録媒体、フロッピーディスクやミニディスク（ＭＤ）等の磁気記録媒体、ＭＯ等の光磁気記録媒体、テープ状記録媒体、不揮発性の半導体メモリカード等を用いることができる。
【０１１４】上記のプログラムは、単一の記録媒体に格納されてもよいし、複数の記録媒体に分割されて格納されてもよい。また、上記プログラムは記録媒体に圧縮されて格納されてもよい。圧縮されたプログラムは伸張され、ＲＡＭ２３４等の別の記録媒体に読み出され、実行されてもよい。さらに、圧縮されたプログラムはＣＰＵ２３０によって伸張され、ハードディスク２３３等にインストールされた後、ＲＡＭ２３４等の別の記録媒体に読み出され、実行されてもよい。
【０１１５】さらに、記録媒体の一例としてのＣＤ−ＲＯＭ２９０は、通信ネットワークを介して、ホストコンピュータによって提供される上記のプログラムを格納してもよい。記録媒体に格納された上記のプログラムは、ホストコンピュータのハードディスクに格納され、通信ネットワークを介してホストコンピュータから当該コンピュータに送信され、ＲＡＭ２３４等の別の記録媒体に読み出され、実行されてもよい。
【０１１６】上記のプログラムを格納した記録媒体は、本出願の画像処理装置を製造するためにのみ使用されるものであり、そのような記録媒体の業としての製造および販売等が本出願に基づく特許権の侵害を構成することは明らかである。
【０１１７】（実施形態４）次に、本発明の第４の実施形態を説明する。本実施形態の画像撮像装置の一例は、カメラを内蔵したノート型コンピュータやカメラを内蔵した携帯型電子端末等の電子機器等である。これらの場合、ノート型コンピュータや携帯型電子端末の電子計算機部分は主に図２６に示した処理部２２０として機能する。本実施形態の画像撮像装置は、第１の実施形態の画像撮像装置の処理ユニット６０を、図２６に示した処理部２２０のハードウエア構成に換えたものである。本実施形態の画像撮像装置の基本的な構成及び動作は、第１の実施形態の画像撮像装置と同様である。
【０１１８】本実施形態の処理部２２０のハードウエア構成は、第３の実施形態の処理部２２０のハードウエア構成と同じであるから説明を省略する。ＣＰＵ２３０が実行するプログラムの機能構成は、第１の実施形態の画像撮像装置の処理ユニット６０の機能構成と同じであり、視差画像記憶モジュールと、位置ずれ検出モジュールと、大きさ比検出モジュールと、奥行き算出モジュールと、記録モジュールとを有する。
【０１１９】視差画像記憶モジュール、位置ずれ検出モジュール、大きさ比検出モジュール、奥行き算出モジュール、及び画像変換モジュールが、ＣＰＵ２３０に行わせる処理は、それぞれ、第１の実施形態の画像撮像装置の処理部２２０における、視差画像記憶部３０２、位置ずれ検出部３０４、大きさ比検出部３０６、奥行き算出部３０８、及び記録部３１０の機能及び動作と同じであるから、説明を省略する。これらのプログラムは、ＣＤ−ＲＯＭ２９０等の記録媒体に格納されて利用者に提供される。記録媒体の一例としてのＣＤ−ＲＯＭ２９０には、本出願で説明した画像撮像装置の動作の一部又は全ての機能を格納することができる。
【０１２０】上記のプログラムを格納した記録媒体は、本出願の画像撮像装置を製造するためにのみ使用されるものであり、そのような記録媒体の業としての製造および販売等が本出願に基づく特許権の侵害を構成することは明らかである。
【０１２１】次に、本実施形態の画像撮像装置の実験結果を示す。図２７、２８、２９、３０及び３１に、本実施形態の画像撮像装置によって、被写体の大きさ比を測定した実験結果を示す。実験では、レンズ特性がｆθである魚眼レンズを搭載したデジタルカメラを用い、デジタルカメラを移動することにより、左右の異なる２つの視点から見た被写体を順次撮影した。被写体の人物には撮影中極力動かないように指示した。図２７は、左の視点から撮影した被写体の視差画像をディスプレイ上に表示した中間調画像の写真である。図２８は、右の視点から撮影した被写体の視差画像をディスプレイ上に表示した中間調画像の写真である。左右の魚眼レンズの焦点距離ｆは８ｍｍであり、視点間距離２ｄは約２０ｃｍである。撮影された視差画像は全方位画像である。
【０１２２】図２９は、被写体の全方位画像の中心付近を拡大した画像をディスプレイ上に表示した中間調画像の写真である。中心付近の領域では左右の視差画像で大きさの違いはほとんどなく、大きさ比が１になる。
【０１２３】図３０は、被写体の全方位画像の周辺付近を拡大した画像をディスプレイ上に表示した中間調画像の写真である。視点の移動方向にある、全方位画像の周辺領域では、人物像の大きさが左右の視差画像で大きく異なることがわかる。
【０１２４】図３１は、被写体の全方位画像の周辺付近を拡大した画像をディスプレイ上に表示した中間調画像の写真である。同様に人物像の大きさの違いを検出できるが、大きさの違いは、図３０の人物像に比べて小さい。これは、図３１に写された人物は、図３０の人物よりも遠い位置にあるためである。このように、視点の移動方向の領域では、大きさ比の違いから、被写体の奥行き情報を得ることができる。
【０１２５】このように、本実験により、従来は難しいとされていた大きさ比の検出がＣＣＤに撮像された視差画像の比較によって可能であるという良好な結果を得た。これにより、従来は困難であった「死角」領域での奥行き値測定が可能であることが確かめられた。
【０１２６】以上述べたように、本発明の画像撮像装置及び画像処理装置によれば、被写体の視差画像から、被写体の像の位置のずれと大きさの比を検出し、位置ずれと大きさ比を用いて被写体の奥行き値を求めることができる。位置ずれの検出精度が落ちる領域では大きさ比を用い、大きさ比の検出精度が落ちる領域では位置ずれを用いることができるため、広い視野にわたって被写体の奥行き情報を高い精度で算出することができる。
【０１２７】以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１２８】
【発明の効果】上記説明から明らかなように、本発明によれば広い視野にわたって被写体の奥行きに関する情報を高い精度で取得することができる。
【出願人】 【識別番号】０００００５２０１
【氏名又は名称】富士写真フイルム株式会社
【出願日】 平成１１年１１月１０日（１９９９．１１．１０）
【代理人】 【識別番号】１００１０４１５６
【弁理士】
【氏名又は名称】龍華 明裕
【公開番号】 特開２００１−１４１４２２（Ｐ２００１−１４１４２２Ａ）
【公開日】 平成１３年５月２５日（２００１．５．２５）
【出願番号】 特願平１１−３２０３３６