トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 カメラシステム、監視カメラ、および撮像方法
【発明者】 【氏名】宮内 洋一
【要約】 【課題】高フレームレートを保持しつつ、高価なぼけ復元処理ハードウェアを必要とすることなく、光学系を簡単化でき、コスト低減を図ることができ、ピント精度が高く、ノイズの影響が小さくい復元画像を得ることが可能で、しかも高い信頼性と耐久性を持つことが可能なカメラシステム、監視カメラ、および撮像法を提供する。

【構成】合焦位置でもピントを結ばないがその前後でほぼＰＳＦが一定になるように設計された光学系１１０、および光学系の像をとらえる撮像素子１２０とを含む撮像装置３００と、複数の画像処理フィルタを有し選択指示されたフィルタを用いてボケ復元処理を行う画像処理装置１５０と、撮像装置３００の被写体像の撮像状態に対応して画像フィルタを選択するように指示する露出制御装置２００と、を有する。
【特許請求の範囲】
【請求項１】
被写体像を取り込む光学系、前記光学系を通過した被写体像を撮像する撮像素子とを有し、撮影方向、画角が可変でかつ当該情報を検出可能な撮像装置と、
被写体距離および画角の違いによって異なる特性を持った複数の焦点ボケ補正用画像処理フィルタと、
前記撮影方向の違いによる被写体距離および画角の情報に応じて、前記焦点ボケ補正用画像処理フィルタを選択する選択手段と
を有するカメラシステム。
【請求項２】
スイッチを有し、
前記撮像装置の撮像状態に応じて前記スイッチが切り替わり、
前記選択手段は、前記スイッチの状態に応じて前記画像処理フィルタを選択する
請求項１に記載のカメラシステム。
【請求項３】
前記光学系は、合焦点位置および当該合焦点位置の前後の距離において焦点のボケ量が略一定となるように形成されている
請求項１または２記載のカメラシステム。
【請求項４】
前記撮像素子からの画像の焦点のボケを補正して復元した画像信号を生成する変換手段を含む
請求項１から３のいずれか一に記載のカメラシステム。
【請求項５】
画像モニタ手段を有し、
前記焦点のボケ量は前記画像モニタ手段の分解能を上限として設定されている
請求項１から４のいずれか一に記載のカメラシステム。
【請求項６】
前記焦点のボケ量は、当該画像モニタ手段の画素ピッチの２倍以下に設定されている
請求項１から５のいずれか一に記載のカメラシステム。
【請求項７】
前記撮像装置に設けられた送信手段と、
前記撮像装置と離間して配置され受信手段を有する処理装置と、をさらに有し、
前記処理装置に前記焦点ボケ補正用画像処理フィルタと前記選択手段とが配置され、
前記撮像装置の送信手段は、前記撮像素子で撮像した画像データと、前記撮影方向の違いによる被写体距離および画角の検出情報に応じた情報とを前記処理装置に送信し、
前記処理装置の選択手段は、前記受信手段で受信した情報に基づき前記焦点ボケ補正用画像処理フィルタを選択する
請求項１から５のいずれか一に記載のカメラシステム。
【請求項８】
前記光学系は、光波面変調素子およびズーム光学系を含み、
前記ズーム光学系のズーム位置またズーム量に相当する情報を生成するズーム情報生成手段と、
前記ズーム情報生成手段により生成される情報に基づいて分散画像信号より分散のない画像信号を生成する変換手段と、を有する
請求項１から７のいずれか一に記載のカメラシステム。
【請求項９】
被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、
前記被写体距離情報生成手段により生成される情報に基づいて分散画像信号より分散のない画像信号を生成する変換手段と、を有する
請求項１から７のいずれか一に記載のカメラシステム。
【請求項１０】
被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、
前記被写体距離情報生成手段により生成された情報に基づき変換係数を演算する変換係数演算手段と、
前記変換係数演算手段から得られた変換係数によって、画像信号の変換を行い分散のない画像信号を生成する変換手段と、を有する
請求項１から７のいずれか一に記載のカメラシステム。
【請求項１１】
撮影する被写体の撮影モードを設定する撮影モード設定手段を有し、
前記変換手段は、前記撮影モード設定手段により設定された撮影モードに応じて異なる変換処理を行う
請求項７から１０のいずれか一に記載のカメラシステム。
【請求項１２】
前記撮像装置は、複数のレンズを交換可能であって、
前記撮像素子は、前記複数のレンズの内少なくともーのレンズおよび光波面変調素子を通過した被写体収差像を撮像可能で、さらに、
前記一のレンズに応じた変換係数を取得する変換係数取得手段を有し、
前記変換手段は、前記変換係数取得手段から得られた変換係数によって、画像信号の変換を行う
請求項７から１１のいずれか一に記載のカメラシステム。
【請求項１３】
露出制御を行う露出制御手段を有し、
前記信号処理手段は、前記露出制御手段からの露出情報に応じて画像処理フィルタを選択して画像処理を行う
請求項７から１２のいずれか一に記載のカメラシステム。
【請求項１４】
被写体像を取り込む光学系、前記光学系を通過した被写体像を撮像する撮像素子とを有し、撮影方向、画角が可変でかつ当該情報を検出可能な撮像装置と、
被写体距離および画角の違いによって異なる特性を持った複数の焦点ボケ補正用画像処理フィルタと、
前記撮影方向の違いによる被写体距離および画角の情報に応じて、前記焦点ボケ補正用画像処理フィルタを選択する選択手段と、
前記撮像素子からの画像信号に前記選択された画像フィルタによる画像処理を行う信号処理手段と、
前記撮像装置を搭載する基台と、
前記基台に連動して切り替わる少なくとも一つのスイッチと、
を有する監視カメラ。
【請求項１５】
被写体像を撮像装置の撮像素子により撮像し、
前記撮像時の撮影方向、画角情報を検出し、
前記撮影方向の違いによる被写体距離および画角の情報に応じて、焦点ボケ補正用画像処理フィルタを選択し、
前記撮像素子からの画像信号に前記選択された画像フィルタによる画像処理を行う
撮像方法。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、光学系を通過した被写体像を撮像素子により撮像する撮像装置を備えたカメラシステム、監視カメラ、および撮像方法に関するものである。
【背景技術】
【０００２】
近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもその対応が著しい。
特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに変わって固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサが使用されているのが大半である。
【０００３】
このように、撮像素子にＣＣＤやＣＭＯＳセンサを使った撮像レンズ装置は、被写体の映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出するものであり、デジタルスチルカメラの他、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ ＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、画像検査装置、自動制御用産業カメラ等に用いられている。
【０００４】
図４３は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
この撮像レンズ装置１は、光学系２とＣＣＤやＣＭＯＳセンサ等の撮像素子３とを有する。
光学系は、物体側レンズ２１，２２、絞り２３、および結像レンズ２４を物体側（ＯＢＪＳ）から撮像素子３側に向かって順に配置されている。
【０００５】
撮像レンズ装置１においては、図４３に示すように、ベストフォーカス面を撮像素子面上に合致させている。
図４４（Ａ）〜（Ｃ）は、撮像レンズ装置１の撮像素子３の受光面でのスポット像を示している。
【０００６】
また、位相板（Ｗａｖｅｆｒｏｎｔ Ｃｏｄｉｎｇ ｏｐｔｉｃａｌ ｅｌｅｍｅｎｔ）により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする等の撮像装置が提案されている（たとえば非特許文献１，２、特許文献１〜５参照）。
また、伝達関数を用いたフィルタ処理を行うデジタルカメラの自動露出制御システムが提案されている（たとえば特許文献６参照）。
【非特許文献１】“Wavefront Coding;jointly optimized optical and digital imaging systems”,Edward R.Dowski,Jr.,Robert H.Cormack,Scott D.Sarama.
【非特許文献２】“Wavefront Coding;A modern method of achieving high performance and/or low cost imaging systems”,Edward R.Dowski,Jr.,Gregory E.Johnson.
【特許文献１】ＵＳＰ６，０２１，００５
【特許文献２】ＵＳＰ６，６４２，５０４
【特許文献３】ＵＳＰ６，５２５，３０２
【特許文献４】ＵＳＰ６，０６９，７３８
【特許文献５】特開２００３−２３５７９４号公報
【特許文献６】特開２００４−１５３４９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述した各文献にて提案された撮像装置においては、その全ては通常光学系に上述の位相板を挿入した場合のＰＳＦ（Ｐｏｉｎｔ−Ｓｐｒｅａｄ−Ｆｕｎｃｔｉｏｎ）が一定になっていることが前提であり、ＰＳＦが変化した場合は、その後のカーネルを用いたコンボリューションにより、被写界深度の深い画像を実現することは極めて難しい。
したがって、単焦点でのレンズではともかく、ズーム系やＡＦ系などのレンズでは、その光学設計の精度の高さやそれに伴うコストアップが原因となり採用するには大きな問題を抱えている。
換言すれば、従来の撮像装置においては、適正なコンボリューション演算を行うことができず、ワイド（Ｗｉｄｅ）時やテレ（Ｔｅｌｅ）時のスポット（ＳＰＯＴ）像のズレを引き起こす非点収差、コマ収差、ズーム色収差等の各収差を無くす光学設計が要求される。
しかしながら、これらの収差を無くす光学設計は光学設計の難易度を増し、設計工数の増大、コスト増大、レンズの大型化の問題を引き起こす。
【０００８】
また、上述した各文献に開示された装置においては、たとえば暗所における撮影で、信号処理によって画像を復元する際、ノイズも同時に増幅してしまう。
したがって、たとえば上述した位相板等の光波面変調素子とその後の信号処理を用いるような、光学系と信号処理を含めた光学システムでは、暗所での撮影を行う場合、ノイズが増幅してしまい、復元画像に影響を与えてしまうという不利益がある。
【０００９】
また、被写界深度を深くするためのＦ値（絞り）を絞る方法は、絞り機構が必要であったり、絞ることによりレンズが暗くなり、輝度に対してダイナミックレンジが取れなかったり、シャッタースピードが低下して手振れ、被写体振れを起こしやすいといった不利益がある。
【００１０】
また、監視カメラなどの産業用カメラ装置は高い信頼性と耐久性が要求されている。そのため高い精度が要求されるレンズ周りは固定焦点とし、被写界深度でカバーする設計となっている。
一方、携帯電話などモバイル機器に搭載されているカメラモジュールは広範囲な撮影距離をカバーするためにオートフォーカス機構（以下ＡＦ）を搭載しているが、高精度を要求される光学レンズ及び鏡枠周囲が稼動部となっているので耐衝撃や耐久などに弱い側面がある。また小型を求められておりながら駆動機構があるため小さくすることが困難な状況がある。
そこで本考案では、固定焦点でありながら従来の被写界深度でカバーするものと異なる方法でピント精度を高めたものである。
また駆動部分が高精度を要求される箇所に使用していないので高い信頼性と耐久性を提供できるものである。
【００１１】
本発明の目的は、高フレームレートを保持しつつ、高価なぼけ復元処理ハードウェアを必要とすることなく、光学系を簡単化でき、コスト低減を図ることができ、ピント精度が高く、ノイズの影響が小さくい復元画像を得ることが可能で、しかも高い信頼性と耐久性を持つことが可能なカメラシステム、監視カメラ、および撮像方法を提供することにある。
【課題を解決するための手段】
【００１２】
本発明の観点の第１の観点のカメラシステムは、被写体像を取り込む光学系、前記光学系を通過した被写体像を撮像する撮像素子とを有し、撮影方向、画角が可変でかつ当該情報を検出可能な撮像装置と、被写体距離および画角の違いによって異なる特性を持った複数の焦点ボケ補正用画像処理フィルタと、前記撮影方向の違いによる被写体距離および画角の情報に応じて、前記焦点ボケ補正用画像処理フィルタを選択する選択手段とを有する。
【００１３】
好適には、スイッチを有し、前記撮像装置の撮像状態に応じて前記スイッチが切り替わり、前記選択手段は、前記スイッチの状態に応じて前記画像処理フィルタを選択する。
【００１４】
好適には、前記光学系は、合焦点位置および当該合焦点位置の前後の距離において焦点のボケ量が略一定となるように形成されている。
【００１５】
好適には、前記撮像素子からの画像の焦点のボケを補正して復元した画像信号を生成する変換手段を含む。
【００１６】
好適には、画像モニタ手段を有し、前記焦点のボケ量は前記画像モニタ手段の分解能を上限として設定されている。
【００１７】
好適には、前記焦点のボケ量は、当該画像モニタ手段の画素ピッチの２倍以下に設定されている。
【００１８】
好適には、前記撮像装置に設けられた送信手段と、前記撮像装置と離間して配置され受信手段を有する処理装置と、をさらに有し、前記処理装置に前記焦点ボケ補正用画像処理フィルタと前記選択手段とが配置され、前記撮像装置の送信手段は、前記撮像素子で撮像した画像データと、前記撮影方向の違いによる被写体距離および画角の検出情報に応じた情報とを前記処理装置に送信し、前記処理装置の選択手段は、前記受信手段で受信した情報に基づき前記焦点ボケ補正用画像処理フィルタを選択する。
【００１９】
好適には、前記光学系は、光波面変調素子およびズーム光学系を含み、前記ズーム光学系のズーム位置またズーム量に相当する情報を生成するズーム情報生成手段と、前記ズーム情報生成手段により生成される情報に基づいて分散画像信号より分散のない画像信号を生成する変換手段と、を有する。
【００２０】
好適には、被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、前記被写体距離情報生成手段により生成される情報に基づいて分散画像信号より分散のない画像信号を生成する変換手段と、を有する。
【００２１】
好適には、被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、前記被写体距離情報生成手段により生成された情報に基づき変換係数を演算する変換係数演算手段と、前記変換係数演算手段から得られた変換係数によって、画像信号の変換を行い分散のない画像信号を生成する変換手段と、を有する。
【００２２】
好適には、撮影する被写体の撮影モードを設定する撮影モード設定手段を有し、前記変換手段は、前記撮影モード設定手段により設定された撮影モードに応じて異なる変換処理を行う。
【００２３】
好適には、前記撮像装置は、複数のレンズを交換可能であって、前記撮像素子は、前記複数のレンズの内少なくともーのレンズおよび光波面変調素子を通過した被写体収差像を撮像可能で、さらに、前記一のレンズに応じた変換係数を取得する変換係数取得手段を有し、前記変換手段は、前記変換係数取得手段から得られた変換係数によって、画像信号の変換を行う。
【００２４】
好適には、露出制御を行う露出制御手段を有し、前記信号処理手段は、前記露出制御手段からの露出情報に応じて画像処理フィルタを選択して画像処理を行う。
【００２５】
本発明の第２の観点の監視カメラは、被写体像を取り込む光学系、前記光学系を通過した被写体像を撮像する撮像素子とを有し、撮影方向、画角が可変でかつ当該情報を検出可能な撮像装置と、被写体距離および画角の違いによって異なる特性を持った複数の焦点ボケ補正用画像処理フィルタと、前記撮影方向の違いによる被写体距離および画角の情報に応じて、前記焦点ボケ補正用画像処理フィルタを選択する選択手段と、前記撮像素子からの画像信号に前記選択された画像フィルタによる画像処理を行う信号処理手段と、前記撮像装置を搭載する基台と、前記基台に連動して切り替わる少なくとも一つのスイッチと、を有する。
【００２６】
本発明の第３の観点の撮像方法は、被写体像を撮像装置の撮像素子により撮像し、前記撮像時の撮影方向、画角情報を検出し、前記撮影方向の違いによる被写体距離および画角の情報に応じて、焦点ボケ補正用画像処理フィルタを選択し、前記撮像素子からの画像信号に前記選択された画像フィルタによる画像処理を行う。
【発明の効果】
【００２７】
本発明によれば、高フレームレートを保持しつつ、高価なぼけ復元処理ハードウェアを必要とすることなく、光学系を簡単化でき、コスト低減を図ることができ、ピント精度が高く、ノイズの影響が小さくい復元画像を得ることが可能で、しかも高い信頼性と耐久性を持つことができる利点がある。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施形態を添付図面に関連付けて説明する。
【００２９】
図１は、本発明に係るカメラシステムの一実施形態を示すブロック構成図である。
【００３０】
本実施形態に係る撮像装置１００は、光学系１１０、撮像素子１２０、ズームドライバ１３０、アナログフロントエンド部（ＡＦＥ）１４０、変換手段としての画像処理装置１５０、カメラ信号処理部１６０、画像表示メモリ１７０、画像モニタリング装置１８０、操作部１９０、露出制御装置（システム制御装置）２００、および基台連動スイッチ（ＳＷ）２１０を有している。
【００３１】
これらの構成要素のうち、光学系１１０、撮像素子１２０、およびズームドライバ１３０により、あるいはさらにアナログフロントエンド部（ＡＦＥ）１４０を含んで撮像装置３００が構成される。
【００３２】
光学系１１０は、被写体物体ＯＢＪを撮影した像を撮像素子１２０に供給する。
本実施形態の光学系１１０は、ズーム光学系を含み、かつ、後述するように、光波面変調素子を含み、合焦位置およびその前後の距離において焦点のボケ量が略一定となるように形成されている。
この焦点のボケ量は画像モニタリング装置１８０の分解能を上限として設定されている。
【００３３】
撮像素子１２０は、光学系１１０で取り込んだ像が結像され、結像１次画像情報を電気信号の１次画像信号ＦＩＭとして、アナログフロントエンド部１４０を介して画像処理装置１５０に出力するＣＣＤやＣＭＯＳセンサからなる。
図１においては、撮像素子１２０を一例としてＣＣＤとして記載している。
【００３４】
ズームドライバ１３０は、露出制御装置２００の制御の下、光学系１１０のズームレンズ系を駆動する。
【００３５】
アナログフロントエンド部１４０は、タイミングジェネレータ１４１、アナログ／デジタル（Ａ／Ｄ）コンバータ１４２と、を有する。
タイミングジェネレータ１４１では、撮像素子１２０のＣＣＤの駆動タイミングを生成しており、Ａ／Ｄコンバータ１４２は、ＣＣＤから入力されるアナログ信号をデジタル信号に変換し、画像処理装置１５０に出力する。
【００３６】
変換手段として機能する画像処理装置（二次元コンボリューション手段）１５０は、前段のＡＦＥ１４０からくる撮像画像のデジタル信号を入力し、二次元のコンボリューション処理を施し、後段のカメラ信号処理部（ＤＳＰ）１６０に渡す。
画像処理装置１５０、露出制御装置２００の露出情報に応じて、光学的伝達関数（OTF）に対してフィルタ処理を行う。なお、露出情報として絞り情報を含む。
画像処理装置１５０は、撮像素子１２０からの画像の焦点のボケを補正して復元した画像信号を生成する。より具体的には、画像処理装置１５０は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号を生成する機能を有する。また、画像処理装置１５０は、最初のステップ（処理）でノイズ低減フィルタリングを施す機能を有する。
画像処理装置１５０は、撮像装置３００の被写体像の撮像状態、たとえば撮像方向またはズーム位置によって切り替わる画角の変化に応じて切り替わる基台連動スイッチ２１０の情報に基づいて複数の画像処理フィルタの中から所定の画像処理フィルタを選択する。
画像処理装置１５０における複数の画像処理フィルタは、被写体までの異なる距離に応じた焦点のボケを補正する機能を有する。
また、画像処理装置１５０における複数の画像処理フィルタは、画角の違いに応じた焦点のボケを補正する機能を有する。
画像処理装置１５０の処理については後でさらに詳述する。
【００３７】
カメラ信号処理部（ＤＳＰ）１６０は、カラー補間、ホワイトバランス、ＹＣｂＣｒ変換処理、圧縮、ファイリング等の所定の画像処理を行い、メモリ１７０への格納や画像モニタリング装置１８０への画像表示等を行う。
【００３８】
画像モニタリング装置１８０は、たとえば液晶表示装置により形成され、カメラ信号処理部１６０により所定の画像処理を受けたスルー画やキャプチャ画像を表示する。
光波面変調素子によるボケ量は、たとえば画像モニタリング装置１８０の画素ピッチの２倍以下に設定されている。
【００３９】
メモリ１７０は、カメラ信号処理部１６０で所定の画像処理を受けたキャプチャ画像等が記録される。
【００４０】
操作部１９０は、露出制御装置２００に対して所定の機能制御を行うように指示する入力スイッチ等により構成される。操作部１９０は、たとえばシャッタボタン、レリーズボタン、拡大ボタン、移動キー上、移動キー下、移動キー右、移動キー左、等の各スイッチを含む。
【００４１】
露出制御装置２００は、露出制御を行うとともに、操作部１９０などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、ズームドライバ１３０、ＡＦＥ１４０、画像処理装置１５０、ＤＳＰ１６０等を制御し、システム全体の調停制御を司るものである。
露出制御装置２００は、撮像装置３００の撮像状態、たとえば撮像方向またはズーム位置によって切り替わる画角の変化に応じて切り替わる基台連動スイッチ２１０の情報に基づいて複数の画像処理フィルタの中から所定の画像処理フィルタを選択するように画像処理装置１５０を制御する。
露出制御装置２００は、画像処理装置１５０で復元処理した後、カメラ信号処理部１６０で所定の画像処理を施した後の画像を画像モニタリング装置１８０に表示させる。
また、露出制御装置２００は、たとえばカメラ信号処理部１６０を通して、画像モニタリング装置１８０にスルー画を表示中は画像モニタリング装置１８０の分解能で必要十分な分可能をもった画像を撮像素子１２０から出力させるようにタイミングジェネレータ１４１に指示を出す。
【００４２】
ここで、本実施形態に係る撮像装置３００の構成例、画像処理装置１５０における複数のフィルタ、基台連動スイッチ２１０の構成例について説明する。
【００４３】
図２は、本実施形態に係る撮像装置の基台への搭載例を示す図である。
図３は、基台により切り替えられる撮像装置の撮像方向を示す図である。
【００４４】
撮像装置３００は、箱型の筐体３０１に収容され、略コ字形状をなす基台３１０に対して、あるいは基台３１０と共に、図２に中に設定した直交座標系のｘ、ｙ、ｚ方向に回転可能に構成されている。
基台３１０は、水平回転部３１１、および撮像装置３００の筐体３０１に対して回転可能に軸支された垂直回転部３１２を有する。
水平回転部３１１は、図示しない駆動モータにより回転され、これに伴い、撮像装置３００は、図３中に矢印Ｈで示すように、いわゆる水平方向（ｘ、ｙ方向）に回転し、水平方向の撮像方向が変更可能となっている。
垂直回転部３１２は、図示しない駆動モータにより回転され、これに伴い、撮像装置３００は、図３中に矢印Ｖで示すように、いわゆる垂直方向（ｚ方向）に回転し、垂直方向の撮像方向が変更可能となっている。
【００４５】
図４は、基台に搭載された撮像装置(カメラ)の向きを説明するための図である。
【００４６】
撮像装置の向き(撮像方向)は、たとえば図４に示すように、遠距離右方向ＦＲ、遠距離中央方向ＦＭ、遠距離左方向ＦＬ、中距離右方向ＭＲ、中距離中央方向ＭＭ、中距離左方向ＭＬ、近距離右方向ＮＲ、中距離中央方向ＮＭ、および近距離左方向ＮＬの９方向に設定可能である。
【００４７】
これらの撮像方向を検出する方法としては、以下の方法を採用することが可能である。
１）水平回転部３１１および垂直回転部３１２の回転軸に同心円状のグレーコードを設け、ブラシで接地する。
２）基準位置検出スイッチを設け、その変化を基点に、ステッピングモードの送りステップ数で、あるいは、パルスエンコーダでパルスカウントの制御を行って検出する。
３）左右の動きを検出する左右スイッチ、およびズームドライブに応じた撮像対象との距離を検出する距離スイッチ（遠近切り替えスイッチ）を設ける。
【００４８】
図５は、図４の撮像方向に対応する撮像対象エリアを示す図である。
図６は、上記３）の左右スイッチおよび距離スイッチを設けた場合のスイッチの状態と図５の撮像エリアとの関係を示す図である。
【００４９】
露出制御装置２００は、基台３１０と連動するスイッチの状態に応じて画像処理装置１５０に距離に応じた復元フィルタを選択するように指示する。
具体的には、露出制御装置２００は、遠距離の場合には、遠距離用復元フィルタＦを適用するように指示を出す。
中距離の場合には、中距離用復元フィルタＭを適用するように指示を出す。
近距離の場合には、近距離用復元フィルタＮを適用するように指示を出す。
【００５０】
図７は、本実施形態に係る遠近切り替えスイッチの構成例を示す図である。
また、図８は、遠近切り替えスイッチにおける信号Ｓ１，Ｓ２のレベルと距離との関係を示す図である。
【００５１】
この遠近切り替えスイッチ３２０は、グランドＧＮＤに接続された接地端子３２１、信号Ｓ１用の端子３２２、信号Ｓ２用の端子３２３、および各端子３２１〜３２３と距離に応じてショートするショート切片３２４により構成されている。
この例では、近距離が０．５ｍ、中距離画１ｍ、遠距離が１０ｍとしている。
図８に示すように、撮像装置３００の撮像方向の切り替えにより、近距離０．５ｍの場合は信号Ｓ１，Ｓ２共にハイレベルＨとなる。
中距離１ｍの場合は信号Ｓ１がローレベルＬ、信号Ｓ２がハイレベルＨとなる。
遠距離１０ｍの場合には、信号Ｓ１，Ｓ２共にローレベルＬとなる。
このように、図７の遠近切り替えスイッチは、距離に応じて電気信号パターンが発生するように作用する機構を有しており、露出制御装置２００は、信号パターンに応じてフィルタリングするフィルタを変更することを画像処理装置１５０に指示する。
【００５２】
以上のような構成を有する撮像装置３００は、フォーカスレンズ駆動の無いいわゆる固定焦点レンズを有する高信頼性カメラとして構成され、携帯電話機搭載カメラ、あるいは、監視カメラとして適用可能である。
すなわち、本実施形態の撮像装置３００は、固定焦点でありながらピント精度を高めることが可能で、また駆動部分が高精度を要求される箇所に使用していないので高い信頼性と耐久性を提供できるものである。
【００５３】
図９は、距離に応じた撮像画像の画角を対比的に示す図である。
【００５４】
図９の例は、１０ｍ（無限）、１ｍ，５０ｃｍはそれぞれ被写界深度内に収まっておらず、カメラの向きによって変わる遠近切換えスイッチの状態に従ってそれぞれＦ＊、Ｍ＊、Ｎ＊のフィルタが選択されて良好な画像復元を実現していることを示している。
【００５５】
なお、本実施形態においては、携帯電話を例に説明すると、撮像装置３００の光学レンズ１１０は固定焦点となっていて、図９（Ｂ）に示すように、１ｍでベストピントを結ぶように設計されている。
無限から５０ｃｍまでは被写界深度で十分収まっている。
たとえば花などを撮影する場合、近距離スイッチをＯＮすると、本レンズ３０ｃｍ相当のＰＳＦ（ＰｏｉｎｔＳｐｒｅａｄＦｕｎｃｔｉｏｎ）を想定したデジタルフィルタがキャプチャ画像にフィルタリングされるようになっている。
３０ｃｍのボケ画像はこの復元処理によって合焦画像程度まで良好な画像となる。
また３０ｃｍ前後のＰＳＦの程度が近い距離でもＰＳＦの誤差分のみでほぼ良好な画像に復元される。
一般的な２焦点カメラにあるマクロレバーと異なり、スイッチは直接レンズを動かさないので、耐衝撃性、高い信頼性が期待できる。
【００５６】
また、監視カメラを例にとり説明する。
一定の周期で画角を変え、１台のカメラでタイミングを変えてたくさんのポイントを監視するシステムに適用することができる。
カメラの向きを変える基台３１０があって画角とともに撮影する領域の被写体距離が変わる場合に、近い距離範囲に向きを変えると基台３１０の動きに連動してスイッチが入る。
本スイッチが入ると所定距離のＰＳＦに応じた復元フィルタがキャプチャ画像に適用されるようなシステムになっている。
本事例でもレンズは固定されており、外のカメラを動かす稼動部と連動してスイッチが入るだけなので光学系は高い信頼性を保つことができる。
【００５７】
以下に、本実施形態の光学系の基本的な機能およびボケ画像復元の有無に応じた基本的な処理について説明した後、本実施形態の特徴である光学系１１０と変換手段として機能する画像処理装置１５０のさらに具体的な構成および機能について具体的に説明する。
【００５８】
ここでは、ベストフォーカス（焦点）位置で光線が集中する一般的な結像光学系を比較例として挙げる。
図１０は、一般的な結像光学系の光線高さとデフォーカスとの関係を示す図である。
また、図１１は、本実施形態の光学系の結像付近の光学特性を示す図である。
【００５９】
図１０に示すように、一般的な結像光学系においては、ベストフォーカスの位置では光線が最も密に集中し、ベストフォーカス位置から離れていくとそのデフォーカス量にほぼ比例してボケ径が広がる。
これに対し、本実施形態の光学系１１０は、図１１に示すように、一般的な結像系光学系と異なり、ベストフォーカスの位置で光線が集中しないため、ベストフォーカス位置であってもボケている。しかしながら、本実施形態の光学系１１０は、このベストフォーカス近傍では、デフォーカス量に対してボケの形（ＰＳＦ）の変化が鈍感になるように設計されている。
したがって、ベストフォーカス位置のＰＳＦに応じたボケ復元処理を行えば、ベストフォーカス点はもちろんその前後もボケを除去し鮮明な画像を得ることができる。
これが本実施形態で採用している深度拡大の原理である。
【００６０】
次に、ボケ画像復元処理について説明する。
図１２は、一般的な光学系のベストフォーカス（ＢｅｓｔＦｏｃｕｓ）位置でのＭＴＦ（Modulation Transfer Function：振幅伝達関数）特性図である。
図１３は、本実施形態の光学系のＭＴＦ特性を示す図である。
【００６１】
本実施形態の光学系１１０を通過して撮像素子１２０で得られた撮像画像はボケているため中域〜高域にかけてＭＴＦが低下している。このＭＴＦを演算によって上昇させる。レンズ単体の振幅特性であるＭＴＦに対し、画像処理を含めたトータルの振幅特性はＳＦＲ（Spatial Frequency Response）と呼ばれている。
ボケ画像を発生させるＰＳＦの周波数特性がＭＴＦであるので、これから所望のＳＦＲ特性まで引き上げるゲイン特性に設計してできたものがボケ復元フィルタである。どの程度のゲインにするかはノイズや偽像とのバランスで決めていく。
【００６２】
このボケ復元フィルタを元画像にデジタルフィルタリングする方法は、画像をフーリエ変換し周波数領域でフィルタと周波数毎に積を取る方法と、空間領域でコンボリューション（Convolution）演算（畳み込み演算）を行なう方法がある。ここでは後者での実現方法を説明する。コンボリューション演算は下記の式で表される。
【００６３】
【数１】


【００６４】
ただし、ｆはフィルタ（ｆｉｌｔｅｒ）カーネルを示している（ここでは計算を容易にするために１８０度回転済みのものを使用している）。
また、Ａは元画像、Ｂはフィルタリングされた画像（ボケ復元画像）を示している。
この式から分かる通り、ｆを画像に重ねて各タップ同士の積和した結果をその重ねた中心座標の値とすることである。
【００６５】
次に、図１４（Ａ）〜（Ｃ）に関連付けて３＊３のフィルタを例に挙げ具体的に説明する。
図１４（Ａ）の復元フィルタ（既に１８０度回転済み）を図１４（Ｂ）に示すボケ画像のＡ(i,j)上にフィルタの中心ｆ(0,0)を重ね、各タップ同士の積をとりこの９個の総和値を図１４（Ｃ)に示すボケ復元画像のＢ(i,j)とする。
(i,j)を画像全体に渡ってスキャンすると新たなＢ画像が生成される。これがデジタルフィルタである。ここではフィルタがボケ復元目的であるので、この処理を行なうことでボケ復元処理を実施することができる。
【００６６】
理論的、技術的には、この処理を常時適用して、スルー画表示中においてもボケ復元処理を施した画像を表示させることは可能である。
しかしながら、このコンボリューション演算を、たとえば３０ｆｐｓなどの高いレートを維持したままリアルタイムで処理しようとすれば、フィルタサイズに応じたラインバッファや非常にたくさんの乗算器が必要となり、高コストで大きな消費電力が発生しあまり現実的でない。
そこで、本実施形態においては、スルー画中など必要でない期間はコンボリューション演算を実行せず、キャプチャ実行のトリガが入力された時のみコンボリューション演算を施すようにしている。
【００６７】
本実施形態においては、光学系１１０を通して像は撮像素子１２０によって光電変換され、ＡＦＥ１４０で変換されてデジタル画像データを生成する。
そして、撮像素子１２０による画像信号は、ＡＦＥ１４０により画像処理装置１５０のボケ画像復元処理が施されカメラ信号処理部１６０に送られる。
カメラ信号処理部１６０においては、たとえばＢａｙｅｒカラーの場合、デモザイク処理、ホワイトバランス処理、ガンマ変換、ＹＵＶ変換等を行いモニタにリアルタイムで画像を出力する。
次に、カメラ信号処理部１６０でカメラ信号処理が施された画像は、メモリ１７０に記録されたり、画像モニタリング装置１８０に表示されたりする。
ここで拡大ボタンが押下されればキャプチャ画を拡大してモニタに映し出したり、その状態で移動キーの操作によって拡大部分の位置を変えることもできる。
【００６８】
また、本実施形態においては、前記ＰＳＦのボケ幅は、画像モニタリング装置１８０の分解能を上限として設定していることから、たとえば上述したボケ復元処理を実施しないように構成したとしても、ボケが目立たないようなモニタ表示が可能となる。
【００６９】
さらに、本実施形態においては、ボケ幅の大きさを画像モニタリング装置１８０の画素ピッチの２倍程度以下に設定してあることから、スルー画中のライブ画像は実質的にボケてはいない。
【００７０】
画像ピッチの２倍程度以下として表示が実質的にボケないのは、一般的にモニタ装置でカラー表示を行う場合、光の３原色であるＲ，Ｇ，Ｂを１画素ずつに割り当て、最低でもこの３画素を１ユニットとしてカラー表示が行われることに起因する。
図１５（Ａ）〜（Ｄ）に示すように、画素の配列には、ストライプ配列、ダイアゴナル配列、デルタ配列、レクタングル配列といった複数の手法があるが、いずれの手法も最低でも正方画素の２×２のサイズを最小ユニットとして構成されている。
よって、モニタ表示画像の分解能としては画素ピッチの２倍以下であれば実質的に問題のないレベルであるといえる。
【００７１】
また、本実施形態においては、ボケ画像を画像処理装置１５０で復元処理し、カメラ信号処理部１６０でカメラ信号処理が終わったところで自動的に画像モニタリング装置１８０にボケ復元画像を出力するようにすることが可能で、ボケ復元処理にある程度時間がかかっても処理終了と同時に見ることができ、撮影者が復元処理を実行させるための特別な操作を行う必要はない。
【００７２】
以下、本実施形態の光学系、画像処理装置の構成および機能についてさらに具体的に説明する。
【００７３】
図１６は、本実施形態に係るズーム光学系１１０の構成例を模式的に示す図である。この図は広角側を示している。
また、図１７は、本実施形態に係る撮像レンズ装置の望遠側のズーム光学系の構成例を模式的に示す図である。
そして、図１８は、本実施形態に係るズーム光学系の広角側の像高中心のスポット形状を示す図であり、図１９は、本実施形態に係るズーム光学系の望遠側の像高中心のスポット形状を示す図である。
【００７４】
図１６および図１７のズーム光学系１１０は、物体側ＯＢＪＳに配置された物体側レンズ１１１と、撮像素子１２０に結像させるための結像レンズ１１２と、物体側レンズ１１１と結像レンズ１１２間に配置され、結像レンズ１１２による撮像素子１２０の受光面への結像の波面を変形させる、たとえば３次元的曲面を有する位相板（Ｃｕｂｉｃ Ｐｈａｓｅ Ｐｌａｔｅ）からなる光波面変調素子（波面形成用光学素子：Ｗａｖｅｆｒｏｎｔ Ｃｏｄｉｎｇ Ｏｐｔｉｃａｌ Ｅｌｅｍｅｎｔ）群１１３を有する。また、物体側レンズ１１１と結像レンズ１１２間には図示しない絞りが配置される。
たとえば、本実施形態においては、可変絞りが設けられ、露出制御（装置）において可変絞りの絞り度（開口度）を制御する。
【００７５】
なお、本実施形態においては、位相板を用いた場合について説明したが、本発明の光波面変調素子としては、波面を変形させるものであればどのようなものでもよく、厚みが変化する光学素子（たとえば、上述の３次の位相板）、屈折率が変化する光学素子（たとえば屈折率分布型波面変調レンズ）、レンズ表面へのコーディングにより厚み、屈折率が変化する光学素子（たとえば、波面変調ハイブリッドレンズ）、光の位相分布を変調可能な液晶素子（たとえば、液晶空間位相変調素子）等の光波面変調素子であればよい。
【００７６】
図１６および図１７のズーム光学系１１０は、デジタルカメラに用いられる３倍ズームに光学位相板１１３ａを挿入した例である。
図で示された位相板１１３ａは、光学系により収束される光束を規則正しく分散する光学レンズである。この位相板を挿入することにより、撮像素子１２０上ではピントのどこにも合わない画像を実現する。
換言すれば、位相板１１３ａによって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成している。
この規則的に分散した画像をデジタル処理により、ピントの合った画像に復元する手段を波面収差制御光学系システム、あるいは深度拡張光学系システム（ＤＥＯＳ：Ｄｅｐｔｈ Ｅｘｐａｎｔｉｏｎ Ｏｐｔｉｃａｌ ｓｙｓｔｅｍ）といい、この処理を画像処理装置１５０において行う。
【００７７】
ここで、ＤＥＯＳの基本原理について説明する。
図２０に示すように、被写体の画像ｆがＤＥＯＳ光学系Ｈに入ることにより、ｇ画像が生成される。
これは、次のような式で表される。
【００７８】
（数２）
ｇ＝Ｈ＊ｆ
ただし、＊はコンボリューションを表す。
【００７９】
生成された画像から被写体を求めるためには、次の処理を要する。
【００８０】
（数３）
ｆ＝Ｈ−１＊ｇ
【００８１】
ここで、Ｈに関するカーネルサイズと演算係数について説明する。
ズームポジションをＺＰｎ，ＺＰｎ−１・・・とする。また、それぞれのＨ関数をＨｎ，Ｈｎ−１、・・・・とする。
各々のスポット像が異なるため、各々のＨ関数は、次のようになる。
【００８２】
【数４】


【００８３】
この行列の行数および／または列数の違いをカーネルサイズ、各々の数字を演算係数とする。
ここで、各々のＨ関数はメモリに格納しておいても構わないし、ＰＳＦを物体距離の関数としておき、物体距離によって計算し、Ｈ関数を算出することによって任意の物体距離に対して最適なフィルタを作るように設定できるようにしても構わない。また、Ｈ関数を物体距離の関数として、物体距離によってＨ関数を直接求めても構わない。
【００８４】
本実施形態においては、図１に示すように、光学系１１０からの像を撮像素子１２０で受像して、画像処理装置１５０に入力させ、光学系に応じた変換係数を取得して、取得した変換係数をもって撮像素子１２０からの分散画像信号より分散のない画像信号を生成するように構成している。
【００８５】
なお、本実施形態において、分散とは、上述したように、位相板１１３ａを挿入することにより、撮像素子１２０上ではピントのどこにも合わない画像を形成し、位相板１１３ａによって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成する現象をいい、像が分散してボケ部分を形成する振る舞いから収差と同様の意味合いが含まれる。したがって、本実施形態においては、収差として説明する場合もある。
【００８６】
次に、画像処理装置１５０の構成および処理について説明する。
【００８７】
画像処理装置１５０は、図１に示すように、生（ＲＡＷ）バッファメモリ１５１、コンボリューション演算器１５２、記憶手段としてのカーネルデータ格納ＲＯＭ１５３、およびコンボリューション制御部１５４を有する。
【００８８】
コンボリューション制御部１５４は、コンボリューション処理のオンオフ、画面サイズ、カーネルデータの入れ替え等の制御を行い、露出制御装置２００により制御される。
【００８９】
また、カーネルデータ格納ＲＯＭ１５３には、図２１または図２２に示すように予め用意されたそれぞれの光学系のＰＳＦにより算出されたコンボリューション用のカーネルデータが格納されており、露出制御装置２００によって露出設定時に決まる露出情報を取得し、コンボリューション制御部１５４を通じてカーネルデータを選択制御する。
なお、露出情報には、絞り情報が含まれる。
【００９０】
図２１の例では、カーネルデータＡは光学倍率（×１．５）、カーネルデータＢは光学倍率（×５）、カーネルデータＣは光学倍率（×１０）に対応したデータとなっている。
【００９１】
また、図２２の例では、カーネルデータＡは絞り情報としてのＦナンバ（２．８）、カーネルデータＢはＦナンバ（４）、カーネルデータＣはＦナンバ（５．６）に対応したデータとなっている。
【００９２】
図２２の例のように、絞り情報に応じたフィルタ処理を行うのは以下の理由による。
絞りを絞って撮影を行う場合、絞りによって光波面変調素子を形成する位相板１１３ａが覆われてしまい、位相が変化してしまうため、適切な画像を復元することが困難となる。
そこで、本実施形態においては、本例のように、露出情報中の絞り情報に応じたフィルタ処理を行うことによって適切な画像復元を実現することができる。
【００９３】
図２３は、露出制御装置２００の露出情報（絞り除去を含む）により切り替え処理のフローチャートである。
まず、露出情報（ＲＰ）が検出されコンボリューション制御部１５４に供給される（ＳＴ１０１）。
コンボリューション制御部１５４においては、露出情報ＲＰから、カーネルサイズ、数値演算係数がレジスタにセットされる（ＳＴ１０２）。
そして、撮像素子１２０で撮像され、ＡＦＥ１３０を介して二次元コンボリューション演算部１５２に入力された画像データに対して、レジスタに格納されたデータに基づいてコンボリューション演算が行われ、演算され変換されたデータがカメラ信号処理部１６０に転送される（ＳＴ１０３）。
【００９４】
以下に画像処理装置１５０の信号処理部とカーネルデータ格納ＲＯＭについてさらに具体的な例について説明する。
【００９５】
図２４は、信号処理部とカーネルデータ格納ＲＯＭについての第１の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図２４の例は露出情報に応じたフィルタカーネルを予め用意した場合のブロック図である。
【００９６】
露出設定時に決まる露出情報を取得し、コンボリューション制御部１５４を通じてカーネルデータを選択制御する。２次元コンボリューション演算部１５２においては、カーネルデータを用いてコンボリューション処理を施す。
【００９７】
図２５は、信号処理部とカーネルデータ格納ＲＯＭについての第２の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図２５の例は、信号処理部の最初にノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタ処理ＳＴ１を予め用意した場合のブロック図である。
【００９８】
露出設定時に決まる露出情報を取得し、コンボリューション制御部１５４を通じてカーネルデータを選択制御する。
２次元コンボリューション演算部１５２においては、前記ノイズ低減フィルタＳＴ１を施した後、カラーコンバージョン処理ＳＴ２によって色空間を変換、その後カーネルデータを用いてコンボリューション処理ＳＴ３を施す。
再度ノイズ処理ＳＴ４を行い、カラーコンバージョン処理ＳＴ５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばＹＣｂＣｒ変換が挙げられるが、他の変換でも構わない。
なお、再度のノイズ処理ＳＴ４は省略することも可能である。
【００９９】
図２６は、信号処理部とカーネルデータ格納ＲＯＭについての第３の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図２６の例は、露出情報に応じたＯＴＦ復元フィルタを予め用意した場合のブロック図である。
【０１００】
露出設定時に決まる露出情報を取得し、コンボリューション制御部１５４を通じてカーネルデータを選択制御する。
２次元コンボリューション演算部１５２は、ノイズ低減処理ＳＴ１１、カラーコンバージョン処理ＳＴ１２の後に、前記ＯＴＦ復元フィルタを用いてコンボリューション処理ＳＴ１３を施す。
再度ノイズ処理ＳＴ１４を行い、カラーコンバージョン処理ＳＴ１５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばＹＣｂＣｒ変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減処理ＳＴ１１、ＳＴ１４は、いずれか一方のみでもよい。
【０１０１】
図２７は、信号処理部とカーネルデータ格納ＲＯＭについての第４の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図２７の例は、ノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタを予め用意した場合のブロック図である。
なお、再度のノイズ処理ＳＴ２４は省略することも可能である。
露出設定時に決まる露出情報を取得し、コンボリューション制御部１５４を通じてカーネルデータを選択制御する。
２次元コンボリューション演算部１５２においては、ノイズ低減フィルタ処理ＳＴ２１を施した後、カラーコンバージョン処理ＳＴ２２によって色空間を変換、その後カーネルデータを用いてコンボリューション処理ＳＴ２３を施す。
再度、露出情報に応じたノイズ処理ＳＴ２４を行い、カラーコンバージョン処理ＳＴ２５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばＹＣｂＣｒ変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減処理ＳＴ２１は省略することも可能である。
【０１０２】
以上は露出情報のみに応じて２次元コンボリューション演算部１５２においてフィルタ処理を行う例を説明したが、たとえば被写体距離情報、ズーム情報、あるいは撮影モード情報と露出情報とを組み合わせることにより適した演算係数の抽出、あるいは演算を行うことが可能となる。
【０１０３】
図２８は、被写体距離情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
図２８は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号を生成する画像処理装置４００の構成例を示している。
【０１０４】
画像処理装置４００は、図２８に示すように、コンボリューション装置４０１、カーネル・数値演算係数格納レジスタ４０２、および画像処理演算プロセッサ４０３を有する。
【０１０５】
この画像処理装置４００においては、物体概略距離情報検出装置５００から読み出した被写体の物体距離の概略距離に関する情報および露出情報を得た画像処理演算プロセッサ４０３では、その物体離位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル、数値算係数格納レジスタ４０２に格納し、その値を用いて演算するコンボリューション装置４０１にて適正な演算を行い、画像を復元する。
【０１０６】
上述のように、光波面変調素子としての位相板(Wavefront Coding optical element)を有した撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
本例においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出装置５００により検出し、検出した距離に応じて異なる画像補正の処理を行うように構成されている。
【０１０７】
前記の画像処理はコンボリューション演算により行うが、これを実現するには、たとえばコンボリューション演算の演算係数を共通で１種類記憶しておき、焦点距離に応じて補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適性なコンボリューション演算を行う構成をとることができる。
この構成の他にも、以下の構成を採用することが可能である。
【０１０８】
焦点距離に応じて、カーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算を行う構成、焦点距離に応じた演算係数を関数として予め記憶しておき、焦点距離によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成等、を採用することが可能である。
【０１０９】
図２８の構成に対応付けると次のような構成をとることができる。
【０１１０】
変換係数記憶手段としてのレジスタ４０２に被写体距離に応じて少なくとも位相板１１３ａに起因する収差に対応した変換係数を少なくとも２以上予め記憶する。画像処理演算プロセッサ４０３が、被写体距離情報生成手段としての物体概略距離情報検出装置５００により生成された情報に基づき、レジスタ４０２から被写体までの距離に応じた変換係数を選択する係数選択手段として機能する。
そして、変換手段としてのコンボリューション装置４０１が、係数選択手段としての画像処理演算プロセッサ４０３で選択された変換係数によって、画像信号の変換を行う。
【０１１１】
または、前述したように、変換係数演算手段としての画像処理演算プロセッサ４０３が、被写体距離情報生成手段としての物体概略距離情報検出装置５００により生成された情報に基づき変換係数を演算し、レジスタ４０２に格納する。
そして、変換手段としてのコンボリューション装置４０１が、変換係数演算手段としての画像処理演算プロセッサ４０３で得られレジスタ４０２に格納された変換係数によって、画像信号の変換を行う。
【０１１２】
または、補正値記憶手段としてのレジスタ４０２にズーム光学系１１０のズーム位置またはズーム量に応じた少なくとも１以上の補正値を予め記憶する。この補正値には、被写体収差像のカーネルサイズを含まれる。
第２変換係数記憶手段としても機能するレジスタ４０２に、位相板１１３ａに起因する収差に対応した変換係数を予め記憶する。
そして、被写体距離情報生成手段としての物体概略距離情報検出装置５００により生成された距離情報に基づき、補正値選択手段としての画像処理演算プロセッサ４０３が、補正値記憶手段としてのレジスタ４０２から被写体までの距離に応じた補正値を選択する。
変換手段としてのコンボリューション装置４０１が、第２変換係数記憶手段としてのレジスタ４０２から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ４０３により選択された補正値とに基づいて画像信号の変換を行う。
【０１１３】
図２９は、ズーム情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
図２９は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号を生成する画像処理装置４００Ａの構成例を示している。
【０１１４】
画像処理装置４００Ａは、図２８と同様に、図２９に示すように、コンボリューション装置４０１、カーネル・数値演算係数格納レジスタ４０２、および画像処理演算プロセッサ４０３を有する。
【０１１５】
この画像処理装置４００Ａにおいては、ズーム情報検出装置６００から読み出したズーム位置またはズーム量に関する情報および露出情報を得た画像処理演算プロセッサ４０３では、露出情報およびそのズーム位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル、数値演算係数格納レジスタ４０２に格納し、その値を用いて演算するコンボリューション装置４０１にて適正な演算を行い、画像を復元する。
【０１１６】
上述したように、光波面変調素子としての位相板をズーム光学系に有した撮像装置に適用する場合、ズーム光学系のズーム位置によって生成されるスポット像が異なる。このため、位相板より得られる焦点ズレ画像（スポット画像）を後段のＤＳＰ等でコンボリューション演算する際、適性な焦点合わせ画像を得るためには、ズーム位置に応じて異なるコンボリューション演算が必要となる。
そこで、本実施形態においては、ズーム情報検出装置６００を設け、ズーム位置に応じて適正なコンボリューション演算を行い、ズーム位置によらず適性な焦点合わせ画像を得るように構成されている。
【０１１７】
画像処理装置４００Ａにおける適正なコンボリーション演算には、コンボリューションの演算係数をレジスタ４０２に共通で１種類記憶しておく構成をとることができる。
この構成の他にも、以下の構成を採用することが可能である。
【０１１８】
各ズーム位置に応じて、レジスタ４０２に補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適性なコンボリューション演算を行う構成、各ズーム位置に応じて、レジスタ４０２にカーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算行う構成、ズーム位置に応じた演算係数を関数としてレジスタ４０２に予め記憶しておき、ズーム位置によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成等を採用することが可能である。
【０１１９】
図２９の構成に対応付けると次のような構成をとることができる。
【０１２０】
変換係数記憶手段としてのレジスタ４０２にズーム光学系１１０のズーム位置またはズーム量に応じた位相板１１３ａに起因する収差に対応した変換係数を少なくとも２以上予め記憶する。画像処理演算プロセッサ４０３が、ズーム情報生成手段としてのズーム情報検出装置６００により生成された情報に基づき、レジスタ４０２からズーム光学系１１０のズ−ム位置またはズーム量に応じた変換係数を選択する係数選択手段として機能する。
そして、変換手段としてのコンボリューション装置４０１が、係数選択手段としての画像処理演算プロセッサ４０３で選択された変換係数によって、画像信号の変換を行う。
【０１２１】
または、前述したように、変換係数演算手段としての画像処理演算プロセッサ４０３が、ズーム情報生成手段としてのズーム情報検出装置６００により生成された情報に基づき変換係数を演算し、レジスタ４０２に格納する。
そして、変換手段としてのコンボリューション装置４０１が、変換係数演算手段としての画像処理演算プロセッサ４０３で得られレジスタ４０２に格納された変換係数によって、画像信号の変換を行う。
【０１２２】
または、補正値記憶手段としてのレジスタ４０２にズーム光学系１１０のズーム位置またはズーム量に応じた少なくとも１以上の補正値を予め記憶する。この補正値には、被写体収差像のカーネルサイズを含まれる。
第２変換係数記憶手段としても機能するレジスタ４０２に、位相板１１３ａに起因する収差に対応した変換係数を予め記憶する。
そして、ズーム情報生成手段としてのズーム情報検出装置６００により生成されたズーム情報に基づき、補正値選択手段としての画像処理演算プロセッサ４０３が、補正値記憶手段としてのレジスタ４０２からズーム光学系のズーム位置またはズーム量に応じた補正値を選択する。
変換手段としてのコンボリューション装置４０１が、第２変換係数記憶手段としてのレジスタ４０２から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ４０３により選択された補正値とに基づいて画像信号の変換を行う。
【０１２３】
図３０に、露出情報と、物体距離情報と、ズーム情報とを用いた場合のフィルタの構成例を示す。
この例では、物体距離情報とズーム情報で２次元的な情報を形成し、露出情報が奥行きのような情報を形成している。
【０１２４】
図３１は、撮影モード情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
図３１は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号を生成する画像処理装置４００Ｂの構成例を示している。
【０１２５】
画像処理装置４００Ｂは、図２８および図２９と同様に、図３１に示すように、コンボリューション装置４０１、記憶手段としてのカーネル・数値演算係数格納レジスタ４０２、および画像処理演算プロセッサ４０３を有する。
【０１２６】
この画像処理装置４００Ｂにおいては、物体概略距離情報検出装置７００から読み出した被写体の物体距離の概略距離に関する情報および露出情報を得た画像処理演算プロセッサ４０３では、その物体離位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル、数値算係数格納レジスタ４０２に格納し、その値を用いて演算するコンボリューション装置４０１にて適正な演算を行い、画像を復元する。
【０１２７】
この場合も上述のように、光波面変調素子としての位相板(Wavefront Coding optical element)を有した撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、上記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
本例においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出装置７００により検出し、検出した距離に応じて異なる画像補正の処理を行うことにように構成されている。
【０１２８】
上記の画像処理はコンボリューション演算により行うが、これを実現するには、コンボリューション演算の演算係数を共通で１種類記憶しておき、物体距離に応じて補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適性なコンボリューション演算を行う構成、物体距離に応じた演算係数を関数として予め記憶しておき、焦点距離によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成、物体距離に応じて、カーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算を行う構成等、を採用することが可能である。
【０１２９】
本実施形態においては、上述したように、ＤＳＣのモード設定（ポートレイト、無限遠（風景）、マクロ）に応じて画像処理を変更する。
【０１３０】
図３１の構成に対応付けると次のような構成をとることができる。
【０１３１】
前述したように、変換係数演算手段としての画像処理演算プロセッサ４０３を通して操作部１９０の撮影モード設定部８００により設定される各撮影モードに応じて異なる変換係数を変換係数記憶手段としてのレジスタ４０２に格納する。
画像処理演算プロセッサ４０３が、撮影モード設定部８００の操作スイッチ８０１により設定された撮影モードに応じて、被写体距離情報生成手段としての物体概略距離情報検出装置７００により生成された情報に基づき、変換係数記憶手段としてのレジスタ４０２から変換係数を抽出する。このとき、たとえば画像処理演算プロセッサ４０３が変換係数抽出手段として機能する。
そして、変換手段としてのコンボリューション装置４０１が、レジスタ４０２に格納された変換係数によって、画像信号の撮影モードに応じた変換処理を行う。
【０１３２】
なお、図１６や図１７の光学系は一例であり、本発明は図１６や図１７の光学系に対して用いられるものとは限らない。また、スポット形状についても図１８および図１９は一例であり、本実施形態のスポット形状は、図１８および図１９に示すものとは限らない。
また、図２１および図２２のカーネルデータ格納ＲＯＭに関しても、光学倍率、Ｆナンバやそれぞれのカーネルのサイズ、値に対して用いられるものとは限らない。また用意するカーネルデータの数についても３個とは限らない。
図３０のように３次元、さらには４次元以上とすることで格納量が多くなるが、種々の条件を考慮してより適したものを選択することができるようになる。情報としては、上述した露出情報、物体距離情報、ズーム情報、撮像モード情報等であればよい。
【０１３３】
なお、上述のように、光波面変調素子としての位相板(Wavefront Coding optical element)を有した撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
【０１３４】
本実施形態においては、ＤＥＯＳを採用し、高精細な画質を得ることが可能で、しかも、光学系を簡単化でき、コスト低減を図ることが可能となっている。
以下、この特徴について説明する。
【０１３５】
図３２（Ａ）〜（Ｃ）は、撮像素子１２０の受光面でのスポット像を示している。
図３２（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、図３２（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、図３２（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示している。
図３２（Ａ）〜（Ｃ）からもわかるように、本実施形態に係る撮像装置１００においては、位相板１１３ａを含む波面形成用光学素子群１１３によって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）が形成される。
【０１３６】
このように、本実施形態の撮像装置１００において形成された１次画像ＦＩＭは、深度が非常に深い光束条件にしている。
【０１３７】
図３３（Ａ），（Ｂ）は、本実施形態に係る撮像レンズ装置により形成される１次画像の変調伝達関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）について説明するための図であって、図３３（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、図３３（Ｂ）が空間周波数に対するＭＴＦ特性を示している。
本実施形態においては、高精細な最終画像は後段の、たとえばデジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）からなる画像処理装置１５０の補正処理に任せるため、図３３（Ａ），（Ｂ）に示すように、１次画像のＭＴＦは本質的に低い値になっている。
【０１３８】
画像処理装置１５０は、上述したように、撮像素子１２０による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する。
【０１３９】
画像処理装置１５０のＭＴＦ補正処理は、たとえば図３４の曲線Ａで示すように、本質的に低い値になっている１次画像のＭＴＦを、空間周波数をパラメータとしてエッジ強調、クロマ強調等の後処理にて、図３４中曲線Ｂで示す特性に近づく（達する）ような補正を行う。
図３４中曲線Ｂで示す特性は、たとえば本実施形態のように、波面形成用光学素子を用いずに波面を変形させない場合に得られる特性である。
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。
【０１４０】
本実施形態においては、図３４に示すように、光学的に得られる空間周波数に対するＭＴＦ特性曲線Ａに対して、最終的に実現したいＭＴＦ特性曲線Ｂを達成するためには、それぞれの空間周波数に対し、エッジ強調等の強弱を付け、元の画像（１次画像）に対して補正をかける。
たとえば、図３４のＭＴＦ特性の場合、空間周波数に対するエッジ強調の曲線は、図３５に示すようになる。
【０１４１】
すなわち、空間周波数の所定帯域内における低周波数側および高周波数側でエッジ強調を弱くし、中間周波数領域においてエッジ強調を強くして補正を行うことにより、所望のＭＴＦ特性曲線Ｂを仮想的に実現する。
【０１４２】
このように、実施形態に係る撮像装置１００は、基本的に、１次画像を形成する光学系１１０および撮像素子１２０と、１次画像を高精細な最終画像に形成する画像処理装置１５０からなり、光学系システムの中に、波面成形用の光学素子を新たに設けるか、またはガラス、プラスチックなどのような光学素子の面を波面成形用に成形したものを設けることにより、結像の波面を変形（変調）し、そのような波面をＣＣＤやＣＭＯＳセンサからなる撮像素子１２０の撮像面（受光面）に結像させ、その結像１次画像を、画像処理装置１５０を通して高精細画像を得る画像形成システムである。
本実施形態では、撮像素子１２０による１次画像は深度が非常に深い光束条件にしている。そのために、１次画像のＭＴＦは本質的に低い値になっており、そのＭＴＦの補正を画像処理装置１５０で行う。
【０１４３】
ここで、本実施形態における撮像装置１００における結像のプロセスを、波動光学的に考察する。
物点の１点から発散された球面波は結像光学系を通過後、収斂波となる。そのとき、結像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な形状となる。幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便利である。
結像面における波動光学的ＭＴＦを扱うとき、結像光学系の射出瞳位置における波面情報が重要となる。
ＭＴＦの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。その波動光学的強度分布は波動光学的振幅分布を２乗して得られるが、その波動光学的振幅分布は射出瞳における瞳関数のフーリエ変換から求まる。
さらにその瞳関数はまさに射出瞳位置における波面情報（波面収差）そのものからであることから、その光学系１１０を通して波面収差が厳密に数値計算できればＭＴＦが計算できることになる。
【０１４４】
したがって、所定の手法によって射出瞳位置での波面情報に手を加えれば、任意に結像面におけるＭＴＦ値は変更可能である。
本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主であるが、まさにｐｈａｓｅ（位相、光線に沿った光路長）に増減を設けて目的の波面形成を行っている。
そして、目的の波面形成を行えば、射出瞳からの射出光束は、図３２（Ａ）〜（Ｃ）に示す幾何光学的なスポット像からわかるように、光線の密な部分と疎の部分から形成される。
この光束状態のＭＴＦは空間周波数の低いところでは低い値を示し、空間周波数の高いところまでは何とか解像力は維持している特徴を示している。
すなわち、この低いＭＴＦ値（または、幾何光学的にはこのようなスポット像の状態）であれば、エリアジングの現象を発生させないことになる。
つまり、ローパスフィルタが必要ないのである。
そして、後段のＤＳＰ等からなる画像処理装置１５０でＭＴＦ値を低くしている原因のフレアー的画像を除去すれば良いのである。それによってＭＴＦ値は著しく向上する。
【０１４５】
次に、本実施形態および従来光学系のＭＴＦのレスポンスについて考察する。
【０１４６】
図３６は、従来の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。
図３７は、光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。
また、図３８は、本実施形態に係る撮像装置のデータ復元後のＭＴＦのレスポンスを示す図である。
【０１４７】
図からもわかるように、光波面変調素子を有する光学系の場合、物体が焦点位置から外れた場合でもＭＴＦのレスポンスの変化が光波面変調素子を挿入してない光学径よりも少なくなる。
この光学系によって結像された画像を、コンボリューションフィルタによる処理によって、ＭＴＦのレスポンスが向上する。
【０１４８】
以上説明したように、本実施形態によれば、合焦位置でもピントを結ばないがその前後でほぼＰＳＦ（Point Spread Function 点広がり関数）が一定になるように設計された光学系１１０、および光学系の像をとらえる撮像素子１２０とを含む撮像装置３００と、複数の画像処理フィルタを有し選択指示されたフィルタを用いてボケ復元処理を行う画像処理装置１５０と、撮像装置３００の被写体像の撮像状態に対応して画像フィルタを選択するように指示する露出制御装置２００と、を有することから、以下の効果を得ることができる。
高フレームレートを保持しつつ、高価なぼけ復元処理ハードウェアを必要とすることなく、光学系を簡単化でき、コスト低減を図ることができ、ピント精度が高く、ノイズの影響が小さくい復元画像を得ることが可能で、しかも高い信頼性と耐久性を持つことができる利点がある。
【０１４９】
また、前記ＰＳＦのボケ幅は画像モニタリング装置１８０の画素ピッチの２倍程度以下に設定したので、たとえボケたままのスルー画とは言ってもモニタの細かさと同レベルであるので実質モニタ上では気になるようなボケは生じない。
また、トリガ信号を受けてキャプチャした画像に対してはボケ復元処理を行う画像処理装置１５０の中で前記ＰＳＦに応じたボケ復元処理の終了後カメラ処理を行った後にモニタに画像を出力するようにした。
また、スルー画中はモニタで必要な画像サイズレベルの小さい画像を撮像素子１２０から出力するようにしたので、スルー画中は高いフレームレートを実現でき、リソースに余裕が生まれるので消費電力を低減できる。
【０１５０】
また、本実施形態によれば、１次画像を形成する光学系１１０および撮像素子１２０と、１次画像を高精細な最終画像に形成する画像処理装置１５０とを含み、画像処理装置１５０において、露出制御装置２００からの露出情報に応じて光学的伝達関数（OTF）に対してフィルタ処理を行うことから、光学系を簡単化でき、コスト低減を図ることができ、しかもノイズの影響が小さい復元画像を得ることができる利点がある。
また、コンボリューション演算時に用いるカーネルサイズやその数値演算で用いられる係数を可変とし、操作部１９０等の入力により知り、適性となるカーネルサイズや上述した係数を対応させることにより、倍率やデフォーカス範囲を気にすることなくレンズ設計ができ、かつ精度の高いコンボリュ−ションによる画像復元が可能となる利点がある。
また、難度が高く、高価でかつ大型化した光学レンズを必要とせずに、かつ、レンズを駆動させること無く、撮影したい物体に対してピントが合い、背景はぼかすといった、いわゆる自然な画像を得ることができる利点がある。
そして、本実施形態に係る撮像装置１００は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたズームレンズのＤＥＯＳに使用することが可能である。
【０１５１】
また、本実施形態においては、結像レンズ１１２による撮像素子１２０の受光面への結像の波面を変形させる波面形成用光学素子を有する撮像レンズ系と、撮像素子１２０による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する画像処理装置１５０とを有することから、高精細な画質を得ることが可能となるという利点がある。
また、光学系１１０の構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。
【０１５２】
ところで、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、画素ピッチから決まる解像力限界が存在し、光学系の解像力がその限界解像力以上であるとエリアジングのような現象が発生し、最終画像に悪影響を及ぼすことは周知の事実である。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。
【０１５３】
しかし、上述したように、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、エリアジングが発生する。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。
このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用することは光学系をより複雑にしているという不利益がある。
【０１５４】
以上のように、時代の趨勢でますます高精細の画質が求められているにもかかわらず、高精細な画像を形成するためには、従来の撮像レンズ装置では光学系を複雑にしなければならない。複雑にすれば、製造が困難になったりし、また高価なローパスフィルタを利用したりするとコストアップにつながる。
しかし、本実施形態によれば、ローパスフィルタを用いなくとも、エリアジングの現象の発生を避けることができ、高精細な画質を得ることができる。
【０１５５】
なお、本実施形態において、光学系の波面形成用光学素子を絞りより物体側レンズよりに配置した例を示したが、絞りと同一あるいは絞りより結像レンズ側に配置しても前記と同様の作用効果を得ることができる。
【０１５６】
また、図１６や図１７の光学系は一例であり、本発明は図１６や図１７の光学系に対して用いられるものとは限らない。また、スポット形状についても図１８および図１９は一例であり、本実施形態のスポット形状は、図１８および図１９に示すものとは限らない。
また、図２１および図２２のカーネルデータ格納ＲＯＭに関しても、光学倍率、Ｆナンバやそれぞれのカーネルのサイズ、値に対して用いられるものとは限らない。また用意するカーネルデータの数についても３個とは限らない。
【０１５７】
なお、以上の実施形態は光学系が一つの場合を例に説明したが、光学系を複数有する撮像装置に対しても本発明は適用可能である。
【０１５８】
図３９は、本発明に係る光学系を複数有する撮像装置の一実施形態を示すブロック構成図である。
【０１５９】
本撮像装置１００Ａと図１の撮像装置１００と異なる点は、光学ユニット１１０Ａは、複数（本実施形態では２）の光学系１１０−１，１１０−２を露出制御装置２００の代わりシステム制御装置２００Ａを設け、さらに光学系切替制御部２２０を設けたことにある。
【０１６０】
光学ユニット１１０Ａは、複数（本実施形態では２）の光学系１１０−１，１１０−２を有し、光学系切替制御部２０１の切り替え処理に応じて被写体物体ＯＢＪを撮影した像を順番に撮像素子１２０に供給する。
各光学系１１０−１，１１０−２は、光学倍率が異なり、撮像対象物体（被写体）ＯＢＪの映像を光学的に取り込む。
【０１６１】
システム制御装置２００Ａは、基本的に露出制御装置と同様の機能を有し、操作部１９０などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、光学系切替制御部２２０、ズームドライバ１３０、ＡＦＥ１４０、画像処理装置１５０、ＤＳＰ１６０等を制御し、システム全体の調停制御を司るものである。
【０１６２】
その他の構成は図１と同様である。
【０１６３】
図４０は、システム制御装置２００Ａの光学系設定処理の概要を示すフローチャートである。
まず、光学系を確認し（ＳＴ１１１）、カーネルデータをセットする（ＳＴ１１２）。
そして、操作部１９０の操作により光学系の切り替え指示がなされると（ＳＴ１１３）、光学系切替制御部２２０により光学ユニット１１０Ａの光学系の出力を切り替え、ステップＳＴ１１１の処理を行う（ＳＴ１１４）。
【０１６４】
図３９の実施形態によれば、前述した図１の撮像装置の効果に加えて以下の効果を得ることができる。
すなわち、図３９の撮像装置においては、１次画像を形成する倍率の異なる複数の光学系１１０−１，２を含む光学ユニット１１０Ａおよび撮像素子１２０と、１次画像を高精細な最終画像に形成する画像処理装置１５０とを含み、画像処理装置１５０において、光学系の倍率に応じて、コンボリューション演算時に用いるカーネルサイズやその数値演算で用いられる係数を可変とし、操作部１９０等の入力により知り、その光学系の倍率に応じた適性となるカーネルサイズや上述した係数を対応させることにより、倍率やデフォーカス範囲を気にすることなくレンズ設計ができ、かつ精度の高いコンボリュ−ションによる画像復元が可能となる利点がある。
また、難度が高く、高価でかつ大型化した光学レンズを必要とせずに、かつ、レンズを駆動させること無く、撮影したい物体に対してピントが合い、背景はぼかすといった、いわゆる自然な画像を得ることができる利点がある。
そして、本実施形態に係る撮像装置１００Ａは、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたズームレンズのＤＥＯＳに使用することが可能である。
【０１６５】
また、上述の説明では、焦点ボケ補正のためのフィルタリング処理を行う画像処理装置を含む撮像装置１００として説明したが、たとえば図４１に示すように、１または複数(図４１では３つ)の撮像装置３００Ｂ〜３００Ｄと処理装置９００とを離間して配置し、処理装置側に画像処理系を配置して、撮像装置側３００Ｂ〜３００Ｄから順番にあるいは選択的に、撮像して得られた画像データと、撮影方向の違いによる被写体距離および画角の検出情報に応じたコンボリューション係数を特定する係数特定情報とを処理装置に送信し、処理装置９００では、受信した係数特定情報に基づきフィルタ処理に用いるコンボリューション係数を選択し、この選択したコンボリューション係数を用いて受信した画像データにフィルタ処理を行うように構成することも可能である。
【０１６６】
本カメラシステム１００Ｂは、複数（本実施形態においては３つ）の光学システムである撮像装置３００Ｂ，３００Ｃ，３００Ｄと処理装置９００とを有する。
そして、カメラシステム１００Ｂは、各撮像装置３００Ｂ，３００Ｃ，３００Ｄの撮像画像データ、光学システムの種類、画像取り込み時の撮影方向の違いによる被写体距離および画角の検出情報に応じたコンボリューション係数を特性する係数特定情報を、無線あるいは有線にて処理装置９００に送信可能に構成されている。
【０１６７】
各撮像装置３００Ｂ，３００Ｃ，３００Ｄは、基本的には、図４１に示すように、たとえば光学系１１０Ｂ〜Ｄ、位相板等の光波面変調素子群１１３Ｂ〜Ｄ、光学系１１０Ｂ〜Ｄと光波面変調素子群１１３Ｂ〜Ｄとを通過した被写体収差画像を撮像可能な撮像素子１２０Ｂ〜Ｄと、コンボリューション係数を特定する係数特定情報を記憶する撮像装置側記憶部３２０Ｂ〜Ｄと、撮像素子１２０Ｂ〜Ｄから得られた被写体収差画像データと記憶部３２０Ｂ〜Ｄに記憶された係数特定情報とを無線または有線で送信する送信部３３０Ｂ〜Ｄと、を主構成要素として有している。
【０１６８】
処理装置９００は、送信されてきた係数特定情報に基づき、あらかじめ記憶した複数のコンボリューション係数から一の係数を取得して、撮像素子１２０Ｂ〜Ｄからの分散画像信号より分散のない被写体画像データを生成する。
【０１６９】
処理装置９００は、図４１に示すように、受信部９１０、受信情報コントロール部９２０、コンボリューション装置９３０、カーネル・数値演算係数格納レジスタ９４０、および画像処理演算プロセッサ９５０を有する。
【０１７０】
図４２は、受信側である処理装置９００の処理概要を示すフローチャートである。
【０１７１】
この処理装置９００においては、画像処理演算プロセッサ９５０により、この複数の光学システムである撮像装置３００Ｂ〜３００Ｄを順次に駆動させる。その際、各撮像装置３００Ｂ〜３００Ｄの取り込んだ画像転送が受信部９１０において、重複しないよう受信部９１０より各撮像装置３００Ｂ〜３００Ｄからの送信情報の受信タイミングを制御する。
次に、画像取り込みを指示された単一の光学システム、たとえば撮像装置３００Ｂは、画像情報を取り込み、その画像情報を送信部３３０Ｂに伝達する。
画像情報を伝達された送信部３３０Ｂは、受信部９１０との同期を取りながら、画像情報、光学システムの種類（ＢｏｒＣｏｒＤ）、カーネル、数値演算格納レジスタ９４０の最適値決定の要因となる情報（係数特定情報）を付加して、受信部９１０にデータを無線、あるいは有線で送信する。
情報を受信した受信部９１０は、その最適値決定の要因となる情報を受信情報コントロール部９２０に転送する（ＳＴ１１１〜ＳＴ１１３）。
この受信情報コントロール部９２０は、カーネル、数値演算格納レジスタ９４０より、その最適値をコンボリューション装置９３０にセットする（ＳＴ１１４）。
コンボリューション装置９３０は、取り込まれた画像情報とセットされた最適値であるカーネル、数値演算値を用い画像の最適復元を行う（ＳＴ１１５）。
【０１７２】
図４１の構成によれば、前述したと同様の効果を得ることができることはもとより、複数の光学システムの画像復元を一つの装置で行うことができる。したがって、監視カメラシステム等に最適である。
【図面の簡単な説明】
【０１７３】
【図１】本発明に係るカメラシステムの一実施形態を示すブロック構成図である。
【図２】本実施形態に係る撮像装置の基台への搭載例を示す図である。
【図３】基台により切り替えられる撮像装置の撮像方向を示す図である。
【図４】基台に搭載された撮像装置(カメラ)の向きを説明するための図である。
【図５】図４の撮像方向に対応する撮像対象エリアを示す図である。
【図６】左右スイッチおよび距離スイッチを設けた場合のスイッチの状態と図５の撮像エリアとの関係を示す図である。
【図７】本実施形態に係る遠近切り替えスイッチの構成例を示す図である。
【図８】遠近切り替えスイッチにおける信号Ｓ１、Ｓ２のレベルと距離との関係を示す図である。
【図９】距離に応じた撮像画像の画角を対比的に示す図である。
【図１０】一般的な結像光学系の光線高さとデフォーカスとの関係を示す図である。
【図１１】本実施形態の光学系の結像付近の光学特性を示す図である。
【図１２】一般的な光学系のベストフォーカス（ＢｅｓｔＦｏｃｕｓ）位置でのＭＴＦ（Modulation Transfer Function 振幅伝達関数）特性図である。
【図１３】本実施形態の光学系のＭＴＦ特性を示す図である。
【図１４】本実施形態におけるボケ復元処理の説明図である。
【図１５】モニタの画素配列の例を示す図である。
【図１６】本実施形態に係る撮像レンズ装置の広角側のズーム光学系の構成例を模式的に示す図である。
【図１７】本実施形態に係る撮像レンズ装置の望遠側のズーム光学系の構成例を模式的に示す図である。
【図１８】広角側の像高中心のスポット形状を示す図である。
【図１９】望遠側の像高中心のスポット形状を示す図である。
【図２０】ＤＥＯＳの原理を説明するための図である。
【図２１】カーネルデータＲＯＭの格納データの一例（光学倍率）を示す図である。
【図２２】カーネルデータＲＯＭの格納データの他例（Ｆナンバ）を示す図である。
【図２３】露出制御装置の光学系設定処理の概要を示すフローチャートである。
【図２４】信号処理部とカーネルデータ格納ＲＯＭについての第１の構成例を示す図である。
【図２５】信号処理部とカーネルデータ格納ＲＯＭについての第２の構成例を示す図である。
【図２６】信号処理部とカーネルデータ格納ＲＯＭについての第３の構成例を示す図である。
【図２７】信号処理部とカーネルデータ格納ＲＯＭについての第４の構成例を示す図である。
【図２８】被写体距離情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
【図２９】ズーム情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
【図３０】露出情報と、物体距離情報と、ズーム情報とを用いた場合のフィルタの構成例を示す図である。
【図３１】撮影モード情報と露出情報とを組み合わせる画像処理装置の構成例を示図である。
【図３２】本実施形態に係る撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。
【図３３】本実施形態に係る撮像素子により形成される１次画像のＭＴＦについて説明するための図であって、（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、（Ｂ）が空間周波数に対するＭＴＦ特性を示している。
【図３４】本実施形態に係る画像処理装置におけるＭＴＦ補正処理を説明するための図である。
【図３５】本実施形態に係る画像処理装置におけるＭＴＦ補正処理を具体的に説明するための図である。
【図３６】従来の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。
【図３７】光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。
【図３８】本実施形態に係る撮像装置のデータ復元後のＭＴＦのレスポンスを示す図である。
【図３９】本発明に係る光学系を複数有するカメラシステムの一実施形態を示すブロック構成図である。
【図４０】図３９のシステム制御装置の光学系設定処理の概要を示すフローチャートである。
【図４１】撮像装置と処理装置を分離したカメラシステムの構成例を示す図である。
【図４２】図４１の処理装置の処理概要を示すフローチャートである。
【図４３】一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
【図４４】図４３の撮像レンズ装置の撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。
【符号の説明】
【０１７４】
１００，１００Ａ，１００Ｂ…カメラシステム、１１０…光学系、１２０…撮像素子、１３０…ズームドライバ、１４０…アナログフロントエンド部（ＡＦＥ）、１５０…画像処理装置、１６０…カメラ信号処理部、１９０…操作部、２００…露出制御装置、２００Ａ…システム制御装置、１１１…物体側レンズ、１１２…結像レンズ、１１３…光波面変調素子群、１１３ａ…位相板（光波面変調素子）、１５２…コンボリューション演算器、１５３…カーネルデータＲＯＭ、１５４…コンボリューション制御部、３００，３００Ａ〜３００Ｄ…撮像装置、３１０…基台、３３０Ｂ〜３３０Ｄ…送信部、９００…処理装置、９１０…受信部。
【出願人】 【識別番号】０００００６６３３
【氏名又は名称】京セラ株式会社
【出願日】 平成１８年１１月２９日（２００６．１１．２９）
【代理人】 【識別番号】１０００９４０５３
【弁理士】
【氏名又は名称】佐藤 隆久
【公開番号】 特開２００８−１１４９１（Ｐ２００８−１１４９１Ａ）
【公開日】 平成２０年１月１７日（２００８．１．１７）
【出願番号】 特願２００６−３２１７５５（Ｐ２００６−３２１７５５）