トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 撮像装置、およびその製造方法
【発明者】 【氏名】大原 直人

【氏名】林 佑介
【要約】 【課題】光学系を簡単化でき、コスト低減を図ることができ、適切な画質の、ノイズの影響が小さい復元画像を得ることが可能な撮像装置、およびその製造方法を提供する。

【構成】１次画像を形成する光学系１１０および撮像素子１２０と、１次画像を高精細な最終画像に形成する画像処理装置１４０とを含み、光学系１１０は、光学的伝達関数（ＯＴＦ）を変調させる光波面変調素子と、光波面変調素子と隣接して配置された絞りと、を有し、絞りアパーチャー径をφとし、絞りと位相変調素子のなす間隔をＤとすると、φ×Ｄ＜２という条件式を満足する。
【特許請求の範囲】
【請求項１】
光学系と、
光学的伝達関数（ＯＴＦ）を変調させる光波面変調素子と、
前記光波面変調素子と隣接して配置された絞りと、
前記光学系および前記光波面変調素子を通過した被写体像を撮像する撮像素子と、を有し、
絞りアパーチャー径をφ[mm]とし、絞りと光波面変調素子のなす間隔をＤ[mm]とすると、以下の条件式（１）を満足する
撮像装置。
φ×Ｄ＜２ ・・・（１）
【請求項２】
前記光学系において、
前記絞りと光波面変調素子が隣接して、絞り部テレセントリック性を維持し、
前記光波面変調素子と絞りの間で最周辺の主光線がFno光線と交わらない
請求項１記載の撮像装置。
【請求項３】
前記光学系において、
像側テレセントリック性を維持し、
前記撮像素子の感度と光線の入力角との関係を示すシェーディングカーブと上光線と主光線で囲まれた面積をＳ１、撮像素子のシェーディングカーブと下光線と主光線で囲まれた面積をＳ２とすると、以下の条件式（２）を満足する
請求項１または２記載の撮像装置。
０．５ ＜ Ｓ１/Ｓ２ ＜ ２．０ ・・・（２）
【請求項４】
絞りアパーチャー径をφとし、絞りと光波面変調素子のなす間隔をＤとすると、以下の条件式（３）を満足し、
前記光学系において、
前記絞りと光波面変調素子が隣接して、絞り部テレセントリック性を維持し、
絞りに入射する最周辺主光線入射角度をαとすると、以下の条件式（４）を満足する
請求項１から３のいずれか一に記載の撮像装置。
φ／Ｄ＜１ ・・・（３）
α＜４５° ・・・（４）
【請求項５】
前記光波面変調素子が、前記光学系の光軸をｚ軸とし、互いに直交する２軸をｘ、ｙとしたとき、位相が下記式で表される
請求項１から４のいずれか一に記載の撮像装置。
【数１】


【請求項６】
前記光波面変調素子は、光波面変調面が光学レンズの一部として形成されている
請求項１から５のいずれか一に記載の撮像装置。
【請求項７】
前記撮像素子からの被写体分散画像信号より分散のない画像信号を生成する変換手段を有する
請求項１から６のいずれか一に記載の撮像装置。
【請求項８】
光学系と、
光学的伝達関数（ＯＴＦ）を変調させる光波面変調素子と、
絞りと、
前記光学系および前記光波面変調素子を通過した被写体像を撮像する撮像素子と、を有する撮像装置の製造方法であって、
絞りアパーチャー径をφ[mm]とし、絞りと位相変調素子のなす間隔をＤ[mm]とすると、以下の条件式（１）を満足するように、前記光波面変調素子と前記絞りを隣接配置する
撮像装置の製造方法。
φ×Ｄ＜２ ・・・（１）
【請求項９】
前記光学系において、
絞り部テレセントリック性を維持し、前記光波面変調素子と絞りの間で最周辺の主光線がFno光線と交わらないように前記絞りと光波面変調素子を隣接して配置する、
請求項８記載の撮像装置の製造方法。
【請求項１０】
前記光学系において、
像側テレセントリック性を維持し、
前記撮像素子の感度と光線の入力角との関係を示すシェーディングカーブと上光線と主光線で囲まれた面積をＳ１、撮像素子のシェーディングカーブと下光線と主光線で囲まれた面積をＳ２とすると、以下の条件式（２）を満足する
請求項８または９記載の撮像装置の製造方法。
０．５ ＜ Ｓ１/Ｓ２ ＜ ２．０ ・・・（２）
【請求項１１】
絞りアパーチャー径をφとし、絞りと光波面変調素子のなす間隔をＤとすると、以下の条件式（３）を満足し、
前記光学系において、
前記絞りと光波面変調素子が隣接して、絞り部テレセントリック性を維持し、
絞りに入射する最周辺主光線入射角度をαとすると、以下の条件式（４）を満足する
請求項８から１０のいずれか一に記載の撮像装置の製造方法。
φ／Ｄ＜１ ・・・（３）
α＜４５° ・・・（４）
【請求項１２】
前記光波面変調素子が、前記光学系の光軸をｚ軸とし、互いに直交する２軸をｘ、ｙとしたとき、位相が下記式で表される
請求項８から１１のいずれか一に記載の撮像装置の製造方法。
【数２】


【請求項１３】
前記光波面変調素子は、光波面変調面が光学レンズの一部として形成されている
請求項８から１２のいずれか一に記載の撮像装置の製造方法。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、撮像素子を用い、光学系を備えたデジタルスチルカメラや携帯電話搭載カメラ、携帯情報端末搭載カメラ、画像検査装置、自動制御用産業カメラ等の撮像装置、およびその製造方法に関するものである。
【背景技術】
【０００２】
近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもその対応が著しい。
特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに変わって固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサが使用されているのが大半である。
【０００３】
このように、撮像素子にＣＣＤやＣＭＯＳセンサを使った撮像レンズ装置は、被写体の映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出するものであり、デジタルスチルカメラの他、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ ＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、画像検査装置、自動制御用産業カメラ等に用いられている。
【０００４】
図４５は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
この撮像レンズ装置１は、光学系２とＣＣＤやＣＭＯＳセンサ等の撮像素子３とを有する。
光学系は、物体側レンズ２１，２２、絞り２３、および結像レンズ２４を物体側（ＯＢＪＳ）から撮像素子３側に向かって順に配置されている。
【０００５】
撮像レンズ装置１においては、図４５に示すように、ベストフォーカス面を撮像素子面上に合致させている。
図４６（Ａ）〜（Ｃ）は、撮像レンズ装置１の撮像素子３の受光面でのスポット像を示している。
【０００６】
また、位相板により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする等の撮像装置が提案されている（たとえば非特許文献１，２、特許文献１〜５参照）。
また、伝達関数を用いたフィルタ処理を行うデジタルカメラの自動露出制御システムが提案されている（たとえば特許文献６参照）。
【０００７】
また、ピント合わせの手法として、コントラストのピーク値を取得し、ピント位置を決定するという、いわゆる「山登りオートフォーカス（ＡＦ）方式」が知られている。
【非特許文献１】“Wavefront Coding;jointly optimized optical and digital imaging systems”,Edward R.Dowski,Jr.,Robert H.Cormack,Scott D.Sarama.
【非特許文献２】“Wavefront Coding;A modern method of achieving high performance and/or low cost imaging systems”,Edward R.Dowski,Jr.,Gregory E.Johnson.
【特許文献１】ＵＳＰ６，０２１，００５
【特許文献２】ＵＳＰ６，６４２，５０４
【特許文献３】ＵＳＰ６，５２５，３０２
【特許文献４】ＵＳＰ６，０６９，７３８
【特許文献５】特開２００３−２３５７９４号公報
【特許文献６】特開２００４−１５３４９７号公報
【特許文献７】特開２００４−３７７３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述した各文献にて提案された撮像装置においては、その全ては通常光学系に上述の位相板を挿入した場合のＰＳＦ（Ｐｏｉｎｔ−Ｓｐｒｅａｄ−Ｆｕｎｃｔｉｏｎ）が一定になっていることが前提であり、ＰＳＦが変化した場合は、その後のカーネルを用いたコンボリューションにより、被写界深度の深い画像を実現することは極めて難しい。
したがって、単焦点でのレンズではともかく、ズーム系やＡＦ系などのレンズでは、その光学設計の精度の高さやそれに伴うコストアップが原因となり採用するには大きな問題を抱えている。
換言すれば、従来の撮像装置においては、適正なコンボリューション演算を行うことができず、ワイド（Ｗｉｄｅ）時やテレ（Ｔｅｌｅ）時のスポット（ＳＰＯＴ）像のズレを引き起こす非点収差、コマ収差、ズーム色収差等の各収差を無くす光学設計が要求される。
しかしながら、これらの収差を無くす光学設計は光学設計の難易度を増し、設計工数の増大、コスト増大、レンズの大型化の問題を引き起こす。
【０００９】
また、上記技術では、たとえば明るい被写体の撮影で、絞りを位相変調素子から離した場合に位相変調素子による位相が変化してしまう。
したがって、テレセントリックでない状態で絞りを位相変調素子から離してしまうと復元画像に影響を与えてしまうという大きな問題を抱えている。さらに撮像素子への光線入射角度をコントロールしないとＰＳＦが乱れてしまい復元を困難にする。
【００１０】
本発明の目的は、光学系を簡単化でき、コスト低減を図ることができ、適切な画質の、ノイズの影響が小さい復元画像を得ることが可能な撮像装置、およびその製造方法を提供することにある。
【課題を解決するための手段】
【００１１】
本発明の第１の観点の撮像装置は、光学系と、光学的伝達関数（ＯＴＦ）を変調させる光波面変調素子と、前記光波面変調素子と隣接して配置された絞りと、前記光学系および前記光波面変調素子を通過した被写体像を撮像する撮像素子と、を有し、絞りアパーチャー径をφ[mm]とし、絞りと光波面変調素子のなす間隔をＤ[mm]とすると、以下の条件式（１）を満足する。
φ×Ｄ＜２ ・・・（１）
【００１２】
好適には、前記光学系において、前記絞りと光波面変調素子が隣接して、絞り部テレセントリック性を維持し、前記光波面変調素子と絞りの間で最周辺の主光線がFno光線と交わらない。
【００１３】
好適には、前記光学系において、像側テレセントリック性を維持し、前記撮像素子の感度と光線の入力角との関係を示すシェーディングカーブと上光線と主光線で囲まれた面積をＳ１、撮像素子のシェーディングカーブと下光線と主光線で囲まれた面積をＳ２とすると、以下の条件式（２）を満足する。
０．５ ＜ Ｓ１/Ｓ２ ＜ ２．０ ・・・（２）
【００１４】
好適には、絞りアパーチャー径をφとし、絞りと光波面変調素子のなす間隔をＤとすると、以下の条件式（３）を満足し、前記光学系において、前記絞りと光波面変調素子が隣接して、絞り部テレセントリック性を維持し、絞りに入射する最周辺主光線入射角度をαとすると、以下の条件式（４）を満足する。
φ／Ｄ＜１ ・・・（３）
α＜４５° ・・・（４）
【００１５】
好適には、前記光波面変調素子が、前記光学系の光軸をｚ軸とし、互いに直交する２軸をｘ、ｙとしたとき、位相が下記式で表される。
【００１６】
【数１】


【００１７】
好適には、前記光波面変調素子は、光波面変調面が光学レンズの一部として形成されている。
【００１８】
好適には、前記撮像素子からの被写体分散画像信号より分散のない画像信号を生成する変換手段を有する。
【００１９】
本発明の第２の観点は、光学系と、光学的伝達関数（ＯＴＦ）を変調させる光波面変調素子と、絞りと、前記光学系および前記光波面変調素子を通過した被写体像を撮像する撮像素子と、を有する撮像装置の製造方法であって、絞りアパーチャー径をφ[mm]とし、絞りと位相変調素子のなす間隔をＤ[mm]とすると、上記条件式（１）を満足するように、前記光波面変調素子と前記絞りを隣接配置する。
【発明の効果】
【００２０】
本発明によれば、光学系を簡単化でき、コスト低減を図ることができ、しかも適切な画質の、ノイズの影響が小さい復元画像を得ることができる利点がある。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施形態を添付図面に関連付けて説明する。
【００２２】
図１は、本発明に係る撮像装置の一実施形態を示すブロック構成図である。
【００２３】
本実施形態に係る撮像装置１００は、光学系１１０、撮像素子１２０、アナログフロントエンド部（ＡＦＥ）１３０、画像処理装置１４０、カメラ信号処理部１５０、画像表示メモリ１６０、画像モニタリング装置１７０、操作部１８０、および制御装置１９０を有している。
【００２４】
光学系１１０は、被写体物体ＯＢＪを撮影した像を撮像素子１２０に供給する。また、光学系１１０は、可変絞り１１０ａが配置されている。
【００２５】
撮像素子１２０は、光学系１１０で取り込んだ像が結像され、結像１次画像情報を電気信号の１次画像信号ＦＩＭとして、アナログフロントエンド部１３０を介して画像処理装置１４０に出力するＣＣＤやＣＭＯＳセンサからなる。
図１においては、撮像素子１２０を一例としてＣＣＤとして記載している。
【００２６】
なお、本実施形態において、ピント位置の調整は、光学的伝達関数（ＯＴＦ）を変調させる光波面変調素子を有する光学系を通して繰り返し検知した画像信号に基づく被写体のコントラストを用いて、あらかじめ定められた被写体距離に対応するピント位置に移動させて行われる。
【００２７】
アナログフロントエンド部１３０は、タイミングジェネレータ１３１、アナログ／デジタル（Ａ／Ｄ）コンバータ１３２と、を有する。
タイミングジェネレータ１３１では、撮像素子１２０のＣＣＤの駆動タイミングを生成しており、Ａ／Ｄコンバータ１３２は、ＣＣＤから入力されるアナログ信号をデジタル信号に変換し、画像処理装置１４０に出力する。
【００２８】
信号処理部の一部を構成する画像処理装置（二次元コンボリューション手段）１４０は、前段のＡＦＥ１３０からくる撮像画像のデジタル信号を入力し、二次元のコンボリューション処理を施し、後段のカメラ信号処理部（ＤＳＰ）１５０に渡す。
画像処理装置１４０、制御装置１９０の露出情報に応じて、光学的伝達関数（OTF）に対してフィルタ処理を行う。なお、露出情報として絞り情報を含む。
画像処理装置１４０は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号を生成する機能を有する。また、信号処理部は、最初のステップでノイズ低減フィルタリングを施す機能を有する。
画像処理装置１４０は、光学的伝達関数（ＯＴＦ）に対してフィルタ処理を行いコントラストを改善する処理を施す機能を有する。
画像処理装置１４０の処理については後でさらに詳述する。
【００２９】
カメラ信号処理部（ＤＳＰ）１４０は、カラー補間、ホワイトバランス、ＹＣｂＣｒ変換処理、圧縮、ファイリング等の処理を行い、メモリ１６０への格納や画像モニタリング装置１７０への画像表示等を行う。
【００３０】
制御装置１９０は、露出制御を行うとともに、操作部１８０などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、ＡＦＥ１３０、画像処理装置１４０、ＤＳＰ１４０、可変絞り２００等を制御し、システム全体の調停制御を司るものである。
【００３１】
以下、本実施形態の光学系、画像処理装置の構成および機能について具体的には説明する。
【００３２】
図２は、本実施形態に係るズーム光学系１１０の構成例を模式的に示す図である。この図は広角側を示している。
また、図３は、本実施形態に係る撮像レンズ装置の望遠側のズーム光学系の構成例を模式的に示す図である。
そして、図４は、本実施形態に係るズーム光学系の広角側の像高中心のスポット形状を示す図であり、図５は、本実施形態に係るズーム光学系の望遠側の像高中心のスポット形状を示す図である。
【００３３】
図２および図３のズーム光学系１１０は、物体側ＯＢＪＳに配置された物体側レンズ１１１と、撮像素子１２０に結像させるための結像レンズ１１２と、物体側レンズ１１１と結像レンズ１１２間に配置され、結像レンズ１１２による撮像素子１２０の受光面への結像の波面を変形させる、たとえば３次元的曲面を有する位相板からなる光波面変調素子（波面形成用光学素子）群１１３を有する。
また、物体側レンズ１１１と結像レンズ１１２間には図示しない絞りが配置される。 たとえば、本実施形態においては、光波面変調素子群１１３の光波面変調面に所定の間隔Ｄをもって隣接するように可変絞り１１０ａが設けられている。
また、本実施形態においては、露出制御（装置）において可変絞りの絞り度（開口度）を制御する。
【００３４】
なお、本実施形態においては、位相板を用いた場合について説明したが、本発明の光波面変調素子としては、波面を変形させるものであればどのようなものでもよく、厚みが変化する光学素子（たとえば、上述の３次の位相板）、屈折率が変化する光学素子（たとえば屈折率分布型波面変調レンズ）、レンズ表面へのコーディング等により厚み、屈折率が変化する光学素子（たとえば、波面変調ハイブリッドレンズ、あるいはレンズ面上に形成される位相面として形成される状態）、光の位相分布を変調可能な液晶素子（たとえば、液晶空間位相変調素子）等の光波面変調素子であればよい。
また、本実施形態においては、光波面変調素子である位相板を用いて規則的に分散した画像を形成する場合について説明したが、通常の光学系として用いるレンズで光波面変調素子と同様に規則的に分散した画像を形成できるものを選択した場合には、光波面変調素子を用いずに光学系のみで実現することができる。この際は、後述する位相板に起因する分散に対応するのではなく、光学系に起因する分散に対応することとなる。
【００３５】
図２および図３のズーム光学系１１０は、デジタルカメラに用いられる３倍ズームに光学位相板１１３ａを挿入した例である。
図で示された位相板１１３ａは、光学系により収束される光束を規則正しく分散する光学レンズである。この位相板を挿入することにより、撮像素子１２０上ではピントのどこにも合わない画像を実現する。
換言すれば、位相板１１３ａによって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成している。
この規則的に分散した画像をデジタル処理により、ピントの合った画像に復元する手段を波面収差制御光学系システム、あるいは深度拡張光学系システム（ＤＥＯＳ：Ｄｅｐｔｈ Ｅｘｐａｎｔｉｏｎ Ｏｐｔｉｃａｌ ｓｙｓｔｅｍ）といい、この処理を画像処理装置１４０において行う。
【００３６】
ここで、ＤＥＯＳの基本原理について説明する。
図６に示すように、被写体の画像ｆがＤＥＯＳ光学系Ｈに入ることにより、ｇ画像が生成される。
これは、次のような式で表される。
【００３７】
ｇ＝Ｈ＊ｆ
ただし、＊はコンボリューションを表す。
【００３８】
生成された画像から被写体を求めるためには、次の処理を要する。
【００３９】
ｆ＝Ｈ−１＊ｇ
【００４０】
ここで、Ｈに関するカーネルサイズと演算係数について説明する。
ズームポジションをＺＰｎ，ＺＰｎ−１・・・とする。また、それぞれのＨ関数をＨｎ，Ｈｎ−１、・・・・とする。
各々のスポット像が異なるため、各々のＨ関数は、次のようになる。
【００４１】
【数２】


【００４２】
この行列の行数および／または列数の違いをカーネルサイズ、各々の数字を演算係数とする。
ここで、各々のＨ関数はメモリに格納しておいても構わないし、ＰＳＦを物体距離の関数としておき、物体距離によって計算し、Ｈ関数を算出することによって任意の物体距離に対して最適なフィルタを作るように設定できるようにしても構わない。また、Ｈ関数を物体距離の関数として、物体距離によってＨ関数を直接求めても構わない。
【００４３】
本実施形態においては、図１に示すように、光学系１１０からの像を撮像素子１２０で受像して、絞り開放時には画像処理装置１４０に入力させ、光学系に応じた変換係数を取得して、取得した変換係数をもって撮像素子１２０からの分散画像信号より分散のない画像信号を生成するように構成している。
【００４４】
なお、本実施形態において、分散とは、上述したように、位相板１１３ａを挿入することにより、撮像素子１２０上ではピントのどこにも合わない画像を形成し、位相板１１３ａによって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成する現象をいい、像が分散してボケ部分を形成する振る舞いから収差と同様の意味合いが含まれる。したがって、本実施形態においては、収差として説明する場合もある。
【００４５】
本実施形態においては、ＤＥＯＳを採用し、高精細な画質を得ることが可能で、しかも、光学系を簡単化でき、コスト低減を図ることが可能となっている。
以下、この特徴について説明する。
【００４６】
図７（Ａ）〜（Ｃ）は、撮像素子１２０の受光面でのスポット像を示している。
図７（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、図７（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、図７（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示している。
図７（Ａ）〜（Ｃ）からもわかるように、本実施形態に係る撮像装置１００においては、位相板１１３ａを含む波面形成用光学素子群１１３によって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）が形成される。
【００４７】
このように、本実施形態の撮像装置１００において形成された１次画像ＦＩＭは、深度が非常に深い光束条件にしている。
【００４８】
図８（Ａ），（Ｂ）は、本実施形態に係る撮像レンズ装置により形成される１次画像の変調伝達関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）について説明するための図であって、図８（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、図８（Ｂ）が空間周波数に対するＭＴＦ特性を示している。
本実施形態においては、高精細な最終画像は後段の、たとえばデジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）からなる画像処理装置１４０の補正処理に任せるため、図８（Ａ），（Ｂ）に示すように、１次画像のＭＴＦは本質的に低い値になっている。
【００４９】
そして、本実施形態においては、このような特徴を有するＤＥＯＳの光学系に配置する絞り１１０ａは、絞りアパーチャー径をφとし、絞りと光波面変調素子の波面変調面（本実施形態では位相変調面）との間隔をＤとすると、以下の条件式（１）を満足するように、光波面変調素子と隣接配置されている。
【００５０】
φ×Ｄ＜２ ・・・（条件式１）
【００５１】
絞り位置を考慮しない場合、絞り位置によって各像高の光束が位相変調素子を通過する位置が異なってしまい、位相が変化してしまうため、適切な画像を復元することが困難になる。そこで、本実施形態に係るＤＥＯＳにおいては、上記条件式１等を満足するように、絞り位置を考慮したレンズ設計を行うことによってこの問題を解決している。
【００５２】
図９（Ａ），（Ｂ）は、絞り位置の異なるＤＥＯＳの位相変調部の光線図であって、図９（Ａ）は絞りが位相変調面に近い場合の光線図を示し、図９（Ｂ）は絞りが位相変調面に遠い場合の光線図を示している。
また、図１０（Ａ），（Ｂ）は、絞り位置の異なるＤＥＯＳのスポット図であって、図１０（Ａ）は絞りが位相変調面に近い場合のスポット図を示し、図１０（Ｂ）は絞りが位相変調面に遠い場合のスポット図を示している。
以下では、位相変調面を符号１１３０で示す。
【００５３】
図９（Ａ），（Ｂ）に示すように、絞り位置によって位相変調面の異なる位置を光線が通過する。
上記条件式１について絞りのアパーチャー径を一定とした場合、絞りが近い場合に比べて、絞りが遠くなると対角像高の主光線と軸上の主光線が位相変調面の異なった場所を通過している。
図９を例にとると、絞りを遠くした場合最周辺の主光線がFno光線とほぼ等しい位置を通過していることが分かる。
また、図１０（Ａ），（Ｂ）はその際の位相変調面１１３０を通過した光線が成すスポット形状を示しているが、絞り１１０ａが位相変調面１１３０に近い場合に比べて離れるとスポット形状が乱れてくるのが分かる。スポット形状が乱れると画像を復元する際に困難となる。
上記条件式１について、逆に絞り１１０ａと位相変調面１１３０の距離を一定とした場合、アパーチャー径φに依存して位相変調面１１３０を通過する主光線位置が異なる。
以上のことから、上記条件式１の範囲内に条件式が収まることが好ましい。
この範囲に収まることで、初めてスポット形状が乱れず、画像復元を確実に行うことができるようになる。
【００５４】
また、本実施形態の光学系は、絞り１１０ａと位相変調素子の位相変調面１１３０が隣接して、絞り部テレセントリック性を維持し、位相変調素子の位相変調面１１３０と絞り１１０ａの間で最周辺の主光線がFno光線と交わらないように構成されている。
この構成については、さらに光線角度が絞りにテレセン系であるとより位相変調面１１３０を通過する位置のバラツキを抑えることができることを示している。
絞り１１０ａと位相変調面１１３０の距離が離れてもテレセントリック系（軸上と周辺の主光線角度差がほぼ０）であれば問題はなくなる。
【００５５】
また、本実施形態の光学系は、像側テレセントリック性を維持し、撮像素子の感度と光線の入力角との関係を示すシェーディングカーブと上光線と主光線で囲まれた面積をＳ１、撮像素子のシェーディングカーブと下光線と主光線で囲まれた面積をＳ２とすると、以下の条件式（２）を満足するように構成される。
ここで、撮像素子のシェーディングカーブというのは、撮像素子の感度を縦軸、光線の入射角を横軸としたグラフ特性のことをいう。
【００５６】
０．５ ＜ Ｓ１/Ｓ２ ＜ ２．０ ・・・（条件式２）
【００５７】
また、本実施形態の光学は、絞りと位相変調素子が隣接して、絞り部テレセントリック性を維持し、絞りに入射する最周辺主光線入射角度をαとすると、以下の条件式（３）と条件式（４）を満足するように構成される。
【００５８】
φ／Ｄ＜１ ・・・（条件式３）
α＜４５° ・・・（条件式４）
【００５９】
図１１（Ａ），（Ｂ）は、たとえば、撮像素子にシェーディングが存在した場合における周辺と中心における特性を示した図である。
【００６０】
図１１（Ａ），（Ｂ）から中心付近は、Fno光線の上光線、下光線で感度に影響がないことが分かる。これと比べて、周辺においては上光線と下光線に感度の差が現れてしまう。そのため、撮像素子のシェーディング影響をあまり受けない光学系にする必要がある。
シェーディングの影響を受けてしまうと、光線入射角度毎に異なった感度を持ってしまうため、スポット形状に乱れが生じてしまう。
図１１（Ａ），（Ｂ）は撮像素子のシェーディングになっているが、周辺において主光線が撮像素子の感度ピークから外れるとFno光線の上光線、下光線の感度に大きな影響を与えてしまう。そのため少なくとも上記条件式２の範囲に入れることが好ましい。
【００６１】
また、図１２（Ａ）〜（Ｃ）は、シェーディング面積Ｓ１とＳ２がスポットに与える影響を示す図である。
条件式２の範囲からはずれＳ１とＳ２の面積のバランスが崩れるとスポット形状に影響を与えてしまい、画像を復元する際に困難となる。
【００６２】
図１３（Ａ），（Ｂ）は、テレセントリック性の位相変調素子（光波面変調素子）に与える影響を示した図である。
図９、図１０を参照すると上光線、下光線がばらつけばそれに追従してスポット像も乱れが生じてくる。
そのため、絞り部においてテレセントリックとすることで位相変調素子の影響を抑えることができる。
また、φ／Ｄ＝１、α＝４５°が図９（Ｂ）に記載された最周辺の主光線がFno光線と交わっている状態となる条件である。そのため、条件式（３）と条件式（４）を満足することが望ましい。
【００６３】
なお、位相変調素子（光波面変調素子）の位相変調面（光波面変調面）は、たとえば図１４および図１５に示すように、光学レンズに一体的に形成することも可能である。
【００６４】
そして、本実施形態においては、光学系１１０と撮像素子１２０の取り付け位置は、図１６に示す調整装置（製造装置）２００を用いて、光学的伝達関数（ＯＴＦ）を変調させる光波面変調素子を有する光学系に対し、コントラストを検知し、検知したコントラストがあらかじめ設定した閾値以上となる位置に調整されている。
このように、本実施形態においては、撮像装置１００の製造組み立て時において、検知したコントラストがあらかじめ設定した閾値以上となる位置にすることにより、光学系と撮像素子の取り付け位置を調整することを可能としている。
【００６５】
図１６は、本実施形態に係る調整装置２００の構成例を示すブロック図である。
【００６６】
調整装置２００は、図１６に示すように、レンズ調整駆動部２１０、図１の撮像素子１１０に相当するセンサ２２０、ＡＦＥ（アナログフロントエンド部）２３０、ＲＡＷバッファメモリ２４０、コントラスト検知部２５０、ピント調整制御部２６０、および画像表示部２７０を有している。
【００６７】
レンズ調整駆動部２１０には、光波面変調素子を含むレンズ系(光学系)２１１が配置される。そして、モータドライバ２１２によりレンズ２１１がその光軸方向に移動制御され、レンズ位置が所望の位置に設定される。
【００６８】
ＡＦＥ２３０は、タイミングジェネレータ２３１、Ａ／Ｄコンバータ２３２と、を有する。
タイミングジェネレータ２３１では、ピント調整制御部２６０の制御の下、センサ（撮像素子）２２０のＣＣＤの駆動タイミングを生成しており、Ａ／Ｄコンバータ２３２は、ＣＣＤから入力されるアナログ信号をデジタル信号に変換し、バッファメモリ２４０に可能する。
また、タイミングジェネレータ２３１は、ピント調整制御部２６０の制御の下、センサ２２０に対するレンズ２１２の位置を調整し、ピントを調整するための駆動信号をモータドライバ２１３に供給する。
【００６９】
コントラスト検知部２５０は、バッファメモリ２４０の格納データに基づいてレンズ２１２のある位置でのコントラストを測定する。
コントラスト検知部２５０は、光学系のＰレンズ２１１が駆動される間の画像信号に基づく被写体のコントラストを繰り返し検知する。
【００７０】
ピント調整制御部２６０は、レンズ２１２の位置を変更制御等するための制御信号をＡＦＥ２３０のタイミングジェネレータ２３２に出力して、制御時のレンズ位置のコントラストをコントラスト検知部２５０で測定させ、コントラスト検知部２５０で検知したコントラストを用いて（測定結果を用いて）、あらかじめ設定された被写体距離に対応するピント位置に移動させることにより、ピント調整制御を行う。
【００７１】
ピント調整制御部２６０は、コントラスト検知部２５０により光学系を駆動させている間に検知された被写体のコントラストを、所定の閾値より低下した位置を記録し、さらにその位置より両側に光学系のレンズ２１１を駆動し所定の閾値より向上する方向に光学系を駆動させ、その後、さらに光学系のレンズ２１１を駆動させて所定の閾値より低下した位置を記録し、この２点を用いてピント位置を決める。ピント位置の決定方法として、例えば、２点の中点をピント位置とすることが挙げられる。
ピント調整制御部２６０は、ピント位置を決定すると、その旨をたとえば表示等して報知する。
【００７２】
なお、本実施形態でいう「光学系を駆動」とは、例えば、通常のレンズなどの場合には、レンズを光軸方向に移動させる動作をいう。また、光学系が液体レンズなどの場合には、通常のレンズを光軸方向に移動させるのと等価な作用を行わせるように、液体に電圧を印加する作業などをいう。
【００７３】
また、本実施形態において、コントラストが検知された部分は、光波面変調素子（位相変調素子）による点像分布の強度の高い部分を含む領域である。
この光波面変調素子（位相変調素子）による点像分布の強度の高い部分を含む領域とは、換言すれば、「位相変調素子の影響をあまり受けない部分」である。
この「位相変調素子の影響をあまり受けない部分」について説明する。
【００７４】
たとえば、位相変調素子の位相が次の数式３で表されたとすると、チャートは図１７に示すようなチャート像になる。
【００７５】
【数３】


【００７６】
ここで光学系を±0.2mm移動させた場合のチャートはそれぞれ図１８、図１９に示すようになる。
「位相変調素子の影響をあまり受けない部分」とは図１８、図１９の点線部分で囲んだ箇所のことをいう。
そもそも上記数式３で表された位相変調素子を用いて点光源を撮像すると、図２０に示すように、非対称な形状になる。この位相変調素子によるボケ以外の部分を「位相変調素子の影響をあまり受けない部分」とする。
【００７７】
次に、図２１および図２２に関連付けてピント位置決定手順について説明する。
【００７８】
まず、レンズ２１１に取り付ける。そして、図２２に示すように、ｘ軸、ｙ軸を調整してレンズ２１１とセンサ２２０の位置を調整し、チャートが写るようにする。
ｘ軸、ｙ軸の調整後、スタート位置を決定し(ＳＴ２０１)、その位置でのコントラストを測定する(ＳＴ２０２)。
そして、コントラストが閾値以下かどうかを判定し（ＳＴ２０３）、閾値以下でなければレンズ２１１を駆動し（ＳＴ２０４）、各位置でのコントラストを測定する(ＳＴ２０５)。
閾値以下である場合にはレンズ２１１の位置Ａを記憶して（ＳＴ２０６）、レンズ２１１を駆動し（ＳＴ２０７）、各位置でのコントラストを測定する(ＳＴ２０８)。
次に、コントラストが閾値以下かどうかを判定し（ＳＴ２０９）、閾値以下でなければレンズ２１１を駆動し（ＳＴ２０７）、各位置でのコントラストを測定する(ＳＴ２０８)。
閾値以下である場合にはピント位置を算出し（ＳＴ２１０）、レンズ２１１を駆動する（ＳＴ２１１）。
なお、レンズ２１２の駆動は、ｚ軸方向（光軸方向）の駆動を行う。
また、本実施形態のように、山登り方式にように、繰り返しコントラストを検知するようにしても良いが、検知したものが閾値以下であればそれ以降レンズを駆動しないようにしても良い。その場合には、ステップＳＴ２０６〜ＳＴ２１１の処理が省略され、最初に検知したものが閾値以下であればステップＳＴ２０４、ＳＴ２０５の処理も省略される。
【００７９】
以上のように、図２３に通常の光学系を駆動させたときの、コントラスト値の変化の例を示し、図２４に本実施形態の光学系を駆動させたときの、コントラスト値の変化の例を示す。
図２３および図２４において、横軸はフォーカス位置を示し、縦軸がコントラスト比を示手いる。
【００８０】
両図からわかるように、本実施形態の光学系の方が通常の光学系に比べてコントラストの変化を小さく抑えることができ、ピント合わせが容易となり、あらかじめ定められた被写体距離の撮影が可能となる。
【００８１】
図２５は、従来光学系のＭＴＦのレスポンスを示す図である。
図２６は、光波面変調素子を持った光学系のＭＴＦのレスポンスを示す図である。
【００８２】
図２６のように、位相変調素子１１３の効果、すなわち位相の変化が小さくなり、従来光学系と同様なレスポンスを持つ。そこで、上述したように、もっともレスポンスの高くなるように取り付け位置を調整することでフォーカス位置を調整する。
この調整を行うことで調整を行わない場合よりも十分に広い被写界深度を得ることが可能となる。
【００８３】
また、図２７は、本実施形態の光波面変調素子を含む光学系の光軸をｚ軸とし、互いに直交する２軸をｘ、ｙとしたとき、下記式で表される波面収差の形状である。
【００８４】
【数４】


【００８５】
波面収差が０．５λ以下の範囲では位相の変化が小さく、通常の光学系と変わらないＯＴＦを持つ。したがって波面収差が０．５λ程度になるまで絞って取り付け位置の調整を行う。
図２８は、前記波面収差の形状と０．５λ以下の範囲を太線で表したものである。
ただし、λはたとえば可視光領域、赤外領域の波長を用いる。
【００８６】
なお、図２７に示す形状は、一例であって、光波面変調素子が、光学系の光軸をｚ軸とし、互いに直交する２軸をｘ、ｙとしたとき、位相が下記式で表されるものであれば適用可能である。
【００８７】
【数５】


【００８８】
画像処理装置１４０は、上述したように、撮像素子１２０による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する。
【００８９】
画像処理装置１４０のＭＴＦ補正処理は、たとえば図２９の曲線Ａで示すように、本質的に低い値になっている１次画像のＭＴＦを、空間周波数をパラメータとしてエッジ強調、クロマ強調等の後処理にて、図２９中曲線Ｂで示す特性に近づく（達する）ような補正を行う。
図２９中曲線Ｂで示す特性は、たとえば本実施形態のように、波面形成用光学素子を用いずに波面を変形させない場合に得られる特性である。
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。
【００９０】
本実施形態においては、図２９に示すように、光学的に得られる空間周波数に対するＭＴＦ特性曲線Ａに対して、最終的に実現したいＭＴＦ特性曲線Ｂを達成するためには、それぞれの空間周波数に対し、エッジ強調等の強弱を付け、元の画像（１次画像）に対して補正をかける。
たとえば、図２９のＭＴＦ特性の場合、空間周波数に対するエッジ強調の曲線は、図３０に示すようになる。
【００９１】
すなわち、空間周波数の所定帯域内における低周波数側および高周波数側でエッジ強調を弱くし、中間周波数領域においてエッジ強調を強くして補正を行うことにより、所望のＭＴＦ特性曲線Ｂを仮想的に実現する。
【００９２】
このように、実施形態に係る撮像装置１００は、基本的に、１次画像を形成する光学系１１０および撮像素子１２０と、１次画像を高精細な最終画像に形成する画像処理装置１４０からなり、光学系システムの中に、波面成形用の光学素子を新たに設けるか、またはガラス、プラスチックなどのような光学素子の面を波面成形用に成形したものを設けることにより、結像の波面を変形（変調）し、そのような波面をＣＣＤやＣＭＯＳセンサからなる撮像素子１２０の撮像面（受光面）に結像させ、その結像１次画像を、画像処理装置１４０を通して高精細画像を得る画像形成システムである。
本実施形態では、撮像素子１２０による１次画像は深度が非常に深い光束条件にしている。そのために、１次画像のＭＴＦは本質的に低い値になっており、そのＭＴＦの補正を画像処理装置１４０で行う。
【００９３】
ここで、本実施形態における撮像装置１００における結像のプロセスを、波動光学的に考察する。
物点の１点から発散された球面波は結像光学系を通過後、収斂波となる。そのとき、結像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な形状となる。幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便利である。
結像面における波動光学的ＭＴＦを扱うとき、結像光学系の射出瞳位置における波面情報が重要となる。
ＭＴＦの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。その波動光学的強度分布は波動光学的振幅分布を２乗して得られるが、その波動光学的振幅分布は射出瞳における瞳関数のフーリエ変換から求まる。
さらにその瞳関数はまさに射出瞳位置における波面情報（波面収差）そのものからであることから、その光学系１１０を通して波面収差が厳密に数値計算できればＭＴＦが計算できることになる。
【００９４】
したがって、所定の手法によって射出瞳位置での波面情報に手を加えれば、任意に結像面におけるＭＴＦ値は変更可能である。
本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主であるが、まさにｐｈａｓｅ（位相、光線に沿った光路長）に増減を設けて目的の波面形成を行っている。
そして、目的の波面形成を行えば、射出瞳からの射出光束は、図７（Ａ）〜（Ｃ）に示す幾何光学的なスポット像からわかるように、光線の密な部分と疎の部分から形成される。
この光束状態のＭＴＦは空間周波数の低いところでは低い値を示し、空間周波数の高いところまでは何とか解像力は維持している特徴を示している。
すなわち、この低いＭＴＦ値（または、幾何光学的にはこのようなスポット像の状態）であれば、エリアジングの現象を発生させないことになる。
つまり、ローパスフィルタが必要ないのである。
そして、後段のＤＳＰ等からなる画像処理装置１４０でＭＴＦ値を低くしている原因のフレアー的画像を除去すれば良いのである。それによってＭＴＦ値は著しく向上する。
【００９５】
次に、本実施形態および従来光学系のＭＴＦのレスポンスについて考察する。
【００９６】
図３１は、従来の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。
図３２は、光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。
また、図３３は、本実施形態に係る撮像装置のデータ復元後のＭＴＦのレスポンスを示す図である。
【００９７】
図からもわかるように、光波面変調素子を有する光学系の場合、物体が焦点位置から外れた場合でもＭＴＦのレスポンスの変化が光波面変調素子を挿入してない光学径よりも少なくなる。
この光学系によって結像された画像を、コンボリューションフィルタによる処理によって、ＭＴＦのレスポンスが向上する。
【００９８】
図３２に示した、位相板を持つ光学系のＯＴＦの絶対値（ＭＴＦ）はナイキスト周波数において０．１以上であることが好ましい。
なぜなら、図３２に示した復元後のＯＴＦを達成するためには復元フィルタでゲインを上げることになるが、センサのノイズも同時に上げることになる。そのため、ナイキスト周波数付近の高周波ではできるたけゲインを上げずに復元を行うことが好ましい。
通常の光学系の場合、ナイキスト周波数でのＭＴＦが０．１以上あれば解像する。
したがって、復元前のＭＴＦが０．１以上あれば復元フィルタでナイキスト周波数でのゲインを上げずに済む。復元前のＭＴＦが０．１未満であると、復元画像がノイズの影響を大きく受けた画像になるため好ましくない。
【００９９】
次に、画像処理装置１４０の構成および処理について説明する。
【０１００】
画像処理装置１４０は、図１に示すように、生（ＲＡＷ）バッファメモリ１４１、コンボリューション演算器１４２、記憶手段としてのカーネルデータ格納ＲＯＭ１４３、およびコンボリューション制御部１４４を有する。
【０１０１】
コンボリューション制御部１４４は、コンボリューション処理のオンオフ、画面サイズ、カーネルデータの入れ替え等の制御を行い、制御装置１９０により制御される。
【０１０２】
また、カーネルデータ格納ＲＯＭ１４３には、図３４、図３５、または図３０に示すように予め用意されたそれぞれの光学系のＰＳＦにより算出されたコンボリューション用のカーネルデータが格納されており、制御装置１９０によって露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
なお、露出情報には、絞り情報が含まれる。
【０１０３】
図３４の例では、カーネルデータＡは光学倍率（×１．５）、カーネルデータＢは光学倍率（×５）、カーネルデータＣは光学倍率（×１０）に対応したデータとなっている。
【０１０４】
また、図３５の例では、カーネルデータＡは絞り情報としてのＦナンバ（２．８）、カーネルデータＢはＦナンバ（４）に対応したデータとなっている。なお、Ｆナンバ（２．８）、Ｆナンバ（４）は上記した０．５λの範囲外である。
【０１０５】
また、図３０の例では、カーネルデータＡは物体距離情報が１００ｍｍ、カーネルデータＢは物体距離が５００ｍｍ、カーネルデータＣは物体距離が４ｍに対応したデータとなっている。
【０１０６】
図３５の例のように、絞り情報に応じたフィルタ処理を行うのは以下の理由による。
絞りを絞って撮影を行う場合、絞りによって光波面変調素子を形成する位相板１１３ａが覆われてしまい、位相が変化してしまうため、適切な画像を復元することが困難となる。
そこで、本実施形態においては、本例のように、露出情報中の絞り情報に応じたフィルタ処理を行うことによって適切な画像復元を実現している。
【０１０７】
図３７は、制御装置１９０の露出情報（絞り情報を含む）により切り替え処理のフローチャートである。
まず、露出情報（ＲＰ）が検出されコンボリューション制御部１４４に供給される（ＳＴ１０１）。
コンボリューション制御部１４４においては、露出情報ＲＰから、カーネルサイズ、数値演係数がレジスタにセットされる（ＳＴ１０２）。
そして、撮像素子１２０で撮像され、ＡＦＥ１３０を介して二次元コンボリューション演算部１４２に入力された画像データに対して、レジスタに格納されたデータに基づいてコンボリューション演算が行われ、演算され変換されたデータがカメラ信号処理部１５０に転送される（ＳＴ１０３）。
【０１０８】
以下に画像処理装置１４０の信号処理部とカーネルデータ格納ＲＯＭについてさらに具体的な例について説明する。
【０１０９】
図３８は、信号処理部とカーネルデータ格納ＲＯＭについての第１の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図３８の例は露出情報に応じたフィルタカーネルを予め用意した場合のブロック図である。
【０１１０】
露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。２次元コンボリューション演算部１４２においては、カーネルデータを用いてコンボリューション処理を施す。
【０１１１】
図３９は、信号処理部とカーネルデータ格納ＲＯＭについての第２の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図３９の例は、信号処理部の最初にノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタ処理ＳＴ１を予め用意した場合のブロック図である。
【０１１２】
露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
２次元コンボリューション演算部１４２においては、前記ノイズ低減フィルタＳＴ１を施した後、カラーコンバージョン処理ＳＴ２によって色空間を変換、その後カーネルデータを用いてコンボリューション処理ＳＴ３を施す。
再度ノイズ処理ＳＴ４を行い、カラーコンバージョン処理ＳＴ５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、再度のノイズ処理ＳＴ４は省略することも可能である。
【０１１３】
図４０は、信号処理部とカーネルデータ格納ROMについての第３の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図４０例は、露出情報に応じたOTF復元フィルタを予め用意した場合のブロック図である。
【０１１４】
露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
２次元コンボリューション演算部１４２は、ノイズ低減処理ＳＴ１１、カラーコンバージョン処理ＳＴ１２の後に、前記OTF復元フィルタを用いてコンボリューション処理ＳＴ１３を施す。
再度ノイズ処理ＳＴ１４を行い、カラーコンバージョン処理ＳＴ１５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減処理ＳＴ１１、ＳＴ１４は、いずれか一方のみでもよい。
【０１１５】
図４１は、信号処理部とカーネルデータ格納ROMについての第４の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図４１の例は、ノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタを予め用意した場合のブロック図である。
なお、再度のノイズ処理ＳＴ４は省略することも可能である。
露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
２次元コンボリューション演算部１４２においては、ノイズ低減フィルタ処理ＳＴ２１を施した後、カラーコンバージョン処理ＳＴ２２によって色空間を変換、その後カーネルデータを用いてコンボリューション処理ＳＴ２３を施す。
再度、露出情報に応じたノイズ処理ＳＴ２４を行い、カラーコンバージョン処理ＳＴ２５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減処理ＳＴ２１は省略することも可能である。
【０１１６】
以上は露出情報のみに応じて２次元コンボリューション演算部１４２においてフィルタ処理を行う例を説明したが、たとえば被写体距離情報、ズーム情報、あるいは撮影モード情報と露出情報とを組み合わせることにより適した演算係数の抽出、あるいは演算を行うことが可能となる。
【０１１７】
図４２は、被写体距離情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
図４２は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号を生成するが画像処理装置３００の構成例を示している。
【０１１８】
画像処理装置３００は、図４２に示すように、コンボリューション装置３０１、カーネル・数値演算係数格納レジスタ３０２、および画像処理演算プロセッサ３０３を有する。
【０１１９】
この画像処理装置３００においては、物体概略距離情報検出装置４００から読み出した被写体の物体距離の概略距離に関する情報および露出情報を得た画像処理演算プロセッサ３０３では、その物体離位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル、数値算係数格納レジスタ３０２に格納し、その値を用いて演算するコンボリューション装置３０１にて適正な演算を行い、画像を復元する。
【０１２０】
上述のように、光波面変調素子としての位相板(Wavefront Coding optical element)を備えた撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
本例においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出装置４００により検出し、検出した距離に応じて異なる画像補正の処理を行うことにように構成されている。
【０１２１】
上記の画像処理はコンボリューション演算により行うが、これを実現するには、たとえばコンボリューション演算の演算係数を共通で１種類記憶しておき、焦点距離に応じて補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適性なコンボリューション演算を行う構成をとることができる。
この構成の他にも、以下の構成を採用することが可能である。
【０１２２】
焦点距離に応じて、カーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算を行う構成、焦点距離に応じた演算係数を関数として予め記憶しておき、焦点距離によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成等、を採用することが可能である。
【０１２３】
図４２の構成に対応付けると次のような構成をとることができる。
【０１２４】
変換係数記憶手段としてのレジスタ３０２に被写体距離に応じて少なくとも位相板１１３ａに起因する収差に対応した変換係数を少なくとも２以上予め記憶する。画像処理演算プロセッサ３０３が、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成された情報に基づき、レジスタ３０２から被写体までの距離に応じた変換係数を選択する係数選択手段として機能する。
そして、変換手段としてのコンボリューション装置３０１が、係数選択手段としての画像処理演算プロセッサ３０３で選択された変換係数によって、画像信号の変換を行う。
【０１２５】
または、前述したように、変換係数演算手段としての画像処理演算プロセッサ３０３が、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成された情報に基づき変換係数を演算し、レジスタ３０２に格納する。
そして、変換手段としてのコンボリューション装置３０１が、変換係数演算手段としての画像処理演算プロセッサ３０３で得られレジスタ３０２に格納された変換係数によって、画像信号の変換を行う。
【０１２６】
または、補正値記憶手段としてのレジスタ３０２にズーム光学系１１０のズーム位置またはズーム量に応じた少なくとも１以上の補正値を予め記憶する。この補正値には、被写体収差像のカーネルサイズを含まれる。
第２変換係数記憶手段としても機能するレジスタ３０２に、位相板１１３ａに起因する収差に対応した変換係数を予め記憶する。
そして、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成された距離情報に基づき、補正値選択手段としての画像処理演算プロセッサ３０３が、補正値記憶手段としてのレジスタ３０２から被写体までの距離に応じた補正値を選択する。
変換手段としてのコンボリューション装置３０１が、第２変換係数記憶手段としてのレジスタ３０２から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ３０３により選択された補正値とに基づいて画像信号の変換を行う。
【０１２７】
図４３は、ズーム情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
図４３は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号を生成するが画像処理装置３００Ａの構成例を示している。
【０１２８】
画像処理装置３００Ａは、図４２と同様に、図４３に示すように、コンボリューション装置３０１、カーネル・数値演算係数格納レジスタ３０２、および画像処理演算プロセッサ３０３を有する。
【０１２９】
この画像処理装置３００Ａにおいては、ズーム情報検出装置５００から読み出したズーム位置またはズーム量に関する情報および露出情報を得た画像処理演算プロセッサ３０３では、露出情報およびそのズーム位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル、数値演算係数格納レジスタ３０２に格納し、その値を用いて演算するコンボリューション装置３０１にて適正な演算を行い、画像を復元する。
【０１３０】
上述したように、光波面変調素子としての位相板をズーム光学系に備えた撮像装置に適用する場合、ズーム光学系のズーム位置によって生成されるスポット像が異なる。このため、位相板より得られる焦点ズレ画像（スポット画像）を後段のＤＳＰ等でコンボリューション演算する際、適性な焦点合わせ画像を得るためには、ズーム位置に応じて異なるコンボリューション演算が必要となる。
そこで、本実施形態においては、ズーム情報検出装置５００を設け、ズーム位置に応じて適正なコンボリューション演算を行い、ズーム位置によらず適性な焦点合わせ画像を得るように構成されている。
【０１３１】
画像処理装置３００Ａにおける適正なコンボリーション演算には、コンボリューションの演算係数をレジスタ３０２に共通で１種類記憶しておく構成をとることができる。
この構成の他にも、以下の構成を採用することが可能である。
【０１３２】
各ズーム位置に応じて、レジスタ３０２に補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適性なコンボリューション演算を行う構成、各ズーム位置に応じて、レジスタ３０２にカーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算行う構成、ズーム位置に応じた演算係数を関数としてレジスタ３０２に予め記憶しておき、ズーム位置によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成等を採用することが可能である。
【０１３３】
図４３の構成に対応付けると次のような構成をとることができる。
【０１３４】
変換係数記憶手段としてのレジスタ３０２にズーム光学系１１０のズーム位置またはズーム量に応じた位相板１１３ａに起因する収差に対応した変換係数を少なくとも２以上予め記憶する。画像処理演算プロセッサ３０３が、ズーム情報生成手段としてのズーム情報検出装置４００により生成された情報に基づき、レジスタ３０２からズーム光学系１１０のズ−ム位置またはズーム量に応じた変換係数を選択する係数選択手段として機能する。
そして、変換手段としてのコンボリューション装置３０１が、係数選択手段としての画像処理演算プロセッサ３０３で選択された変換係数によって、画像信号の変換を行う。
【０１３５】
または、前述したように、変換係数演算手段としての画像処理演算プロセッサ３０３が、ズーム情報生成手段としてのズーム情報検出装置４００により生成された情報に基づき変換係数を演算し、レジスタ３０２に格納する。
そして、変換手段としてのコンボリューション装置３０１が、変換係数演算手段としての画像処理演算プロセッサ３０３で得られレジスタ３０２に格納された変換係数によって、画像信号の変換を行う。
【０１３６】
または、補正値記憶手段としてのレジスタ３０２にズーム光学系１１０のズーム位置またはズーム量に応じた少なくとも１以上の補正値を予め記憶する。この補正値には、被写体収差像のカーネルサイズを含まれる。
第２変換係数記憶手段としても機能するレジスタ３０２に、位相板１１３ａに起因する収差に対応した変換係数を予め記憶する。
そして、ズーム情報生成手段としてのズーム情報検出装置４００により生成されたズーム情報に基づき、補正値選択手段としての画像処理演算プロセッサ３０３が、補正値記憶手段としてのレジスタ３０２からズーム光学系のズーム位置またはズーム量に応じた補正値を選択する。
変換手段としてのコンボリューション装置３０１が、第２変換係数記憶手段としてのレジスタ３０２から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ３０３により選択された補正値とに基づいて画像信号の変換を行う。
【０１３７】
図４４に、露出情報と、物体距離情報と、ズーム情報とを用いた場合のフィルタの構成例を示す。
この例では、物体距離情報とズーム情報で２次元的な情報を形成し、露出情報が奥行きのような情報を形成している。
【０１３８】
なお、図２や図３の光学系は一例であり、本発明は図２や図３の光学系に対して用いられるものとは限らない。また、スポット形状についても図４および図５は一例であり、本実施形態のスポット形状は、図４および図５に示すものとは限らない。
また、図２８、図２９、および図３０のカーネルデータ格納ＲＯＭに関しても、光学倍率、Ｆナンバやそれぞれのカーネルのサイズ、値に対して用いられるものとは限らない。また用意するカーネルデータの数についても３個とは限らない。
図３８のように３次元、さらには４次元以上とすることで格納量が多くなるが、種々の条件を考慮してより適したものを選択することができるようになる。情報としては、上述した露出情報、物体距離情報、ズーム情報等であればよい。
【０１３９】
なお、上述のように、光波面変調素子としての位相板を備えた撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
【０１４０】
以上説明したように、本実施形態によれば、１次画像を形成する光学系１１０および撮像素子１２０と、１次画像を高精細な最終画像に形成する画像処理装置１４０とを含み、光学系１１０は、光学的伝達関数（ＯＴＦ）を変調させる光波面変調素子と、光波面変調素子と隣接して配置された絞りと、を有し、絞りアパーチャー径をφとし、絞りと位相変調素子のなす間隔をＤとすると、φ×Ｄ＜２という条件式（１）を満足することから、光学系を簡単化でき、コスト低減を図ることができ、しかも適切な画質の、ノイズの影響が小さい復元画像を得ることができる利点がある。
【０１４１】
また、本実施形態においては、１次画像を形成する光学系１１０および撮像素子１２０と、１次画像を高精細な最終画像に形成する画像処理装置１４０とを含み、光学系１１０のピント位置の調整は、光学的伝達関数（ＯＴＦ）を変調させる光波面変調素子を有する光学系を通して繰り返し検知した画像信号に基づく被写体のコントラストを用いて、あらかじめ定められた被写体距離に対応するピント位置に移動させて行われることから、できるだけコントラストが高い部分でコントラスト検出を行うことでピント合わせを行い、あらかじめ定められた被写体距離の撮影が可能となる。
【０１４２】
また、コンボリューション演算時に用いるカーネルサイズやその数値演算で用いられる係数を可変とし、操作部１８０等の入力により知り、適性となるカーネルサイズや上述した係数を対応させることにより、倍率やデフォーカス範囲を気にすることなくレンズ設計ができ、かつ精度の高いコンボリュ−ションによる画像復元が可能となる利点がある。
また、難度が高く、高価でかつ大型化した光学レンズを必要とせずに、かつ、レンズを駆動させること無く、撮影したい物体に対してピントが合い、背景はぼかすといった、いわゆる自然な画像を得ることができる利点がある。
そして、本実施形態に係る撮像装置１００は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたＤＥＯＳの光学システムに使用することが可能である。
【０１４３】
また、本実施形態においては、結像レンズ１１２による撮像素子１２０の受光面への結像の波面を変形させる波面形成用光学素子を有する撮像レンズ系と、撮像素子１２０による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する画像処理装置１４０とを有することから、高精細な画質を得ることが可能となるという利点がある。
また、光学系１１０の構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。
【０１４４】
ところで、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、画素ピッチから決まる解像力限界が存在し、光学系の解像力がその限界解像力以上であるとエリアジングのような現象が発生し、最終画像に悪影響を及ぼすことは周知の事実である。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。
【０１４５】
しかし、上述したように、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、エリアジングが発生する。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。
このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用することは光学系をより複雑にしているという不利益がある。
【０１４６】
以上のように、時代の趨勢でますます高精細の画質が求められているにもかかわらず、高精細な画像を形成するためには、従来の撮像レンズ装置では光学系を複雑にしなければならない。複雑にすれば、製造が困難になったりし、また高価なローパスフィルタを利用したりするとコストアップにつながる。
しかし、本実施形態によれば、ローパスフィルタを用いなくとも、エリアジングの現象の発生を避けることができ、高精細な画質を得ることができる。
【０１４７】
なお、本実施形態において、光学系の波面形成用光学素子を絞りより物体側レンズよりに配置した例を示したが、絞りと同一あるいは絞りより結像レンズ側に配置しても前記と同様の作用効果を得ることができる。
【０１４８】
また、図２や図３の光学系は一例であり、本発明は図２や図３の光学系に対して用いられるものとは限らない。また、スポット形状についても図４および図５は一例であり、本実施形態のスポット形状は、図４および図５に示すものとは限らない。
また、図２８、図２９、および図３０のカーネルデータ格納ＲＯＭに関しても、光学倍率、Ｆナンバやそれぞれのカーネルのサイズ、物体距離の値に対して用いられるものとは限らない。また用意するカーネルデータの数についても３個とは限らない。
【図面の簡単な説明】
【０１４９】
【図１】本発明に係る撮像装置の一実施形態を示すブロック構成図である。
【図２】本実施形態に係る撮像レンズ装置の広角側のズーム光学系の構成例を模式的に示す図である。
【図３】本実施形態に係る撮像レンズ装置の望遠側のズーム光学系の構成例を模式的に示す図である。
【図４】広角側の像高中心のスポット形状を示す図である。
【図５】望遠側の像高中心のスポット形状を示す図である。
【図６】ＤＥＯＳの原理を説明するための図である。
【図７】本実施形態に係る撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。
【図８】本実施形態に係る撮像素子により形成される１次画像のＭＴＦについて説明するための図であって、（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、（Ｂ）が空間周波数に対するＭＴＦ特性を示している。
【図９】絞り位置の異なるＤＥＯＳの位相変調部の光線図であって、（Ａ）は絞りが位相変調面に近い場合の光線図を示し、（Ｂ）は絞りが位相変調面に遠い場合の光線図を示している。
【図１０】絞り位置の異なるＤＥＯＳのスポット図であって、（Ａ）は絞りが位相変調面に近い場合のスポット図を示し、（Ｂ）は絞りが位相変調面に遠い場合のスポット図を示している。
【図１１】撮像素子にシェーディングが存在した場合における周辺と中心における特性を示した図である。
【図１２】シェーディング面積Ｓ１とＳ２がスポットに与える影響を示す図である。
【図１３】テレセントリック性の位相変調素子（光波面変調素子）に与える影響を示した図である。
【図１４】光学レンズに位相変調面を形成した光学系の例を示す図である。
【図１５】位相変調面形成の概略図である。
【図１６】本実施形態に係る調整装置の構成例を示すブロック図である。
【図１７】ピント位置でのチャート像を示す図である。
【図１８】ピント位置から光学系を＋０．２ｍｍ移動させた場合のチャート像を示す図である。
【図１９】ピント位置から光学系を−０．２ｍｍ移動させた場合のチャート像を示す図である。
【図２０】位相面による点像分布関数について示す図である。
【図２１】ピント位置決定手順について説明するためのフローチャートである。
【図２２】ピント位置決定手順について説明するための図であって、光学系と撮像素子の位置調整処理を説明するための図である。
【図２３】従来光学系のフォーカス位置に対するコントラスト変化を示す図である。
【図２４】本発明の光学系のフォーカス位置に対するコントラスト変化を示す図である。
【図２５】従来光学系のＭＴＦのレスポンスを示す図である。
【図２６】光波面変調素子を持った光学系のＭＴＦのレスポンスを示す図である。
【図２７】本実施形態の光波面変調素子を含む光学系の光軸をｚ軸とし、互いに直交する２軸をｘ、ｙとしたとき、式で表される波面収差の形状を示す図である。
【図２８】波面収差の形状と０．５λ以下の範囲を太線で表した図である。
【図２９】本実施形態に係る画像処理装置におけるＭＴＦ補正処理を説明するための図である。
【図３０】本実施形態に係る画像処理装置におけるＭＴＦ補正処理を具体的に説明するための図である。
【図３１】従来の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。
【図３２】光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。
【図３３】本実施形態に係る撮像装置のデータ復元後のＭＴＦのレスポンスを示す図である。
【図３４】カーネルデータＲＯＭの格納データの一例（光学倍率）を示す図である。
【図３５】カーネルデータＲＯＭの格納データの他例（Ｆナンバ）を示す図である。
【図３６】カーネルデータＲＯＭの格納データの他例（Ｆナンバ）を示す図である。
【図３７】露出制御装置の光学系設定処理の概要を示すフローチャートである。
【図３８】信号処理部とカーネルデータ格納ROMについての第１の構成例を示す図である。
【図３９】信号処理部とカーネルデータ格納ROMについての第２の構成例を示す図である。
【図４０】信号処理部とカーネルデータ格納ROMについての第３の構成例を示す図である。
【図４１】信号処理部とカーネルデータ格納ROMについての第４の構成例を示す図である。
【図４２】被写体距離情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
【図４３】ズーム情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
【図４４】露出情報と、物体距離情報と、ズーム情報とを用いた場合のフィルタの構成例を示す図である。
【図４５】一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
【図４６】図４５の撮像レンズ装置の撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。
【符号の説明】
【０１５０】
１００・・・撮像装置、１１０・・・光学系、１１０ａ・・・絞り、１２０・・・撮像素子、１３０・・・アナログフロントエンド部（ＡＦＥ）、１４０・・・画像処理装置、１５０・・・カメラ信号処理部、１８０・・・操作部、１９０・・・制御装置、１１１・・・物体側レンズ、１１２・・・結像レンズ、１１３・・・波面形成用光学素子、１１３ａ・・・位相板（光波面変調素子）、１１３０・・・位相変調面（光波面変調面）、１４２・・・コンボリューション演算器、１４３・・・カーネルデータＲＯＭ、１４４・・・コンボリューション制御部、２００・・・調整装置、２１０・・・レンズ調整駆動部、２１１・・・レンズ(光学系)、２１２・・・モータドライバ、２２０・・・センサ（撮像素子）、２３０・・・ＡＦＥ（アナログフロントエンド部）、２４０・・・ＲＡＷバッファメモリ、２５０・・・コントラスト検知部、２６０・・・ピント調整制御部、２７０・・・画像表示部。
【出願人】 【識別番号】０００００６６３３
【氏名又は名称】京セラ株式会社
【出願日】 平成１８年８月１８日（２００６．８．１８）
【代理人】 【識別番号】１０００９４０５３
【弁理士】
【氏名又は名称】佐藤 隆久
【公開番号】 特開２００８−４８２９３（Ｐ２００８−４８２９３Ａ）
【公開日】 平成２０年２月２８日（２００８．２．２８）
【出願番号】 特願２００６−２２３６５１（Ｐ２００６−２２３６５１）