トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 撮像装置と欠陥補正回路および欠陥補正方法
【発明者】 【氏名】原 学
【要約】 【課題】欠陥補正を良好に行えるようにする。

【構成】欠陥情報記憶部３１０は、撮像素子で生成される画素信号のオフセットが大きい欠陥画素の欠陥情報を記憶する。赤成分光に応じた画像信号ＤRaの欠陥補正を行う欠陥補正処理部３１Rで、補正信号生成部３１１は、欠陥情報ＲＰRで示された欠陥画素のオフセットに応じて、補正信号ＤＨRを欠陥画素毎に生成する。第１補正部３１２は、補正信号ＤＨRを用いて欠陥画素の補正を行う。第２補正部３１４は、補正信号ＤＨRを用いることなく欠陥画素の補正を行う。補正切替部３１３は、第１補正部３１２で補正された信号と第２補正部３１４で補正された信号を、補正信号ＤＨRと補正切替基準信号ＣＲRの比較結果に基づいて用いることで、欠陥画素が補正された信号とする。欠陥補正処理部３１G,３１Bも同様に、画像信号ＤGa，ＤBaに対して欠陥補正を行い画像信号ＤGb，ＤBbを生成する。
【特許請求の範囲】
【請求項１】
撮像素子を用いて画像信号の生成を行う撮像部と、
前記撮像素子で画素毎に生成される信号が、規定よりも大きいオフセットを生じる欠陥画素に関する欠陥情報を記憶した欠陥情報記憶部と、
前記欠陥情報で示された前記欠陥画素のオフセットに応じて、補正信号を前記欠陥画素毎に生成する補正信号生成部と、
前記画像信号に対して、前記補正信号を用いて前記欠陥情報で示された前記欠陥画素の補正を行う第１補正部と、
前記画像信号に対して、前記補正信号を用いることなく前記欠陥情報で示された欠陥画素の補正を行う第２補正部と、
前記第１補正部で補正された信号と前記第２補正部で補正された信号を、前記補正信号の信号レベルと予め設定した補正切替基準信号の比較結果に基づいて用いることで、前記欠陥画素が補正された信号とする補正切替部を有する
ことを特徴とする撮像装置。
【請求項２】
前記補正切替部は、前記補正信号の信号レベルが予め設定した補正切替基準信号よりも大きくないとき、前記第１補正部で補正された信号を前記欠陥画素が補正された信号として用いるものとし、前記補正切替基準信号よりも大きいとき、前記第２補正部で補正された信号を前記欠陥画素が補正された信号として用いる
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記第１補正部で補正された信号と前記２補正部で補正された信号が供給される演算処理部を有し、
前記補正切替部は、前記補正信号の信号レベルが予め設定した補正切替基準信号よりも大きくないとき、前記第１補正部で補正された信号を前記演算処理部から演算結果として出力させるものとし、前記補正信号の信号レベルが予め設定した補正切替基準信号よりも大きいとき、前記第１補正部で補正された信号と前記２補正部で補正された信号を用いて算出した信号を前記演算処理部から演算結果として出力させるものとして、該演算結果を前記欠陥画素が補正された信号とする
ことを特徴とする請求項１記載の撮像装置。
【請求項４】
前記欠陥情報記憶部は、前記画素毎に生成される信号が入射光に依存しない信号レベルとなる欠陥画素に関した欠陥情報を記憶し、
前記第２補正部は、前記入射光に依存しない信号レベルとなる欠陥画素の補正を行う
ことを特徴とする請求項１記載の撮像装置。
【請求項５】
前記第２補正部は、前記欠陥情報で示された欠陥画素に対する周辺画素の信号を用いて該欠陥画素の補正を行う
ことを特徴とする請求項１記載の撮像装置。
【請求項６】
前記補正信号生成部は、前記撮像素子の温度や前記撮像部で前記画像信号を生成したときの利得に応じて、前記補正信号の信号レベルを補正する
ことを特徴とする請求項１記載の撮像装置。
【請求項７】
前記撮像部は、前記画像信号をディジタル信号として出力する
ことを特徴とする請求項１記載の撮像装置。
【請求項８】
前記欠陥情報は、前記欠陥画素の位置とオフセット量を示す情報である
ことを特徴とする請求項１記載の撮像装置。
【請求項９】
撮像素子で画素毎に生成される信号が、規定よりも大きいオフセットを生じる欠陥画素に関する欠陥情報を記憶した欠陥情報記憶部と、
前記欠陥情報で示された前記欠陥画素のオフセットに応じて、補正信号を前記欠陥画素毎に生成する補正信号生成部と、
前記撮像素子を用いて生成された画像信号に対して、前記補正信号を用いて前記欠陥情報で示された前記欠陥画素の補正を行う第１補正部と、
前記撮像素子を用いて生成された画像信号に対して、前記補正信号を用いることなく前記欠陥情報で示された欠陥画素の補正を行う第２補正部と、
前記第１補正部で補正された信号と前記第２補正部で補正された信号を、前記補正信号の信号レベルと予め設定した補正切替基準信号の比較結果に基づいて用いることで、前記欠陥画素が補正された信号とする補正切替部を有する
ことを特徴とする欠陥補正回路。
【請求項１０】
撮像素子で画素毎に生成される信号が、規定よりも大きいオフセットを生じる欠陥画素に関した欠陥情報を用いる欠陥補正方法において、
前記欠陥情報で示された前記欠陥画素のオフセットに応じて、補正信号を前記欠陥画素毎に生成する補正信号生成工程と、
前記撮像素子を用いて生成された画像信号に対して、前記補正信号を用いて前記欠陥情報で示された前記欠陥画素の補正を行う第１補正工程と、
前記撮像素子を用いて生成された画像信号に対して、前記補正信号を用いることなく前記欠陥情報で示された欠陥画素の補正を行う第２補正工程と、
前記補正信号の信号レベルと予め設定した補正切替基準信号の比較結果に基づき、前記第１補正部で補正された信号と前記第２補正部で補正された信号のいずれか一方あるいは両方を用いて、前記欠陥画素が補正された信号とする補正切替部を有する
前記第１補正工程で補正された信号と前記第２補正工程で補正された信号を、前記補正信号の信号レベルと予め設定した補正切替基準信号の比較結果に基づいて用いることで、前記欠陥画素が補正された信号とする補正切替工程を設けた
ことを特徴とする欠陥補正方法。
【発明の詳細な説明】【技術分野】
【０００１】
この発明は、撮像装置と欠陥補正回路および欠陥補正方法に関する。詳しくは、撮像素子で画素毎に生成される信号が規定よりも大きいオフセットを生じる欠陥画素を補正するとき、この欠陥画素の補正に用いる補正信号の信号レベルに応じて欠陥補正方法を切り替えることで、欠陥補正を良好に行うものである。
【背景技術】
【０００２】
従来、撮像素子例えばＣＣＤ(Charge Coupled Devices)イメージセンサやＣＭＯＳイメージセンサ等では、光電変換を行う画素が複数設けられており、各画素で生成された画素信号に基づいて画像信号を生成することが行われている。このような撮像素子では、画素毎に生成される画素信号が、素子特性の不均一性によって、予め設定されている規定のレベルよりも大きいオフセットを生じる欠陥画素（以下「第１欠陥画素」という）を生じる場合がある。また、撮像素子では、画素毎に生成される画素信号が、結晶欠陥等によって入射光に依存しない信号レベルとなる欠陥画素（以下「第２欠陥画素」という）を生じる場合もある。このため、このような撮像素子を用いた撮像装置では、欠陥画素による画質の劣化を防止するため、画像信号における欠陥画素に対応する信号を、欠陥画素が目立たないように補正する欠陥補正が行われている。
【０００３】
この欠陥補正では、第１欠陥画素の補正を行う場合、第１欠陥画素のオフセットに応じた補正信号を用いて、画像信号から第１欠陥画素のオフセットを除去することが行われている。例えば、撮像素子で生成された画像信号において、第１欠陥画素に対応する信号が図５Ａに示すようにオフセットＯＦ（斜線部）を生じている場合、この信号から図５Ｂに示すようにオフセットＯＦのオフセット量ＦＬ1と等しい信号レベルの補正信号ＨＣを減算することで、オフセットＯＦを除去できる。しかし、撮像素子の温度変化によって第１欠陥画素に対応する信号のオフセットＯＦが、オフセット量ＦＬ1から図５Ｃに示すようにオフセット量ＦＬ2に増大すると、補正信号ＨＣを減算しても図５Ｄに示すように補正残りＯＦrが生じてしまう。なお、図５および後述する図６の信号レベルＬBは、黒レベルを示している。
【０００４】
このため、特許文献１では、温度変化に応じて補正信号の信号レベルを可変して、この補正信号を用いて画像信号の信号レベル補正を行い、補正後の画像信号で欠陥を検出したときは、この欠陥を所定のサンプル前の画像信号に置き換えることが行われている。さらに、欠陥画素が所定レベル以上になったときは、補正信号を用いた信号レベル補正を停止させることも行われている。また、特許文献１や特許文献２の発明では、メモリに欠陥画素に関する情報を記憶して、この情報を用いて欠陥画素の補正を行うことが開示されている。
【０００５】
【特許文献１】特許第３１０４０９８号公報
【特許文献２】特開平６−１１３２１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、撮像装置では、低照度下であっても所望の信号レベルの画像信号を得ることができるように、撮像素子から出力される画像信号を増幅するビデオアンプが設けられている。このため、撮像素子の温度変化によってオフセットが増加した場合だけでなく、ビデオアンプの利得が高く設定されたときには、補正信号の信号レベルも大きくしなければ高精度に欠陥補正を行うことができない。
【０００７】
しかし、補正信号の信号レベルを大きくすると、過補正が発生し易くなるだけでなく、過補正の影響が顕著になりやすい。例えば、オフセットＯＦが小さいとき（補正信号ＨＣの信号レベルが小さいとき）は、図６Ａに示すように、画像信号の信号レベルが飽和レベルＬsに達するまで、図６Ｂに示すように、正しく欠陥補正を行うことができる。なお、信号レベルＬcはオフセットを生じていないときの信号レベルである。ここで、図６Ｃに示すように、オフセットＯＦが図６Ａに示すオフセット量ＦＬ1よりも大きなオフセット量ＦＬ2であるときに欠陥補正を行うと、図６Ｄに示すように、オフセット量ＦＬ2に相当する補正信号ＨＣを飽和レベルＬsから減算することになり、飽和レベルＬsを超えているオフセット量ＦＬvだけ、画像信号が信号レベルＬcよりも低下したものとなって、過補正が発生してしまう。また、図６Ｅに示すように、オフセットを除いた信号部分が飽和レベルＬsに達しているとき欠陥補正を行うと、図６Ｆに示すように飽和レベルＬsよりもオフセット量ＦＬ2だけ信号レベルが低く補正されてしまうこととなる。すなわち、オフセットを生じていない画素の信号レベルと欠陥画素の補正後の信号レベルとのレベル差が大きくなり、過補正の影響が顕著となってしまう。
【０００８】
さらに、オフセットが大きいと、画像信号では入射光に基づく信号成分よりもオフセットによる信号成分が支配的となってしまことから、オフセットを高精度に除去しないと、入射光に基づいた画像信号に補正することができない。すなわち、入射光に基づく信号レベルに対して補正信号の信号レベルが小さいときには、補正信号に誤差が生じても、この誤差の影響は無視することができる。しかし、入射光に基づく信号レベルに対して補正信号の信号レベルが大きくなると、補正信号の誤差の影響を無視できなくなってしまう。このため、例えば低照度下で被写体を撮像した場合のように入射光に基づく信号レベルが小さくなって補正信号の誤差よりも小さくなると、欠陥画素の信号レベルが入射光に基づいた信号レベルとは異なる信号レベルに補正されて、欠陥補正の信頼性が低下してしまうおそれがある。
【０００９】
そこで、この発明では、欠陥補正を良好に行うことができる撮像装置と欠陥補正方法を提供するものである。
【課題を解決するための手段】
【００１０】
この発明の概念は、撮像素子で画素毎に生成される信号が規定よりも大きいオフセットを生じる欠陥画素に関する欠陥情報に基づき、欠陥画素毎にオフセットに応じた補正信号の生成を行い、補正信号を用いて欠陥画素の補正を行うことにより得られた信号と、補正信号を用いることなく欠陥画素の補正を行うことにより得られた信号を、補正信号と予め設定した補正切替基準信号との比較結果に基づいて用いるものとして、欠陥画素が補正された信号とする撮像装置と欠陥補正装置および欠陥補正方法にある。
【００１１】
ここで、欠陥情報とは、予め設定されている規定のレベルよりも大きいオフセットを生じる欠陥画素を補正するために必要とされる情報であり、例えば欠陥画素の位置やオフセット量を示すものである。補正信号を用いた欠陥画素の補正では、撮像素子を用いて生成された画像信号において、欠陥情報で示された欠陥画素に対応する信号のオフセットが除去されるように、この欠陥画素に対応する信号に補正信号を加算あるいは減算することが行われる。また、補正信号を用いることのない欠陥画素の補正では、画素毎に生成される信号が入射光に依存しない信号レベルとなる欠陥画素の補正、例えば欠陥画素に対する周辺画素の信号を用いた補正が行われる。補正信号は、撮像素子の温度や画像信号を生成したときの利得に応じて、信号レベルを補正する。この補正信号の信号レベルが予め設定した補正切替基準信号よりも大きくないときは、欠陥画素が補正された信号として補正信号を用いた欠陥画素の補正によって得られた信号を用いるものとし、補正切替基準信号よりも大きいときは、欠陥画素が補正された信号として、補正信号を用いることのない欠陥画素の補正によって得られた信号が用いられる。
【発明の効果】
【００１２】
この発明によれば、撮像素子で画素毎に生成される信号が規定よりも大きいオフセットを生じる欠陥画素に関する欠陥情報に基づき、欠陥画素毎にオフセットに応じた補正信号の生成が行われて、この補正信号を用いた欠陥画素の補正により得られた信号と、補正信号を用いていない欠陥画素の補正により得られた信号が、補正信号と予め設定した補正切替基準信号との比較結果に基づいて用いられて、欠陥画素が補正された信号とされる。
【００１３】
このため、補正信号が補正切替基準信号よりも大きくなり過補正を生じてしまうおそれがあるときは、補正信号を用いていない欠陥画素の補正により得られた信号が欠陥補正後の信号として用いられるので、過補正の発生を防止して欠陥補正を良好に行うことができる。
【発明を実施するための最良の形態】
【００１４】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は、撮像素子の欠陥補正を行う欠陥補正装置を、撮像装置に適用した場合の構成を示している。なお、図１では、レンズやアイリス等で構成される光学系（図示せず）を介して入射された被写体像の入射光を、色分解プリズムで３原色に分解して、色毎に設けられている撮像素子に入射する３板式の撮像装置の構成を示している。
【００１５】
撮像装置１０の撮像部２０は、撮像素子２１R，２１G，２１Bとビデオアンプ２２R，２２G，２２B、およびＡ／Ｄ変換器２３R，２３G，２３Bを用いて構成されている。
【００１６】
撮像素子２１Rは、光電変換を行う画素を複数設けた構成とされており、色分解プリズムで分解された赤成分光に応じて各画素で生成された画素信号に基づく画像信号ＳRをビデオアンプ２２Rに供給する。
【００１７】
ビデオアンプ２２Rは、後述する制御部５０からの利得切替信号ＧＣに基づき利得を切り替えて画像信号ＳRの増幅処理を行い、増幅処理後の画像信号ＳRaをＡ／Ｄ変換器２３Rに供給する。例えば、低照度下で撮像を行った場合であっても、利得切替信号ＧＣによってビデオアンプ２２Rの利得を高めることで、画像信号ＳRaが所望の信号レベルで生成される。なお、照度が充分であるときは、画像信号ＳRを画像信号ＳRaとしてＡ／Ｄ変換器２３Rに供給する。
【００１８】
Ａ／Ｄ変換器２３Rは、ビデオアンプ２２Rから供給された画像信号ＳRaを、ディジタルの画像信号ＤRaに変換して画像信号処理部３０に供給する。
【００１９】
撮像素子２１G，２１Bは、撮像素子２１Rと同様に構成されており、撮像素子２１Gは緑成分光に応じた画像信号ＳGを生成してビデオアンプ２２Gに供給する。また、撮像素子２１Bは青成分光に応じた画像信号ＳBを生成してビデオアンプ２２Bに供給する。
【００２０】
ビデオアンプ２２G，２２Bは、ビデオアンプ２２Rと同様に構成されており、ビデオアンプ２２Gは、画像信号ＳGの増幅処理を行い、増幅処理後の画像信号ＳGaをＡ／Ｄ変換器２３Gに供給する。また、ビデオアンプ２２Bは、画像信号ＳBの増幅処理を行い、増幅処理後の画像信号ＳBaをＡ／Ｄ変換器２３Bに供給する。
【００２１】
Ａ／Ｄ変換器２３Gは、ビデオアンプ２２Gから供給された画像信号ＳGaを、ディジタルの画像信号ＤGaに変換して画像信号処理部３０に供給する。Ａ／Ｄ変換器２３Bは、ビデオアンプ２２Bから供給された画像信号ＳBaを、ディジタルの画像信号ＤBaに変換して画像信号処理部３０に供給する。
【００２２】
また、撮像部２０には、撮像素子２１Rの温度を検出するための温度センサ２４R、撮像素子２１Gの温度を検出するための温度センサ２４G、撮像素子２１Bの温度を検出するための温度センサ２４Bが設けられている。温度センサ２４Rは、検出した温度を示すセンサ信号ＴＰRを生成して後述する制御部５０に供給する。同様に、温度センサ２４G，２４Bは、検出した温度を示すセンサ信号ＴＰG，ＴＰBを生成して後述する制御部５０に供給する。
【００２３】
なお、撮像素子２１R，２１G，２１BやＡ／Ｄ変換器２３R，２３G，２３Bは、後述するタイミング信号生成部４０から供給されたタイミング信号ＳＹＧや制御部５０から供給された制御信号ＣＴに基づいて、画像信号の生成やＡ／Ｄ変換処理を行う。
【００２４】
画像信号処理部３０の欠陥補正部３１は、撮像部２０から供給された三原色の画像信号ＤRa，ＤGa，ＤBaに対して欠陥補正を行い、欠陥画素に対応する信号のレベルを補正して欠陥画素が目立たないようにする。この欠陥補正後の画像信号ＤRb，ＤGb，ＤBbは、レベル調整部３２に供給される。
【００２５】
レベル調整部３２は、画像信号ＤRb，ＤGb，ＤBbに対して暗電流による黒レベルの変動を除去する黒レベル調整、画像信号ＤRb，ＤGb，ＤBbのダイナミックレンジを揃えるホワイトレベル調整等を行い、調整後の画像信号ＤRc，ＤGc，ＤBcをリニアマトリクス処理部３３に供給する。
【００２６】
リニアマトリクス処理部３３は、色再現性を向上させるため、画像信号ＤRc，ＤGc，ＤBcと予め設定されているマトリクス定数を用いてマトリクス演算を行い、演算結果である画像信号ＤRd，ＤGd，ＤBdをニー補正部３４に供給する。
【００２７】
ニー補正部３４は、画像信号ＤRd，ＤGd，ＤBdに対して、高輝度部分を圧縮する処理を行い、処理後の画像信号ＤRe，ＤGe，ＤBeをガンマ補正部３５に供給する。
【００２８】
ガンマ補正部３５は、撮影画像を表示する際に忠実な階調表現とするため、画像信号ＤRe，ＤGe，ＤBeに対して非線形補正を行い、非線形補正後の画像信号ＤRf，ＤGf，ＤBfを出力部３６に供給する。出力部３６は、画像信号ＤRf，ＤGf，ＤBfから所定のフォーマットの出力信号Ｖoutを生成して出力する。例えば、画像信号ＤRf，ＤGf，ＤBfからコンポジット信号を生成して出力したり、画像信号ＤRf，ＤGf，ＤBfから輝度信号と色差信号を生成して出力信号Ｖoutとして出力する。
【００２９】
なお、画像信号処理部３０では、撮像画像の輪郭を補償するディテール処理等も行われる。また、画像信号処理部３０は、タイミング信号生成部４０から供給されたタイミング信号ＳＹＧを用いることで、各処理を画像信号に同期して行う。
【００３０】
タイミング信号生成部４０は、クロック信号や水平同期信号および垂直同期信号等からなるタイミング信号ＳＹＧを生成して、撮像部２０や画像信号処理部３０および制御部５０に供給する。
【００３１】
制御部５０にはユーザインタフェース部５１が接続されている。ユーザインタフェース部５１は、カメラコントロールユニット等の外部機器を接続するためのインタフェースやユーザが操作する操作スイッチで構成されている。ユーザインタフェース部５１は、外部機器から撮像装置１０の動作を制御するために供給された信号やユーザのスイッチ操作に応じて生成した信号を操作信号ＵＳとして制御部５０に供給する。
【００３２】
制御部５０は、操作信号ＵＳに基づき制御信号ＣＴを生成して撮像部２０や画像信号処理部３０に供給することで、撮像装置１０の動作が外部機器から指示された動作やユーザのスイッチ操作に応じた動作となるように制御する。
【００３３】
また、制御部５０は、欠陥補正部３１で欠陥画素の補正を良好に行うことができるようにするため、温度センサ２４R，２４G，２４Bからのセンサ信号ＴＰR，ＴＰG，ＴＰBや、利得切替信号ＧＣによって設定したビデオアンプ２２R，２２G，２２Bの利得に基づき、オフセット調整信号ＯＧを生成して欠陥補正部３１に供給する。また、制御部５０は、後述するように、欠陥画素のオフセットに応じて生成された補正信号の信号レベルに基づいて欠陥補正方法を切り替えるための基準である補正切替基準信号ＣＲを生成して欠陥補正部３１に供給する。
【００３４】
図２は、欠陥補正部の構成を示している。欠陥補正部３１には、赤成分光に応じて生成された画像信号ＤRaに対して欠陥補正を行う欠陥補正処理部３１Rと、緑成分光に応じて生成された画像信号ＤGaに対して欠陥補正を行う欠陥補正処理部３１Gと、青成分光に応じて生成された画像信号ＤBaに対して欠陥補正を行う欠陥補正処理部３１Bが設けられている。また、欠陥補正部３１には、撮像素子の欠陥画素に関する欠陥情報を記憶した欠陥情報記憶部３１０が設けられている。
【００３５】
欠陥補正処理部３１R，３１G，３１Bは、等しい構成とされている。なお、説明を簡単とするため、欠陥補正処理部３１Rについてのみ詳細な説明を行い、欠陥補正処理部３１G，３１Bについての詳細な説明は省略する。
【００３６】
欠陥情報記憶部３１０は、不揮発性メモリ（図示せず）やメモリコントローラ（図示せず）を用いて構成されている。この不揮発性メモリには、撮像素子２１Rにおいて、画素毎に生成される画素信号が規定よりも大きいオフセットを生じる欠陥画素（第１欠陥画素）に関した欠陥情報と、画素信号が入射光に依存しない信号レベルとなる欠陥画素（第２欠陥画素）に関した欠陥情報が記憶されている。メモリコントローラは、タイミング信号生成部４０から供給されたタイミング信号ＳＹＧを利用して、欠陥補正処理部３１Rに供給されている画像信号ＤRaに同期させて欠陥情報を欠陥補正処理部３１Rに供給する。
【００３７】
この欠陥情報は、第１欠陥画素の位置とオフセット量および第２欠陥画素の位置を示す情報を有している。ここで、撮像素子の各画素とメモリアドレスを対応させるものとして、欠陥情報は欠陥画素と対応するメモリアドレスに記憶させる。例えば、第１欠陥画素であるときは、この第１欠陥画素と対応するメモリアドレスに、オフセット量を示すデータを記憶させる。また第２欠陥画素であるときは、この第２欠陥画素と対応するメモリアドレスに、第１欠陥画素のデータとして用いられることがない第２欠陥画素に固有のデータを記憶させる。このように、各画素とメモリアドレスを対応させておくと、撮像素子２１Rから順に画素信号を読み出して画像信号ＳRの生成を行い、欠陥情報記憶部３１０のメモリコントローラは、タイミング信号ＳＹＧに基づき、画素信号の読み出し毎に例えばメモリアドレスをカウントアップして不揮発性メモリからデータを読み出せば、欠陥補正処理部３１Rに供給されている画像信号ＤRaに同期させて欠陥情報を供給できる。すなわち、第１欠陥画素の信号が欠陥補正処理部３１Rに供給されるときには、オフセット量を示すデータが欠陥情報ＲＰRとして欠陥補正処理部３１Rに供給されることとなり、第２欠陥画素の信号が欠陥補正処理部３１Rに供給されるときには、第２欠陥画素であることを示す固有のデータが欠陥情報ＲＰRとして欠陥補正処理部３１Rに供給されることとなる。
【００３８】
また、欠陥情報記憶部３１０は、欠陥情報として第１欠陥画素の位置データとオフセット量、および第２欠陥画素の位置データを記憶しておくものとしてもよい。この場合、欠陥情報記憶部３１０のメモリコントローラは、タイミング信号ＳＹＧに基づき、欠陥補正処理部３１Rに供給されている画像信号ＤRaの画素位置を判別して、この画素位置が不揮発性メモリに記憶されている第１欠陥画素の画素位置データと一致したとき、第１欠陥画素のオフセット量を欠陥情報ＲＰRとして欠陥補正処理部３１Rに供給する。また、画素位置が不揮発性メモリに記憶されている第２欠陥画素の位置データと一致したとき、第２欠陥画素であることを示すフラグ等を欠陥情報ＲＰRとして欠陥補正処理部３１Rに供給する。
【００３９】
この欠陥情報の生成は、例えば撮像装置の製造時に所定の被写体の撮像を行い、各画素の信号レベルから、第１欠陥画素や第２欠陥画素を自動判定して、判定結果に基づき欠陥情報を欠陥情報記憶部３１０の不揮発性メモリに記憶させる。また、ユーザ操作によって、第１欠陥画素や第２欠陥画素の自動判定を行い、判定結果に基づき欠陥情報記憶部３１０に記憶されている欠陥情報を更新できるようにすれば、撮像装置の使用開始後に欠陥画素が生じても、この欠陥画素に関する欠陥情報が欠陥情報記憶部３１０に記憶されるので、撮像装置の使用開始後に生じた欠陥画素も補正できる。
【００４０】
補正信号生成部３１１には、制御部５０からオフセット調整信号ＯＧRが供給されている。補正信号生成部３１１は、欠陥情報ＲＰRで示されたオフセット量とオフセット調整信号ＯＧとの演算処理を行い、第１欠陥画素のオフセットを除去するための補正信号ＤＨRを生成して第１補正部３１２と補正切替部３１３に供給する。例えば、オフセット調整信号ＯＧRが撮像素子２１Rの第１欠陥画素のオフセットに関する温度係数やビデオアンプ２２Rの利得に基づくオフセット変化の割合を示すときには、欠陥情報ＲＰRで示されたオフセット量にオフセット調整信号ＯＧRを乗算して補正信号ＤＨRを生成する。また、オフセット調整信号ＯＧRが温度変化によって生じたオフセット変化量やビデオアンプ２２Rの利得切替時のオフセット変動量を示すときには、欠陥情報ＲＰRで示されたオフセット量にオフセット調整信号ＯＧRを加算して補正信号ＤＨRを生成する。
【００４１】
第１補正部３１２には、撮像部２０から出力された画像信号ＤRaが供給される。第１補正部３１２は、画像信号ＤRaにおける第１欠陥画素に対応した信号から、例えば第１欠陥画像に対応する補正信号ＤＨRを減算することで第１欠陥画素のオフセット除去を行い、オフセット除去後の画像信号ＤRahを第２補正部３１４に供給する。
【００４２】
補正切替部３１３には、制御部５０から補正切替基準信号ＣＲRが供給されている。補正切替部３１３は、補正信号ＤＨRの信号レベルと補正切替基準信号ＣＲRの信号レベルを比較して、比較結果に基づき欠陥補正方法を切り替える補正切替信号ＣＣRを生成して第２補正部３１４に供給する。なお、補正切替信号ＣＣRでは、補正信号ＤＨRが供給されたか否かも示すものである。
【００４３】
第２補正部３１４は、欠陥情報記憶部３１０から供給された欠陥情報ＲＰRによって、第１補正部３１２から供給された画像信号ＤRahが第２欠陥画素に対応する信号であることが示されたとき、補正信号を用いることなく欠陥画素の補正を行う。例えば、欠陥画素に対する周辺画素の信号を用いて生成した置換信号に置き換えることで、欠陥補正を行う。また、補正切替信号ＣＣRによって、補正信号ＤＨRの信号レベルが補正切替基準信号ＣＲRの信号レベルよりも大きいことが示されたときは、この補正信号ＤＨRを用いて補正される第１欠陥画素を、上述のように周辺画素の信号を用いて補正する。この欠陥補正後の画像信号ＤRbをレベル調整部３２に供給する。
【００４４】
欠陥補正処理部３１Gは、欠陥情報記憶部３１０に記憶されている撮像素子２１Gの欠陥情報ＲＰGに基づき、画像信号ＤGaの欠陥補正を欠陥補正処理部３１Rと同様にして行い、欠陥補正後の画像信号ＤRbをレベル調整部３２に供給する。なお、欠陥補正処理部３１Gにおける補正信号生成部３１１では、制御部５０から供給されたオフセット調整信号ＯＧGに基づき、撮像素子２１Gの温度やビデオアンプ２２Gの利得に応じて補正信号の信号レベルを調整する。また、補正切替部３１３では、補正切替基準信号ＣＲGを用いて補正切替を行う。
【００４５】
欠陥補正処理部３１Bは、欠陥情報記憶部３１０に記憶されている撮像素子２１Bの欠陥情報ＲＰBに基づき、画像信号ＤBaの欠陥補正を欠陥補正処理部３１Rと同様にして行い、欠陥補正後の画像信号ＤBbをレベル調整部３２に供給する。なお、欠陥補正処理部３１Bにおける補正信号生成部３１１では、制御部５０から供給されたオフセット調整信号ＯＧBに基づき、撮像素子２１Bの温度やビデオアンプ２２Bの利得に応じて補正信号の信号レベルを調整する。また、補正切替部３１３では、補正切替基準信号ＣＲBを用いて補正切替を行う。
【００４６】
次に、欠陥補正動作について説明する。欠陥補正処理部３１Rに供給される画像信号ＤRaが第１欠陥画素に対応した信号である場合、この欠陥補正処理部３１Rには、欠陥情報記憶部３１０から欠陥情報ＲＰRが供給される。補正信号生成部３１１は、欠陥情報ＲＰRで示されたオフセット量とオフセット調整信号ＯＧとの演算処理を行い、補正信号ＤＨRを生成して第１補正部３１２と補正切替部３１３に供給する。
【００４７】
第１補正部３１２は、補正信号生成部３１１で生成された補正信号ＤＨRを画像信号ＤRaに加算して、第１欠陥画素に生じているオフセットの除去を行い、欠陥補正後の画像信号ＤRahを第２補正部３１４に供給する。
【００４８】
補正切替部３１３は補正信号ＤＨRと、制御部５０から供給された補正切替基準信号ＣＲRを比較して、この比較結果を示す補正切替信号ＣＣRを生成して第２補正部３１４に供給する。
【００４９】
第２補正部３１４は、第１補正部３１２から供給された画像信号ＤRahにおいて、欠陥情報ＲＰRで示された第２欠陥画素の信号の補正を行う。また、補正切替信号ＣＣRによって、補正信号ＤＨRの信号レベルが補正切替基準信号ＣＲRよりも大きいことが示されたとき、この補正信号ＤＨRを用いて補正される第１欠陥画素を、この第１欠陥画素に対する周辺画素の信号を用いて補正する。この第１補正部３１２および第２補正部３１４で補正された画像信号は、画像信号ＤRbとしてレベル調整部３２に供給される。
【００５０】
また、欠陥補正処理部３１G，３１Bも欠陥補正処理部３１Rと同様な欠陥補正動作を行い、欠陥補正後の画像信号ＤGb，ＤBbをレベル調整部３２に供給する。
【００５１】
このように、欠陥補正処理部３１R，３１G，３１Bで欠陥補正動作を行うものとすれば、撮像素子の温度やビデオアンプの利得によって、画像信号ＤRa，ＤGa，ＤBaにおける第１欠陥画素のオフセット量が変化しても、第１補正部で、第１欠陥画素の補正を正しく行うことができる。また、補正信号の信号レベルが補正切替基準信号ＣＲよりも大きいときには、この第１欠陥画素が第２補正部３１４によって補正される。このため、第１補正部３１２で欠陥補正を行ったときに過補正が生じるような場合は、補正信号を用いることなく欠陥補正を行うる第２補正部３１４で、欠陥補正が行われるので、過補正のない欠陥補正を行うことができる。
【００５２】
ところで、図２に示す欠陥補正部３１では、第１補正部３１２と第２補正部３１４をカスケード接続した場合の構成を示しているが、第１補正部３１２と第２補正部３１４をパラレル接続しても、同様の作用効果を得ることができる。
【００５３】
図３は、欠陥補正部の他の構成として、第１補正部３１２と第２補正部３１４をパラレル接続した場合を示している。欠陥補正部３１'の欠陥補正処理部３１R'，３１G'，３１B'は、等しい構成とされているものであり、欠陥補正処理部３１R'についてのみ詳細な説明を行い、欠陥補正処理部３１G'，３１B'についての詳細な説明は省略する。また、図３において、図２と対応する部分については同一符号を付している。
【００５４】
画像信号ＤRaは、欠陥補正処理部３１R'の第１補正部３１２と第２補正部３１４に供給される。第１補正部３１２は、画像信号ＤRaについて第１欠陥画素の補正を行い、欠陥補正後の画像信号ＤRahを信号選択部３１５の固定端子Ｐaに供給する。第２補正部３１４は、画像信号ＤRaについて第２欠陥画素の補正を行い、欠陥補正後の画像信号ＤRajを信号選択部３１５の固定端子Ｐbに供給する。また、第２補正部３１４は、補正切替信号ＣＣRによって、補正信号ＤＨRの信号レベルが補正切替基準信号ＣＲRの信号レベルよりも大きいことが示されたとき、この補正信号ＤＨRを用いてオフセット補正が行われる第１欠陥画素を第２補正部３１４で補正する。
【００５５】
信号選択部３１５は、可動端子Ｐcを固定端子Ｐa側あるいは固定端子Ｐb側のいずれかに切り替えて、画像信号ＤRahあるいは画像信号ＤRajを選択して、選択した画像信号を画像信号ＤRbとしてレベル調整部３２に供給する。
【００５６】
この信号選択部３１５では、例えば信号選択部３１５の可動端子Ｐcを固定端子Ｐb側に設定しておき、補正切替部３１３から供給された補正切替信号ＣＣRによって、補正切替部３１３に補正信号ＤＨRが供給されており、この補正信号ＤＨRの信号レベルが補正切替基準信号ＣＲRの信号レベルよりも大きくないとき、可動端子Ｐcを固定端子Ｐa側に切り替えて、第１欠陥画素が補正された画像信号ＤRahを選択する。
【００５７】
このように構成すると、補正信号ＤＨRが補正切替基準信号ＣＲRの信号レベルよりも大きくない第１欠陥画素では、補正信号ＤＨRを用いてオフセット除去が行われている画像信号ＤRahが選択されて画像信号ＤRbとしてレベル調整部３２に供給される。また、補正信号ＤＨRが補正切替基準信号ＣＲRの信号レベルよりも大きい第１欠陥画素、および第２欠陥画素では、周辺画素の信号を用いて欠陥補正が行われた画像信号ＤRajが選択されて画像信号ＤRbとしてレベル調整部３２に供給される。なお、欠陥が生じていないときは、撮像部２０から供給された画像信号ＤRaが第２補正部３１４と信号選択部３１５を介して画像信号ＤRbとしてレベル調整部３２に供給されることとなる。
【００５８】
さらに、欠陥補正処理部３１G'，３１B'も欠陥補正処理部３１R'と同様に構成することで、図２に示す欠陥補正部と同様に欠陥補正がなされた画像信号ＤGb，ＤBbをレベル調整部３２に供給できる。
【００５９】
このように、欠陥補正部３１'を構成すれば、図２に示す欠陥補正部３１と同様に、撮像素子の温度やビデオアンプの利得によって、画像信号ＤRa，ＤGa，ＤBaにおける第１欠陥画素のオフセットが変化しても、第１補正部で、欠陥を正しく補正することができる。また、第１補正部で欠陥補正を行ったときに過補正が生じるような場合でも、第２補正部で第１欠陥画素の欠陥補正が行われるため、過補正のない画像を得ることができる。
【００６０】
ところで、欠陥補正部３１，３１'では、補正信号の信号レベルが補正切替基準信号の信号レベルよりも大きいとき、この補正信号を用いて欠陥補正がなされる第１欠陥画素を第２補正部３１４で補正するものであるが、第１補正部３１２で得られた第１欠陥画素の欠陥補正結果と、第１欠陥画素を第２補正部３１４で補正したときの欠陥補正結果を用いて、この第１欠陥画素の欠陥補正後の画像信号を生成するものとしてもよい。
【００６１】
図４は、欠陥補正部の他の構成として、第１補正部３１２で得られた第１欠陥画素の欠陥補正結果と、第２補正部３１４で第１欠陥画素を補正したときの欠陥補正結果を用いて、欠陥補正後の画像信号を生成する場合を示している。なお、欠陥補正部３１''の欠陥補正処理部３１R''，３１G''，３１B''は、等しい構成とされているものであり、欠陥補正処理部３１R''についてのみ詳細な説明を行い、欠陥補正処理部３１G''，３１B''についての詳細な説明は省略する。また、図４において、図２，図３と対応する部分については同一符号を付している。
【００６２】
第１補正部３１２は、欠陥補正後の画像信号ＤRahを演算処理部３１６に供給する。第２補正部３１４は、欠陥補正後の画像信号ＤRajを演算処理部３１６に供給する。
【００６３】
補正切替部３１３は、補正信号ＤＨRの信号レベルと補正切替基準信号ＣＲRの信号レベルを比較して、この比較結果を示す補正切替信号ＣＣRを第２補正部３１４と演算処理部３１６に供給する。
【００６４】
演算処理部３１６は、第１補正部３１２から供給された画像信号ＤRahと、第２補正部３１４から供給された画像信号ＤRajを用いて演算処理を行い、演算結果を画像信号ＤRbとしてレベル調整部３２に供給する。この演算処理では、例えば画像信号ＤRahと画像信号ＤRajにそれぞれ係数を乗算して、乗算結果を加算する処理を行う。
【００６５】
演算処理部３１６は、補正切替部３１３から供給された補正切替信号ＣＣRによって、補正信号ＤＨRの信号レベルが補正切替基準信号ＣＲRの信号レベルよりも大きいとき、画像信号ＤRahに係数Ｋh（Ｋh＝０．５）、画像信号ＤRajに係数Ｋj（Ｋj＝０．５）をそれぞれ乗算したのち加算する。このとき、演算結果は、画像信号ＤRahと画像信号ＤRajの平均値を示すものとなり、この平均値信号を画像信号ＤRbとしてレベル調整部３２に供給する。
【００６６】
また、補正切替信号ＣＣRによって、補正信号ＤＨRの信号レベルが補正切替基準信号ＣＲRの信号レベルよりも大きくないとき、係数Ｋhを「１」、係数Ｋjを「０」とする。このときの演算結果は、第１補正部３１２から出力された画像信号ＤRahを示すものとなり、この演算結果を画像信号ＤRbとしてレベル調整部３２に供給する。
【００６７】
さらに、補正切替信号ＣＣRによって補正信号ＤＨRが供給されていないことが示されたとき、すなわち欠陥画素でないときは、画像信号ＤRahと画像信号ＤRajが等しいことから、係数「Ｋh＝１，Ｋj＝０」、係数「Ｋh＝０，Ｋj＝１」、係数「Ｋh＝Ｋj＝０．５」のいずれかに設定する。すなわち、撮像部２０から供給された画像信号ＤRaを画像信号ＤRbとしてレベル調整部３２に供給する。
【００６８】
このように、補正信号ＤＨRの信号レベルが補正切替基準信号ＣＲRの信号レベルよりも大きいときは、第１補正部３１２で補正された信号と第２補正部３１４で補正された信号を用いて算出した信号を欠陥補正後の信号として用いる。
【００６９】
また、欠陥補正処理部３１G''，３１B''も、欠陥補正処理部３１R''と同様な処理を行い画像信号ＤGb，ＤBbを生成してレベル調整部３２に供給する。
【００７０】
このようにすれば、例えば第１欠陥画素を第２補正部３１４で補正したときに、周波数特性の劣化が顕著となってしまうような場合が生じても、第１補正部３１２で補正された信号を用いるものとすれば、欠陥補正後の信号に、第１欠陥画素の信号成分を含めることができるので、周波数特性の劣化を軽減させることが可能となる。
【００７１】
なお、上述の形態では、制御部５０から欠陥補正部３１（３１',３１''）にオフセット調整信号ＯＧを供給するものとしたが、センサ信号ＴＰR，ＴＰG，ＴＰBやビデオアンプ２２R，２２G，２２Bの利得を示す情報を補正信号生成部３１１に供給して、撮像素子の温度やビデオアンプの利得に応じて、補正信号の信号レベルを調整するものとしても良い。
【００７２】
また、上述の形態では、欠陥補正部３１に欠陥情報記憶部３１０が設けられている場合を示したが、欠陥補正部３１で欠陥情報を用いることができれば、欠陥情報記憶部３１０は、欠陥補正部３１と別個に設けるものとしても良い。例えば撮像部２０に欠陥情報記憶部３１０を設けるものとすれば、撮像素子と欠陥情報記憶部に記憶された欠陥情報の整合化を容易に行うことができるので、欠陥補正部３１に欠陥情報記憶部３１０を設けた場合に比べて撮像部２０と画像信号処理部３０の管理が容易となる。
【図面の簡単な説明】
【００７３】
【図１】撮像装置の構成を示す図である。
【図２】欠陥補正部の構成を示す図である。
【図３】欠陥補正部の他の構成を示す図である。
【図４】欠陥補正部の他の構成を示す図である。
【図５】従来の欠陥補正動作を説明するための図である。
【図６】欠陥補正動作における過補正を説明するための図である。
【符号の説明】
【００７４】
１０・・・撮像装置、２０・・・撮像部、２１R，２１G，２１B・・・撮像素子、２２R，２２G，２２B・・・ビデオアンプ、２３R，２３G，２３B・・・Ａ／Ｄ変換器、２４R，２４G，２４B・・・温度センサ、３０・・・画像信号処理部、３１，３１'，３１''・・・欠陥補正部、３１R，３１G，３１B・・・欠陥補正処理部、３２・・・レベル調整部、３３・・・リニアマトリクス処理部、３４・・・ニー補正部、３５・・・ガンマ補正部、３６・・・出力部、４０・・・タイミング信号生成部、５０・・・制御部、５１・・・ユーザインタフェース部、３１０・・・欠陥情報記憶部、３１１・・・補正信号生成部、３１２・・・第１補正部、３１３・・・補正切替部、３１４・・・第２補正部、３１５・・・信号選択部、３１６・・・演算処理部
【出願人】 【識別番号】０００００２１８５
【氏名又は名称】ソニー株式会社
【出願日】 平成１８年８月１４日（２００６．８．１４）
【代理人】 【識別番号】１０００９０３７６
【弁理士】
【氏名又は名称】山口 邦夫
【公開番号】 特開２００８−４８１０４（Ｐ２００８−４８１０４Ａ）
【公開日】 平成２０年２月２８日（２００８．２．２８）
【出願番号】 特願２００６−２２１２２６（Ｐ２００６−２２１２２６）