トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 固体撮像装置及び欠陥画素補正方法
【発明者】 【氏名】山口 利朗

【要約】 【課題】解像度、解像感の低下、偽色の発生などが起きる頻度を抑えることができるようにするとともに、欠陥画素補正が過度に行われるのを防止することができるようにする。

【構成】撮像素子における欠陥画素の欠陥レベルを検出するとともに、欠陥画素周辺の周辺輝度レベルを算出し、欠陥画素周辺の周辺輝度レベルと欠陥画素の欠陥画素レベルとから、視覚的に欠陥画素が目立ちやすい画素についてのみ欠陥画素補正を行うようにすることにより、解像度、解像感の低下、偽色の発生などを最小限に抑えた良好な画像が得られるようにして、欠陥画素補正が過度に行われるのを防止するようにする。
【特許請求の範囲】
【請求項1】
被写体からの入射光を固体撮像素子で光電変換することによって得られるアナログ信号をデジタル信号に変換し、前記デジタル信号に信号処理を施して前記固体撮像素子の欠陥画素補正を行う固体撮像装置であって、
前記アナログ信号または前記デジタル信号の出力レベルを検出する映像信号レベル検出手段と、
前記映像信号レベル検出手段によって検出された出力レベルに応じて、前記固体撮像素子の欠陥画素補正を行うか否かを判定する欠陥画素補正動作判定手段とを有することを特徴とする固体撮像装置。
【請求項2】
前記映像信号レベル検出手段は、前記アナログ信号または前記デジタル信号の出力レベルから、輝度信号の情報を生成することを特徴とする請求項1に記載の固体撮像装置。
【請求項3】
前記固体撮像素子における欠陥画素の欠陥レベルを検出する欠陥レベル検出手段を有し、
前記欠陥画素補正動作判定手段は、前記欠陥レベル検出手段によって検出された欠陥レベルと、前記映像信号レベル検出手段によって生成された輝度信号の情報とから前記固体撮像素子の欠陥画素補正を行うか否かを判定することを特徴とする請求項2に記載の固体撮像装置。
【請求項4】
被写体からの入射光を固体撮像素子で光電変換することによって得られるアナログ信号をデジタル信号に変換し、前記デジタル信号に信号処理を施して前記固体撮像素子の欠陥画素補正を行う固体撮像装置の欠陥画素補正方法であって、
前記アナログ信号または前記デジタル信号の出力レベルを検出する映像信号レベル検出工程と、
前記映像信号レベル検出工程において検出された出力レベルに応じて、前記固体撮像素子の欠陥画素補正を行うか否かを判定する欠陥画素補正動作判定工程とを有することを特徴とする欠陥画素補正方法。
【請求項5】
前記映像信号レベル検出工程においては、前記アナログ信号または前記デジタル信号の出力レベルから、輝度信号の情報を生成することを特徴とする請求項4に記載の欠陥画素補正方法。
【請求項6】
前記固体撮像素子における欠陥画素の欠陥レベルを検出する欠陥レベル検出工程を有し、
前記欠陥画素補正動作判定工程においては、前記欠陥レベル検出工程において検出された欠陥レベルと、前記映像信号レベル検出工程において生成された輝度信号の情報とから前記固体撮像素子の欠陥画素補正を行うか否かを判定することを特徴とする請求項5に記載の欠陥画素補正方法。
【発明の詳細な説明】【技術分野】
【0001】
本発明は固体撮像装置及び欠陥画素補正方法に関し、特に、欠陥画素補正を効率的に行うために用いて好適な技術に関する。
【背景技術】
【0002】
固体撮像素子(例えば、CCD、CMOS等)においては、結晶欠陥やダストなどにより欠陥画素が生じることが従来から知られている。欠陥画素は主に2種類に層別される。1つ目は黒キズと呼ばれるもので、本来出力すべき値に対して、出力値が低下する欠陥画素を指す。実使用上現れる現象としては、白一面の被写体を撮影した際に、本来輝度が均一の画像が得られるはずだが、黒キズにより白一面の中に黒い点が存在する画像になる。原因としては、程度の悪いものはダスト、程度の軽いものは開口むら等が考えられる。
【0003】
2つ目は白キズと呼ばれるもので、本来出力すべき値に対して出力値が高くなる欠陥画素を指す。実使用上現れる現象としては、黒一面の被写体を撮影した際に、本来黒一面の画像が得られるはずだが、白キズにより黒一面の中に白い点が存在する画像になる。原因としては、主に結晶欠陥による暗信号の増加が考えられる。
【0004】
昨今の高画素化、超微細化の流れの中で、前述した欠陥画素の個数は増加傾向にあり、画像への影響、カメラシステムへの影響が懸念されている。欠陥画素の個数が増加すると全ての欠陥画素に対して対応することが困難になってくるため、それらの対策として、様々な欠陥画素補正方法が提案されている。
【0005】
例えば、特許文献1に記載の欠陥画素補正方法では、撮像面が映像として出力される有効画素領域とそれ以外の無効画素領域とからなる固体撮像素子において、その欠陥画素を検出する際に、有効画素領域の欠陥画素の検出を無効画素領域の欠陥画素の検出よりも優先して行う。これにより、欠陥画素についてのデータを記憶しておくデータバンク数を増やすことなく、欠陥補正を効果的に行うという方法が提案されている。
【0006】
また、特許文献2記載の欠陥画素補正方法では、画像格納手段に画像データを一時格納し、読み出した画像データに含まれる欠陥画素の検出を欠陥画素検出手段で行い、第1の記憶手段に欠陥画素をすべて格納する。一方、補正対象選択手段では、第1の記憶手段から読み出した画像データのうち、画面中央近傍領域の欠陥を優先させて、補正数を考慮して補正対象の撮像素子を選択する。すなわち、補正数の制約を満たしながら、欠陥画像が目立ってしまう領域を重点的にかつ的確に選ぶことにより、簡便な構成で負担を軽減し、欠陥画素のない画像を容易に提供する方法が提案されている。
【0007】
【特許文献1】特開平8−317292号公報
【特許文献2】特開2002−84463号公報
【発明の開示】
【発明が解決しようとする課題】
【0008】
特許文献1及び特許文献2に記載の欠陥画素補正方法は、欠陥画素補正が優先的に必要な領域において優先的に欠陥画素補正を行い、優先的に必要でない領域においては欠陥画素補正を必要最小限とする方法である。しかし、欠陥画素補正が優先的に必要な領域において、補正対象画素が非常に多くなった場合、または画面内のある一部分に補正対象画素が集中する場合に補間エラーが発生する可能性が高かった。このため、実使用上としては、解像度、解像感の低下、偽色の発生などが起きる頻度が高くなるという問題点があった。
【0009】
これらの現象が発生する理由は、欠陥画素補正は通常同色隣接画素から補間を行うが、同色隣接画素にも複数欠陥画素が存在した場合、さらに周囲の同色隣接画素から補間を行うからである。それゆえに欠陥画素と補間の際使用する同色隣接画素との位置関係が遠くなるため、欠陥画素補正を行った際に正しい補正値と異なる補正値を用いて欠陥画素補正を行う可能性が高くなってしまった。
【0010】
また、特許文献1及び特許文献2に記載の欠陥画素補正方法では、被写体の輝度に係わらず検出した欠陥画素に対して補正を行っていた。このため、この欠陥画素補正方法の場合には、欠陥画素が視覚的に目立ちやすい低輝度時、欠陥画素が視覚的に目立ちにくい高輝度時に係わらず常に同様に補正を行っていた。このように、欠陥画素の目立ち具合に係わりなく欠陥画素補正を行うことは、前述したように、補正対象画素が非常に多くなった場合に、またはある一部分に補正対象画素が集中する場合に、補間エラーが発生する可能性が高くなってしまう問題点があった。
【0011】
本発明は前述の問題点に鑑み、解像度、解像感の低下、偽色の発生などが起きる頻度を抑えることができるようにするとともに、固体撮像素子の欠陥画素補正が過度に行われるのを防止できるようにすることを目的としている。
【課題を解決するための手段】
【0012】
本発明の固体撮像装置は、被写体からの入射光を固体撮像素子で光電変換することによって得られるアナログ信号をデジタル信号に変換し、前記デジタル信号に信号処理を施して前記固体撮像素子の欠陥画素補正を行う固体撮像装置であって、前記アナログ信号または前記デジタル信号の出力レベルを検出する映像信号レベル検出手段と、前記映像信号レベル検出手段によって検出された出力レベルに応じて、前記固体撮像素子の欠陥画素補正を行うか否かを判定する欠陥画素補正動作判定手段とを有することを特徴とする。
【0013】
本発明の欠陥画素補正方法は、被写体からの入射光を固体撮像素子で光電変換することによって得られるアナログ信号をデジタル信号に変換し、前記デジタル信号に信号処理を施して前記固体撮像素子の欠陥画素補正を行う固体撮像装置の欠陥画素補正方法であって、前記アナログ信号または前記デジタル信号の出力レベルを検出する映像信号レベル検出工程と、前記映像信号レベル検出工程において検出された出力レベルに応じて、前記固体撮像素子の欠陥画素補正を行うか否かを判定する欠陥画素補正動作判定工程とを有することを特徴とする。
【発明の効果】
【0014】
本発明によれば、出力レベルに応じて、欠陥画素補正を行うか否かを判定して固体撮像素子の欠陥画素補正を行うようにした。これにより、解像度、解像感低下偽色の発生などが起きる頻度を抑えることができるとともに、固体撮像素子の欠陥画素補正が過度に行われるのを防止することができる。
【発明を実施するための最良の形態】
【0015】
(第1の実施形態)
以下、本発明の実施形態について、図面を参照しながら説明する。図1は、本実施形態に係る固体撮像装置(ここではデジタルスチルカメラ)の機能構成例を示すブロック図である。
まず、図1の各部の機能を説明する。10は固体撮像装置であり、本実施形態ではデジタルスチルカメラである。
【0016】
内部の機能を詳述すると、12は光を電気信号へ変換する固体撮像素子であり、本実施形態ではCCDとする。11は被写体からの光をCCD12へ集光するレンズである。13は、CCD12を駆動するタイミングを生成するタイミングジェネレータ(TG)である。
【0017】
14はCCD12から出力される電気信号、すなわちアナログ映像信号をデジタル映像信号へ変換するA/D変換回路である。A/D変換回路14でデジタル映像信号に変換後、RAW画像データとして一旦、記憶部15の画像用メモリ16(ここではDRAMとする。)に記録される。
【0018】
また、記憶部15中の欠陥画素アドレスメモリ17(ここではROMとする。)には、事前に工場調整時またはカメラ起動時等に、欠陥画素検出によって得られた欠陥画素の座標、Xアドレス、Yアドレスが記録されている。さらに、欠陥画素レベルメモリ18(ここではROMとする。)には、事前に工場調整時またはカメラ起動時等に、欠陥画素検出によって得られた、欠陥レベルが記録されている。
【0019】
19は欠陥画素周辺画素の輝度レベルを判定する輝度レベル判定回路であり、20は画像用メモリ16に記録されているRAWデータを最終的な出力画像フォーマットに変換する画像処理回路である。画像処理回路20で画像処理された後、記録媒体21(ここではコンパクトフラッシュ(登録商標)カードとする。)に撮影画像が最終フォーマットで記録される。
【0020】
また、22は制御部(ここではCPUとする。)であり、タイミングジェネレータ13、A/D変換回路14、記憶部15、輝度レベル判定回路19、画像処理回路20及び記録媒体21を統括的に制御する。
【0021】
次に、本実施形態における欠陥画素の検出処理手順を図2に示すフローチャートを用いて説明する。前述した通り、欠陥画素のXアドレス、Yアドレスと、欠陥画素の欠陥レベルを事前に検出し、カメラ内メモリに記憶しておく必要がある。本実施形態では製品出荷前に工場で欠陥画素検出を行う例を示す。
【0022】
まず、ステップS101において、欠陥画素検出を開始する。ここで、欠陥画素は当然のことながら搭載されるCCDによって、存在する個数、アドレス、欠陥レベルが異なるため、製品個々に検出する必要がある。
【0023】
次に、ステップS102において、欠陥画素検出のために、明るさが一様な被写体、例えば輝度箱のような被写体を撮影する。撮影条件は、撮影した画像の全面が一様になるようなシェーディングを持たない条件、例えばF値の場合より絞った条件が好ましい。そして、ステップS103において、撮影した画像を、A/D変換回路14でアナログ映像信号からデジタル信号に変換し、RAW画像として画像用メモリ16に記録する。
【0024】
次に、ステップS104に進み、RAW画像各画素において、同色周囲画素との差分値を計算する。差分値の計算方法の詳細について、図4を参照しながら後で説明する。なお、本実施形態ではCCD12について原色ベイヤー配列を前提に説明するが、その他の色フィルタ構成でもよい。
【0025】
例えば、検査対象画素を図4の中心に位置するR33とした場合、検査対象画素の同色周囲画素(本実施形態ではR11、R13、R15、R31、R35、R51、R53、R55)の平均値をAVER33とする。AVER33は、以下の式(1)により求められる。
AVER33=(R11+R13+R15+R31+R35+R51+R53+R55)/8 ・・・(1)
【0026】
さらに、加算平均値AVER33とR33との差分値をDR33とすると、DR33は、以下の式(2)により求められる。
DR33=|R33−AVER33| ・・・(2)
【0027】
図2のフローチャートの説明に戻る。ステップS104において、差分値の計算を行った後、ステップS105において、さらに欠陥画素の判定レベルをKとして、KとDR33との大小の比較を行う。この比較の結果、K<DR33である場合は、ステップS106に進み、R33は欠陥画素と判断し、デジタルスチルカメラ10内の記憶部15の欠陥画素アドレスメモリ17に、Xアドレス及びYアドレス(図4に示す例ではX=3、Y=3)を記録する。
【0028】
さらに、以下の式(3)、(4)により欠陥画素の欠陥のレベルを算出する。R33の欠陥レベルをLEVR33とすると、
R33≧AVER33の場合、LEVR33=R33/AVER33 ・・・(3)
R33<AVER33の場合、LEVR33=AVER33/R33 ・・・(4)
とする。そして、デジタルスチルカメラ10内の記憶部15の欠陥画素レベルメモリ18に、R33の欠陥レベル(LEVR33)を記録する。
【0029】
一方、ステップS105の比較の結果、K≧DR33である場合は、ステップS107に進み、R33は本来の値が出力されているため、欠陥画素ではないと判断する。次に、ステップS108において、RAW画像の最終画素まで欠陥画素の判定が終了したか否かを判定する。この判定の結果、欠陥画素の判定が終了していない場合は、ステップS104に戻り、ステップS104〜S108まで、各画素の欠陥画素検出作業を全画素終了するまで同様に行う。
【0030】
一方、ステップS108の判定の結果、欠陥画素の判定が終了した場合は、ステップS109に進み、欠陥画素補正テーブルを作成する。図5は、欠陥画素補正テーブルの一例を示す図である。図5に示すように、欠陥画素の同色周辺画素の輝度レベル(12ビット)と欠陥画素レベルとで5段階に分類されており、○及び×の2つのパラメータで作成されている。作成方法と使用方法の詳細については、図3に示すフローチャートで後述する。ステップS109において欠陥画素補正テーブルを作成したら、製品出荷前の工場での欠陥画素検出を終了する(ステップS110)。
【0031】
次に、図3に示すフローチャートを参照しながら本実施形態の欠陥画素補正方法の一例を説明する。
まず、ステップS201において、撮影者の操作により撮影を開始する。次に、ステップS202において、撮影されたRAW画像をデジタルスチルカメラ10内の記憶部15の画像用メモリ(DRAM)16に一旦記録する。
【0032】
次に、ステップS203において、図2のステップS106で検出した欠陥画素のアドレスを欠陥画素アドレスメモリ17より取得する。さらに、ステップS204において、図2のステップS106で検出した欠陥画素の欠陥画素レベルを欠陥画素レベルメモリ18より取得する。
【0033】
次に、ステップS205において、欠陥画素周辺の周辺輝度レベルを算出する。欠陥画素周辺の周辺輝度レベル算出方法は、図4に示すR33が、欠陥画素であった場合、周辺輝度レベルをYR33とすると、本実施形態では、以下の式(5)を用いて欠陥画素の周辺輝度レベルを算出する。
YR33=((R13+R31+R35+R53)/4+(B22+B24+B42+B44)/4+(Gr23+Gb32+Gb34+Gr43)/4×2)/4 ・・・(5)
【0034】
次に、ステップS206において、図2のステップS109で作成した欠陥画素補正テーブルを参照し、ステップS203で取得した欠陥画素に対して欠陥画素補正を行うか否かを判定する。本実施形態では欠陥画素補正テーブルを、図2のステップS109で算出した欠陥画素周辺の周辺輝度レベルを5段階(12ビットで記載)と、欠陥画素の欠陥画素レベルをレベル1〜5(レベル1の方が程度が悪い)に5段階に分類した2つのパラメータによって作成している。
【0035】
この2つのパラメータによって欠陥画素補正を行うか否かを判定するが、本実施形態では欠陥画素周辺が高輝度である場合に欠陥画素が目立ちにくいという特性を生かし、低輝度時かつ欠陥画素レベルが低い時のみ欠陥画素補正を行う。
【0036】
欠陥画素周辺が高輝度である場合は欠陥画素が目立ちにくいという特性について、図6を参照しながら説明する。図6は、輝度値の入出力特性、すなわち、輝度ガンマ特性を示す図である。X軸は入力RAW画像の輝度値(12ビット)を表現し、Y軸は最終出力画像フォーマットの輝度値(8ビット)を表現している。
【0037】
例えば、本来出力すべき値に対して−20%の出力値となる欠陥画素が、高輝度部と低輝度部それぞれに存在したと仮定した場合を説明する。高輝度部の欠陥画素は、図6中の(1)に示すように、−20%出力が低下してもガンマ特性の傾きが小さいため、出力値としての低下は僅かとなる。一方、低輝度部の欠陥画素は、図6中の(2)に示すように、同じ−20%の低下でもガンマ特性の傾きが大きいため、出力値の低下は大きくなる。
【0038】
このような特性を生かして、ステップS206では低輝度時かつ欠陥画素レベルが低い図5中の○に該当する欠陥画素である場合に欠陥画素補正を行うと判定し、×部に該当する欠陥画素である場合は欠陥画素補正を行わない判定する。
【0039】
ステップS206の判定の結果、欠陥画素補正を行う場合は、ステップS207に進み、同色周囲画素から補間して欠陥画素の値を置き換える。具体的には、例えば図4中のR33が欠陥画素補正必要画素であった場合は、以下の式(6)を用いてR33を同色周囲画素平均値AVER33と置き換える。
R33=AVER33=(R11+R13+R15+R31+R35+R51+R53+R55)/8 ・・・(6)
【0040】
一方、ステップS206の判定の結果、欠陥画素補正を行わない場合は、ステップS208に進み、欠陥画素補正を行わずに放置する。次に、ステップS209において、最終欠陥画素まで欠陥画素補正の判定が終了したか否かを判定する。この判定の結果、最終欠陥画素まで欠陥画素補正の判定が終了していない場合は、ステップS203に戻り、図2のステップS106で検出した欠陥画素アドレスメモリに記録されている全欠陥画素に対して欠陥画素補正の判定を行うまで繰り返す。一方、ステップS209の判定の結果、最終欠陥画素まで欠陥画素補正の判定が終了した場合は、ステップS210に進み、欠陥画素補正を完了する。
【0041】
以上のように、本実施形態においては、欠陥画素周辺の周辺輝度レベルと欠陥画素の欠陥画素レベルとから、視覚的に欠陥画素が目立ちやすい画素のみ欠陥画素補正を行うようにした。これにより、解像感低下を最低限に抑えた良好な画像を提供することが可能となる。
【0042】
(本発明に係る他の実施形態)
前述した本発明の実施形態における固体撮像装置を構成する各手段、並びに欠陥画素補正方法の各工程は、コンピュータのRAMやROMなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【0043】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【0044】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム(実施形態では図2、3に示すフローチャートに対応したプログラム)を、システムまたは装置に直接、または遠隔から供給する。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【0045】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【0046】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。
【0047】
プログラムを供給するための記録媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM、DVD−R)などもある。
【0048】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【0049】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
【0050】
また、その他の方法として、本発明のプログラムを暗号化してCD−ROM等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【0051】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【0052】
さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【0053】
【図1】本発明の実施形態に係るデジタルスチルカメラの機能構成例を示すブロック図である。
【図2】本発明の実施形態における欠陥画素の検出処理手順の一例を示すフローチャートである。
【図3】本発明の実施形態における欠陥画素補正手順の一例を示すフローチャートである。
【図4】本発明の実施形態に係る画素配列の一例を示す図である。
【図5】本発明の実施形態に係る欠陥画素補正テーブルの一例を示す図である。
【図6】本発明の実施形態に係る入出力特性を示す図である。
【符号の説明】
【0054】
10 デジタルスチルカメラ
11 レンズ
12 CCD
13 タイミングジェネレータ
14 A/D変換回路
15 記憶部
16 画像用メモリ
17 欠陥画素アドレスメモリ
18 欠陥画素レベルメモリ
19 輝度レベル判定回路
20 画像処理回路
21 記録媒体
22 制御部
【出願人】 【識別番号】000001007
【氏名又は名称】キヤノン株式会社
【出願日】 平成18年7月4日(2006.7.4)
【代理人】 【識別番号】100090273
【弁理士】
【氏名又は名称】國分 孝悦


【公開番号】 特開2008−17037(P2008−17037A)
【公開日】 平成20年1月24日(2008.1.24)
【出願番号】 特願2006−184631(P2006−184631)