トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 画像処理装置および方法、プログラム並びに記録媒体
【発明者】 【氏名】木場 裕之

【氏名】佐藤 伸行
【要約】 【課題】簡単かつ小規模で、低コストの構成で、ライン状または塊状の欠陥画素を補正することができるようにする。

【構成】フラグ付加部102は、画素データにフラグを付加する。1H遅延メモリ111-8乃至111-1は、画素データを１ライン分だけ順次遅延し、後段に出力する。配列記憶部112は、９×９個のフラグ付き画素データを保持する。演算部105は、着目画素p55が欠陥画素であるとき、予測画素に対応する予測係数を予測係数記憶部106から読み出す。演算部105は、予測画素と予測係数とから着目画素の補正値を演算する。本発明はデジタルカメラに適用することができる。
【特許請求の範囲】
【請求項１】
被写体の画像を撮像する撮像手段と、
前記撮像手段の欠陥画素の位置を記憶する欠陥位置記憶手段と、
前記撮像手段より出力された前記被写体の画像の着目画素の近傍の一定の範囲の複数の画素を配列する配列手段と、
配列された前記画素の中から、前記着目画素に対して予め定められた相対的位置に位置する他の画素であって、前記着目画素が前記欠陥画素である場合に、その補正に用いる予測画素を取得する予測画素取得手段と、
前記予測画素に対応する予測係数を供給する予測係数供給手段と、
前記予測画素と前記予測係数の積和演算により前記着目画素の補正値を演算する演算手段と
を備える画像処理装置。
【請求項２】
前記撮像手段より出力された前記被写体の画像の画素に、前記着目画素の補正値の演算の対象とするか否かを表すフラグを対応付ける対応付手段をさらに備え、
前記配列手段は、予め定められた本数のラインの、予め定められた数の前記フラグが対応付けられた前記画素を記憶する
請求項１に記載の画像処理装置。
【請求項３】
前記演算手段は、前記予測画素と前記予測係数に対して、さらに前記フラグを積和演算することで前記着目画素の補正値を演算する
請求項２に記載の画像処理装置。
【請求項４】
前記欠陥画素である前記予測画素の前記フラグは、前記予測画素を演算の対象から除外するように設定される
請求項３に記載の画像処理装置。
【請求項５】
前記着目画素と異なる色の前記予測画素の前記フラグは、前記予測画素を演算の対象から除外するように設定される
請求項４に記載の画像処理装置。
【請求項６】
前記演算手段は、前記着目画素を基準とする４つの象限のうちの、点対称となる２つの象限の少なくとも一方のすべての前記予測画素が前記欠陥画素である場合、前記補正値の演算を行わない
請求項１に記載の画像処理装置。
【請求項７】
前記予測画素は、前記着目画素からの距離に応じた複数のグループに区分され、前記演算手段は、前記着目画素に近いグループの前記予測画素を用いて前記補正値の演算を行い、前記着目画素に近いグループの前記予測画素がすべて前記欠陥画素である場合、前記着目画素からより遠いグループの前記予測画素を用いて前記補正値の演算を行う
請求項１に記載の画像処理装置。
【請求項８】
被写体の画像を撮像する撮像手段と、
前記撮像手段の欠陥画素の位置を記憶する欠陥位置記憶手段と
を備える画像処理装置の画像処理方法において、
前記撮像手段より出力された前記被写体の画像の着目画素の近傍の一定の範囲の複数の画素を配列する配列ステップと、
配列された前記画素の中から、前記着目画素に対して予め定められた相対的位置に位置する他の画素であって、前記着目画素が前記欠陥画素である場合に、その補正に用いる予測画素を取得する予測画素取得ステップと、
前記予測画素に対応する予測係数を供給する予測係数供給ステップと、
前記予測画素と前記予測係数の積和演算により前記着目画素の補正値を演算する演算ステップと
を備える画像処理方法。
【請求項９】
被写体の画像を撮像する撮像手段と、
前記撮像手段の欠陥画素の位置を記憶する欠陥位置記憶手段と
を備える画像処理装置を制御するコンピュータのプログラムであって、
前記撮像手段より出力された前記被写体の画像の着目画素の近傍の一定の範囲の複数の画素を配列する配列ステップと、
配列された前記画素の中から、前記着目画素に対して予め定められた相対的位置に位置する他の画素であって、前記着目画素が前記欠陥画素である場合に、その補正に用いる予測画素を取得する予測画素取得ステップと、
前記予測画素に対応する予測係数を供給する予測係数供給ステップと、
前記予測画素と前記予測係数の積和演算により前記着目画素の補正値を演算する演算ステップと
をコンピュータに実行させるプログラム。
【請求項１０】
請求項９に記載のプログラムが記録されている記録媒体。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、画像処理装置および方法、プログラム並びに記録媒体に関し、特に、簡単かつ小規模で、低コストの構成で、ライン状または塊状の欠陥画素を補正することができるようにした画像処理装置および方法、プログラム並びに記録媒体に関する。
【背景技術】
【０００２】
デジタルカメラやビデオカメラには、CCD(Charge Coupled Device)イメージセンサ、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの個体撮像素子が用いられている。
【０００３】
これらのイメージセンサには、製造時の不具合などにより、電気信号を全く発生しなかったり、常に一定レベルの信号しか出力しない欠陥画素が発生する場合がある。本出願人は、このような欠陥画素を補正する方法を先に提案した（例えば、特許文献１）。
【０００４】
図１と図２を参照して、先の提案の原理について説明する。撮像部が、赤（R）、緑（G）、青（B）の各色専用の３板のイメージセンサで構成され、そのうちの緑のイメージセンサの１つの画素の出力が、０乃至255の値のうち、常に250の値しか出力しない欠陥画素であるとする。
【０００５】
このような場合、欠陥画素に隣接する複数の他の画素が欠陥画素補正のために用意される。図１の例では、欠陥画素０に対して１ライン上側に隣接する３個の画素（画素１、画素２、および画素３）と、同じライン上の左右に隣接する画素（画素４と画素５）が用意される。なお、図１において、数字は各画素の各色の値を表している。例えば、欠陥画素０の赤の画素値R0は59、緑の画素値G0は250、青の画素値B0は48である。また画素１の赤の画素値R1は78、緑の画素値G1は63、青の画素値B1は63である。
【０００６】
先ず、欠陥画素に近似した画素が求められる。３個の色のうち、欠陥画素の色（いまの場合、緑）以外の色（いまの場合、赤と青）について、隣接する画素との差分の絶対値の和が演算され、その最小値に対応する画素が、最も近似した画素とされる。
【０００７】
具体的には、図２に示されるように、欠陥画素０と画素１との間においては、赤の差分drは、19(＝78-59)、青の差分dbは、15(＝63-48)となる。欠陥画素０と画素２との間においては、赤の差分drは、132(＝191-59)、青の差分dbは、130(＝178-48)となる。欠陥画素０と画素3との間においては、赤の差分drは、161(＝220-59)、青の差分dbは、161(＝209-48)となる。欠陥画素０と画素4との間においては、赤の差分drは、62(＝121-59)、青の差分dbは、62(＝110-48)となる。欠陥画素０と画素5との間においては、赤の差分drは、148(＝207-59)、青の差分dbは、145(＝193-48)となる。
【０００８】
従って、画素１乃至画素５における２つの色の差分の絶対値の和は、それぞれ、34(＝19＋15)、262(＝132+130)、322(＝161+161)、124(＝62+62)、293(＝148+145)となるので、その最小値は、画素１の34であり、画素１が欠陥画素０に最も近似した画素であるということになる。
【０００９】
次に、欠陥画素０に最も近似した画素である画素１の緑の値と、差分絶対値の和の平均値との差が演算され、その演算値が、欠陥画素の欠陥色の値とされる。具体的には、画素１の緑の値は63であり、差分絶対値の和の平均値は17(＝34/2)であるから、補正値は46(＝63-17)となる。従って、欠陥画素のR,G,Bの３色の出力は、それぞれ、59,46,48となる。
【００１０】
このように欠陥画素を補正することで、欠陥画素を有するイメージセンサでも、それを廃棄することなく、有効に利用することが可能になる。
【００１１】
【特許文献１】特開2004-228931号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
CCDイメージセンサやCMOSイメージセンサの欠陥画素は、単独画素に限らず、構造上、水平または垂直方向の１本のラインすべての画素が欠陥画素となったり、２次元的に連続する塊状の画素が欠陥画素となる場合がある。このような巨大な欠陥画素が発生するイメージセンサに、欠陥画素に隣接する他の画素を利用して欠陥画素を補正する先の提案を適用しても、ライン状あるいは塊状の欠陥画素を補正することが困難である。また、差分演算、差分絶対値の和の演算、平均値の演算、最小値の演算といった複数段の演算が必要となり、補正のための回路の構成が複雑かつ大規模となり、コスト高となる。
【００１３】
本発明はこのような状況に鑑みてなされたものであり、簡単かつ小規模で、低コストの構成で、ライン状あるいは塊状の欠陥画素を補正することができるようにするものである。
【課題を解決するための手段】
【００１４】
本発明の側面は、被写体の画像を撮像する撮像手段と、前記撮像手段の欠陥画素の位置を記憶する欠陥位置記憶手段と、前記撮像手段より出力された前記被写体の画像の着目画素の近傍の一定の範囲の複数の画素を配列する配列手段と、配列された前記画素の中から、前記着目画素に対して予め定められた相対的位置に位置する他の画素であって、前記着目画素が前記欠陥画素である場合に、その補正に用いる予測画素を取得する予測画素取得手段と、前記予測画素に対応する予測係数を供給する予測係数供給手段と、前記予測画素と前記予測係数の積和演算により前記着目画素の補正値を演算する演算手段とを備える画像処理装置である。
【００１５】
前記撮像手段より出力された前記被写体の画像の画素に、前記着目画素の補正値の演算の対象とするか否かを表すフラグを対応付ける対応付手段をさらに備え、前記配列手段は、予め定められた本数のラインの、予め定められた数の前記フラグが対応付けられた前記画素を記憶することができる。
【００１６】
前記演算手段は、前記予測画素と前記予測係数に対して、さらに前記フラグを積和演算することで前記着目画素の補正値を演算することができる。
【００１７】
前記欠陥画素である前記予測画素の前記フラグは、前記予測画素を演算の対象から除外するように設定することができる。
【００１８】
前記着目画素と異なる色の前記予測画素の前記フラグは、前記予測画素を演算の対象から除外するように設定することができる。
【００１９】
前記演算手段は、前記着目画素を基準とする４つの象限のうちの、点対称となる２つの象限の少なくとも一方のすべての前記予測画素が前記欠陥画素である場合、前記補正値の演算を行わないようにすることができる。
【００２０】
前記予測画素は、前記着目画素からの距離に応じた複数のグループに区分され、前記演算手段は、前記着目画素に近いグループの前記予測画素を用いて前記補正値の演算を行い、前記着目画素に近いグループの前記予測画素がすべて前記欠陥画素である場合、前記着目画素からより遠いグループの前記予測画素を用いて前記補正値の演算を行うことができる。
【００２１】
本発明の側面はまた、被写体の画像を撮像する撮像手段と、前記撮像手段の欠陥画素の位置を記憶する欠陥位置記憶手段とを備える画像処理装置の画像処理方法において、前記撮像手段より出力された前記被写体の画像の着目画素の近傍の一定の範囲の複数の画素を配列する配列ステップと、配列された前記画素の中から、前記着目画素に対して予め定められた相対的位置に位置する他の画素であって、前記着目画素が前記欠陥画素である場合に、その補正に用いる予測画素を取得する予測画素取得ステップと、前記予測画素に対応する予測係数を供給する予測係数供給ステップと、前記予測画素と前記予測係数の積和演算により前記着目画素の補正値を演算する演算ステップとを備える画像処理方法、プログラム、またはプログラムが記録された記録媒体である。
【００２２】
本発明の側面においては、被写体の画像の着目画素の近傍の一定の範囲の複数の画素が配列され、配列された画素の中から、着目画素に対して予め定められた相対的位置に位置する他の画素であって、欠陥画素である着目画素の補正に用いる予測画素が取得される。予測画素と、予測画素に対応する予測係数の積和演算により、欠陥画素である着目画素の補正値が演算される。
【発明の効果】
【００２３】
以上のように、本発明の側面によれば、簡単かつ小規模で、低コストの構成で、ライン状あるいは塊状の欠陥画素を補正することができる。
【発明を実施するための最良の形態】
【００２４】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２５】
本発明の側面は、被写体の画像を撮像する撮像手段（例えば、図３の画像センサ13）と、前記撮像手段の欠陥画素の位置を記憶する欠陥位置記憶手段（例えば、図３の不揮発性メモリ21）と、前記撮像手段より出力された前記被写体の画像の着目画素の近傍の一定の範囲の複数の画素を配列する配列手段（例えば、図８の欠陥マップ作成部103）と、配列された前記画素の中から、前記着目画素に対して予め定められた相対的位置に位置する他の画素であって、前記着目画素が前記欠陥画素である場合に、その補正に用いる予測画素を取得する予測画素取得手段（例えば、図８の読み出し部104）と、前記予測画素に対応する予測係数を供給する予測係数供給手段（例えば、図８の予測係数記憶部106）と、前記予測画素と前記予測係数の積和演算により前記着目画素の補正値を演算する演算手段（例えば、図８の演算部105）とを備える画像処理装置（例えば、図３のデジタルカメラ１）である。
【００２６】
前記撮像手段より出力された前記被写体の画像の画素に、前記着目画素の補正値の演算の対象とするか否かを表すフラグを対応付ける対応付手段(例えば、図８のフラグ付加部102)をさらに備え、前記配列手段は、予め定められた本数のラインの、予め定められた数の前記フラグが対応付けられた前記画素を記憶することができる。
【００２７】
本発明の側面はまた、被写体の画像を撮像する撮像手段（例えば、図３の画像センサ13）と、前記撮像手段の欠陥画素の位置を記憶する欠陥位置記憶手段（例えば、図３の不揮発性メモリ21）とを備える画像処理装置の画像処理方法またはプログラムにおいて、前記撮像手段より出力された前記被写体の画像の着目画素の近傍の一定の範囲の複数の画素を配列する配列ステップ(例えば、図10のステップS62)と、配列された前記画素の中から、前記着目画素に対して予め定められた相対的位置に位置する他の画素であって、前記着目画素が前記欠陥画素である場合に、その補正に用いる予測画素を取得する予測画素取得ステップ(例えば、図10のステップS65)と、前記予測画素に対応する予測係数を供給する予測係数供給ステップ(例えば、図10のステップS69)と、前記予測画素と前記予測係数の積和演算により前記着目画素の補正値を演算する演算ステップ(例えば、図10のステップS71)とを備える画像処理方法またはプログラム(例えば、図10の欠陥補正処理方法またはプログラム)である。
【００２８】
以下、本発明の実施の形態について説明する。
【００２９】
図３は、本発明の画像処理装置の一実施の形態にかかるデジタルカメラの構成を表している。このデジタルカメラ１において、レンズ10は、被写体の光を集光し、絞り11光学シャッタ12を介して、単板の画像センサ13に入射させる。例えばCCD(Charge Coupled Device)イメージセンサからなる画像センサ13は、入射された光を光電変換し、フロントエンド15に出力する。
【００３０】
タイミングジェネレータ14は、画像センサ13を駆動する他、高速および低速の電子シャッタの制御も行う。フロントエンド15は、ノイズ成分を除去する相関二乗サンプリング、ゲインコントロール、A/D変換などの処理を行う。
【００３１】
カメラシステムLSI（Large Scale Integration）16は、フロントエンド15より入力された画像信号に対して、オートフォーカス、オートエキスポージャ、オートホワイトバランスなどの処理の他、欠陥補正処理、ガンマ補正、画作りのための補正処理、色空間を変換する処理、JPEG(Joint Photographic Experts Group)方式による画像のエンコードやデコード処理などを行う。画像メモリ17は、例えばSDRAM（Synchronous Dynamic Random Access Memory）により構成され、カメラシステムLSI16が処理するのに必要な画像データを適宜記憶する。画像モニタ18は、LCD(Liquid Crystal Display)などにより構成され、カメラシステムLSI16より出力された画像データに基づく画像を表示する。
【００３２】
不揮発性メモリ21には、画像センサ13に固有の欠陥画素に関する情報が記憶されている。すなわち、製造時において、画像センサ13の出力する画像データが測定され、欠陥の種類、欠陥のレベル、欠陥座標といった欠陥情報が収集され、不揮発性メモリ21に記憶される。従って、画像センサ13と、その欠陥情報を記憶する不揮発性メモリ21とは対で用いられる。不揮発性メモリ21から読み出された欠陥情報は、デジタルカメラ１の電源がオンされる度に、カメラシステムLSI16の内部の欠陥位置記憶部101（図８を参照して後述する）に転送され、記憶される。
【００３３】
マイクロコンピュータ19は絞り11や光学シャッタ12による露光制御、タイミングジェネレータ14によるタイミング制御や電子シャッタ制御、フロントエンド15によるゲインコントロール、カメラシステムLSI16によるモード制御、パラメータ制御などを行う。フラッシュメモリなどで構成される外部記憶媒体20は、ユーザにより外部から着脱自在とされており、画像センサ13により撮像された画像データを記憶する。
【００３４】
図４は、カメラシステムLSI16の内部の構成を表している。画像検波部52は、フロントエンド15からの出力に基づいて、オートフォーカス、オートエキスポージャ、オートホワイトバランスなどの、カメラ撮像画像の検波処理を行う。カメラ信号処理部51は、フロントエンド15の出力に対して、欠陥補正処理、ガンマ補正、画作りのための補正処理、色空間を変換する処理などを行う。画像圧縮解凍部56は、JPEG方式による画像のエンコードやデコード処理などを行う。
【００３５】
メモリコントローラ53は、各信号処理ブロック間、あるいは信号処理ブロックと画像メモリ17との間のデータの授受、データバスの制御などを行う。メモリインターフェース54は、画像メモリ17との間で画像データを授受する。モニタインターフェース57は、例えばNTSC(National Television Standards Committee)エンコーダで構成され、画像を画像モニタ18に表示するために、画像データをNTSCフォーマットに変換する。マイクロコンピュータインターフェース55は、カメラシステムLSI16の動作を制御するマイクロコンピュータ19との間で、制御データや画像データを授受する。
【００３６】
次に、図５のフローチャートを参照して、所定の被写体を撮像し、その静止画像の画像データを外部記憶媒体20に記憶させる処理について説明する。ステップS1において、画像センサ13は、レンズ10により絞り11と光学シャッタ12を介して集光された被写体からの光を光電変換し、出力する。
【００３７】
ステップS2において、フロントエンド15は、フロントエンドの処理を行う。すなわち、フロントエンド15は、画像センサ13より入力された画像信号を、ノイズ成分を除去すべく相関二乗サンプリングし、そのゲインをコントロールし、さらにA/D変換して出力する。ステップS3において、カメラシステムLSI16は、画像信号処理を実行する。その詳細は、図７のフローチャートを参照して後述するが、これにより、欠陥補正、オートフォーカス、オートエキスポージャ、オートホワイトバランス調整、ガンマ補正、画作りのための補正処理、色空間変換処理などが行われる。
【００３８】
ステップS4において、画像モニタ18は、カメラシステムLSI16より出力された画像信号に対応する画像を表示する。これによりユーザは、被写体の画像を確認することができる。
【００３９】
ステップS5において、マイクロコンピュータ19は、ユーザよりシャッタの動作が指令されたかを判定する。まだシャッタの動作が指令されていない場合、処理はステップS1に戻り、それ以降の処理が繰り返される。
【００４０】
シャッタの動作が指令された場合、ステップS6において、マイクロコンピュータ19は、光学シャッタ12を閉じさせ、画像センサ13に、その直前の画像信号が読み出されるまでの間、それ以降の光が入射しないように制御する。画像圧縮解凍部56は、被写体の静止画の画像データをJPEG方式でエンコードする。外部記憶媒体20は、この画像データを記憶する。ステップS7において、マイクロコンピュータ19は、ユーザより撮影動作の終了が指令されたかを判定する。まだ撮影動作の終了が指令されていない場合、処理はステップS1に戻り、それ以降の処理が繰り返し実行される。撮影動作の終了が指令された場合、処理は終了される。
【００４１】
次に、ステップS3における画像信号処理の詳細について説明するが、この処理のため、カメラ信号処理部51は、図６に示されるように構成されている。
【００４２】
このカメラ信号処理部51の実施の形態は、欠陥補正部81、信号処理部82、マイクロコンピュータ83、およびROM(Read Only Memory)84により構成されている。欠陥補正部81は、フロントエンド15より入力された画像データのうちの欠陥画素のデータを補正する。信号処理部82は、ガンマ補正、画作りのための補正処理、色空間の変換処理などを行う。マイクロコンピュータ83は、欠陥補正部81と信号処理部82の動作を制御する。ROM84はマイクロコンピュータ83が各種の処理を行うのに必要なパラメータ、プログラムなどを記憶する。
【００４３】
次に、図７のフローチャートを参照して、図５のステップS3の画像信号処理の詳細について説明する。
【００４４】
ステップS31において、欠陥補正部81は、欠陥補正処理を実行する。その詳細は、図10のフローチャートを参照して説明するが、これにより、欠陥画素の画素値が補正される。ステップS32において、画像検波部52は、オートフォーカス（FE）、オートエキスポージャ（AE）、およびオートホワイトバランス（AW）の処理を実行する。具体的には、撮像画像が鮮明になるように、レンズ10の位置が図示せぬモータにより移動調整される。また、画像が最適な明るさになるように、絞り11の開口が図示せぬモータにより制御調整される。さらにR,G,Bの各色信号のそれぞれのレベルが適正な白を表現できるレベルになるように調整される。
【００４５】
ステップS33において、信号処理部82は、入力された画像信号の値をガンマ曲線に従って補正する。ステップS34において、信号処理部82は、画作りのための補正処理を行う。例えば、エッジ強調などの画像を視覚的に良く見せるために必要な補正処理が行われる。ステップS35において、信号処理部82は、色空間を変換する処理を実行する。例えば、信号処理部82は、RGB信号をそのまま出力するか、あるいは、予め用意されている所定の変換マトリクスを乗算し、YUVなどの信号にフォーマット変換し、出力する。
【００４６】
画像センサ13には、製造時の過程において、光に反応しない画素、あるいは、常に電荷を保持している画素などの欠陥画素が形成されてしまう場合がある。このような欠陥画素の画素値を補正するために、欠陥補正部81は、図８に示されるように構成されている。
【００４７】
図８の欠陥補正部81の実施の形態は、欠陥位置記憶部101、フラグ付加部102、欠陥マップ作成部103、読み出し部104、演算部105、および予測係数記憶部106により構成されている。
【００４８】
欠陥マップ作成部103は、1H遅延メモリ111-1乃至111-8と、配列記憶部112により構成されている。
【００４９】
欠陥位置記憶部101は、例えばRAM(Random Access Memory)などにより構成され、不揮発性メモリ21より転送された、画像センサ13が有する画素のうちの欠陥画素のアドレス、色などの欠陥情報を記憶している。
【００５０】
フラグ付加部102は、各画素の画素データに、欠陥画素であるか否かを表すフラグを付加する。このフラグは、着目画素の補正値の演算の対象とするか否かを表すフラグでもある。具体的には、フラグ付加部102は、欠陥位置記憶部101より供給されるアドレスに基づいて、フロントエンド15より供給される１つの色の１画素あたり例えば８ビットの画素データの場合、その画素が欠陥画素であれば「０」、欠陥画素でなければ「１」とされる１ビットのフラグを付加し、合計９ビットのフラグ付き画素データとする。
【００５１】
1H遅延メモリ111-8乃至111-1は、それぞれが、フラグ付加部102より出力された１つの色の１画素あたり９ビットのフラグ付き画素データを、１ライン（1H）に相当する時間だけ遅延し、順次後段に出力する。その結果、フラグ付加部102が１本のラインのフラグ付き画素データを配列記憶部112に出力するタイミングにおいて、1H遅延メモリ111-8乃至111-1が、それより上側の連続する８本のラインのフラグ付き画素データを、それぞれ配列記憶部112に供給する。すなわち、配列記憶部112には、連続する９本のラインの、１ラインあたり９個のフラグ付き画素データP11乃至P99の配列、すなわち、着目画素p55を中心とするその近傍の一定の範囲の９×９個のフラグ付き画素データP11乃至P99の欠陥マップが作成される。
【００５２】
予測係数記憶部106は、着目画素p55が欠陥画素であった場合に、その補正値を演算するのに用いる予測係数を記憶している。本実施の形態の場合、図９に示されるように、フラグ付き画素データP11乃至P99に対応して予測係数w11乃至w99を想定した場合、中心の着目画素P55からほぼ一定の距離にある第１のグループの８個の画素p53,p64,p75,p66,p57,p46,p35,p44、それらより遠いほぼ一定の距離にある第２のグループの16個の画素p51,p62,p73,p84,p95,p86,p77,p68,p59,p48,p37,p26,p15,p24,p33,p42、それらよりさらに遠いほぼ一定の距離にある第３のグループの12個の画素p71,p82,p93,p97,p88,p79,p39,p28,p17,p13,p22,p31の、合計36個の画素が予測画素とされる。
【００５３】
そこで、これらに対応して、第１のグループの予測画素に対応する８個の予測係数w53,w64,w75,w66,w57,w46,w35,w44、第２のグループの予測画素に対応する16個の予測係数w51,w62,w73,w84,w95,w86,w77,w68,w59,w48,w37,w26,w15,w24,w33,w42、並びに第３のグループの予測画素に対応する12個の予測係数w71,w82,w93,w97,w88,w79,w39,w28,w17,w13,w22,w31の、合計36個の予測係数が記憶される。勿論、着目画素の予測係数を除く80個（＝９×９−１個）の画素のすべての予測係数を記憶するようにしてもよい。
【００５４】
読み出し部104は、配列記憶部112に記憶された９×９個のフラグ付き画素データから、予測画素を読み出し、画素データとフラグとを分離して、演算部105に出力する。演算部105は、フラグに基づいて、その予測係数が欠陥画素であるかを判定し、欠陥画素である場合には、その画素を予測画素から除外し、残った予測画素と対応する予測係数の積和演算により、欠陥画素である着目画素の補正値を演算する。補正された画素値は後段の信号処理部82に出力される。
【００５５】
次に、図10のフローチャートを参照して、図７のステップS31における欠陥補正処理の詳細について説明する。
【００５６】
ステップS61において、フラグ付加部102は、フロントエンド15より供給される画素データにフラグを付加する。具体的には、フラグ付加部102は、欠陥位置記憶部101に記憶されているアドレスに基づいて、フロントエンド15より供給される各画素が欠陥画素であるかを判定する。フロントエンド15は１つの色の１個の画素を８ビットで表す場合、欠陥画素であるとき「０」、欠陥画素でない（正常な画素である）とき「１」の１ビットのフラグが付加され、１画素が９ビットのフラグ付き画素データが出力される。
【００５７】
ステップS62において、欠陥マップ作成部103は欠陥マップを作成する。すなわち、フラグ付加部102が出力するフラグ付き画素データは、1H遅延メモリ111-8により１ライン分だけ遅延され、後段の1Hラインメモリ111-7に出力される。1Hラインメモリ111-7は入力されたフラグ付き画素データを1ライン分だけ遅延して、後段の1Hラインメモリ111-6に出力する。以下、同様に、後段の1Hラインメモリ111-6乃至111-1により同様の遅延処理が行われ、各1Hラインメモリ111-8乃至111-1の出力が、フラグ付加部102の出力とともに、配列記憶部112に供給される。
【００５８】
その結果、フラグ付加部102が最も下側のラインの画素データを配列記憶部112に出力するタイミングにおいて、1Hラインメモリ111-8乃至111-1がそれより１ラインずつ上の画素データを出力するので、配列記憶部112は、図８に示されるような、９×９個の画素データP11乃至P99からなる配列を保持する。すなわち、１画面内の一定の領域の９×９個のフラグ付き画素データが記憶され、欠陥マップが生成される。
【００５９】
ステップS63において、読み出し部104は、着目画素を読み出し、着目画素が欠陥画素であるかを判定する。具体的には、着目画素P55のフラグが「０」であれば、欠陥画素であると判定され、「１」であれば、欠陥画素ではない（正常画素である）と判定される。着目画素P55が欠陥画素である場合、ステップS64において、読み出し部104は、３つのグループの中から、着目画素p55に距離的に近い順に、１つのグループを選択する。いまの場合、着目画素p55に最も近い第１のグループが選択される。
【００６０】
ステップS65において、読み出し部104は、そのグループの予測係数を読み出す。いまの場合、着目画素p55に最も近い第１のグループの予測係数w53,w64,w75,w66,w57,w46,w35,w44が読み出され、演算部105に供給される。ステップS66において、演算部64は、グループ内のすべての予測画素が欠陥画素であるかを判定する。この場合にも、予測画素のフラグが「０」であれば、欠陥画素であると判定され、「１」であれば、欠陥画素ではない（正常画素である）と判定される。
【００６１】
グループ内のすべての予測画素が欠陥画素である場合、ステップS67において、読み出し部104は、すべてのグループを選択したかを判定する。まだ選択していないグループが存在する場合、処理はステップS64に戻り、読み出し部104は、次に着目画素に近いグループを選択する。いまの場合、第２のグループが選択される。そしてステップS65において、読み出し部104は、そのグループの予測係数を読み出す。いまの場合、第２のグループの予測係数w51,w62,w73,w84,w95,w86,w77,w68,w59,w48,w37,w26,w15,w24,w33,w42が読み出され、演算部105に供給される。ステップS66において、演算部64は、再びグループ内のすべての予測画素が欠陥画素であるかを判定する。
【００６２】
第２のグループ内においてもすべての予測画素が欠陥画素である場合、ステップS67において、読み出し部104は、すべてのグループを選択したかを判定する。まだ選択していないグループが存在する場合、処理はステップS64に戻り、読み出し部104は、次に着目画素に近いグループを選択する。いまの場合、第３のグループが選択される。そしてステップS65において、読み出し部104は、そのグループの予測係数を読み出す。いまの場合、第３のグループの予測係数w71,w82,w93,w97,w88,w79,w39,w28,w17,w13,w22,w31が読み出され、演算部105に供給される。ステップS66において、演算部64は、再びグループ内のすべての予測画素が欠陥画素であるかを判定する。
【００６３】
第３のグループ内においてもすべての予測画素が欠陥画素である場合、ステップS67において、読み出し部104は、すべてのグループを選択したかを判定する。いまの場合、３つのすべてのグループがすでに選択されたため、ステップS68において、演算部105は、エラー処理を実行する。具体的には、例えば、補正処理を行うことができないことを表すメッセージが生成され、画像モニタ18に表示される。
【００６４】
ステップS66において、グループ内のすべての画素が欠陥画素ではないと判定された場合（グループ内に、少なくとも１個の正常な画素が存在する場合）、ステップS69において、読み出し部104は、欠陥画素ではない予測画素に対応する予測係数記憶部106に記憶されている予測係数を読み出す。
【００６５】
このように、着目画素に距離的により近いグループの画素を予測画素として設定することで、着目画素をより本来に近い値に補正することができる。
【００６６】
ステップS70において、演算部105は、着目画素と異なる色の予測画素のフラグを「０」に設定する。画像センサ13は、単板の画像センサであり、図11乃至図14に示されるように、Ｒの画素の左隣に緑の画素Gr（Ｒの画素の行の緑の画素を意味する）が配置され、左下に青の画素Ｂが配置され、真下に緑の画素Gb（Ｂの画素の行の緑の画素を意味する）が配置された、ベイヤー配列の構成とされている。従って、着目画素が緑の画素GrまたはGbである場合、図11または図12に示されるように、図９に示されるすべての予測画素の位置に、着目画素と同じ緑の画素が配置されるので、これらの予測画素を用いて、着目画素の補正値を演算することができる。
【００６７】
これに対して、着目画素が赤の画素Ｒまたは青の画素Ｂである場合、図13または図14に示されるように、図９に示される予測画素のうち、着目画素と同じ赤または青の画素が配置されるのは、図15に示される予測画素だけである。すなわち、着目画素と同じライン上の予測画素、２本上または４本上のラインの予測画素、並びに２本下または４本下のラインの予測画素は、着目画素と同じ色の画素となる。
【００６８】
これに対して、着目画素のラインの１本上または３本上のラインの予測画素、並びに１本下または３本下のラインの予測画素は、着目画素と異なる色の画素となるので、これらの予測画素を用いて、着目画素の補正値を演算すると、着目画素が誤った値に補正されてしまう。そこで、これらの異なる色の画素のフラグに、欠陥画素である場合と同様に、補正値の演算対象から除外することを意味する値「０」が設定される。これにより、後述するステップS71の式（１）の補正値の演算において、これらの予測画素が、補正値を演算する対象としての予測画素から実質的に除外されるので、着目画素が誤った値に補正されることが防止される。このフラグを、ステップS61で付加される欠陥画素であることを表すフラグとは別のフラグとすることもできるが、兼用することで、後述する式（１）の演算を簡単にすることができる。
【００６９】
ステップS71において、演算部105は補正値を演算する。具体的には、予測画素piと予測係数wiの積和演算が次の式（１）に従って行われ、補正値P55が求められる。式（１）において、fiは予測画素のフラグを表し、ｉは、１乃至Ｎ（Ｎは、そのグループ内の予測画素の数を表す）の予測画素の番号を表す。
P55 ＝ Σfi×wi×pi／Σfi×wi （１）
【００７０】
なお、予測係数wiの値は、着目画素からの距離に応じて、近いほど、大きな値に設定することができる。大まかには、同一のグループ内の予測係数は同じ値とし、第１のグループの予測係数が最も大きくし、第２のグループの予測係数をそれより小さくし、第３のグループの予測係数を最も小さい値に設定することができる。あるいは、同じグループ内でも、正確には着目画素からの距離は予測画素毎に異なるので、例えば、第１のグループにおいて、着目画素に最も近い予測画素p64,p66,p46,p44の予測係数w64,w66,w46,w44を一定の値とし、それらより着目画素から遠い予測画素p53,p75,p57,p35の予測係数w53,w75,w57,w35を前者の値より小さい同じ値に設定することができる。第２グループと第３のグループにおいても、同様に設定することができる。
【００７１】
予測画素のいずれかが欠陥画素である場合、その予測画素を用いてやはり欠陥画素である着目画素の補正値を演算すると、正確な補正値が得られない。そこで、ステップS71の演算処理においては、欠陥画素である予測画素を予測画素から除外する処理が行われる。これは、予測画素piと予測係数wiの積に、欠陥画素である場合「０」に設定され、正常画素である場合「１」に設定されるフラグfiを乗算することで実現される。
【００７２】
着目画素が欠陥画素でなく、正常画素である場合、画素値を補正する必要はないので、ステップS63で着目画素が欠陥画素ではないと判定された場合には、ステップS64乃至S71の処理はスキップされる。
【００７３】
その後、ステップS72において、演算部105はすべての画素を処理したかを判定し、まだ処理していない画素が存在する場合、処理はステップS61に戻り、それ以降の処理が繰り返される。すべての画素を処理したと判定された場合、処理は終了される。
【００７４】
この実施の形態においては、着目画素を中心とする９×９個の２次元的に広がる一定の広い範囲の画素から予測画素が設定される。従って、着目画素p55だけでなく、同じ水平ライン上の画素p51,p53,p57,p59が欠陥画素であったとしても、着目画素p55の補正値を演算することができる。また、塊状に欠陥画素が発生したとしても、その範囲が、９×９個の画素の範囲内であれば、簡単かつ小規模で、低コストの構成で、着目画素の補正値P55を確実に演算することができる。
【００７５】
図16は、図７ステップS31の欠陥補正処理の他の実施の形態を表している。この図16のステップS101乃至S113の欠陥補正処理は、図10のステップS61乃至S72の処理と基本的に同様の処理であるが、図10のステップS62とステップS63に対応するステップS102とステップS104の間に、ステップS103の処理が挿入されている点が異なっている。
【００７６】
すなわちこの実施の形態においては、ステップS101でフラグを付加する処理が行われ、ステップS102で欠陥マップを作成する処理が行われた後、ステップS103において、演算部105は、点対称となる象限のうちの１つの象限の予測画素がすべて欠陥画素かを判定する。
【００７７】
この実施の形態においては、図17に示されるように、９×９個の画素の領域が、着目画素p55を含む水平方向の軸（ｘ軸）と垂直方向の軸（ｙ軸）を基準として、４つの象限に区分される。着目画素の右上の画素P17,P26,P28,P37,P39,P46,P48が属する領域が第１象限、着目画素の左上の画素P13,P22,P24,P31,P33,P42,P44が属する領域が第２象限、着目画素の左下の画素P62,P64,P71,P73,P82,P84,P93が属する領域が第３象限、着目画素の右下の画素P66,P68,P77,P79,P86,P88,P97が属する領域が第４象限とされる。このうち、点対称となるのは、第１象限と第３象限、並びに第２象限と第４象限である。
【００７８】
点対称となる象限のうちの１つの象限の予測画素がすべて欠陥画素ではない場合、すなわち、第１象限と第３象限のそれぞれには、通常の画素が少なくとも１個存在する場合、あるいは、第２象限と第４象限のそれぞれには、通常の画素が少なくとも１個存在する場合、ステップS104乃至S113の処理が実行される。すなわち、この場合は、図10における場合と同様の処理が行われることになる。
【００７９】
これに対して、第１象限と第３象限のうちの少なくとも一方の予測画素がすべて欠陥画素であるか、あるいは第２象限と第４象限のうちの少なくとも一方の予測画素がすべて欠陥画素である場合、例えば、第１象限の予測画素P17,P26,P28,P37,P39,P46,P48がすべて欠陥画素であるか、あるいは第２象限の予測画素P13,P22,P24,P31,P33,P42,P44がすべて欠陥画素である場合、ステップS104乃至S112の処理はスキップされ、補正値の演算は行われず、ステップS113以降の処理が実行される。すなわち、このような場合に補正値の演算を行うと、偏った予測画素に基づいて演算が行われるため、得られる補正値も偏ったものとなるおそれがある。そこで、このような場合には、補正値の演算を行わないようにするのである。その他の処理は図10における場合と同様であるので、その説明は省略する。
【００８０】
なお、以上においては、９×９個の画素のうち、予め定められた位置の画素を予測画素とするようにしたが、ユーザが選択するモードに応じて、予測画素や予測係数の値を変更するようにしてもよい。画像センサ13としてCMOSイメージセンサを用いたが、CCDイメージセンサを用いることも可能である。また、本発明をデジタルカメラに適用した場合の実施の形態について説明したが、本発明はビデオカメラ、その他の画像処理装置に適用することができる。
【００８１】
図18は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）221は、ROM（Read Only Memory）222、または記憶部228に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）223には、CPU221が実行するプログラムやデータなどが適宜記憶される。これらのCPU221、ROM222、およびRAM223は、バス224により相互に接続されている。
【００８２】
CPU221にはまた、バス224を介して入出力インタフェース225が接続されている。入出力インタフェース225には、キーボード、マウス、マイクロホンなどよりなる入力部226、ディスプレイ、スピーカなどよりなる出力部227が接続されている。CPU221は、入力部226から入力される指令に対応して各種の処理を実行する。そして、CPU221は、処理の結果を出力部227に出力する。
【００８３】
入出力インタフェース225に接続されている記憶部228は、例えばハードディスクからなり、CPU221が実行するプログラムや各種のデータを記憶する。通信部229は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。また、通信部229を介してプログラムを取得し、記憶部228に記憶してもよい。
【００８４】
入出力インタフェース225に接続されているドライブ230は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア231が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部228に転送され、記憶される。
【００８５】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【００８６】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図18に示されるように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CDROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア231、または、プログラムが一時的もしくは永続的に格納されるROM222や、記憶部228を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部229を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【００８７】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００８８】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【００８９】
【図１】従来の欠陥画素の補正を説明する図である。
【図２】従来の欠陥画素の補正を説明する図である。
【図３】本発明の一実施の形態のデジタルカメラの構成を示すブロック図である
【図４】カメラシステムLSIの実施の形態の構成を示すブロック図である
【図５】撮影処理を説明するフローチャートである。
【図６】カメラ信号処理部の構成を示すブロック図である。
【図７】画像信号処理を説明するフローチャートである。
【図８】欠陥補正部の構成を示すブロック図である。
【図９】予測画素を説明する図である。
【図１０】欠陥補正処理を説明するフローチャートである。
【図１１】着目画素の色がGrである場合のベイヤー配列の予測画素を説明する図である。
【図１２】着目画素の色がGbである場合のベイヤー配列の予測画素を説明する図である。
【図１３】着目画素の色がＲである場合のベイヤー配列の予測画素を説明する図である。
【図１４】着目画素の色がＢである場合のベイヤー配列の予測画素を説明する図である。
【図１５】予測画素を説明する図である。
【図１６】欠陥補正処理を説明するフローチャートである。
【図１７】予測画素の象限を説明する図である。
【図１８】本発明を適用したパーソナルコンピュータの構成を示すブロック図である。
【符号の説明】
【００９０】
１ デジタルカメラ， 10 レンズ， 11 絞り， 12 光学シャッタ， 13 画像センサ， 14 タイミングジェネレータ， 15 フロントエンド， 16 カメラシステムLSI， 17 画像メモリ， 18 画像モニタ， 21 不揮発性メモリ， 51 カメラ信号処理部， 52 画像検波部， 81 欠陥補正部， 82 信号処理部， 101 欠陥位置記憶部， 102 フラグ付加部， 103 欠陥マップ作成部， 104 読み出し部， 105 演算部， 106 予測係数記憶部， 111-1乃至111-8 1H遅延メモリ， 112 配列記憶部
【出願人】 【識別番号】０００００２１８５
【氏名又は名称】ソニー株式会社
【出願日】 平成１８年７月２６日（２００６．７．２６）
【代理人】 【識別番号】１０００８２１３１
【弁理士】
【氏名又は名称】稲本 義雄
【公開番号】 特開２００８−３４９７０（Ｐ２００８−３４９７０Ａ）
【公開日】 平成２０年２月１４日（２００８．２．１４）
【出願番号】 特願２００６−２０３７０２（Ｐ２００６−２０３７０２）